U ovom poglavlju dat ćemo kratki uvod u matrični problem najmanjih kvadrata. Metoda najmanjih kvadrata se koristi kod preodređenih sustava u slučaju kada imamo više jednadžbi nego nepoznanica i kada sustav nije rješiv po Kronecker-Capellijevom teoremu.
Problem najmanjih kvadrata se često koristi u raznim tehničkim primjenama kao i u ekonomiji (linearna regresija).