Az illesztés és a becslés jósága
Az angolszász szakirodalom a regresszió esetében használja még a determinációs koefficiens fogalmát is, amely az y értékek esetében a lineáris függvénynek tulajdonítható változásokat (szóródást) viszonyítja az összes szóródáshoz. Ha minden szóródást a lineáris komponens magyaráz, és nincs véletlennek tulajdonítható komponens, akkor ez a hányados 1. Ez a koefficiens könnyen bizonyíthatóan azonos a korrelációs együttható négyzetével. A pontok szóródásának minél nagyobb részét tudjuk megmagyarázni a lineáris regresszióval, annál nagyobb ez az érték, annál közelebb áll 1-hez ez a hányados, és akkor annál nagyobb a korrelációs együttható abszolút értéke is. A regressziónak ez a tulajdonsága jól mutatja a korreláció és a lineáris regresszió fogalmainak rokonságát.
A korrelációhoz hasonlóan a két változó kapcsolata a regresszió esetében is többféle lehet. Ha a két változó között nincs kapcsolat, akkor a regressziós együttható értéke 0. Ha van kapcsolat, akkor a regressziós együttható értéke 0-tól eltérő.
A regressziós egyenes képletében mind a konstans tag, mind pedig az x változó együtthatója a véletlentől is függő mennyiség. Ismételt mintavétel esetében (a kísérlet ismétlésekor) várható, hogy egyik érték sem lesz pontosan ugyanaz, mint korábban volt, hanem szóródást fognak mutatni. Kivétel, hogy a regresszió esetében a független változó (x) esetében megengedhető, hogy az ne legyen valószínűségi változó, értékét a vizsgáló határozza meg, lehetőséget adva ezzel a jóslásra.
Fontos kérdés, hogy a regressziós együttható értéke eltér-e a 0-tól, másképpen fogalmazva van-e statisztikai értelemben vett összefüggés a két változó között, és milyen valószínűséggel helyes az ebben a kérdésben hozott döntésünk.
Ha a regressziós egyenest az egyik változó értékének ismeretében a másik becslésére kívánjuk használni, akkor tudnunk kell, hogy a becslés jósága függ a változók kapcsolatának erősségétől, azaz a korreláció szorosságától. Minél szorosabb a kapcsolat a két változó között, annál jobb az x alapján az y értékének a becslése.