De mindste kvadraters metode

De mindste kvadraters metode
Jens Carstensen, Frederiksberg
I LMFK–Bladet nr. 1 og 2 er lineær regression behandlet.
Forfatterne gjorde sig overvejelser om, hvordan ligningen
for den bedste rette linje, der tilnærmer n datapunkter i koordinatsystemet, kan bestemmes ved hjælp af de mindste kvadraters metode.
Vi kan skrive denne på formen
For læserne virker det måske noget tungt, men matematikken
bag fastlæggelsen af den bedste rette linje kræver i virkeligheden intet andet end kendskab til formlen for andengradspolynomiets toppunkt. Teorien for ekstremumspunkter for funktioner af to variable er ganske overflødig.
Vi betegner de lodrette afstande fra de tre punkter til linjen
med d1, d2 og d3, dvs.
y = a + b( x − x )
ved at sætte b = p og q = a − b x , dvs. a = q + b x .
di = yi – a – b(xi – x )
Vi ønsker at finde konstanterne a og b, så kvadratsummen
Vi viser her hvordan sagen kan gribes an. Det er ikke nogen
væsentlig indskrænkning at gennemføre regningerne med 3
punkter i stedet for med n punkter. Det letter skrivearbejdet
og øger gennemskueligheden. Antag derfor, at vi har forelagt
tre punkter
(x1, y1) , (x2, y2) , (x3, y3)
bliver så lille som mulig.
i koordinatsystemet. Vi ønsker ved hjælp af de mindste kvadraters metode at bestemme den bedste rette linje, der tilnærmer de tre punkter.
Bestemmelse af a
Ved udregning får vi
s = d12 + d 2 2 + d 33
(
x = 13 ( x1 + x2 + x3 )
,
y = 13 ( y1 + y2 + y3 )
2
(
+ y 3 − a − b ( x3
s = ( y1 − a ) 2 + ( y2 − a ) 2 + ( y3 − a ) 2
(
+ b2 ( x1 − x ) 2 + ( x2 − x ) 2 + ( x3 − x ) 2
Vi indfører koordinaternes middeltal ved skrivemåden
) (
)
− x))
= y1 − a − b( x1 − x ) + y2 − a − b( x2 − x )
(
2
2
)
− 2b ⋅ ( x1 − x )( y1 − a ) + ( x2 − x )( y2 − a ) + ( x3 − x )( y3 − a )
I sidste led udregner vi koefficienten til a:
)
Først viser vi
( x − x1 ) + ( x − x2 ) + ( x − x3 ) = 3x − ( x1 + x2 + x3 ) = 0
Sætning. Kvadratsummen
Q(a) = (y1 – a)2 + (y2 – a)2 + (y3 – a)2
er mindst, hvis a vælges som middeltallet af y1, y2 og y3, dvs.
hvis a = y .
Bevis. Ved udregning får vi, at
Vi betragter s som et andengradspolynomium i a. Den variable
a, som vi ønsker at finde, optræder kun i de tre første led. Da
s skal gøres så lille som muligt, skal summen af de tre første
led altså gøres så lille som mulig. Efter ovenstående sætning
sker dette ved at vælge a = y .
Bestemmelse af b
Vi har nu, at
Q(a) = y12 + y22 + y32 – 2a·(y1 + y2 + y3) + 3a2
= 3a2 – 2a·⋅3y + y12 + y22 + y32
Dette er et andengradspolynomium i a, og efter formlen for
andengradspolynomiets toppunkt antages mindsteværdien for
Matematik
Matematik
a=
6y
= y.
2⋅3
s = ( y1 − y ) 2 + ( y2 − y ) 2 + ( y3 − y ) 2
(
+ b2 ( x1 − x ) 2 + ( x2 − x ) 2 + ( x3 − x ) 2
(
− 2b ⋅ ( x1 − x )( y1 − y ) + ( x2 − x )( y2 − y ) + ( x3 − x )( y3 − y )
For overskuelighedens skyld udregner vi delene i denne formel særskilt:
( y1 − y ) 2 + ( y2 − y ) 2 + ( y3 − y ) 2
Den bedste rette linje
Den bedste rette linje, der tilnærmer de tre punkter, har ligningen
= y12 + y2 2 + y32 − 2 y ⋅ ( y1 + y2 + y3 ) + 3 y
2
y = px + q
20 LMFK-bladet 3/2015
)
2
= y12 + y2 2 + y32 − 2 y ⋅ 3 y + 3 y = y12 + y2 2 + y32 − 3 y
2
)
og tilsvarende
får vi
( x1 − x ) 2 + ( x2 − x ) 2 + ( x3 − x ) 2 = x12 + x2 2 + x32 − 3x
2
13
1
x = 13 ( 2 + 5 + 7 ) = 14
3 , y = a = 3 ( 3 + 4 + 6) = 3
hvoraf
Endelig er
( x1 − x )( y1 − y ) + ( x2 − x )( y2 − y ) + ( x3 − x )( y3 − y )
b=
= x1 y1 + x2 y2 + x3 y3 − y( x1 + x2 + x3 ) − x ( y1 + y2 + y3 ) + 3x ⋅ y
13
6 + 20 + 42 − 3 ⋅ 14
3 ⋅ 3
4 + 25 + 49 − 3 ⋅ ( 14
3 )
2
=
68 − 14 ⋅ 13
3
= 11
19
78 − 196
3
= x1 y1 + x2 y2 + x3 y3 − y ⋅ 3x − x ⋅ 3 y + 3x ⋅ y
= x1 y1 + x2 y2 + x3 y3 − 3x ⋅ y
Dermed har vi fundet følgende udtryk for kvadratsummen s:
8
2
s = ( x12 + x2 2 + x32 − 3x )b2 − 2( x1 y1 + x2 y2 + x3 y3 − 3x y )b
+ y12 + y2 2 + y32 − 3yy
2
6
b=
2( x1 y1 + x2 y2 + x3 y3 − 3 x y )
2
2( x1
2
2
2
+ x 2 + x3 − 3 x )
=
4
x1 y1 + x2 y2 + x3 y3 − 3 x y
2
2
2
x1 + x2 + x3 − 3 x
(7, 6)
y = 0,579 x + 1,631
Dette er et andengradspolynomium i b, og efter formlen for andengradspolynomiets toppunkt antages den mindste værdi for
2
(5, 4)
(2, 3)
2
Dermed er både a og b fundet.
Den linje, der tilnærmer de tre punkter bedst (nemlig ved, at
summen af kvadraterne på de lodrette afstande fra linjen til
punkterne er mindst) har altså ligningen
2
y = a + b( x − x )
4
6
med de fundne værdier for a og b. Læg her mærke til, at linjen går gennem punktet med koordinaterne ( x , y ). Dette koordinatsæt passer nemlig i linjens ligning.
Altså får den bedste rette linje (regressionslinjen) ligningen
Hvis vi i stedet for 3 punkter har forelagt n punkter med koordinaterne
Hvis man indtaster de tre punkters koordinater i et matematikprogram, får man netop dette (i decimaltal).


y = 13 + 11  x − 14  ⇔ y = 11 x + 31
3 19 
3
19
19
(x1, y1) , (x2, y2) , . . . , (xn, yn)
Henvisninger
a=y=
b=
1
n
( y1 + y2 + ⋅⋅⋅ + yn )
x1 y1 + x2 y2 + ⋅ ⋅ ⋅ + xn yn − n x y
2
2
2
x1 + x2 + ⋅ ⋅ ⋅ + xn − n x
2
Eksempel. Hvis de tre punkter har koordinaterne
(x1, y1) = (2, 3) , (x2, y2) = (5, 4) , (x3, y3) = (7, 6)
Jens Carstensen: Matematisk statistik (Systime, 1983)
Douglas Downing & Jeff Clark: Statistics the Easy Way
(Barron’s Educational Series, 1989)
Carl Winsløw: Fodgængerversion af lineær regression (LMFK–
Bladet 1, 2015)
Svend Erik Morsing: Mere om lineær regression (LMFK–
Bladet 2, 2015)
Ann E. Watkins, Richard L. Scheaffer & George W. Cobb:
Statistics in Action (Key Curriculum Press, 2004)
LMFK-bladet 3/2015
21
Matematik
Matematik
får vi åbenbart følgende formler for a og b: