Matriisilaskenta
Transcription
Matriisilaskenta
Matriisilaskenta Luentomoniste J OUNI S AMPO Kevät 2014 BM20A1601 Matriisilaskenta (4 op) Viikko 1 • Lineaariset yhtälöryhmät ja matriisit, sovellustilanteita – – – – – – – – – – – – – – – – – – – – • • • • • • • • • lämpöjakauma levyssä interpolaatiopolynomi numeerinen integrointi spline-sovitus mixing-problem / ore / nutrition / coins levyn painopiste beam-yhtälöt talouden tasapainohinnat Leontief-malli kemiallisen reaktion tasapaino tasomuunnokset / grafiikan esitys virtaukset verkossa RCI-piiriyhtälöt tilasiirtymä-prosessi, MC graafin kytkentäsuhteet binary linear codes DY-systeemit planar truss-equation coupled oscillators digital signals (DSP) Yhtälöryhmien ekvivalenssi, alkeisoperaatiot Yhtälöryhmä ja sen matriisi, Gaussin algoritmi Echelon-muoto Ratkaisujoukon rakenteesta Matriisi x vektori Lineaarikombinaatiot, viritys Matriisiyhtälö, Ax = b Vektoriyhtälö = matriisiyhtälö Homogeeniyhtälö Viikko 2 • • • • • • • • Vektorit, lineaarikuvaukset, lineaarikuvauksen matriisi Matriisialgebraa, laskusäännöt AB ja yhdistetty kuvaus Käänteismatriisi, A−1 Säännölliset matriisit, 12 ominaisuutta Alkeismatriisit LU Tasomuunnokset, grafiikka Viikko 3 • • • • • Iteraatiomenetelmät Matriisialgebraa, lohkomatriisit Determinantit, Cramer-sääntö Vektoriavaruuksista Aliavaruus, suora summa, viritys, kanta • Kannat koordinaatit, kannanvaihto • Isomorfismi Viikko 4 • • • • • • • Matriisin aste, rank-teoreema Sovelluksia, differenssiyhtälöt Diskreetit 1. kertaluvun systeemit Ominaisarvoteoriaa Ominaisarvojen sovelluksista Diagonaalihajoitelma Lineaarikuvauksen matriisiesitys Viikko 5 • • • • Lineaariset systeemit, stabilisuus Ortogonaalisuus Projektioperiaate ja PNS Gramm-Smidt Viikko 6 • • • • QR-hajoitelma Sisätuloavaruudet Symmetriset matriisit Ortogonaalinen diagonaalihajotelma Viikko 7 • Neliömuodot ja pääakseliesitys • SVD singulaariarvohajotelma • Sovellusalueita Sisältö 1 Johdattelevia esimerkkejä . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 1.1 Mixing problem/kolikot 7 1.2 Interpolaatiopolynomi 7 1.3 Talouden tasapainohinnat (Lähde: Lay) 8 1.4 Kemiallisen reaktion massatasapaino (Lähde: Lay) 10 1.5 RCI-piiriyhtälöt 10 1.6 Palkin taipuminen 11 1.7 Tilasiirtymäprosessi 12 1.8 Leontiefin panos-tuotos -malli (Lähde: Lay) 13 1.9 Digital signals (DSP) 14 1.10 Muita sovelluksia 15 2 Lineaarinen yhtälöryhmä . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 2.1 Lineaarisen yhtälöryhmän ratkaiseminen 17 2.2 Ratkaisun esittäminen 20 3 Matriisialgebraa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 3.1 Kertolasku Ax 23 3.2 Matriisiyhtälö Ax = b 24 3.3 Yhtälön Ax = b ratkaisujoukko 26 3.4 Lineaarinen riippuvuus 27 3.5 Lineaarikuvauksista 28 3.6 Injektio, surjektio, bijektio 29 3.7 Matriisien käsittely 30 3.8 Symmetrinen matriisi 31 3.9 Käänteismatriisi 31 3.10 Säännölliset matriisit 32 3.11 Alkeismatriisit 33 3.12 LU-hajoitelma 34 3.13 Tasomuunnokset ja grafiikkasovellukset 35 3.14 Yhtälöryhmät ja iteratiiviset menetelmät 36 3.14.1 Jacobi’n menetelmä . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 3.14.2 Gauss-Seidelin menetelmä . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 3.15 Leontief-malli 37 3.16 Ositetut matriisit 38 3.17 Sarake-eliminointi 39 3.18 Vektoreiden tulo 40 4 Determinantit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 5 Vektoriavaruudet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45 5.1 Aliavaruus 45 5.2 Kanta 47 5.3 Matriisin nolla-avaruus N(A) 47 5.4 Sarake-avaruus Col A 48 5.5 Lineaarikuvauksen ydin ja kuva-joukko 49 5.6 Spanning teoreema 49 5.7 Koordinaattijärjestelmä 50 5.8 Isomorfismi 51 5.9 Matriisin riviavaruus 52 5.10 Matriisin aste, rank A 52 5.11 Kannanvaihto 53 5.12 Differenssiyhtälö 55 5.13 1. Kertaluvun systeemit 56 5.14 Ekosysteemin kehityspolku 56 6 Ominaisarvot ja ominaisvektorit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59 6.1 Ominaisvektorit ja differenssiyhtälöt 61 6.2 Similaarisuus 61 6.3 Diagonalisointi 61 6.4 Lineaarikuvauksen matriisiesitys 63 7 6.5 Kuvausmatriisin kaava 63 6.6 Lineaarikuvaus ja diagonaali-esitys 64 6.7 Kompleksiset tapaukset 65 6.8 Lineaariset systeemit 68 6.9 Rata-kuvioista 70 7 Ortogonaalisuus ja PNS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71 7.1 Sisätulo ja ortogonaalisuus 71 7.2 Ortogonaalinen joukko, Ortonormaali joukko 72 7.3 Ortogonaalinen projektio 73 7.4 Ortogonaalipolynomit 75 7.5 Ortogonalisointi askel 77 7.6 Gram-Schmidt-prosessi 78 7.7 QR-hajotelma 79 7.8 Yhtälöryhmän PNS-ratkaisu 81 7.9 QR-hajotelma ja PNS 83 7.10 PNS ja regressioanalyysi 83 7.11 Sisätulo, normi, ortogonaalisuus 84 7.12 Fourier sarjat 85 8 Symmetriset matriisit ja Neliömuodot . . . . . . . . . . . . . . . . . . . . . . . . 87 8.1 Symmetriset matriisit 87 8.2 Schurin hajoitelma 87 8.3 Ortogonaalinen diagonaalihajoitelma 88 8.4 Neliömuodot 88 8.5 Neliömuoto ja rajoitettu optimointi 89 8.6 Lineaarikuvauksen singulaariarvot 90 1. Johdattelevia esimerkkejä Tämän kappaleen on laatinut Sirkku Parviainen 1.1 Mixing problem/kolikot Esimerkki 1.1 5-, 10- ja 20-senttisiä kolikoita on yhteensä 180 kappaletta. Lisäksi 10-senttisiä on puolet muista ja kolikoiden yhteisarvo on 15 euroa. Paljonko eri kolikoita on? Ratkaisu Olkoon 5-senttisiä x kpl, 10-senttisiä y kpl ja 20-senttisiä z kpl. Tällöin saadaan kolme yhtälöä: Yhteismäärä: x + y + z = 180 10-senttisiä: y = 0, 5(x + z) ⇔ x − 2y + z = 0 Yhteisarvo: 5x + 10y + 20z = 1500 Yhtälöryhmän ratkaisu on: x = 100, y = 60, z = 20 1.2 Interpolaatiopolynomi Tunnetaan funktion f(t) arvot pisteissä t0 ,t1 , . . . ,tn . Interpolaatiopolynomi on muotoa p(t) = a0 + a1t + a2t 2 + · · · + ant n Johdattelevia esimerkkejä 10 ja p(ti ) = f(ti ), i = 0, 1, . . . , n. Esimerkki 1.2 Muodosta interpolaatiopolynomi seuraaville pisteille ja approksimoi funktion arvoa f(1, 5). Taulukko 1.1: Pisteet. t f(t) 0 1 2 3 3 0 -1 6 Polynomi on muotoa p(t) = a0 + a1t + a2t 2 + a3t 3 Määrätään kertoimet siten, että polynomi kulkee pisteiden (0, 3), (1, 0), (2, −1) ja (3, 6) kautta: p(0) = 3 ⇔ a0 =3 p(1) = 0 ⇔ a0 + a1 + a2 + a3 =0 p(2) = −1 ⇔ a0 + 2a1 + 4a2 + 8a3 p(3) = 6 ⇔ a0 + 3a1 + 9a2 + 27a3 = −1 =6 Ratkaisuna saadaan a0 = 3, a1 = −2, a2 = −2, a3 = 1, joka on yhtälöön sijoitettuna p(t) = 3 − 2t − 2t 2 + t 3 Approksimaatioksi saadaan f(1, 5) ≈ p(1, 5) = −1, 125 1.3 Talouden tasapainohinnat (Lähde: Lay) Leontiefin vaihdantamalli (exchange model) Talous jakaantuu tuotantosektoreihin. Tuotantosektorit tarvitsevat toisten sektoreiden panosta omaan tuotantoonsa. Tunnetaan kunkin sektorin tuotos (output) vuodessa ja tuotoksen jakaantuminen kaikkien sektoreiden kesken. Tuotoksen hinta on sen arvo rahayksikössä. Leontief: Eri sektoreille voidaan määrittää tasapainohinnat (equilibrium prices) siten, että sektorin tulot ja menot ovat tasapainossa. 1.3 Talouden tasapainohinnat (Lähde: Lay) 11 Esimerkki 1.3 Sektoreina ovat hiili, sähkö- ja terästeollisuus. Taulukossa sähkösektorin tuo- toksen jakaantuminen on: 40 % hiilelle, 10 % sähkölle ja 50 % teräkselle. Taulukko 1.2: Sektorit. Tuotoksen ostava sektori Tuottava sektori Hiili Sähkö Teräs Hiili Sähkö Teräs 0,0 0,6 0,4 0,4 0,1 0,5 0,6 0,2 0,2 Olkoot sektoreiden kokonaistuotosten hinnat pH , pS ja pT . On määrättävä tasapainohinnat, joilla jokaisen sektorin tuotoksen arvo on panoksen arvo. pH = 0, 4pS + 0, 6pT pS = 0, 6pH + 0, 1pS + 0, 2pT pT = 0, 4pH + 0, 5pS + 0, 2pT Yhtälöryhmäksi saadaan pH − 0, 4pS − 0, 6pT = 0 −0, 6pH + 0, 9pS − 0, 2pT = 0 −0, 4pH − 0, 5pS + 0, 8pT = 0 Yhtälöryhmän ratkaisu: 1 −0, 4 −0, 6 0, 9 A B = −0, 4 −0, 5 1 −0, 4 0 0, 66 0 0 −0, 6 −0, 56 0 −0, 6 −0, 2 0, 8 0! 0 0 R2 + 0, 6 · R1 R3 + 0, 4 · R1 1 −0, 4 0 0, 66 ∼ 0 −0, 66 −0, 6 −0, 56 0, 56 0! 0 0 ∼ R3 + R2 0! 0 0 pT = vapaa muuttuja 28 0, 56 pT = pT pS = 0, 66 33 pH =0, 4pS + 0, 6pT = (0, 4 · 28 31 + 0, 6)pT = pT 33 33 Jos esimerkiksi teräksen vuosituotoksen arvo on pT = 100 milj. euroa, niin pS = 84, 85 milj. euroa ja pH = 93, 94 milj. euroa Johdattelevia esimerkkejä 12 1.4 Kemiallisen reaktion massatasapaino (Lähde: Lay) Esimerkki 1.4 Kemiallinen reaktio: PbN6 + CrMn2 O8 → Pb3 O4 + Cr2 O3 + MnO2 + NO Muodostetaan reagoiville aineille ja lopputuotteille 5-alkioiset vektorit âi , joissa on alkuaineiden Pb, N, Cr, Mn ja O atomien määrät molekyylissä. PbN6 â1 = (1, 6, 0, 0, 0)T CrMn2 O8 â2 = (0, 0, 1, 2, 8)T Pb3 O4 â3 = (3, 0, 0, 0, 4)T Cr2 O3 â4 = (0, 0, 2, 0, 3)T MnO2 â5 = (0, 0, 0, 1, 2)T NO â6 = (0, 1, 0, 0, 1)T Reaktioyhtälössä on kuutta eri molekyyliä. Olkoon x1 , . . . , x6 molekyylien määrät, jotka tarvitaan tasapainottamaan edellinen reaktioyhtälö. Vektoriyhtälö: x1 â1 + x2 â2 = x3 â3 + x4 â4 + x5 â5 + x6 â6 Eli vektoriesityksenä: 1 0 3 0 0 0 6 0 0 0 0 1 x1 0 + x2 1 = x3 0 + x4 2 + x5 0 + x6 0 0 2 0 0 1 0 0 8 4 3 2 1 Matriisiyhtälönä taas Ax = 0, missä 1 6 A= 0 0 0 0 −3 0 0 0 0 0 0 0 −1 1 0 −2 0 0 , 2 0 0 −1 0 8 −4 −3 −2 −1 x1 x2 x3 x= x4 x5 x6 1.5 RCI-piiriyhtälöt Ohmin laki: U = IR Kirchoffin I laki: Virtapiirin solmuun tulevien virtojen summa on yhtä kuin solmusta lähtevien virtojen summa. Kirchoffin II laki: Suljetussa virtapiirissä, jossa on n vastusta resistansseilla Rn , on sähkömotorinen voima E = ∑ Ri I. 1.6 Palkin taipuminen 13 Esimerkki 1.5 Määritetään silmukkavirrat (loop currents) seuraavan kuvan virtapiirissä. Kuva 1.1: Silmukkavirrat (loop currents). Ohmin lain ja Kirchoffin II lain perusteella silmukoille saadaan yhtälöt: ylävasen: R1 i1 + R2 (i1 − i2 ) + R4 (i1 − i3 ) = E1 yläoikea: R3 i2 + R5 (i2 − i4 ) + R2 (i2 − i1 ) = E2 alavasen: R6 i3 + R4 (i3 − i1 ) + R7 (i3 − i4 ) = 0 alaoikea: R8 i4 + R7 (i4 − i3 ) + R5 (i4 − i2 ) = −E1 Matriisiyhtälö: (R1 + R2 + R4 ) −R2 −R4 0 −R (R + R + R ) 0 −R 2 2 3 5 5 −R4 0 (R4 + R6 + R7 ) −R7 0 −R5 −R7 (R5 + R7 + R8 ) E1 E2 0 −E2 1.6 Palkin taipuminen Vaakasuora molemmista päistä tuettu elastinen palkki, jossa on kolme vaikuttavaa voimaa. Kuva 1.2: Deflection of an elastic beam. Voimat ovat f̂ = ( f1 , f2 , f3 )T ja palkin taipumat ŷ = (y1 , y2 , y3 )T Johdattelevia esimerkkejä 14 Hooken laki on muotoa ŷ = Df̂, missä D on taipuisuusmatriisi (flexibility matrix). Käänteismatriisi D−1 on jäykkyysmatriisi (stiffness matrix): D−1 ŷ = f̂ Mitä matriisien D ja D−1 sarakkeet kuvaavat? Olkoon D = [d̂1 d̂2 d̂3 ], missä alkiot ovat D:n sarakevektorit. Jos f̂ = (1, 0, 0)T , niin 1 ŷ = Df̂ = d̂1 d̂2 d̂3 0 = 1 · d̂1 + 0 · d̂2 + 0 · d̂3 = d̂1 0 Siis vektorissa d̂1 on taipumat, jotka aiheuttaa yksikkövoima pisteessä 1. Vastaavasti d̂2 ja d̂3 . Olkoon D−1 = [ŵ1 ŵ2 ŵ3 ]. Jos ŷ = (1, 0, 0)T , niin f̂ = D−1 ŷ = ŵ1 Joten ŵ1 kuvaa voimia jotka on kohdistettava pisteisiin 1, 2 ja 3, jotta saataisiin taipuma 1 pisteessä 1 ja 0 muissa pisteissä. Vastaavasti ŵ2 ja ŵ3 . 1.7 Tilasiirtymäprosessi Olkoon vektori x̂k systeemin tila hetkellä k = 0, 1, 2, . . . . Oletetaan, että tila riippuu edellisestä tilasta lineaarisen differenssiyhtälön mukaan x̂k+1 = Ax̂k missä A on tilansiirtomatriisi. Kun alkutila x̂0 tunnetaan, voidaan laskea systeemin tilat x̂1 , x̂2 ja niin edelleen. Esimerkki 1.6 Kaupungin väkiluku rk ja sen esikaupunkien väkiluku sk muodostavat tilavekto- rin. r x̂k = k sk Olkoon nyt x̂0 vuoden 2000 tilanne. Demograafisten tilastojen mukaan 5 % keskikaupungin väestöstä muuttaa esikaupunkialueelle (95 % pysyy keskikaupungissa) ja 3 % esikaupunkiväestöstä muuttaa keskikaupunkiin (97 % pysyy esikaupungissa). Tilanne vuonna 2001 on: r 0, 95 0, 03 r0 0, 95 · r0 + 0, 03 · s0 x̂1 = 1 = = s1 0, 05 0, 97 s0 0, 05 · r0 + 0, 97 · s0 Jos muutto-osuudet pysyvät samoina, niin x̂k+1 = Mx̂k missä 0, 95 0, 03 M= 0, 05 0, 97 on tilansiirtomatriisi, tässä esimerkissä ”muuttomatriisi”. 1.8 Leontiefin panos-tuotos -malli (Lähde: Lay) 15 Esimerkki 1.7 Autovuokraamolla on 450 autoa kolmessa toimipisteessä. Vuokrattu auto voidaan palauttaa mihin tahansa pisteeseen. Vuokra-aika on yksi päivä. Palautukset jakautuvat seuraavasti: Taulukko 1.3: Palautusten jakautuminen. Vuokrauspaikka 1 2 3 Palautuspaikka 0,97 0,00 0,03 1 2 3 0,05 0,90 0,05 0,10 0,05 0,85 Maanantaina autoja on paikassa 1 määrä 304, paikassa 2 määrä 48 ja paikassa 3 määrä 98. Jos kaikki vuokrataan, mikä on autojen jakauma keskiviikkona? Tiistaina autoja on seuraavasti: paikka 1: 0, 97 · 304 + 0, 05 · 48 + 0, 10 · 98 = 307, 08 paikka 2: 0, 90 · 48 + 0, 05 · 98 = 48, 1 paikka 3: 0, 03 · 304 + 0, 05 · 48 + 0, 85 · 98 = 94, 82 Tilansiirtomatriisin avulla saadaan 0, 97 0, 05 0, 10 304 307, 08 x̂1 = Ax̂0 = 0, 00 0, 90 0, 05 48 = 48, 1 0, 03 0, 05 0, 85 98 94, 82 Keskiviikkona autoja on paikoissa 1, 2, 3 seuraavasti: 309, 75 310 x̂2 = Ax̂1 = 48, 03 ≈ 48 92, 21 92 1.8 Leontiefin panos-tuotos -malli (Lähde: Lay) Taloudessa on n tuotantosektoria ja tuotantovektorissa x̂, on eri sektoreiden vuosituotokset (output). Tuotantoon tarvitaan eri sektoreiden panosta (input). Esimerkki 1.8 Talouden sektorit ovat teollinen tuotanto, maatalous ja palvelut. Alla olevassa taulukossa j:s sarake ĉ j on ko. sektorin yksikkökulutusvektori, joka kuvaa paljonko yhden yksikön tuottamiseen tarvitaan eri sektoreiden panosta. Taulukko 1.4: Sektorit. Miltä sektorilta ostetaan Panoksen kuluttava sektori Teollinen t. Maatalous Palvelut Teollinen t. Maatalous Palvelut 0,5 0,2 0,1 0,4 0,3 0,1 0,2 0,1 0,3 Johdattelevia esimerkkejä 16 Teollisen tuotannon x1 yksikön tuottamiseen tarvitaan teollista tuotantoa, maataloustuotantoa ja palveluita määrät 0, 5 x1 ĉ1 = x1 0, 2 0, 1 Jos vastaavasti x2 on maatalouden tuotos ja x3 on palvelualan tuotos, tarvitaan kaikkien sektoreiden panosta määrät x1 ĉ1 + x2 ĉ2 + x3 ĉ3 = Cx̂, missä 0, 5 0, 4 0, 2 C = 0, 2 0, 3 0, 1 0, 1 0, 1 0, 3 Loppuosa tuotoksista menee avoimen sektorin kulutuskysyntään. Leontiefin tuotantoyhtälö: x̂ = Cx̂ + d̂, missä Cx̂ on välikysyntä (tuotantoon tarvittava panos kaikille tuotantosektoreille) ja d̂ on lopullinen kulutuskysyntä. Tunnetaan kysyntä d̂, on ratkaistava x̂: (I − C)x̂ = d̂, josta saadaan ratkaisuna x̂ = (I − C)−1 d̂. 1.9 Digital signals (DSP) Diskreettiaikainen signaali on yhtä kuin jono mittausarvoja, merkitään nyt {yk }. Mittauksissa on satunnaisvirhettä, jota pyritään vähentämään tasoituksella (smoothing) tai suodatuksella (filtering). Liukuvan keskiarvon (moving average) menetelmä, jossa korvataan arvo yk keskiarvolla zk = yk+1 + yk + yk−1 3 Esimerkki 1.9 Annettu signaali yk , jonka arvot ovat 9, 5, 7, 3, 2, 4, 6, 5, 7, 6, 8, 10, 9, 5, 7 Liukuvan keskiarvon menetelmällä tasoitettu signaali on 7, 5, 4, 3, 4, 5, 6, 6, 7, 8, 9, 8, 7 1.10 Muita sovelluksia 17 Kuva 1.3: Alkuperäinen ja tasoitettu kuvaaja. 1.10 Muita sovelluksia • • • • • • • • • levyn painopiste beam-yhtälöt tasomuunnokset / grafiikan esitys numeerinen integrointi binary linear codes DY-systeemit planar truss-equation coupled oscillators RGB väriesitys digitaalikuvissa 2. Lineaarinen yhtälöryhmä Yleisessä muodossa: a11 x1 + a12 x2 + · · · + a1n xn = b1 a21 x1 + a22 x2 + · · · + a2n xn = b2 .. . am1 x1 + am2 x2 + · · · + amn xn = bm Yllä olevan yhtälön matriisimerkintä on: Ax = b, missä A = (ai j ) on m × n-matriisi, x̂ = (x1 , . . . , xn )T ja b̂ = (b1 , . . . , bm )T . Ratkaistava muuttujat x1 , . . . , xn . Kertoimet ai j ja bi ovat reaali- ja kompleksilukuja. Yhtälöryhmällä voi olla • yksikäsitteinen ratkaisu • ääretön määrä ratkaisuja • ei ratkaisua 2.1 Lineaarisen yhtälöryhmän ratkaiseminen Kaiksi yhtälöryhmää ovat ekvivalentit, jos niillä on sama ratkaisujoukko. Kirjoitetaan yhtälöryhmän laajennettu matriisi (augmented matrix), joka on muotoa [A b]. Alkeisrivioperaatiot: 1. lisätään riviin toinen rivi vakiolla kerrottuna 2. vaihdetaan kaksi riviä keskenään 3. kerrotaan rivin kaikki alkiot vakiolla (ei nollalla) Lineaarinen yhtälöryhmä 20 Kaksi matriisia A ja B ovat riviekvivalentit, jos B saadaan A:sta alkeisrivioperaatioita soveltamalla (samoin A saadaan B:stä). Jos kahden lineaarisen yhtälöryhmän laajennetut matriisit ovat riviekvivalentit, niin niillä on sama ratkaisujoukko. Ratkaisuperiaate: Muunnetaan yhtälöryhmää rivioperaatioilla helposti ratkaistavaan muotoon. Esimerkki 2.1 Kolmen yhtälön ja kolmen muuttujan yhtälöryhmä: x1 − 2x2 + x3 = 0 2x2 − 8x3 = 8 −4x1 + 5x2 + 9x3 = −9 Laajennettu matriisi 1 −2 1 0 2 −8 8 A b = 0 −4 5 9 −9 Ratkaistaan laajennettu matriisi: 1 −2 0 2 −4 5 1 0! −8 8 9 −9 1 −2 0 1 0 0 1 −4 1 0! 4 3 R3 + 4 · R1 R1 − R3 R2 + 4 · R3 1 −2 ∼ 0 2 0 −3 1 0! −8 8 13 −9 1 −2 ∼ 0 1 0 0 0 −3! 0 16 1 3 0, 5 · R2 R1 + 2 · R2 1 −2 ∼ 0 1 0 −3 1 0 ∼ 0 1 0 0 1 0! −4 4 13 −9 R3 + 3 · R2 0 29! 0 16 1 3 Viimeinen muoto esittää yhtälöryhmää, josta nähdään ratkaisu suoraan, joka on x1 = 29, x2 = 16, x3 = 3 Vektori on nollasta eroava, jos sen kaikki alkiot eivät ole nollia. Matriisin nollasta eroavien rivin johtava alkio on sen ensimmäinen nollasta eroava alkio. Matriisi A on porrasmuotoa (echelon form), jos 1. sen kaikki nollarivit ovat muiden rivien alapuolella 2. rivin johtava alkio on sitä ylemmän rivin johtavasta alkiosta oikealle 3. johtavan alkion sarakkeessa sen alapuoliset luvut ovat nollia Porrasmatriisi A on redusoitu porrasmatriisi, jos lisäksi 4. jokainen johtava alkio on 1 5. jokaisen johtavan alkion sarakkeen muut alkiot ovat nollia Ominaisuus 3 seuraa ominaisuuksista 1 ja 2. Yhtälöryhmän ratkaisussa syntyvä porrasmatriisi on usein yläkolmiomatriisi. Porrasmatriisin muita nimityksiä ovat echelon-matriisi ja kolmiomainen matriisi. Redusoidun porrasmuodon yksikäsitteisyys: jokainen matriisi on riviekvivalentti täsmälleen yhden redusoidun porrasmatriisin kanssa. 2.1 Lineaarisen yhtälöryhmän ratkaiseminen 21 Esimerkki 2.2 Vasemmanpuoleinen matriisi on riviekvivalentti oikeanpuoleisen redusoidun porrasmatriisin kanssa. 1 −2 1 0 0 2 −8 8 −4 5 9 −9 1 0 0 29 0 1 0 16 0 0 1 1 Kuva 2.1: Matriisit porrasmuodossa ja redusoidussa porrasmuodossa. Rivireduktioalgoritmi 1. Valitse pivotsarakkeeksi matriisin ensimmäinen nollasta eroava sarake vasemmalla 2. Valitse pivotsarakkeesta jokin nollasta eroava alkio pivotalkioksi eli tukialkioksi. Siirrä pivotalkion sisältävä rivi ylimmäksi mahdollisesti rivejä vaihtamalla 3. Eliminoi pivotalkion alapuoliset alkiot nolliksi alkeisrivioperaatioilla 4. Jatka vaiheiden 1-3 soveltamista pivotalkion alapuolelle jäävään osamatriisiin kunnes tuloksena on porrasmuoto 5. Valitse oikeanpuoleisin pivotalkio. Jos se ei ole 1, jaa rivi pivotalkiolla. Eliminoi pivotalkion yläpuolella olevat alkiot 0:ksi rivioperaatioilla Toista sama muille pivotalkioille edeten oikealta vasemmalle. Tuloksena on redusoitu porrasmuoto Gauss-Jordanin menetelmä: vaiheet 1-5 ja ratkaisu saadaan suoraan. Gaussin menetelmä: vaiheet 1-4 ja ratkaisu saadaan takaisinsijoitusmenettelyllä. Lineaarinen yhtälöryhmä 22 Ratkaisun olemassaolo- ja yksikäsitteisyysteoreema Lineaarinen yhtälöryhmä on ratkeava eli konsistentti, jos ja vain jos laajennetun yhtälöryhmän porrasmuodossa ei ole riviä 0 ··· 0 b , missä b 6= 0. Jos yhtälöryhmä on ratkeava ja pivotsarakkeita on yhtä monta kuin muuttujia, niin ratkaisu on yksikäsitteinen. Jos pivotsarakkeita on vähemmän kuin muuttujia, niin ratkaisuja on ääretön määrä. Pivotsarakkeita vastaavia muuttujia kutsutaan kantamuuttujiksi ja muita muuttujia vapaiksi muuttujiksi. Esimerkki 2.3 Viedään seuraava yhtälöryhmä porrasmuotoon: −6 8 12 0 3 A B = 3 −7 3 −9 3 −9 0 2 0 3 12 −4 −6 −9 4 6 6 −5 −9 6 15 ! 2 −6 4 −5 4 −5! 8 9 6 15 R1 ↔ R3 R3 − 3/2 · R2 3 −9 ∼ 3 −7 0 3 3 −9 ∼ 0 2 0 0 12 −4 0 12 8 −6 −9 −5 6 −9 4 0 6 15 ! 2 −6 1 4 6 15 ! 8 9 4 −5 R2 − R1 Viimeinen matriisi on nyt Echelon- eli porrasmuodossa. ∼ Esimerkki 2.4 Jatketaan edellisen esimerkin porrasmuodosta: 3 −9 0 2 0 0 12 −4 0 −9 4 0 6 15 ! 2 −6 1 4 R1 − 6 · R3 3 −9 0 1 0 0 12 −2 0 −9 2 0 0 −9! 0 −7 1 4 R1 + 9 · R2 R2 − 2 · R3 3 −9 ∼ 0 2 0 0 3 0 ∼ 0 1 0 0 −9 4 0 12 −4 0 −6 −2 0 9 2 0 0 −9 ! 0 −14 1 4 0 −72! 0 −7 1 4 1/2 · R2 ∼ 1/3 · R1 Lopulta matriisi saadaan redusoituun porrasmuotoon: 1 0 ∼ 0 1 0 0 −2 −2 0 3 2 0 0 −24! 0 −7 1 4 Kantamuuttujia ovat x1 , x2 ja x5 ja vapaita muuttujia ovat x3 ja x4 . Ratkaisu ei ole yksikäsitteinen! 2.2 Ratkaisun esittäminen Tapa 1 Ratkaise redusoidun kolmiomuodon yhtälöistä kantamuuttujat vapaiden muuttujien avulla. Vapaat muuttujat ovat ratkaisun parametreja, jotka voivat saada mielivaltaisia arvoja. 2.2 Ratkaisun esittäminen 23 Esimerkki 2.5 x1 − 2x3 + 3x4 = 24 x2 − 2x3 + 2x4 = −7 x5 = 4 Ratkaisut: x1 = 24 + 2x3 − 3x4 x2 = −7 + 2x3 − 2x4 x5 = 4 x3 ja x4 ovat vapaita muuttujia. Tapa 2 Takaisinsijoitusmenetelmä kolmio/porrasmatriisille Rivireduktion vaiheiden 1-4 tuloksena on ei-redusoitu porrasmatriisi. Ratkaistaan viimeisestä yhtälöstä (ei 0-riveiltä) pivotsarakkeen muuttuja. Sijoitetaan edelliseen yhtälöön, josta ratkaistaan sen pivotmuuttuja, jne. ensimmäiseen yhtälöön asti. Esimerkki 2.6 Takaisinsijoitusmenetelmä ei-redusoituun porrasmuotoon: 3. yhtälö: x5 = 4 2. yhtälö: 2x2 − 4x3 + 4x4 + 2x5 = −6 ⇒ x2 =0, 5(−6 + 4x3 − 4x4 − 2x3 ) = 0, 5(−6 + 4x3 − 4x4 − 2 · 4) = −7 + 2x3 − 2x4 1. yhtälö: 3x1 − 9x2 + 12x3 − 9x4 + 6x5 = 15 ⇒ 1 1 x1 = (15 + 9x2 − 12x3 + 9x4 − 6x5 ) = (15 + 9(−7 + 2x3 − 2x4 ) − 12x3 + 9x4 − 6x5 ) 3 3 1 = (15 − 63 + 18x3 − 18x4 − 12x3 + 9x4 − 24) = −24 + 2x3 − 3x4 3 Lay: ”Takaisinsijoitusmenetelmä ja matriisin saattaminen redusoituun muotoon vaativat saman määrän aritmeettisia operaatioita.” Kreyszig: ”Takaisinsijoitusmenetelmä vaatii vähemmän aritmeettisia operaatioita” Vaikka jälkimmäinen väite pitänee paikkansa, on käsin laskettaessa redusoidun porrasmuodon käyttäminen (vaiheet 1-5) vähemmän altis laskuvirheille! Lineaarinen yhtälöryhmä 24 Esimerkki 2.7 Ratkaistaan yhtälöryhmä: 1 −2 −2 4 3 −6 −1 5 −6 3 −5 8 1 −2 ∼ 0 0 0 0 −1 3 0 3 1 0 0! 3 2 R2 + 2 · R1 R3 − 3 · R1 1 −2 ∼ 0 0 0 0 −1 3 −3 3 1 −1 0! 3 2 R3 + R1 0! 3 5 Viimeinen rivi antaa tuloksen 0 = 5, josta nähdään, että ratkaisua ei ole (redusoitua muotoa ei siis tarvita). 3. Matriisialgebraa 3.1 Kertolasku Ax ··· a11 .. . am1 · · · A ∈ Rm×n , x1 a11 x1 + · · · .. .. . = . amn xn am1 x1 + · · · a1n x ∈ Rn ⇒ +a1n xn +amn xn Ax ∈ Rm Samaistus: Rn = Rn×1 Sarakevektorit a11 · · · .. . am1 · · · a1n .. a a · · · . 1 2 amn an , ai ∈ Rm Ax = x1 a1 + x2 a2 + x3 a3 + · · · + xn an Esimerkki 3.1 3 −1 0 x 3 −1 0 0 3 −1 y = x 0 + y 3 + z −1 1 0 3 z 1 0 3 Lineaarikombinaatiot v̂1 , v̂2 , . . . , v̂ p ∈ Rn c1 v̂1 + c2 v̂2 + · · · + c p v̂ p Viritysjoukko span{v̂1 , . . . , v̂ p } = {u = c1 v̂1 + · · · + c p v̂ p |ci ∈ R} Matriisialgebraa 26 Kuva 3.1: Kuvateksti. Esimerkki 3.2 Leipomon tuotteiden koostumus Taulukko 3.1: Ainesosat tuotteissa. Vehnäjauho Rasva Sokeri Kaneli v̂1 v̂2 v̂3 40 20 20 1 50 15 15 2 30 8 10 0 Valmistuserä: 100 + 40 + 30 100 · v̂1 + 40 · v̂2 + 30 · v̂3 30 50 40 8 15 20 100 20 + 40 15 + 30 10 0 2 1 Ateriasuunnitelma: u = [100, 25, 15, 2]T x1 v1 + x2 v2 + x3 v3 = [100, 25, 15, 2]T , 3.2 Ax = u, A = [v̂1 v̂2 v̂3 ] Matriisiyhtälö Ax = b Yhtäpitävät esitystavat Ax = b x1 a1 + x2 a2 + · · · + xn an = b a1 a2 . . . an b Yhtälöllä on ratkaisu ⇔ b ∈ span{ai } Esimerkki 3.3 1 −1 2 1 A = 1 −1 2 1 , 2 −2 4 2 1 0 1 2 B = 1 1 2 3 −1 2 1 0 3.2 Matriisiyhtälö Ax = b 27 span{ai } = {t[1, 1, 2]T } span{bi } = {s[1, 1, −1]T + t[0, 1, 2]} Ax = u ratkeaa ⇔ u = t[1, 1, 2]T Bx = u ratkeaa ⇔ u = s[1, 1, −1]T + t[0, 1, 2]T Aina ratkeava tapaus, seuraavat väittämät yhtäpitäviä: 1. Yhtälö Ax = b ratkeaa jokaisella b ∈ Rm 2. span{a1 , . . . , am } = Rm 3. A:n kolmiomuoto ei sisällä 0-riviä Homogeeniyhtälö Ax = 0 Yhtäpitävää: 1. Yhtälöllä Ax = 0 on ratkaisu x 6= 0 2. A:n kolmiomuodossa on vapaa sarake Jos û1 , û2 ratkaisuja, niin myös sû1 + t û1 on ratkaisu. Esimerkki 3.4 3x1 + 5x2 − 4x3 = 0 −3x1 − 2x2 + 4x3 = 0 6x1 + x2 − 8x3 = 0 1 0 −4/3 3 5 4 −3 −2 4 ∼ 0 1 0 6 1 −8 0 0 0 x1 − 4/3x3 = 0 x2 = 0 0=0 x1 4/3t x2 = 0 x3 t Esimerkki 3.5 ( x1 + 2x2 + 3x3 = 0 2x1 + 4x2 + 6x3 = 0 x1 = −2s − 3t x2 = s x3 = t 1 2 3 1 2 3 ∼ 2 4 6 0 0 0 x1 −2 −3 x2 = s 1 + t 0 x3 0 1 Matriisialgebraa 28 Kuva 3.2: Kuvateksti. Esimerkki 3.6 Tasapainohinnat ja tuotantovirrat Taulukko 3.2: Tuotantovirrat. C E S 0 0,6 0,4 0,4 0,1 0,5 0,6 0,2 0,2 C E S Kuva 3.3: Kuvateksti. x1 − 0, 4x2 − 0, 6x3 = 0 −0, 6x1 + 0, 9x2 − 0, 2x3 = 0 −0, 4x1 − 0, 5x2 + 0, 8x3 = 0 1 −0, 4 −0, 6 1 0 −0, 94 −0, 6 0, 9 −0, 2 ∼ 0 1 −0, 85 −0, 4 −0, 5 0, 8 0 0 0 0, 94 x = t 0, 85 1 3.3 Yhtälön Ax = b ratkaisujoukko Olkoon p yksittäinen ratkaisu ja u homogeeniyhtälön ratkaisu. ) Ap = b A(p + u) = Ap + Au = b Au = 0 3.4 Lineaarinen riippuvuus 29 Siis p + u on ratkaisu. Olkoon y mielivaltainen ratkaisu ) Ay = b A(y − p) = Ay + Ap = 0 Ap = b Siis y − p on homogeeniyhtälön ratkaisu. Kuva 3.4: Homogeeniyhtälön ratkaisut. 3.4 Lineaarinen riippuvuus x1 v̂1 + x2 v̂2 + · · · + x p v̂ p = 0, v̂1 , . . . , v̂ p ∈ Rn Jos yllä oleva yhtälö toteutuu ainoastaan, kun x1 = x2 = · · · = x p = 0, vektorit ovat lineaarisesti riippumattomat. Jos samalla yhtälöllä on ei-triviaali-ratkaisu, vektorit ovat lineaarisesti riippuvat. Matriisin sarakkeiden lineaarinen riippuvuus A = [a1 , a2 , . . . , a p ] Yhtäpitävää: 1. A:n sarakkeet ovat lineaarisesti riippuvia 2. x1 a1 + x2 a2 + · · · + x p a p = 0 jollakin x 6= 0 3. Ax = 0 jollakin x 6= 0 Esimerkki 3.7 Tutki vektoreiden lineaarista riippuvuutta: a) [1, 1, 0]T , [1, 0, 1]T , [−1, 2, 0]T , [0, 1, 1]T b) [1, 0, 2, 1]T , [1, 1, −1, 2]T , [1, −1, 5, 0]T 1 1 1 1 1 1 1 1 1 −1 0 0 1 −1 0 1 −1 0 1 0 2 1 ∼ 2 −1 5 ∼ 0 −3 3 ∼ 0 0 1 0 1 1 2 0 0 1 −1 0 1 1 1 −1 0 0 0 0 Huomautus: avaruudessa Rn voi olla korkeintaan n kappaletta lineaarisesti riippumattomia vektoreita. Matriisialgebraa 30 Esimerkki 3.8 Valitse lineaarisesti riippumattomat seuraavasta joukosta: [1, −1, 1]T , [2, 1, 1]T , [0, −3, 1]T , [3, 0, 2]T , [0, 1, 1]T 1 1 2 0 3 0 −1 1 −3 0 1 ∼ 0 1 1 1 2 1 0 2 1 0 0 3 0 −1 1 −1 0 0 4 3.5 Lineaarikuvauksista Kuvaus T : Rn → Rm on lineaarikuvaus, jos ( T(u + v) = Tu + Tv ∀u, θ T(λ · u) = λ · Tu ∀u, λ Kuva 3.5: Kuvateksti. Esimerkki 3.9 T : R2 → R3 T(x1 , x2 )T = (x2 , −x1 )T T(x1 , x2 )T = (x2 , x2 + 2x1 )T Esimerkki 3.10 T : R3 → R2 T(x1 , x2 , x3 )T = (x1 + x2 , x3 − x2 )T Matriisi = Lineaarikuvaus A ∈ Rm×n matriisi. Kuvaus x → Ax on lineaarikuvaus Rn → Rm Esimerkki 3.11 T : R2 → R3 1 −3 x 5 , T(x) = Ax, A= 3 x= 1 x2 −1 7 1 −3 x1 − 3x2 x 5 1 = 3x1 + 5x2 T(x) = 3 x2 −1 7 −x1 + 7x2 3.6 Injektio, surjektio, bijektio 31 a) Määrää vektorin u = (2, −1)T kuva. b) Määrää x, jonka kuva on (3, 2, −5)T . c) Onko useita vektoreita x, joiden kuva on (3, 2, −5)T ? d) Kuuluuko (3, 2, 5)T kuvajoukkoon? Esimerkki 3.12 Tason kuvaukset T : R2 → R3 A= 2 √0 , 0 2 1 0 , 0 −1 1 k , 0 1 cos α − sin α sin α cos α Lineaarikuvauksen matriisi-esitys, T : R2 → R3 1 0 e1 = , e2 = 0 1 Oletetaan, että 5 T(e1 ) = −1 , 2 −3 T(e2 ) = 8 , 0 x x= 1 , x2 1 0 x = x1 + x2 = x1 e1 + x2 e2 0 1 T(x) =? 5 −3 −3 5 x T(x) = x1 T(e1 ) + x2 T(e2 ) = x1 −1 + x2 8 = −1 8 · 1 = A · x x2 2 0 0 2 x T(x) = T(e1 ) T(e2 ) · 1 x2 3.6 Injektio, surjektio, bijektio T : Rn → Rm T(x) = Ax T injektio: • T(x) = 0 vain kun x = 0 • Ax = 0 vain kun x = 0 • A:n sarakkeet lineaarisesti riippumattomat T surjektio: • T(x) = y ratkeaa ∀y • A(x) = y ratkeaa ∀y • span{a1 , . . . , an } = Rm Esimerkki 3.13 u1 u2 → i1 i2 i3 i4 I = M·u Matriisialgebraa 32 Kuva 3.6: Kuvateksti. 3.7 Matriisien käsittely Yhteenlasku ja skalaarikertolasku A+B = B+A (A + B) + B = (A + B) + C A+0 = A r(A + B) = rA + rB (r + s)A = rA + sA r(sA) = (rs)A Kertolasku Matriisit ovat A ∈ Rm×n ja B ∈ Rn×p . Tällöin AB = [Ab1 , Ab2 , . . . , Ab p ] ∈ Rm×p Kuva 3.7: Kuvateksti. AB = ”yhdistetty kuvaus” Laskusäännöt A(BC) = (AB)C A(B + C) = AB + AC (A + B)C = AC + BC r(AB) = (rA)B = A(rB) IA = A, AI = A 3.8 Symmetrinen matriisi 33 Kommutointi. Yleisesti ei päde, että AB = BA Potenssi Ak = A · . . . · A} | · A{z k kpl Transponointi AT (i, j) = A( j, i) 1 1 −1 A= , 2 3 4 1 2 AT = 1 3 −1 4 Transponointisäännöt (AT )T = A (A + B)T = AT + BT (rA)T = rAT (AB)T = BT · AT 3.8 Symmetrinen matriisi AT = A Esimerkki 3.14 1 1 A = 2 0 , 3 −1 3 b = 2 , 1 x1 x = x2 x3 1 1 14 −2 1 2 3 T A A= · 2 0 = −2 2 1 0 −1 3 −1 x1 3x1 2x1 x1 bT x = 3 2 1 · x2 , bxT = 3x2 2x2 x2 = 3x3 + 2x2 + x3 x3 3x3 2x3 x3 3.9 Käänteismatriisi Olkoon A ∈ Rn×n . Jos AC = I ja CA = I, sanotaan että C on A:n käänteismatriisi, jota merkitään C = A−1 . A säännöllinen A singulaarinen ⇔ ⇔ ∃A−1 @A−1 Matriisialgebraa 34 2 × 2 matriisin inverssi a b A= , ad − bc 6= 0, c d −1 A 1 d −b = ad − bc −c a Jos ad − bc = 0, on A singulaarinen detA = ad − bc Laskusääntöjä (A−1 )−1 = A (AB)−1 = B−1 A−1 (AT )−1 = (A−1 )T Yhtälöryhmän ratkaisu Ax = b Jos A−1 on saatavilla A−1 Ax = A−1 b 3.10 ⇒ x = A−1 b Säännölliset matriisit Yhtäpitäviä ominaisuuksia: a) b) c) d) e) f) g) h) i) j) k) l) A−1 on olemassa A∼I A:n kolmiomuodossa n pivotsaraketta Ax = 0 vain kun x = 0 {a1 , . . . , an } lineaarisesti riippumattomia Kuvaus x → Ax on injektio Ax = b ratkeaa ∀b ∈ Rn span{a1 , . . . , an } = Rn Kuvaus x → Ax on surjektio ∃ matriisi C, jolle CA = I ∃ matriisi D, jolle AD = I AT on säännöllinen Ominaisuuksien seuraussuhteita: a→ j→d→c→c→b→a d→c→b→a a→k k → g, Ax = e j j→c→b b → a, A ∼ I, Ek · · · E1 A = I, A−1 = E1−1 · · · Ek−1 Käänteiskuvaus ja A−1 T : Rn → Rn Lineaarikuvaus S : Rn → Rn Lineaarikuvaus Jos S(T) = x ja T(S) = x (∀x), sanotaan että S = T−1 3.11 Alkeismatriisit 35 Kuva 3.8: Kuvateksti. 3.11 Alkeismatriisit Rivioperaatiot • Ri + cR j • Ri ↔ R j • cRi Alkeismatriisi on muotoa E = Iop Esimerkki 3.15 E1 = IR1 +3·R3 1 0 3 = 0 1 0 0 0 1 1 E2 = IR2 ↔R3 = 0 0 1 E3 = I−6R2 = 0 0 0 0 0 1 1 0 0 0 −6 0 0 1 Alkeismatriisit ja rivireduktio 1 0 3 a b c a + 3g b + 3h c + 3 j 0 1 0 d e f = d e f 0 0 1 g h j g h j Iop A = Aop Yleisesti op1 op2 opk A ∼ ∼ ... ∼ B Ek · · · E2 E1 A = B Käänteisoperaatiot E = Iop on säännöllinen ja E−1 = Iop−1 −1 1 0 3 1 0 −3 0 1 0 = I(R +3·R )−1 = 0 1 0 1 3 1 0 1 1 0 1 Matriisialgebraa 36 3.12 LU-hajoitelma A = LU 1 0 0 3 −7 −2 2 −1 1 0 −3 5 1 0 6 −4 0 −5 = 2 −5 1 −3 8 3 9 5 −5 12 Ax = b ⇔ Ux = y ja L(Ux) = b Eli Ly = b Gaussin eliminointi ja alkeiskolmiomatriisi a11 · · · .. .. . . 0 akk ∼ .. .. . . 0 ank a11 . .. 0 akk 0 0 .. . 0 0 R j − a jk /akk Rk , j = k + 1, . . . , n Vastaavat alkeismatriisit 1 .. . 1 E j = IR j −µ jk Rk = 0 −µ jk 0 1 Sarake-eliminointia vastaava matriisi 1 .. . 1 Mk = −µk+1k .. . −µnk 1 0 3 −7 −2 2 0 0 −2 −1 2 0 0 0 −1 1 0 −1 1 0 0 3.13 Tasomuunnokset ja grafiikkasovellukset 37 Mn−1 · . . . · M2 · M1 A = U A = (Mn−1 · . . . · M2 · M1 )−1 · U = LU −1 −1 L = M−1 1 · M2 · . . . · Mn−1 1 0 0 µ21 1 0 L = µ31 µ32 1 .. .. .. . . . µn1 µn2 µn3 ··· ··· ··· 0 0 0 .. . ··· 1 Esimerkki 3.16 2 4 -4 −5 A= 2 −5 -6 0 2 4 −1 5 0 3 1 2 0 0 0 2 0 0 0 4 1 0 −2 1 L= 1 −3 3 −4 2 −1 5 −1 0 3 −8 1 ∼ −4 1 8 0 0 7 −3 1 −1 2 4 −1 0 3 1 −3 ∼ 1 0 0 0 0 0 0 7 0 0 0 0 A = L·U 0 0 2 1 4 3 -9 12 5 2 2 0 −1 5 −1 1 2 −3 ∼ −3 −4 10 4 12 −5 −1 −3 =U 1 5 3.13 Tasomuunnokset ja grafiikkasovellukset Kuvaus R2 → R3 eli (x, y) → (x, y, 1). ”Homogeeniset koordinaatit”. Translaatio (x, y) → (x + h, y + k) Ei lineaarikuvaus! Kuva 3.9: Kuvateksti. Matriisialgebraa 38 Sen sijaan (x, y, 1) → (x + h, y + k, 1) on lineaarikuvaus. cos α − sin α 0 sin α cos α 0 Kierto 0 0 1 0 1 0 1 0 0 Peilaus 0 0 1 s 0 0 0 t 0 Skaalaus 0 0 1 Muunnosten yhdistäminen (siirto, kierto (α = π/2), skaalaus): 1 0 −0, 5 0 −1 0 0, 3 0 0 0 −0, 3 −0, 5 0 1 2 1 0 0 0 0, 3 0 = 0, 3 0 2 0 0 1 0 0 1 0 0 1 0 0 1 3.14 Yhtälöryhmät ja iteratiiviset menetelmät Olkoon Ax = b. Etsitään jonoa xn , jolle xn → x. Kirjoitetaan A = M − N. Tällöin M − Nx = b ⇔ Mx = Nx + b Iteraatiokaava on muotoa Mxk+1 = Nxk + b 3.14.1 Jacobi’n menetelmä A = D + (A − D) Dx(k+1) = (D − A)x(k) + b Esimerkki 3.17 10x1 + x2 − x3 = 18 x1 + 15x2 + x3 = −12 −x1 + x2 + 20x3 = 17 10 0 0 y1 0 −1 1 x1 18 0 15 0 y2 = −1 0 −1 x2 + −12 0 0 20 y3 1 −1 0 x3 17 10y1 = −x2 + x3 + 18 15y2 = −x1 − x3 − 12 20y3 = x1 − x2 + 17 y1 = (−x2 + x3 + 18)/10 y2 = (−x1 − x3 − 12)/15 y3 = (x1 − x2 + 17)/20 3.15 Leontief-malli 39 Taulukko 3.3: Tulokset. x0 x1 x2 0 0 0 1,8 -0,8 0,85 1,965 -0,9767 0,98 ... x5 1,9999 -0,9999 0,9999 3.14.2 Gauss-Seidelin menetelmä a11 A= an1 a1n .. . ann a11 0 · · · M= an1 0 .. . 0 ann Mxk+1 = (M − A)xk + b 10 0 0 y1 0 −1 1 x1 18 1 15 0 y2 = 0 0 −1 x2 + −12 −1 1 20 y3 0 0 0 x3 17 10y1 = −x2 + x3 + 18 y2 + 15y2 = −x3 − 12 −y2 + y2 + 20y3 = 17 3.15 y1 = (−x2 + x3 + 18)/10 y2 = (−y1 − x3 − 12)/15 y3 = (y1 − y2 + 17)/20 Leontief-malli Tuotantovektori ja panosmatriisi x1 .. x= . c11 · · · .. C= . cn1 · · · x3 x = Cx + d (I − C)x = d ⇒ x = (I − C)−1 d c1n .. . cnn Matriisialgebraa 40 Kuva 3.10: Kuvateksti. Käänteismatriisi (I − C)−1 (1 − t)−1 = 1 + t + t 2 + · · · Onko mahdollisesti niin, että (I − C)−1 = I + C + C2 + · · · ? (3.1) Kokeilu (I − C)(I + C + C2 + · · · + Cm ) = I + C + C2 + · · · + Cm − [C + C2 + · · · + Cm+1 ] = I − Cm+1 Tulos: Jos Cn → 0, niin yhtälö 3.1 pätee. 3.16 Ositetut matriisit A11 · · · .. A= . Ae1 · · · A1k B11 · · · .. B = .. . . Aek Bk1 · · · B1m .. . Bkm A11 B11 + · · · + A1k Bkm A11 B1m + · · · + A1k Bkm .. AB = . Ae1 B11 + · · · + Aek Bk1 Ae1 B1m + · · · + Aek Bkm Mikäli laskutoimitukset ovat määriteltyjä 1 0 2 1 0 1 1 2 I B A= = 2 1 −1 0 B −I 1 2 0 −1 I B AC = B −I −1 B I C= I B−1 −1 −1 B I B +B 2I = I B−1 0 B − B−1 Lohkokolmiomatriisi A B M= 0 C 3.17 Sarake-eliminointi 41 Jos A, C ovat säännöllisiä, niin −1 M −1 A A−1 BC−1 = 0 C−1 Löydetään seuraavasti A B E11 E12 I 0 = 0 C E21 E22 0 I AE11 + BE21 = I AE + BE = 0 12 22 CE21 = 0 CE = I 22 ⇒ ⇒ ⇒ ⇒ E11 = A−1 AE12 = −BC−1 E21 = 0 E22 = C−1 −1 I 0 Harjoitus, etsi: A I 3.17 Sarake-eliminointi 1 0 0 0 0 1 0 0 M= 0 −2 1 0 0 1 0 1 0 3 0 0 0 0 0 0 1 Rivioperaatiot R3 − 2R2 R4 + R2 R5 + 3R2 M = IR5 +3R2 · IR4 +R2 · IR3 −2R2 = E3 · E2 · E1 · A M · A = E3 · E2 · E1 · A 1 0 0 0 1 0 M−1 = 0 2 1 0 −1 0 0 −3 0 0 0 0 1 0 0 0 0 0 1 Matriisialgebraa 42 3.18 Vektoreiden tulo x = [x1 , x2 , x3 ]T xT y = x1 x2 y = [y1 , y2 , y3 ]T y1 x3 · y2 = x1 y1 + x2 y2 + x3 y3 = ”Skalaaritulo” tai ”sisätulo” y3 Erikoistapaus x = [1, 0, 0]T Kuva 3.11: Kuvateksti. y1 T x y = 1 0 0 · y2 = y1 = y:n projektio x:n suuntaan y3 a11 a12 A= = a1 a2 a21 a22 a22 detA = a11 a22 − a12 a21 = a11 a21 · = aT1 · b −a12 Kuva 3.12: Kuvateksti. 4. Determinantit a11 a12 A= = a1 a2 a21 a22 a11 a12 = a11 a22 − a12 a21 = ±ala {a1 , a2 } detA = a21 a22 Kuva 4.1: Kuvateksti. A = a1 , a2 , a3 ∈ R3×3 a11 a12 a13 detA = a21 a22 a23 = ±vol {a1 , a2 , a3 } a31 a32 a33 Kuva 4.2: Kuvateksti. Determinantit 44 Alimatriisi (n−1)×(n−1) Ai j = ai j ∈R 3 × 3 determinantti a21 a22 a21 a23 a22 a23 + a13 − a12 detA = a11 a31 a32 a31 a33 a32 a33 = a11 detA11 − a12 detA12 + a13 detA13 Kehityskaava, A ∈ Rm×n detA = a11 detA11 − a12 detA12 + · · · + (−1)1+n a1n detA1n n detA = ∑ a1i C1i , 1 missä Cij = (−1)i+ j detAij Determinantti ja alkeismatriisit E1 = IRi ↔Rj E2 = IcRi E3 = IRi +cRj Särmiötulkinta det(E1 A) = −detA det(E2 A) = c · detA det(E3 A) = detA det(EA) = detE · detA Kuva 4.3: Kuvateksti. 45 Kolmiomatriisin determinantti a11 a12 0 a22 0 detA = det 0 .. .. . . 0 0 a1n a2n a3n ann = a11 · detA11 − 0 · detA21 + · · · = a11 · detA11 = an · a22 · det[ Sarakereduktio a11 a21 A= . .. a11 0 ∼ .. . B detA = a11 · detB 0 an1 ] = · · · = an · a22 · · · · · ann Esimerkki 4.1 2 −8 6 8 2 −8 3 4 3 −9 5 10 0 3 −4 −2 ∼ A= −3 0 1 −2 0 −12 10 10 1 −4 0 6 0 0 −3 2 3 3 −4 −2 −4 −2 detA = 2 −12 10 10 = 2 0 −6 2 0 0 −3 2 −3 2 −6 2 = 2 · 3 −6 2 = 2 · 3 · (−6) · 1 = −36 = 2 · 3 −3 2 0 1 Determinantti ja echelon-muoto p1 .. A∼ p1 . . . pn pivot alkiot . pn detA = (−1)n p1 · . . . · pn , kun A on säännöllinen ja detA = 0, kun A on singulaarinen. Ominaisuuksia: • • • • A säännöllinen ⇔ detA 6= 0 detA = detAT detAB = detA · detB Kuvaus x → det[a1 · · · x · · · an ] on lineaarinen Esimerkki 4.2 1 1+t 3 A = 2 1 − t 1 3 1 − 2t 0 1 1 3 1 t 3 1 1 3 1 1 3 detA = 2 1 1 + 2 −t 1 = 2 1 1 + t 2 −1 1 3 1 0 3 −2t 0 3 1 0 3 −2 0 Determinantit 46 Cramerin temppu Ax = b Muodostetaan matriisi 1 0 0 1 Ik (x) = . . .. .. 0 0 x1 0 x2 0 = [e1 , e2 , . . . , x, en ] xn 1 detIk (x) = xk A · Ik (x) = [Ae1 , Ae2 , . . . , Ax, . . . , Aen ] = [a1 , a2 , . . . , b, . . . , an ] det[a1 , . . . , b, . . . , an ] detA · detIk (x) = det[a1 , . . . , b, . . . , an ] ⇒ xk = detA Esimerkki 4.3 ( 3sx1 − 2x2 = 4 −6x1 + sx2 = 1 3s −2 A= −6 s 4 −2 A1 b = 1 s 4 −2 1 s 4s + 2 = x1 = 3s −2 3(s + 2)(s − 2) −6 s 5. Vektoriavaruudet Joukko alkioita u, v, . . . Laskutoimitukset u + v, λ · u Laskulait Esimerkki 5.1 Rn = {(x1 , . . . , xn )T |xi ∈ R} R∞ = {x = (xi ) = (x1 , x2 , . . . )|xi ∈ R} Rn×m = {A|A on m × n matriisi} q(S, R) = {f|f on funktio S → R} Kompleksikertoimiset vektoriavaruudet Cn , C∞ , Cn×m , q(S, C) 5.1 Aliavaruus V vektoriavaruus, H ⊂ V on aliavaruus, jos 1. x, y ∈ H ⇒ x + y ∈ H 2. x ∈ H ⇒ λ x ∈ H, ∀λ ∈ R Esimerkki 5.2 Neljä esimerkkiä: 1. V = R3 H = {x|x1 + 2x2 + 3x3 = 0} Vektoriavaruudet 48 2. V = R3×3 , 0 1 0 H = {A|NA = 0}, missä N = 0 0 1 0 0 0 S = {A|AT = −A} 3. V = q(R), H = {f : R → R|f on jatkuva} K = {f|f(0) = f(1)} 4. V = C1 (R) = {f|f’ on jatkuva} H = {f ∈ C1 (R)|f0 + f = 0} Aliavaruuksien summa H1 + H2 = {x + y|x ∈ H1 , y ∈ H2 } Jos lisäksi H1 ∩ H2 = {0}, sanotaan että H1 + H2 on suora summa. Merkitään H1 ⊕ H2 . Teoreema: Summa H1 + H2 on suora ⇔ Vektorin x ∈ H1 + H2 esitys x = x1 + x2 on yksikäsitteinen. Kuva 5.1: Kuvateksti. Esimerkki 5.3 H1 = {τ(1, 2, 3)T |τ ∈ R} H2 = {x|x1 + x2 + x3 = 0} H3 = {x|x3 = x1 + x2 } Viritysjoukko S ⊂ V osajoukko span S = {λ1 x1 + · · · + λk xk |λi ∈ R, xi ∈ S} on aina aliavaruus. 5.2 Kanta 49 Esimerkki 5.4 Kaksi esimerkkiä: 1. V = C1 (R) S = {1, x, x2 , x3 } span S = {f = α0 + α1 x + α2 x2 + α3 x3 |αi ∈ R} = P3 (R) 2. V = C1 (R) H = {1, x, x2 , x3 } span S = {f|(1 − x)f00 + xf0 − f = 0} Ratkaisujoukko: f = Ax + Bex . Siis H = span{x, ex } 5.2 Kanta Olkoon V vektoriavaruus. B = {b1 , b2 , . . . , bn } ⊂ V on kanta, jos • {b1 , b2 , . . . , bn } ovat lineaarisesti riippumattomia • span{b1 , b2 , . . . , bn } = V . Esimerkki 5.5 E = {e1 , e2 , . . . , en } = {(1, 0, . . . , 0)T , (0, 1, . . . , 0)T . . . } standardikanta R:ssä. A: säännöllinen matriisi {a1 , a2 , . . . , an } on kanta Rn :ssä. {1,t,t 2 , . . . ,t n } on kanta avaruudessa Pn = {p = λ0 + λ1t + · · · + λnt n } 5.3 Matriisin nolla-avaruus N(A) N(A) = {x|Ax = 0} tai [KeA] Esimerkki 5.6 1 −3 −2 A= −5 9 1 x ∈ N(A) ⇔ ( x1 − 3x2 − 2x3 = 0 −5x1 + 9x2 + x3 = 0 N(A) on aliavaruus: x, y ∈ N(A) ⇒ Ax = 0, Ay = 0 ⇒ A(x+y) = 0 = Ax+Ay = 0 N(A) aliavaruuden kanta −3 6 −1 1 −7 1 −2 0 −1 3 A = 1 −2 2 3 −1 ∼ 0 0 1 2 −2 2 −4 5 8 −4 0 0 0 0 0 ⇒ x+y ∈ N(A) jne... Vektoriavaruudet 50 x ∈ N(A) ⇔ x1 − 2x2 − x4 + 3x5 = 0 x3 + 2x4 − 2x5 = 0 0=0 −3 1 x1 2a + b − 3c 2 x2 a 1 0 0 x = x3 = −2b + 2c = a 0 + b −2 + c 2 x4 0 0 1 b x5 c 0 1 0 R1 Esimerkki 5.7 Olkoon H = {p(x) ∈ P3 |p(1) = 2p(0), 0 p(x) dx = 0}. Määrää aliavaruudelle H kanta. p(x) = αα1 x + α2 x2 + α3 x3 p(1) = 2p(0) Z 1 p(x) dx = 0 ⇔ −α0 + α1 + α2 + α3 = 0 ⇔ 0 1 1 1 α0 + α1 + α2 + α3 = 0 2 3 4 −1 1 1 1 −1 1 1 1 ∼ 1 1/2 1/3 1/4 0 3/2 4/3 5/4 5.4 Sarake-avaruus Col A Merkitään myös ColA = R(A) ColA = span{a1 , a2 , . . . , an } = {b|b = Ax jollakin x} Esimerkki 5.8 2 4 −2 1 A = −2 −5 7 3 3 7 −8 6 N(A) = {x ∈ R4 |Ax = 0} ColA = {y ∈ R3 |y = Ax jollakin x} Kuva 5.2: Kuvateksti. 5.5 Lineaarikuvauksen ydin ja kuva-joukko 51 5.5 Lineaarikuvauksen ydin ja kuva-joukko T : V → W lineaarikuvaus. T:n ydin N(T) = {x|T(x) = 0} T:n kuvajoukko R(T ) = {y|y = T (x) jollakin x} N(T) ⊂ V, R(T) ⊂ W aliavaruuksia. Esimerkki 5.9 V = P3 [0, 2], W = P4 [0, 2] ja T (f(x)) = f(x) + Df(x) f(x) ∈ N(T) ⇔ T (f(x)) = 0 ⇔ Df(x) = −f(x) ⇔ f(x) = Ce−x f(x) ∈ N(T) ∩ P3 ⇔ f(x) = 0 y(x) ∈ R(T) ⇔ y(x) = f(x) + Df(x) Onko R(T) = P3 [0, 2]? 5.6 Spanning teoreema Olkoon H = span{v1 , . . . , vn }. Jos vn = α1 v1 + · · · + αn−1 vn−1 , niin H = span{v1 , . . . , vn−1 }. Avaruuden ColA kanta 1 4 0 2 −1 3 12 1 5 5 A = [a1 , a2 , . . . , a5 ] = 2 8 1 3 2 5 20 2 8 8 1 0 A ∼ B = [b1 , b2 , . . . , b5 ] = 0 0 4 0 0 0 0 2 0 1 −1 0 0 0 1 0 0 0 Spanning teoreema ⇒ {b1 , b3 , b5 } on ColA:n kanta. Ax = 0 ⇔ Bx = 0 ⇒ {a1 , a3 , a5 } on ColA:n kanta Aliavaruuden span S kanta h = span{A(s)|s ∈ R}, s s+1 A(s) = s+2 s+3 {A(−1), A(0), A(1), A(2)} Lineaarisesti riippumattomia? x1 A(−1) + x2 A(0) + x3 A(1) + x4 A(2) = 0 ⇔ Bx = 0 Vektoriavaruudet 52 −1 0 B= 1 2 0 1 2 3 1 2 3 4 −1 2 0 3 ∼ 4 0 0 5 0 1 2 3 1 2 4 6 −1 2 0 3 ∼ 6 0 0 9 0 1 0 0 1 2 0 0 2 3 0 0 {A(−1), A(0)} Lineaarisesti riippumattomia. A(s) = A(0) + s[A(0) − A(−1)]. Esimerkki 5.10 H = {f|f000 + 5f00 + 4f = 0} Karakteristinen yhtälö λ 4 + 5λ 2 + 4 = 0 ⇔ (λ 2 + 1)(λ 2 + 4) = 0 λ = ±i, λ = ±2i Yleinen ratkaisu on f(t) = a1 sint + a2 cost + a3 sin 2t + a4 cos 2t Aliavaruuden H kanta B = {sint, cost, sin 2t, cos 2t} Tutki onko joukko B = {1 + t,t + t 2 ,t 2 + t 3 ,t 3 − 1} avaruuden P3 kanta? Aliavaruuden N(A) kanta 1 1 0 2 1 0 −3 0 A= ∼ , 1 2 3 4 0 1 3 2 x ∈ N(A) ⇔ Ax = 0 x1 3s 3 0 x2 −3s + 2t −3 1 = s +t x= x3 = 1 0 s x4 t 0 1 N(A):n kanta B = {[3, −3, 1, 0]T , [0, −1, 0, 1]T } 5.7 Koordinaattijärjestelmä V Vektoriavaruus B = {v1 , v2 , . . . , vn } kanta x = c1 v1 , c2 v2 , . . . , cn vn Koordinaattivektori kannassa B [x]B = [c1 , c2 , . . . , cn ]T 5.8 Isomorfismi 53 Esimerkki 5.11 V = {AR2×2 |AT = A} 1 0 B = {B1 , B2 , B3 }, missä B1 = , 0 1 2 3 = 2B1 + 3B2 + B3 A= 3 6 0 1 B2 = , 1 1 0 0 B3 = 0 1 A:n koordinaatit kannassa B: [A]B = [2, 3, 1]T Koordinaatit R4 :ssä B = {b1 , b2 , . . . , bn } kanta B = {e1 , e2 , . . . , en } luonnollinen kanta Tehtävä: määrää vektorin x koordinaatit kannassa B c1 b1 + c2 b2 + · · · + cn bn = x PB · [x]B = x, 5.8 missä PB = [b1 , b2 , . . . , bn ] Isomorfismi V,W Vektoriavaruuksia T : V → W Lineaarikuvaus, bijektio Sanotaan, että T on isomorfismi. Olkoon B = {b1 , . . . , bn } kanta V :ssä. Kuvaus x → [x]B on isomorfismi V → Rn . Esimerkki 5.12 V = {A ∈ R3×3 |AT = −A} 0 1 0 B1 = −1 0 0 , 0 0 0 Kuvaus 0 a b −a 0 c −b −c 0 → 0 0 1 B2 = 0 0 0 , −1 0 0 0 0 0 B3 = 0 0 1 0 −1 0 a b c on isomorfismi: V → R3 Aliavaruuksien N(A) ja ColA dimensiot −3 6 −1 1 −7 1 A = 1 −2 2 3 −1 ∼ 0 2 −4 5 8 −4 0 −2 0 0 2 1 0 3 −1 2 2 0 0 Vektoriavaruudet 54 2 pivotsaraketta ⇒ dim ColA = 2 3 vapaata saraketta ⇒ dimN(A) = 3 dim ColA + dimN(A) = 5 = A:n sarakkeiden lukumäärä Yleisesti pätee, että dim ColA + dimN(A) = n 5.9 Matriisin riviavaruus RowA = Col(AT ) 1 2 RowA = span{1 , 0} 0 2 1 1 0 A= 2 0 2 Rivioperaatiot ja RowA ! Ri + c · R j A ! B ∼ Ri (B) = Ri (A) + c · R j (A) ∈ span{Ri (A), R j (A)} Yleisesti pätee, että A∼B 5.10 ⇒ RowA = RowB Matriisin aste, rank A rankA = dim RowA 1 0 1 1 1 3 1 0 A= 0 −3 0 ∼ 0 2 3 2 0 0 3 0 0 1 0 =B 0 0 RowA = RowB = span{[1, 0, 1]T , [0, 3, 0]T } ⇒ rankA = 2 Esimerkki 5.13 1 0 A∼ 0 0 3 0 0 0 1 1 0 0 0 2 0 0 1 3 1 0 ⇒ rankA = 3 5.11 Kannanvaihto 55 rankA = dim RowA = dim ColA rankA + dimN(A) = n Säännölliset matriisit (jatkoa sivulta 32). Yhtäpitävää: • • • • • • A−1 on olemassa ColA = Rn dim ColA = n rankA = n N(A) = {0} dimN(A) = 0 Esimerkki 5.14 Rank-teoreeman sovellus Ax = 0 A ∈ R10×12 Kuinka monta lineaarisesti riippumatonta ratkaisua vähintään rankA ≤ 10 eli dimN(A) = n − rankA ≥ 12 − 10 = 2 A ∈ R50×51 Yhtälölle Ax = 0 on löydetty 2 lineaarisesti riippumatonta ratkaisua. Onko Ax = b ratkeava ∀b? dimN(A) ≥ 2 eli rankA = 51 − dimN(A) ≤ 51 − 2 = 49 Ax = b ei ratkeava ∀b. 5.11 Kannanvaihto B = {b1 , . . . , bn }, C = {c1 , . . . , cn } Kannat V :ssä x = x1 b1 + x2 b2 + · · · + xn bn x = y1 c1 + y2 c2 + · · · + yn cn Kuvaus x → [x]B = [x1 , . . . , xn ]T lineaarinen Kuvaus x → [x]C = [y1 , . . . , yn ]T lineaarinen Kuvaus [x]B → x → [x]C lineaarinen Kuvauksella matriisiesitys [x]C = M · [x]B = PC←B [x]B , missä M = PC←B on kannanvaihtomatriisi. Kannanvaihtomatriisi x = b1 = 1 · b1 + 0 · b2 + · · · + 0 · bn ⇒ [b1 ]B = [1, 0, . . . , 0]T Vektoriavaruudet 56 x = b2 = 0 · b1 + 1 · b2 + · · · + 0 · bn ⇒ [b2 ]B = [0, 1, 0, . . . , 0]T [b1 ]C = PC←B · [b1 ]B = PC←B · e1 [b2 ]C = PC←B · [b2 ]B = PC←B · e2 .. . [bn ]C = PC←B · [bn ]B = PC←B · en Saadaan {[b1 ]C [b2 ]C · · · [bn ]C } = PC←B [e1 e2 · · · en ] = PC←B · I PC←B = {[b1 ]C [b2 ]C · · · [bn ]C } Esimerkki 5.15 H = span{1,t, sint,t sint} Kaksi kantaa: B = {1,t, sint,t sint} = {b1 , b2 , . . . , bn } C = {1 + t,t,t + sint, (1 + t) sint,t sint − 1} = {c1 , c2 , c3 , c4 } Olkoon x(t) = (2 + 3t) sint + t − 4. Koordinaatit kannassa B: [x(t)]B = [−4, 1, 2, 3] Kannanvaihtomatriisi PB←C = {[c1 ]B [c2 ]B · · · [c4 ]B } = {[1 + t]B [t + sint]B · · · [t sint − 1]B } 1 0 0 −1 1 1 0 0 = 0 1 1 0 0 0 1 1 −1 Koordinaatit kannassa C: [x(t)]C = PB←C [−4, 1, 2, 3]T Signaali-avaruus S S = {(xn )|n = 0, ±1, ±2, . . . } = R∞ Kuva 5.3: Kuvateksti. Signaalit u, v, w ovat lineaarisesti riippumattomia, jos c1 u + c2 v + c3 w = 0 ⇒ c1 uk + c2 vk + c3 wk = 0, ∀k c1 = c2 = c3 = 0 ⇒ c1 = c2 = c3 = 0 5.12 Differenssiyhtälö 5.12 57 Differenssiyhtälö a0 yk+n + a1 yk+n−1 + · · · + an yk = zk , ∀k Kuvaus (yk ) → (zk ) on lineaarikuvaus F : S → S. Kuva 5.4: Kuvateksti. Homogeeniyhtälö, F(yk ) = 0 a0 yk+n + · · · + an yk = 0, ∀k Ratkaisuyrite: y = (rk ) a0 rk+n + · · · + an rk = 0 a0 rn + · · · + an−1 r + an = 0 Karakteristinen yhtälö. Juuret: r = ρ1 , ρ2 , . . . , ρn Ratkaisut y1 = (. . . , ρ1−2 , ρ1−1 , 1, ρ1 , ρ12 , . . . ) y2 = (. . . , ρ2−2 , ρ2−1 , 1, ρ2 , ρ22 , . . . ) .. . yn = (. . . , ρn−2 , ρn−1 , 1, ρn , ρn2 , . . . ) Surjektio-ominaisuus F:S→S F(yk ) = [a0 yk+n + · · · + an yk ]k=−∞,∞ . Olkoon z = (zk ). Yhtälöllä F(yk ) = (zk ) on yksikäsitteinen ratkaisu, kun y0 , y1 , . . . , yn−1 on määrätty. yn = z0 − [a1 yn−1 + · · · + an y0 ] yn+1 = z1 − [a1 yn + · · · + an y1 ] yn+2 = z2 − [a1 yn−1 + · · · + an y2 ] .. . F : S → S on surjektio Homogeeniyhtälön ratkaisuista H = {(yk )|F(yk ) = 0}. Määritellään, että T : H → Rn ja T(yk ) = (y0 , . . . , yn−1 )T Jos T on lineaarikuvaus ja bijektio, niin dimH = n. Jos karakteristisen yhtälön juuret ovat erisuuret, niin ratkaisut yi = (ei )k muodostavat kannan H:ssa. Vektoriavaruudet 58 Ei-homogeeninen yhtälö Esimerkki 5.16 yk+2 − 4yk+1 + 3yk = −4k Yksittäisratkaisu on yk = k2 ja karakteristinen yhtälö on r2 − 4r + 3 = 0, josta saadaan r1 = 1 ja r2 = 3. Yleinen ratkaisu: (k2 ) + c1 (r1k ) + c2 (r2k ) k2 + c1 1k + c2 3k 5.13 1. Kertaluvun systeemit A ∈ Rn×n ja xk ∈ Rn xk+1 = Axk Esimerkki 5.17 yk+3 − 2yk+2 − 5yk+1 + 6yk = 0 Asetetaan: xk = [yk , yk+1 , yk+2 ]T yk+1 yk+1 yk+2 xk+1 = yk+2 = yk+3 −6yk + 5yk+1 + 2yk+2 0 1 0 yk = 0 0 1 · yk+1 = A · xk −6 5 2 yk+2 Yleisesti saadaan, että yk+n + a1 yk+n−1 + · · · + an yk = 0, ∀k yk yk+1 xk = . , .. yk+n−1 5.14 0 0 .. . ⇔ 1 0 .. . xk+1 = Axk 0 1 .. . ··· A= −an −an−1 −an−2 0 0 .. . −a1 Ekosysteemin kehityspolku Lajit 1, . . . , n. Lajin i määrä vuonna k = xik ja lajivektori xk = [x1k , x2k , . . . , xnk ]T . Lajien riippuvuus toisistaan xi,k+1 = ai1 x1k + ai2 x2k + · · · + ain xnk x1,k+1 a11 · · · a1n x1k x2,k+1 x2k a21 · · · a2n .. = .. . . a · · · a n1 nn xn,k+1 xnk ⇒ xk+1 = Axk 5.14 Ekosysteemin kehityspolku Tasapainotila: Ax = x. Sama lajiprofiili: Ax = λ x 59 6. Ominaisarvot ja ominaisvektorit T : Rn → Rn Lineaarikuvaus Jos T(v) = λ · v sanotaan, että v on ominaisvektori ja λ on ominaisarvo. Kuva 6.1: Kuvateksti. Esimerkki 6.1 3 −2 0 A = 1 0 0 0 0 1 2 v = 1 0 4 3 −2 0 2 Av = 1 0 0 1 = 2 = 2 · v 0 0 0 1 0 Matriisin ominaisarvot Ax = λ x (A − λ I)x = 0 A−λI singulaarinen det(A − λ I) = 0 Ominaisavaruus N(λ ) = N(A − λ I) = {x|(A − λ I)x = 0} Ominaisarvot ja ominaisvektorit 62 Esimerkki 6.2 λ = 2 4 −1 6 A = 2 1 6 , 2 −1 8 (A − 2I)x = 0 ⇔ 4 − 2 −1 6 2 −1 6 1−2 6 = 2 1 6 A − 2I = 2 2 −1 8 − 2 2 −1 6 2x1 − x2 + 6x3 = 0 ⇔ 1/2 −3 x = s 1 +t 1 0 0 Ominaisavaruus N(2) = span{[1/2, 1, 0]T , [−3, 0, 1]T } Kuva 6.2: Kuvateksti. Kolmiomatriisi a11 − λ A−λI = 0 0 a12 a22 − λ 0 a13 a23 a33 − λ detA − λ I = (a11 − λ )(a22 − λ )(a33 − λ ) = 0 ⇔ λ = a11 , λ = a22 , λ = a33 Kolmiomatriisin ominaisarvot ovat sen lävistäjäalkiot. Säännöllisyys: A singulaarinen ⇔ • Ax = 0 jollakin x 6= 0 • Ax = 0 · x jollakin x 6= 0 • A:n (yksi) ominaisarvo on λ = 0 Ominaisvektoreiden lineaarinen riippumattomuus λ1 , λ2 , . . . , λk eri suuria ominaisarvoja ja v1 , v2 , . . . , vk ominaisvektoreita. v1 , . . . , vk−1 ovat lineaarisesti riippumattomia. vk = a1 v1 + · · · + ak−1 vk−1 Avk = a1 Av1 + · · · + ak−1 Avk−1 λk vk = a1 λ1 v1 + · · · + ak−1 λk−1 vk−1 0 = a1 (λ1 − λk )v1 + · · · + ak−1 (λk−1 − λk )vk−1 ⇒ a1 = a2 = · · · = ak+1 = 0 ⇒ vk = 0 6.1 Ominaisvektorit ja differenssiyhtälöt 6.1 63 Ominaisvektorit ja differenssiyhtälöt yk+3 − 2yk+2 − 5yk+1 + 6yk = 0 yk 0 1 0 xk = yk+1 , xk+1 = 0 0 1 xk yk+2 −6 5 2 ⇒ xk+1 = Axk Olkoon x0 ominaisvektori Ax0 = λ x0 . Asetetaan xk = λ k x0 Axk = A(λ k x0 ) = λ k A(x0 ) = λ k λ x0 = λ k+1 x0 = xk+1 Jono xk = λ k x0 on ratkaisu! 6.2 Similaarisuus A, B ∈ Rn×n ovat similaariset jos on olemassa matriisi P, jolle A = PBP−1 Jos A, B ovat similaariset, niillä on samat ominaisarvot. λ ominaisarvo ⇔ • • • • • det(A − λ I) = 0 det(PBP−1 − λ PP−1 ) = 0 det[P(B − λ I)P−1 ] = 0 detP · det(B − λ I) · detP−1 = 0 det(B − λ I) = 0 A:lla ja A, B:llä on sama ominaispolynomi. 6.3 Diagonalisointi A on diagonalisoituva, jos A on similaarinen lävistäjämatriisin kanssa λ1 −1 .. A = PDP−1 = P P . λn Tällöin λ1 , . . . , λn ovat A:n ominaisarvot ja matriisin P = [v1 , v2 , . . . , vn ] sarakkeet ovat lineaarisesti riippumattomia ominaisvektoreita. det(A − λ I) = det(B − λ I) = (λ1 − λ )(λ2 − λ ) · · · (λn − λ ) A = PDP−1 ⇒ AP = PD λ1 A[v1 , . . . , vn ] = [v1 , . . . , vn ] .. . λn Av1 = λ1 v1 , . . . , Avn = λn vn Ominaisarvot ja ominaisvektorit 64 Esimerkki 6.3 1 3 3 A = −3 −5 −3 3 3 1 det(A − λ I) = −λ 3 − 3λ 2 + 4 = −(λ − 1)(λ + 2)2 0 3 3 1 1 0 A − 1I = −3 −6 −3 ∼ 0 1 1 , 3 3 0 0 0 0 1 v1 = −1 1 −s − t v1 = s t 3 3 3 1 1 1 A + 2I = −3 −3 −3 ∼ 0 0 0 , 3 3 3 0 0 0 dimN(A + 2I) = 2 −1 v2 = 1 , 0 −1 v3 = 0 1 A = PDP−1 −1 −1 −1 0 , P = −1 1 1 0 1 1 0 0 D = 0 −2 0 0 0 −2 Ei-diagonalisoituva matriisi 2 4 3 A = −4 −6 −3 3 3 1 p(λ ) = −(λ − 1)(λ + 2)2 dimN(A − I) = 1 ja dimN(A + 2I) = 1 Vain kaksi ominaisvektoria ⇒ A ei ole diagonalisoitavissa. Ominaisarvon kertaluku det(A − λ I) = (λ − λ1 )α1 (λ − λ2 )α2 · · · (λ − λk )αk Jos αk = 1, niin ominaisarvo λk on yksinkertainen ja dimN(A − λk I) = 1 Jos αk > 1, niin on mahdollista, että dimN(A − λk I) > 1 6.4 Lineaarikuvauksen matriisiesitys 65 Kuva 6.3: Kuvateksti. 6.4 Lineaarikuvauksen matriisiesitys V,W vektoriavaruuksia ja T :V → W lineaarikuvaus. B = {b1 , . . . , bn } on kanta V :ssä. C = {c1 , . . . , cn } on kanta W :ssä. x → Tx x = α1 b1 + α2 b2 + · · · + αn bn Tx = α1 Tb1 + α2 Tb2 + · · · + αn Tbn Koordinaattivektorit [x]B = [α1 , α2 , . . . , αn ]T [Tx]C = α1 [Tb1 ]C + · · · + αn [Tbn ]C = {[Tb1 ]C [Tb2 ]C · · · [Tbn ]C } · [x]B 6.5 Kuvausmatriisin kaava [Tx]C = M[x]B , missä M = {[Tb1 ]C [Tb2 ]C · · · [Tbn ]C } Kuva 6.4: Kuvateksti. Esimerkki 6.4 v = Q2 T (p(t)) = p0 (t) kanta B = {1,t,t 2 } T (1) = 0 [T (1)]B = [0, 0, 0] T (t) = 1 [T (t)]B = [1, 0, 0] T (t 2 ) = 2t [T (t 2 )]B = [0, 2, 0] Kuvauksen matriisi 0 1 0 M = [T ]B = 0 0 2 0 0 0 Ominaisarvot ja ominaisvektorit 66 Esimerkki 6.5 P22 = {p(x, y)|2. asteen polynomi} p(x, y) = a00 + a10 x + a01 y + a20 x2 + a02 y2 + a11 xy Lineaarikuvaus T : P22 → P22 T (p(x, y)) = ∂2 [xyp(xy)] ∂ x∂ y Kanta B = {1, x, y, x2 , y2 , xy} T (1) = Dx Dy [xy] = 1 T (x) = Dx Dy [x2 y] = 2x T (y) = Dx Dy [xy2 ] = 2y T (x2 ) = Dx Dy [x3 y] = 3x2 T (y2 ) = Dx Dy [xy3 ] = 3y2 T (xy) = Dx Dy [x2 y2 ] = 4xy Kuvauksen T matriisi 1 0 0 M= 0 0 0 0 2 0 0 0 0 0 0 2 0 0 0 0 0 0 3 0 0 0 0 0 0 3 0 0 0 0 0 0 4 6.6 Lineaarikuvaus ja diagonaali-esitys T : Rn → Rn lineaarikuvaus Tx = Ax - matriisi A = T:n matriisi luonnollisen kannan E = {e1 , e2 , . . . , en } suhteen [T ]E = A Oletetaan A = PDP−1 , jossa P = [b1 , . . . , bn ]. Ominaisvektorit muodostava kannan B = [b1 , b2 , . . . , bn ] kuvauksen T matriisi kannassa. AP = PD ⇒ A[b1 , . . . , bn ] = [b01 , . . . , bn ] · D T (b1 ) = Ab1 = λ1 b1 ⇒ [T (b1 )]B = [λ1 , 0, . . . , 0]T [T (bn )]B = [0, . . . , 0, λn ]T λ1 .. [T ]B = {[T (b1 )]B · · · T (bn )]B } = =D . λn T (bn ) = Abn = λn bn ⇒ 6.7 Kompleksiset tapaukset 6.7 67 Kompleksiset tapaukset Kompleksiset vektorit 3−i 3 −1 x = i = 0 + i 1 2 + 5i 2 5 ∈ C3 = Re x + i · Im x Re x on reaaliosa ja Im x on imaginaariosa, molemmat ∈ R3 Konjugaatti, z = α + iβ , z = α − iβ z11 · · · z1n M = ... = ReM + i · ImM zn1 · · · znn z11 · · · .. M= . z1n zn1 · · · znn λA = λ ·A = ReM − i · ImM AB = A · B Kompleksiset ominaisarvot 0 −1 A= 1 0 det(A − λ I) = λ 2 + 1, 0 −1 1 1 =i 1 0 −i −i Au1 = iu2 0 −1 1 1 = −i 1 0 i i Au2 = −iu2 λ = ±i Periodi-ilmiö 0, 5 −0, 6 A= 0, 75 1, 1 λ = 0, 8 ± 0, 6i Olkoon x0 = (2, 0)T . Laske x1 = Ax0 , . . . , xk = Ak x0 Konjugaattiparit A on reaalinen matriisi ∈ Rn×n ja λ on kompleksinen ominaisarvo. Ax = λ x ⇒ Ax = Ax = Ax = λ x = λ · x Ominaisarvot ja ominaisvektorit 68 Kuva 6.5: Kuvateksti. Nähdään, että λ on myös ominaisarvo. Ominaispolynomi A ∈ Rn×n , p(λ ) = det[A − λ I] = α0 (λ − λ1 )(λ − λ2 ) · · · (λ − λn ) Juuria on n kappaletta: (λ − λi )k Osa moninkertaisia → Osa konjugaattipareja (λ − λi )(λ − λi ) (λ − α − iβ )(λ − α + iβ ) = (λ − α)2 + β 2 Esimerkki 6.6 Pöllölajin populaation dynamiikka Kuva 6.6: Kuvateksti. p(k + 1) 0 0 0, 33 p(k) q(k + 1) = 0, 18 0 0 q(k) r(k + 1) 0 0, 71 0, 94 r(k) x(k) = [p(k), q(k), r(k)]T ⇒ x(k + 1) = Ax(k) Pöllöt ja rotat: Yksinkertaistettu populaation kasvumalli (a(k) = pöllöt ja b(k) = rotat) ( a(k + 1) = 0, 5a(k) + 0, 4b(k) b(k + 1) = −pa(k) + 1, 1b(k) T x(k) = [a(k), b(k)] 0, 5 0, 4 x(k + 1) = x(k) = Ax(k) −p 1, 1 Oletus: p = 1, 04 λ1 = 1, 02, λ2 = 0, 48, 10 5 v1 = , v2 = 13 1 6.7 Kompleksiset tapaukset 69 Alkuarvo: x0 = c1 v1 + c2 v2 xk = c1 λ1k v1 + c2 λ2k v2 = c1 (1, 02)k k+1 xk+1 ≈= c1 (1, 02) 10 5 + c2 (0, 58)k 13 1 10 ≈ 1, 02xk 13 Populaation kehitysurat xk+1 = Axk Kuva 6.7: Kuvateksti. Diagonalisointi ja koordinaatiston vaihto xk+1 = Ax(k) Ominaisvektorit v1 , . . . , vn P = [v1 , . . . , vn ] D = diag[λ1 , . . . , λn ] Muuttujien vaihto, y(k) = P−1 x(k), x(k) = Py(k) y(k + 1) = P−1 x(k + 1) = P−1 Ax(k) = P−1 APy(k) = Dy(k) y1 (k + 1) λ1 y1 (k) .. .. .. = . . . yn (k + 1) λn yn (k) yi (k + 1) = λi yi (ki ) Pöllölajin kohtalo 0 0 0, 33 0 0 , A = 0, 18 0 0, 71 0, 94 λ1 = 0, 98, λ2 = −0, 02 + 0, 21i xk+1 = Axk λ3 = −0, 02 − 0, 21i Ominaisvektorit: v1 , v2 , v3 Yleinen ratkaisu xk = c1 (λ1 )k v1 + c2 (λ2 )k v2 + c3 (λ3 )k v3 , |λ1 | < 1, |λ2 | = |λ3 | = 0, 0445 < 1, xk → 0 Oletus: eloonjääminen paranee 0, 18 → 0, 3 λ1 = 1, 01, λ2 = −0, 03 + 0, 26i, λ3 = −0, 03 − 0, 26i k xk ≈ c1 (1, 01) v1 Ominaisarvot ja ominaisvektorit 70 6.8 Lineaariset systeemit x10 = a11 x1 + . . . + a1n xn + f1 x20 = a21 x1 + . . . + a2n xn + f2 .. . x30 = an1 x1 + . . . + ann xn + fn Saadaan muotoon X0 (t) = A(t)X(t) + F(t) tai lyhyesti X0 = AX + F Autonominen lineaarinen systeemi x0 = AX Ratkaisuyrite on x(t) = eλt · u λ eλt · u = Aeλt · u eλt [Au − λ u] = 0 λi ovat ominaisarvot ja ui ovat ominaisvektorit x(t) = a1 eλ1t · u1 + · · · + an eλnt · un Diagonalisointi x0 = AX u = [u1 , u2 , . . . , un ] D = diag[λ1 , λ2 , . . . λn ] AU = UD ja U−1 AU = D Muuttujanvaihto X = UY X0 = AX ⇒ UY0 = AUY Y0 = D · Y y01 = λ1 y1 y0 = λ2 y2 2 .. . 0 yn = λn yn Kompleksiset juuret x0 = AX Ratkaisu: x = eλit · ui , λ = a + ib x = eat [cos bt + i sin bt] · ui Tulos: periodinen ratkaisu Tapaus 1: ⇒ Y0 = U−1 AUY. 6.8 Lineaariset systeemit 71 Kuva 6.8: Kuvateksti. Tapaus 2: Kuva 6.9: Kuvateksti. Kytketyt / Erilliset systeemit x10 .. . A1 0 x k = x0 k+1 .. 0 . 0 A2 xn0 x1 . .. xk xk+1 .. . xn Osasysteemit ( X0 = A1 X Y0 = A2 Y Diagonalisointi 0 x1 λ1 x0 λ2 2 .. = . xn0 .. x1 x2 .. . . λn xn Defektiivinen tapaus: x0 = AX. A:lla ominaisvektoreita vajaa määrä Esimerkki 6.7 Y01 = Y1 − 2Y3 Y02 = −Y2 + Y3 Y03 = −Y3 Ominaisarvot ja ominaisvektorit 72 Ratkaisu: Y3 = Ce−t Y2 = (C2 + C3t)e−t Y1 = C1 et C3 e−t 1 0 1 Y = C1 0 et + C2 1 e−t + C3 t e−t 0 0 1 6.9 Rata-kuvioista ( x10 = a11 x1 + a12 x2 x20 = a21 x2 + a21 x2 , a11 a12 A= , a21 a22 ominaisarvot: λ1 , λ2 Kuva 6.10: Kuvateksti. Kuva 6.11: Kuvateksti. 7. Ortogonaalisuus ja PNS 7.1 Sisätulo ja ortogonaalisuus u, v ∈ Rn . Näiden sisätulo u · v = uT · v = u1 · · · v1 . un · .. = u1 v1 + u2 v2 + · · · un vn vn Esimerkki 7.1 u = [2, −5, −1]T , v = [3, 2, −1]T u · v = uT · v = 2 · 3 + (−5) · 2 + (−1)(−3) Ominaisuuksia • • • • u·v = v·u (u + v) · w = u · w + v · w (cu) · v = c(u · v) u · u ≥ u · u = 0 vain jos u = 0 Normi Vektorin x normi (pituus) q √ kxk = xT x = x12 + x22 + · · · + xn2 Yksikkövektori: kxk = 1 Vektorin normalisointi: u = x/kxk Etäisyys x, y ∈ Rn d(x, y) = kx − yk Ortogonaalisuus ⇒ kuk = 1 Ortogonaalisuus ja PNS 74 Kuva 7.1: Kuvateksti. ⇔ x, y kohtisuorat x·y = 0 xT · y = 0 ⇔ Kulma x · y = kxk · kyk cos α Kuva 7.2: Kuvateksti. 7.2 Ortogonaalinen joukko, Ortonormaali joukko {v1 , v2 , . . . , vn } ∈ Rn ortogonaalinen, jos vi · v j , ∀i 6= j Joukko on ortonormaali, jos vi · v j = 0, ∀i 6= j tai vi · vi = 1, ∀i Esimerkki 7.2 3 u1 = 1 , 1 −1 u2 = 2 , 1 −1/2 u3 = −2 7/2 u1 · u2 = 3 · (−1) + 1 · 2 + 1 · 1 = 0 jne... Lineaarinen riippumattomuus c1 u1 + c2 u2 + · · · + cn un = 0 c1 u1 · ui + c2 u2 · ui + · · · + cn un · ui = 0 ci (ui · ui ) = 0 ⇒ ci = 0 Ortogonaalinen kanta ja koordinaatit {v1 , v2 , . . . , vn } ∈ Rn ortogonaalinen kanta y = c1 v1 + c2 v2 + · · · + cn vn , ci = y · vi vi · vi y · vi = ci vi · · · vi 7.3 Ortogonaalinen projektio 75 Ortonormaali kanta ja koordinaatit {u1 , u2 , . . . , un } ∈ Rn ortonormaali kanta y = c1 u1 + c2 u2 + · · · + cn un , 7.3 ⇒ ci = y · ui Ortogonaalinen projektio Kuva 7.3: Kuvateksti. ŷ = αu, ŷ ⊥ (y − ŷ) αu · (y − αu) = 0 ⇒ u · y − α(u · u) = 0 ⇒ α= Projektio Py = y·u u u·u Kuvaus y → Py on lineaarikuvaus! Pisteen y etäisyys suorasta S ky − ŷk = ky − y·u · uk u·u Ortogonaali komplementti S ⊂ Rn joukko vektoreita. S:n ortogonaali komplementti S⊥ = {y ∈ Rn |y · x = 0 ∀x ∈ S} Kuva 7.4: Kuvateksti. S⊥ on aina aliavaruus! y1 · x = 0 ∀x ∈ S y2 · x = 0 ∀x ∈ S (y1 + y2 ) · x = y1 · x + y2 · x = 0 ∀x ∈ S S⊥ = (span S)⊥ u·y u·u Ortogonaalisuus ja PNS 76 x ⊥ y1 , y2 , . . . , yn (α1 y1 + · · · + αn yn ) · x = 0 x ⊥ span S Aliavaruuden ortogonaali projektio H aliavaruus, x ∈ / H, y ∈ H. kx − yk = minimi ⇔ x−y ⊥ H Kuva 7.5: Kuvateksti. I oletus: (x − y∗ ) ⊥ H y = y∗ + h x − y = (x − y∗ ) + (y∗ − y) = (x − y∗) − h Pythagoras: kx − yk2 = kx − y∗ k2 + khk2 ⇒ kx − y ∗ k = minimi! II oletus: (x − y) · h 6= 0, h ∈ H kx − (y − th)k2 = ku + thk2 = kuk2 + 2t(u · h) + t 2 khk2 ∆ = 4ac − b2 = 4[kuk2 khk2 − (u · h)2 ] Schwazin epäyhtälö |u · v| ≤ kuk · kvk |u · v| = kuk · kvk vain jos u = α · v ∆ = 4ac − b2 > 0 Polynomilla p(t) = ku + thk2 on kaksi nollakohtaa. Minimi < p(0) = kx − yk Kuva 7.6: Kuvateksti. Projektiokuvaus H aliavaruus x → y∗ = Px = PH x on lineaarikuvaus. H = H ⊥⊥ , H ⊂ Rn aliavaruus 1: H ⊂ H ⊥⊥ : x ∈ H, y ∈ H ⊥ 2: x ∈ / H, Px 6= x ⇒ x·y = 0 ⇒ x ∈ H ⊥⊥ 7.4 Ortogonaalipolynomit 77 Kuva 7.7: Kuvateksti. z = x − Px ∈ H ⊥ ⇒ x − z = Px ∈ H x · z = (x − z + z) · z = (x − z) · z + z · z = kzk2 6= 0 ⇒ Kuva 7.8: Kuvateksti. S⊥⊥ span S. S ⊂ Rn joukko vektoreita. S⊥ = (span S)⊥ S⊥⊥ = (span S)⊥⊥ = span S 7.4 Ortogonaalipolynomit V = P3 [−1, 1], kanta {u0 , u1 , u2 , u3 } u0 (t) = 1 u1 (t) = 2t u2 (t) = −2 + 4t 2 u3 (t) = −12t + 8t 3 Ortonormaalisuus ui · u j = kui k = Z 1 Z −1 1 −1 ui (t)u j (t) dt = 0∀i 6= j [ui (t)]2 dt = 1 Etsi paras approksimaatio et ≈ α0 u0 (t) + · · · + α3 u3 (t) Ortogonaalinen matriisi x∈ / H ⊥⊥ Ortogonaalisuus ja PNS 78 Kuva 7.9: Kuvateksti. Kuva 7.10: Kuvateksti. Matriisi U = [u1 , u2 , . . . , un ] ∈ Rn×n on ortogonaalinen, jos ui · u j = 0, ∀i 6= j ja ui · u j = 1, ∀i Eli jos UT U = I Ominaisuuksia • UT U = UUT = I • kUxk = kxk • Ux · Uy = x · y Ux · Uy = (Ux)T Uy = xT UT Uy = xT y = x · y Projektiomatriisi {u1 , u2 , . . . , u p } ortonormaali joukko. V = span{u1 , . . . , u p } ja P = Pv = projektiokuvaus Kuva 7.11: Kuvateksti. Py = (y · u1 ) · u1 + · · · + (y · u p ) · u p Py = α1 u1 + · · · + α p u p , y − Py ⊥ V ⇒ (y − Py) · ui = 0 Py · ui = (α1 u1 + · · · + α p u p ) · ui = αi y · ui = (y − Py + Py) · ui = (y − Py)ui + Py · ui = 0 + αi 7.5 Ortogonalisointi askel 79 Py = UUT y Py = α1 u1 + · · · + α p u p T u1 y α1 . u1 · · · u p · .. = U · ... = UUT y uTp y αp Esimerkki 7.3 v1 = [1, 2, 2]T , v2 = [0, −1, 1]T , y = [−9, 1, 6]T ja V = span{v1 , v2 }. √ √ Normalisointi: u1 = [1/3, 2/3, 2/3]T , u2 = [0, −1/ 2, 1/ 2]T 1/3 0 √ U = u1 u2 = 2/3 −1/√ 2 2/3 1/ 2 Projektiokuvaus V :lle 1/3 0√ 1/9 2/9 2/9 1/3 2/3 2/3 √ = 2/9 17/18 −1/18 √ P = UUT = 2/3 −1/√ 2 0 1/ 2 −1/ 2 2/9 −1/18 17/18 2/3 1/ 2 7.5 Ortogonalisointi askel Tapa 1 {u1 , u2 , . . . , uk } ortonormaali joukko, v ∈ / span{u1 , . . . , uk } Kuva 7.12: Kuvateksti. v̂ = v − α1 u1 − · · · − αk uk , v̂ · ui = 0 ∀i v · ui − α1 (u1 · ui ) − · · · − αk (uk · ui ) = 0, v̂ = v − (v · u1 )u1 − · · · − (v · uk )uk , αi = uk+1 = = v · ui v̂ kv̂k {u1 , . . . , uk , uk+1 } ortonormaali v·ui ui ·ui √ Esimerkki 7.4 u1 = 1/2[1, 1, −1, 1]T , u2 = 1/ 2[1, 0, 0, −1]T , u = [1, 2, 1, 2]T {u1 , u2 } ortonormaali joukko. v̂ = α1 u1 − α2 u2 . v̂ · u1 = 0 α1 = v · u1 = [1, 2, 1, 2] · 1/2[1, 1, −1, 1]T = 1/2(1 · 1 + 2 · 1 − 1 · 1 + 2 · 1) = 2 Ortogonaalisuus ja PNS 80 v̂ · u2√= 0 −1/ 2 √ √ α2 = v · u2 = [1, 2, 1, 2] · 1/ 2[1, 0, 0, −1]T = 1/ 2(1 · 1 + 2 · 0 + 1 · 0 − 2 · 1) = √ −1 + 1/ 2 1 1 1 √ 2 0 − 2 · 1 + 1/ 2 0 = v̂ = 0 −1 1 3√ −1 1 2 −1/ 2 √ −1 + 1/ 2 1 0 √ u3 = 3√ 11 − 2 −1/ 2 √ kv̂k = 11 − 2, Tapa 2 {u1 , u2 , . . . , uk } ortogonaalinen joukko, v ∈ / span{u1 , . . . , uk } Kuva 7.13: Kuvateksti. v̂ = v − α1 u1 − · · · − αk uk , v̂ · ui = 0 ∀i = 1, . . . , k v · ui − α1 (u1 · ui ) − · · · − αk (uk · ui ) = 0, v̂ = v − αi = v·ui ui ·ui v · ui v · ui · ui · ui u1 − · · · − · ui · ui uk , ui · ui ui · ui uk+1 = v̂ {u1 , . . . , uk , uk+1 } ortogonaalinen 7.6 Gram-Schmidt-prosessi {x1 , x2 , . . . , x p } lineaarisesti riippumaton joukko v1 = x1 v2 = x2 − α21 v1 v p = x p − α p1 v1 − · · · − α pp v p , αki = xk · vi vi · vi Tällöin {v1 , . . . , v p } ortogonaalinen ja span{v1 , . . . , vk } = span{x1 , . . . , xk } GS ja ortonormaali kanta ui = vi /kvi k ⇒ {u1 , u2 , . . . , u p } ortonormaali kanta. ∀k 7.7 QR-hajotelma 7.7 81 QR-hajotelma A ∈ Rn×n , r(A) = n A = [x1 , x2 , . . . , xn ] sarakkeet lineaarisesti riippumattomat Tavoite: A = Q · R, QT Q = I, R kolmiomatriisi Gram-Schmidt: {x1 , . . . , xn } → {u1 , . . . , un } ortonormaali span{x1 , . . . , xn } = span{u1 , . . . , un } x1 = R11 u1 x2 = R12 u1 + R22 u2 .. . xk = R1k u1 + R2k u2 + · · · + Rkk uk xk = u1 u2 · · · R1k .. . Rkk un 0 .. . 0 A = x1 · · · xn = u1 · · · R11 R12 R13 · · · R22 R23 · · · R33 · · · un Huomaa: • • • • rA = n ⇒ R säännöllinen A = QR QT A = QT QR = IR = R Voidaan olettaa, että rii > 0 ∀i Esimerkki 7.5 1 1 A= 1 1 0 1 1 1 0 0 1 1 Gram-Schmidt A:n sarrakeista saadaan 1 −3 1 1 v1 = 1 , v2 = 1 , 1 1 0 −2/3 v3 = 1/3 1/3 R1k R2k R3k .. . Rkk Ortogonaalisuus ja PNS 82 Normeeraus vi → vi /kvi k Q = u1 u2 √ 1/2 −3/√ 12 0√ 1/2 1/ 12 −2/ 6 √ √ u3 1/2 1/ 12 1/√6 √ 1/2 1/ 12 1/ 6 1 1 R = QT A = QT = 1 1 0 1 1 1 0 2 3/2 1 √ √ 0 = 0 3/ 12 2/ √12 1 0 0 2/ 6 1 Approksimaatio-ongelma v1 , v2 , . . . , v p vektoreita ∈ V H = span{v1 , v2 , . . . , v p } x ∈ V x ∈ /H Kuva 7.14: Kuvateksti. Tehtävä: Etsi y ∈ H, jolle ky − xk → min Ehto: (y − x) ⊥ H (y − x) · vk = 0 ∀k (x − ∑ip αi vi ) · vk = 0 ∀k p ∑i=1 αi (vi · vk ) = (x · vk ) ∀k Funktioavaruus ja sisätulo V = C[a, b] Sisätulo hf, gi = Z b f(x)g(x) dx a Normi s p kfk = hf, fi = Z b (f(x))2 dx a Ortonormaali esitys u1 , u2 , . . . , un ortonormaali kanta avaruudessa W . 7.8 Yhtälöryhmän PNS-ratkaisu x = c1 u1 + c2 u2 + · · · + cn un ⇒ 83 ci = x · ui x = (x · u1 )u1 + (x · u2 )u2 + · · · + (x · un )un = ∑n1 (x · ui )ui Jos u1 , . . . , u p on ortonormaali joukko, niin mitä on ∑4p 1 (x · ui )ui 7.8 Yhtälöryhmän PNS-ratkaisu ⇔ Ax = b ratkeava Jos b ∈ / colA ⇒ b ∈ colA. ei ratkaisua Kuva 7.15: Kuvateksti. Paras likimääräisratkaisu: kAx − bk → min! H = colA = span{a1 , . . . , an } Kuva 7.16: Kuvateksti. Projektioteoreema kAx − bk minimi ⇔ (Ax − b) ⊥ H ⇔ [a1 , a2 , . . . , an ]T (Ax − b) = 0 AT (Ax − b) = 0 Normaaliyhtälöt AT (Ax − b) = 0 ⇔ AT Ax = AT b Esimerkki 7.6 x1 + 2x2 = 4 x1 + 2, 1x2 = 4 2x1 + x2 = 5, 1 Ei ratkaisua! (Ax − b) · ai = 0 ∀i ⇔ aTi (Ax − b) = ∀i Ortogonaalisuus ja PNS 84 1 2 1 1 2 6 6, 1 T A A= · 1 2, 1 = 2 2, 1 1 6, 1 9, 41 2 1 4 1 1 2 18, 2 T · 4 = A b= 2 2, 1 1 19, 5 5, 1 PNS-ratkaisu 6 6, 1 x1 18, 2 · = 6, 1 9, 41 x2 19, 5 Esimerkki 7.7 PNS - monikäsitteinen ratkaisu 1 1 0 0 0 0 0 0 1 1 0 0 0 0 0 0 1 6 2 T A A= 2 2 2 2 0 0 2 0 2 0 1 1 1 A= 1 1 1 −3 −1 0 b= 2 5 1 1 1 0 [AT A, AT b] ∼ 0 0 2 0 0 2 0 1 0 0 4 −4 AT b = 2 6 0 1 3 0 −1 −5 1 −2 −2 0 0 0 PNS ratkaisu 3 −1 −5 1 x= −2 + t 1 0 1 7.9 QR-hajotelma ja PNS 7.9 85 QR-hajotelma ja PNS A = QR R11 R12 · · · 0 R21 · · · [a1 , a2 , . . . , an ] = [u1 , . . . , un ] · . .. .. . 0 0 ··· R1n R2n .. . Rnn {u1 , . . . , un } ortonormaali kanta aliavaruudessa colA = span{a1 , . . . , an }. P = QQT ortogonaali projektio aliavaruuteen H = colA Kuva 7.17: Kuvateksti. kAx − bk → min ⇔ Pb = Ax ⇔ QQT b = QRx QR-hajotelma tuottaa aina PNS-ratkaisun! 7.10 PNS ja regressioanalyysi Kuva 7.18: Kuvateksti. Havaintopisteet: (x1 , y1 ) . . . (xn , yn ) 1 x1 y1 = ρ0 + ρ1 x1 y2 = ρ0 + ρ1 x2 1 x2 x = .. .. . . 1 xn yn = ρ0 + ρ1 xn y = x·ρ PNS-ratkaisu xT xρ = xT y ⇒ ρ = (xT x)−1 xT y Sisätuloavaruudet V Vektoriavaruus (u, v) → hu, vi operaatio, jolle ⇔ x = R−1 QT b Ortogonaalisuus ja PNS 86 • • • • hu, vi = hv, ui hu + v, wi = hu, wi + hv, wi hcu, vi = chu, vi hu, ui ≥ 0 ja = 0 vain jos u = 0 Esimerkki 7.8 3 esimerkkiä: 1. V = R2 , α >0β >0 ⇒ hu, vi = αu1 v1 + β u2 v2 2. V = Pn {t0 , . . . ,tn } ⊂ R erilliset pisteet. Asetetaan hp, qi = p(t0 )q(t0 ) + · · · + p(tn )q(tn ) h f , gi = 3. V = C[−1, 1] 7.11 R1 −1 f (t)g(t) dt Sisätulo, normi, ortogonaalisuus Normi: kvk = p hv, vi Etäisyys: d(u, v) = ku − vk Ortogonaalisuus: hu, vi = 0 Schwarzin epäyhtälö: |hu, vi| ≤ kuk · kvk Kolmioepäyhtälö: ku + vk ≤ kuk + kvk Pythagoras: Jos hu, vi = 0, niin ku + vk2 = kuk2 + kvk2 Ortogonaalipolynomit V = P = polynomiavaruus Kanta: {1,t,t 2 , . . . ,t k . . . } R Sisätulo: hp, qi = w(t)p(t)q(t) dt Gram-Schmidt prosessi {r0 (t), r1 (t), . . . , ri (t), . . . } kri k = 1, hri (t), r j (t)i = 0 ∀i 6= j Painotettu PNS Havainnot: (x1 , y1 ) . . . (xn , yn ) Mallin ennuste: ŷi = f(xi ) Painotettu neliösumma: WSSE = W21 (y1 − ŷ1 )2 + · · · + W2n (yn − ŷn )2 Sisätulo: hx, yi = w21 x1 y1 + · · · + w2n xn yn WSSE = ky − ŷk2 = kWy − wŷk2 , missä w = diag[w1 , . . . , wn ] Painotettu regressio Malli ŷ = Ax 7.12 Fourier sarjat 87 kWy − Wŷk2 = kWy − wAxk→ min (WA)T (WAx − Wy) = 0 (WA)T WAx = (WAT )Wy 7.12 Fourier sarjat V =⊂ [0, 2π], {1, cost, cos 2t, . . . , cos nt, sint, . . . , sin nt} Ortogonaalinen kanta Sisätulo: h f , gi = R 2π 0 f (t)g(t) dx Fourier kehitelmä n f (t) ≈ ∑ ak cos kt + bk sin kt = ∑ ci ui (t) 1 Kuva 7.19: Kuvateksti. Fourier-kerroin ci = h f , ui i hui , ui i 8. Symmetriset matriisit ja Neliömuodot 8.1 Symmetriset matriisit AT = A xT Ax = (xT Ax)T = xT AT xT T = xT Ax xT Ax = xT Ax xT Ax reaalinen Au = λ u, AT = A uT Au = uT (λ u) = λ uT u λ reaalinen Au = λ u, Av = µv, λ 6= µ (λ u)T v = (Au)T v = uT AT v = uT Av = uT (µv) ⇒ λ uT v = µuT v u ⊥ v jos λ 6= µ 8.2 Schurin hajoitelma A on n × n matriisi, jolla n kappaletta reaalisia ominaisarvoja λ1 , . . . , λn . Au1 = λ1 u1 , ku1 k = 1 Valitaan u2 , . . . , un siten, että U = [u1 , u2 , . . . , un ] on ortogonaalinen T u1 λ1 uT 0 2 UT AU = . A u1 , . . . , un = . . . .. uTn 0 A1 Symmetriset matriisit ja Neliömuodot 90 A=U λ1 A1 UT det(A − λ I) = (λ1 − λ )det(A1 − λ I) Matriisilla A1 on ominaisarvot λ2 , . . . , λn ! u1 u2 . . . un = P A = PRPT 8.3 Ortogonaalinen diagonaalihajoitelma A = PDPT ja PT P = I. Silloin AT = (PDPT )T = PTT DT PT = PDPT = A ⇒ A symmetrinen. Oletus: AT = A ⇒ A:n ominaisarvot ovat reaaliset. Schur: A = PRPT AT = A ⇒ PRPT = PRT PT ⇒ R = RT = diagonaalimatriisi. Spektraalihajoitelma A = PDPT = λ1 u1 uT1 + λ2 u2 uT2 + · · · + λn un uTn Spektraaliteoreema Seuraavat ehdot yhtäpitäviä (A = Rn×n ): • • • • 8.4 A symmetrinen A:lla hajoitelma A = PDPT , PT P = I A:lla n kappaletta ortogonaalisia ominaisvektoreita. Rn = V (λ1 ) ⊕V (λ2 ) ⊕ · · ·V (λn ) ortogonaalisten ominaisavaruuksien suora summa. Neliömuodot x = [x1 , x2 , . . . , xn ]T , A ∈ Rn×n Q(x) = xT Ax, (xT Ax)T = xT Ax ⇒ xT AT x = xT Ax Q(x) = xT AT x = xT [1/2(A + AT )]x Voidaan olettaa, että A on symmetrinen. Esimerkki 8.1 x1 x2 2 5 3 x 2x + 5x + 3x 1 1 2 1 x3 1 0 0 x2 = x1 x2 x3 x1 1 0 1 x3 x2 + x3 = 2x12 + 6x1 x2 + 4x2 x3 + x32 2 3 2 x1 = x1 x2 x3 1 0 0 x2 2 0 1 x3 8.5 Neliömuoto ja rajoitettu optimointi 91 Kuva 8.1: Kuvateksti. Diagonaaliesitys Q(y) = yT Dy = λ1 y21 + λ2 y22 + · · · + λn y2n Neliömuotojen perustyypit R2 :ssa. Diagonalisointi ja pääakseliesitys Q(x) = xT Ax, AT = A Diagonaalihajoitelma: A = PDPT ⇒ Koordinaatiston vaihto: x = Py Q(x) = xT Ax = xT PDPT x = (PT x)T DPT x = yT Dy Q(y) = yT Dy on neliömuodon Q(x) pääakseliesitys. Ääriarvojen olemassaolo Q = 2y21 + 3y22 + y23 min Q = 2y21 + 3y22 − y23 satula Q= 8.5 −2y21 − 3y22 − y23 max Neliömuoto ja rajoitettu optimointi Q(x) = xT Ax, AT = A Kysymys: xT Ax → max ehdolla xT x = 1 Esimerkki 8.2 Q(x) = 9x12 + 4x22 + 3x32 Max Q(x), kun x12 + x22 + x32 ≤ 1 Q(x) ≤ 9x12 + 9x22 + 9x32 ≤ 9 Q[1, 0, 0]T = 9 · 12 + 4 · 02 + 3 · 02 = 9 Max Q(x) = 9 = max{λ1 , λ2 , λ3 } A:n diagonaalihajoitelma A = PDPT , PT P = I Q(x) = xT Ax = yT Dy, P ortogonaalinen ⇒ y = PT x kyk = kPT xk = kxk Symmetriset matriisit ja Neliömuodot 92 Yhtäpitävää: yT Dy → max ehdolla kyk = 1 max{xT Ax|kxk = 1} = maxλ 8.6 Lineaarikuvauksen singulaariarvot max{kAxk : kxk = 1} kAxk2 = (Ax)T Ax = xT AT Ax = Q(x) Kuva 8.2: Kuvateksti. Neliömuodon ääriarvo maxkAxk = maxQ(x) = λ1 , missä λ1 on matriisin AT A suurin ominaisarvo. AT A:n ominaisarvot λ1 ≥ λ2 ≥ · · · ≥ λn . u1 , . . . , un ominaisvektorit, ortonormaali kanta. kAui k2 = uTi AT Aui = uTi (λi ui ) = λi λ1 ≥ λ2 ≥ · · · ≥ λn ≥ 0 Singulaariarvot p σi = λi = kAui k Singulaarihajoitelma A ∈ Rm×n , rank(A) = r Tällöin σ1 ≥ σ2 ≥ · · · ≥ σn > 0 σ1 .. . σn A = U ∑ VT = U 0 .. . T V 0 u ortogonaalinen m × m matriisi ja v ortogonaalinen n × n matriisi.