Laskuharjoitus 5

Informaatioteoria (ELEC-C7220)
2015
Laskuharjoitus 5
Tee tehtävät 5.1 ja 5.2 itsenäisesti ja palauta paperilla palautuslaatikkoon 2. kerroksen käytävällä E-siiven kohdalla tai PDFmuodossa MyCoursesiin viimeistään tiistaina 1.12.2015. Tutustu myös
kolmeen muuhun tehtävään. Kaikki tehtävät käsitellään laskuharjoituksissa
2.12.2015.
Tehtävä 5.1 (kotitehtävä)
Stokastiset prosessit. Kirppu hyppii äärettömän pitkällä käytävällä satunnaiseen suuntaan metrin loikkia. Jokaisen loikan kohdalla kirppu arpoo suunnan (vasen tai oikea todennäköisyyksillä 1/2 ja 1/2). Olkoon Xi kirpun
i:nnen loikan suunta (−1 tai 1). Esimerkiksi X1 = 1, X2 = −1, X3 = −1,
X4 = −1 tarkoittaisi, että kirpun reitti on ollut 0, 1, 0, −1, −2 (lähtöpistettä
merkataan 0:lla).
(a)
Onko kyseessä riippumattomat samoin jakautuneet (independent identically distributed, i.i.d.) satunnaismuuttujat? Tutkija kirjaa kirpun
reitin ylös jonona nollia ja ykkösiä. Suunnittele menetelmä, jolla tutkija saa reitin merkittyä mahdollisimman lyhyenä jonona. Lähtöpiste
on tunnettu eikä sitä tarvitse koodata. Kuinka monta bittiä tarvitaan
yhtä loikkaa kohti?
Sama tilanne, mutta käytävän pituus on n metriä, eli mahdollisia sijainteja on n + 1. Käytävän päähän saavuttuaan kirpun siis pitää hypätä takaisin.
Xi :t ovat samoin kuin edellisessä, mutta nyt siis vasemmanpuoleisessa reunassa aina Xi = 1 ja toisessa reunassa aina Xi = −1.
(b)
Onko nyt kyseessä riippumattomat samoin jakautuneet (independent
identically distributed, i.i.d.) satunnaismuuttujat? Voitko muuttaa (a)kohdan menetelmää paremmaksi?
(c)
Olkoon n = 1 eli kirpulla on kaksi mahdollista sijaintia. Kuinka monta
bittiä tarvitaan yhtä hyppyä kohti?
(d)
Olkoon n = 4. Mallinna tilannetta satunnaiskävelynä graassa (ks.
esim. luentokalvot sivulta 166 alkaen) ja laske entropian kasvunopeus
(entropy rate).
1
Informaatioteoria (ELEC-C7220)
2015
Tehtävä 5.2 (kotitehtävä)
Piirrä kanava tai perustele, miksi sellaista ei voi olla olemassa:
(a)
Kaksi mahdollista syötearvoa (input), kaksi tulostearvoa (output), kapasiteetti 0.6 bittiä.
(b)
Viisi syötearvoa, kaksi tulostearvoa, kapasiteetti 1.0 bittiä.
(c)
Neljä syötearvoa, kolme tulostearvoa, kapasiteetti 1.65 bittiä.
Tehtävä 5.3
(a)
Mitkä ovat kuvan 1 kanavien kapasiteetit?
0.3
0.7
a)
b)
Kuva 1: Kaksi kanavaa
2
Informaatioteoria (ELEC-C7220)
(b)
2015
Binäärisessä Z-kanavassa virhe 1 → 0 tapahtuu todennäköisyydellä p
ja virhe 0 → 1 todennäköisyydellä 0. Tiedetään, että Z-kanavan kapasiteetti on log2 1 + (1 − p)pp/(1−p) bittiä lähetystä kohti. Voidaan
kytkeä Z-kanavia sarjassa, kuten kuvassa 2. Mikä on tällaisen kanavan
kapasitetti kun p = 0.5? Entä jos p = 0.5 ja kanavia on sarjassa m
kappaletta?
X
0
Y
Z
0
0
p
p
1
1
1
Kuva 2: Z-kanavat sarjassa
Tehtävä 5.4
Tarkastellaan kanavaa, jolle x, y ∈ {0, 1, 2, 3} ja siirtotodennäköisyydet p(y|x)
saadaan seuraavasta matriisista:

1
2
1
2
1
2
 0

 0
0
1
2
1
2
0
0
1
2
0

0
0 

1 
2
1
2
(a)
Mikä on kanavan kapasiteetti?
(b)
Määritellään satunnaismuuttuja z = g(y), jolle
g(y) =
A jos y ∈ {0, 1}
B jos y ∈ {2, 3}.
1) Laske I(x; z), kun x:n jakauma on
p(x) =
jos x ∈ {1, 3}
0 jos x ∈ {0, 2}.
1
2
2) Laske I(x; z), kun x:n jakauma on
p(x) =
(c)
0
1
2
jos x ∈ {1, 3}
jos x ∈ {0, 2}.
Mikä on x:n ja z :n välisen kanavan kapasiteetti?
3
Informaatioteoria (ELEC-C7220)
2015
Tehtävä 5.5
Olet jumissa piiritetyssä linnassa, ja ainoa kommunikaatiokeino liittolaisesi
kanssa on kirjekyyhkyjen käyttö. Oletetaan, että kukin kyyhky voi kuljettaa
yhden 8-bittisen viestin, lähetät kyyhkyjä 5 minuutin välein, ja kyyhkyllä
kestää 3 minuuttia päästä perille.
(a)
Mikä on kanavan nopeus (bitteinä tunnissa), jos kaikki kyyhkyt pääsevät perille?
(b)
Vihollinen ampuu lähettämiäsi kyyhkyjä ja saa osuuden α (0 < α <
1) pudotettua. Koska lähetät kyyhkyjä tasatahtiin, liittolaisesi tietää
mitkä kyyhkyt on ammuttu alas. Mikä on kanavan kapasiteetti?
(c)
Ovela vihollinen lähettää ammutun kyyhkyn tilalle uuden kyyhkyn,
jossa on satunnainen 8-bittinen viesti. Mikä on tämän kanavan kapasiteetti?
4