Uporaba prostorskega zvoka v interakciji človek

Lokalizacija zvoka in prostorski zvok
Lokalizacija zvočnih izvorov
†
Opis položaja izvora zvoka
Lokalizacija zvočnih izvorov
†
Direktni in odbiti zvočni val
Lokalizacija zvočnih izvorov
†
Prenosna funkcija na vhodu v sluhovod
Lokalizacija zvočnih izvorov
†
Prenosna funkcija odziva na bobniču
„
HRTF (Head Related Transfer Function)
Lokalizacija zvočnih izvorov
†
Vpliv obeh ušes (binaural localization)
„
„
„
Med-ušesna časovna razlika (< 1kHz)
Med-ušesna amplitudna razlika (> 5kHz)
Zaznava azimuta – horizontalne smeri
Lokalizacija zvočnih izvorov
†
Vpliv spektra signala
„
Eno-ušesna lokalizacija
†
†
„
„
Lokalizacija virtualnih in realnih zvočnih izvorov s
pomočjo enega ušesa
Manipulacija spektra signala
†
„
Zamašitev enega ušesa
Osebe gluhe na eno uho
ISD – medušesna spektralna razlika
Lokalizacija elevacije virtualnih in realnih zvočnih
izvorov
†
Enako natančna, če izvorni signal ne vsebuje
frekvenc nad 7 kHz
Lokalizacija zvočnih izvorov
†
Vpliv spektra signala
„
Odstranjevanje (izravnava) določenih delov
frekvenčnega spektra
†
†
†
†
†
„
4 – 16 kHz
4 – 8 kHz, 5.7 – 11.3 kHz in 8 – 16 kHz
4 – 5.7 kHz, 5.7 – 8 kHz. 8 – 11.3 kHz in 11.3 – 16
kHz
Ključni faktorji za lokalizacijo niso ozkofrekvenčni
(širši od pol oktave)
Različne specifične podrobnosti pri različnih osebah
Tudi frekvence pod 3 kHz vplivajo na določanje
elevacije
Lokalizacija zvočnih izvorov
†
Povzetek vpliva spektra
„
Lokalizacija elevacije (vertikalne smeri)
†
„
Lokalizacija spredaj-zadaj
†
„
„
6-12 kHz
8-16 kHz
Lokalizacija elevacije
je veliko slabša od
lokalizacije azimuta
Premiki glave!!
Lokalizacija zvočnih izvorov
†
Vpliv glasnosti in trajanja signala
„
Poskus s spreminjanjem časa trajanja testnega
signala
†
Čas: 3 ms – 100 ms
„
„
†
Zaznavanje azimuta neodvisno
Zaznavanje elevacije se izboljšuje sorazmerno s
trajanjem do 30 ms, naprej konstantno
Glasnost: 26 dB – 63 dB
„
„
Zaznavanje azimuta neodvisno (razen če je nivo glasnosti
na meji slišnega področja)
Zaznavanje elevacije se izboljšuje sorazmerno z
glasnostjo do 60 dB, potem pa začne naglo upadati!!
Lokalizacija zvočnih izvorov
†
Haasov efekt (The Precedence Effect)
„
Človeški slušni organ procesira zvok v oknih
dolžine 35ms
†
„
Analogija: video (16 slik na sekundo – 62ms)
Zaznava vsega zvoka v tem oknu je locirana
enako
†
Haasov poskus (odboji!)
„
„
„
Vpliv amplitude
Občutek povečanja amplitude
50ms – 80ms: diskretni dogodki
Lokalizacija zvočnih izvorov
†
Določanje razdalje do zvočnega izvora
„
Jakost zvočnega signala
†
„
Razmerje med energijo direktnega in odbitega vala
†
„
Predvsem v zaprtih prostorih
Spekter signala
†
†
„
V zraku jakost pada s kvadratom razdalje (6 dB ob
podvojitvi razdalje)
Zrak oslabi visoke frekvence (nekaj dB na 100 m)
Ovire
Medušesne razlike
†
ITD se zelo spreminja z razdaljo
Lokalizacija
†
Smerna ločljivost
„
„
„
Minimum Audible Angle (MAA)
Azimut: ~ 2.0° (navidezni izvori: ~ 4°)
Elevacija: ~ 6.0° (navidzeni izvori: ~ 23°)
Generacija prostorskega zvoka
†
Dvo-kanalni stereo (2-0)
„
Optimalna konfiguracija: enakostranični trikotnik
Generacija prostorskega zvoka
†
Dvo-kanalni stereo
„
Premikanje navideznega izvora s spreminjanjem
amplitude L in R signala (15 – 18 dB)
†
„
„
Frekvenčna odvisnost!!
Premikanje izvora s pomočjo medsebojne
zakasnitve signalov
Formati signalov
†
†
L in R
M in S
„
„
„
M = (L+R) – 3dB ali (L+R) – 6dB
S = (L-R) – 3dB ali (L-R) – 6dB
“Hot-spot”!!
Generacija prostorskega zvoka
Prenosna funkcija glave in uhljev
„
„
Head Related Transfer Function (HRTF)
Se izmeri kot impulzni odziv
†
Head Related Impulse Responses (HRIR)
0
Left ear
Right ear
-5
-10
Amplitude / dB
†
-15
-20
-25
-30
-35
-40
0.5
1
1.5
Frequency / kHz
2
Generacija prostorskega zvoka
†
Prenosna funkcija sistema
„
Merjenje impulznega odziva
y (t ) = x(t ) ∗ h(t )
Y (ω ) = X (ω ) H (ω )
Generacija prostorskega zvoka
†
Impulzni odzivi glave (HRIR)
Generacija prostorskega zvoka
†
Impulzni odzivi glave
Individualni impulzni
odzivi
Splošni impulzni odzivi
Generacija prostorskega zvoka
†
Postopek merjenja
„
„
Gluha soba
Testni signal: 14-bitna sekvenca belega šuma
†
„
Konstantni amplitudni spekter + naključna faza (IFT)
Istočasno predvajanje in snemanje
H SIST
„
Izločanje šuma
†
„
H odz
=
H vzb
Večje število meritev in računanje povprečja
Upoštevanje karakteristike merilne opreme
Generacija prostorskega zvoka
Prenosne funkcije glave
„
„
„
Se uporabijo kot FIR filtri za generacijo pr. zv.
Študija mehanizma lokalizacije
Na voljo v knjižnicah na spletu
0
Left ear
Right ear
-5
-10
Amplitude / dB
†
-15
-20
-25
-30
-35
-40
0.5
1
1.5
Frequency / kHz
2
Generacija prostorskega zvoka
Azimut -90°
Azimut -45°
Azimut 0°
Azimut 90°
Azimut 45°
Generacija prostorskega zvoka
Amplitudni spektri pri različnih elevacijah
Generacija prostorskega zvoka
†
Online HRIR knjižnice
„
„
„
†
Nabor FIR sit za različno število prostorskih
položajev
„
†
†
MIT Media Lab (MIT Boston)
CIPIC (University of California)
Itakura
Različno število vzorcev
Odzivi pripadajoče merilne opreme
Uporaba:
z ϕ φ [ n ] = ∑ z [ n − m] ⋅imp ϕ φ [ m]
N −1
desni , ,
m =1
N −1
desni , ,
zlevi ,ϕ ,φ [ n ] = ∑ z [ n − m] ⋅implevi ,ϕ ,φ [ m]
m =1
Generacija prostorskega zvoka
†
MIT HRTF knjižnica
„
Direktorijska struktura
†
†
elev-40, elev-30 … elev0 … elev90
Za vsako elevacijo je na voljo 144 sit (72 za vsako
uho)
„
†
Primer: elevacija -20°, azimut 45°
Filtra: L-20e045a.wav in R-20e045a.wav
Uporaba v orodju Maltab
„
wavread, conv,wavplay, itd.
Generacija prostorskega zvoka
†
Pogosti problemi pri uporabi HRIR odzivov
„
Eksternalizacija
†
„
„
„
Slaba informacija o razdalji virtualnih izvorov
Slabo dojemanje elevacije
Slabo ločevanje smeri spredaj / zadaj
Procesorski čas in zmogljivost
†
Filtriranje v realnem času
Generacija prostorskega zvoka
Modeliranje s filtri IIR
„
„
†
Zmanjšanje števila koeficientov
Nestabilnost takšnih sistemov
Modeliranje z resonatorji
0
-10
-20
Amplituda / dB
†
-30
-40
-50
-60
5
10
15
Frekvenca / kHz
20
Generacija prostorskega zvoka
†
Predvajanje “prostorskih” signalov preko zvočnikov
“Hot spot”
Večkanalni sistemi
†
Trikanalni (3.0) stereo
„
„
L, R,C
L in R sta lahko postavljena širše (> 30°)
†
„
Zelo pogosto v starejših kino dvoranah
†
„
†
Kompatibilnost z dvo-kanalnim stereo signalom?
Govor?
Širši kot poslušanja
Štirikanalni surround (3.1)
„
„
„
LCRS surround
Poljubno velik niz zvočnikov, razporejenih okrog
poslušalca
Skupni mono S (surround) signal na vseh
zvočnikih (dekorelacija)
Večkanalni sistemi
†
5.1 kanalni surround (3-2 stereo)
„
„
„
„
Poudarek na sprednji hemisferi (L, R, C), LS, RS
Ni predvidena lokalizacija po celotnem prostoru (360°)
Konfiguracija L(-30°), R(30°), LS(-100° .. -120°),
RS(100° .. 120°)
Dipolni zvočniki za LS in RS (usmerjeni pravokotno na
poslušalca)
Večkanalni sistemi
†
5.1 kanalni surround (3-2 stereo)
„
.1: LFE (Low Frequency Effects)
†
†
< 120 Hz
Uporaba LFE kanala je opcijska (to je treba upoštevati pri
snemanju)
„
„
†
Frekvenčna kretnica (uporaba sit)
„
„
„
„
„
V kino projekcijah je vedno prisoten (subwoofer zvočnik)
+10 dB (pri reprodukciji)
80 – 160 Hz
Zmanjšane dimenzije zvočnikov za visoke frekvence
Se sešteje z LFE kanalom
DVD-A, SACD formati
Nestandardna uporaba kanalov
†
†
Višinski kanal (namesto LFE)
Dodatna stranska zvočnika (namesto C in LFE)
Večkanalni sistemi
†
Drugi večkanalni sistemi
„
„
6.1 (dodan RC kanal)
7.1
†
†
„
†
Dodana CL in CR kanal
Dodana RL in RR kanala
8.1, 10.2, itd.
Analogni večkanalni sistemi
„
Dolby Stereo
†
Dva zvočna kanala (35mm film)
„
„
„
3.1 sistem (L,C,R,S)
S (dodan protifazno v L in R kanal): +90° in – 90°
C (dodan sofazno v L in R)
Večkanalni sistemi
†
Digitalni večkanalni sistemi
„
Dolby Digital (1994)
†
†
†
†
V vseh kino dovoranah, HDTV, DVD, Blu-ray
5.1 sistem (7.1 od 2012 dalje)
AC-3 kodni algoritem (bit rate: 32kbit/s – 640kbit/s)
Dolby Digital EX
„
†
„
„
Dolby Digital Live
DTS (Digital Theater Systems)
SDDS (Sony Dynamic Digital Sound)
†
„
Matrično dodajanja 6.1 in 7.1 v osnovni 5.1 (po vzoru analogne
tehnologije)
7.1 sistem
MPEG (Moving Pictures Expert Group)