Sicherheit und Komfort bis ins hohe Alter durch vernetzte

Sicherheit und Komfort bis ins hohe Alter
durch vernetzte Sensoren
Thomas Buchegger
Linz Center of Mechatronics GmbH
18. März 2014
Dr. Thomas Buchegger
19. März 2014
1
Outline
• Einleitung
–
–
–
–
–
•
•
•
•
•
Ziele
Vorraussetzungen /Szenarios
Komfort
Sicherheit
HMI
Sensoren
Algorithmen
Applikationen
Design
Beispiele LCM Projekte
Dr. Thomas Buchegger
Design
Algorithms
Tools, Infrastructure
19. März 2014
2
Ziele von AAL
• Möglichst langes angenehmes Leben
im eigene Heim-Umfeld
• Steigerung der Autonomie und Eigenverantwortung
• Vermeidung von Monotonie bei täglichen Aktivitäten
• Monitoring von alten und kranken Personen
• Steigerung der Sicherheit
• Einsparung von Ressourcen
Vorraussetzungen für AAL
• Vorraussetzungen für Ambient Assisted
Living (AAL)?
– Smart homes
– Mobile devices
– Wearable sensors
– Smart fabrics
– Assistive robotics
?
4
Komfort
Dr. Thomas Buchegger
19. März 2014
6
…..und Sicherheit
Dr. Thomas Buchegger
19. März 2014
7
Human Machine (AAL System) Interface
Dr. Thomas Buchegger
19. März 2014
8
Human Machine (AAL System) Interface
Dr. Thomas Buchegger
19. März 2014
9
Human Machine (AAL System) Interface
Dr. Thomas Buchegger
19. März 2014
10
Human Machine (AAL System) Interface
Dr. Thomas Buchegger
19. März 2014
11
Wearable Device Types
*A. Dittmar; R. Meffre; F. De Oliveira; C. Gehin; G. Delhomme; , "Wearable Medical Devices Using Textile and Flexible Technologies for
Ambulatory Monitoring," Engineering in Medicine and Biology Society, 2005. IEEE-EMBS 2005. 27th Annual International Conference of
the , vol., no., pp.7161-7164, 2005
12
Vernetzte Sensoren
•
•
•
•
•
Minaturisiert
Dezentral
Wearable
! Unsichtbar !
Daten und (Energieübertragung)
– drahtlos
– lowest Power
– Energy Harvesting
•
Plug and Play
– Selbstdiagnose
– Selbtskalibrierfähig
Dr. Thomas Buchegger
– Multihopnetzwerkfähig
– AdHocNW
•
Sensorinformation
– Phys. Paramter
• Temp, Feuchte
• Position
– BioChem. Parameter
• CO2
• Rauch
– Optische Sensoren
– Virtuelle Sensoren
19. März 2014
13
Smart Home Sensoren
•
•
•
•
•
•
•
PIR (Passive Infrared Sensor)
RFID
Akustische Sensoren (US)
Druck Sensoren (in beds, floor)
Kapazitive Sensoren
Optische Sensoren
…
Floor Pressure Sensor. Noguchi et al.
2002
PIR
RFID
Ultrasonic
15
Wearable & Mobile Sensors
• Applications
– Health monitoring
– Navigation and Verirrungsverhinderung
– Mobile persuasive technologies
LifeShirt By
Vivometrics®
AMON, 2003, ETH
Zurich
Smart Cane, UCLA,
2008
Epidermal Electronics, 2011
16
Vision Based Systems
• In anderen Bereichen schon Wissen
vorhanden:
– Überwachung, Sport, Berwegungsanalyse
• Vorteile:
– viel Information
• Nachteile
– Datenschutz
– Algorithm komplex
[Cheng and Trivedi,2007]
17
Measurements & Sensors
Movement
Biochemical
• Accelerometer
• Gyroscope
• Tracking
• Stress markers
(lactate in sweat)
• Wound healing (pH
and infection markers)
Vital Signs
• Respiration sensors
• Thermal sensors
• Galvanic skin response (GSR)
sensors
• Cardiac Activity
• Pulse oximeter
• ECG devices
• Doppler radars
18
Datenquellen
• Different mediums generate different types
of data
Data
Types
Time
Series
Physiological
Signs (e.g. ECG)
Accelerometer,
Gyroscope
Image,
Video
Text
Camera,
thermography
PIR,
RFID
19
What is Activity Recognition?
• The basic building block in many
applications
– Recognizing user activities from a stream of
sensor events
…
A
B
C
D
A
C
D
F
…
A Sensor Event
An Activity
(Sequence of sensor events)
20
Activity Resolution
• Fine grained (individual movements,
especially in vision)
• Coarse grained (activity)
Movement: e.g. stretching arm
Complexity
Action: e.g. walking
Activity: e.g. preparing meal
Group Activity: e.g. team sports
Crowd Activity: e.g. crowd surveillance
21
Activity Recognition
• More complex activities need more
sophisticated sensors and Sensor Fusion
– Sensor networks of PIR sensors, contact
switch sensors, pressure sensors, object
sensors, etc.
• Approaches
PIR
PIR
– Supervised
• Probabilistic
– Semi/Unsupervised
Object
Sensor
Floor Pressure Sensors
22
Algorithms
• Taxonomy of methods [Aggarwal & Ryoo
2011]
Space-time
Volume
Human Activity
Recognition
Space-time
Approaches
Trajectories
Space-time
Features
Single Layered
Approach
Sequential
Approaches
Exemplarbased
State-based
Statistical
Hierarchal
Approach
Syntactic
Descriptionbased
23
Single Layered
• Suitable for recognition of gestures &
actions
• Two different representations
– Space-time distribution
• Data oriented, spatio-temporal features
– Sequence
• Semantic oriented, tracking
24
Data Transfer Architecture
• Most common setup
– Sensors on body + a handheld or wearable data hub to
communicate data wirelessly + a central node to process
data
• Short range standards
• Bluetooth (IEEE 802.15.1)
• ZigBee (IEEE 802.15.4)
• Short range technologies
• RF
• Inductive links, Intrabody Communication
Sensors
Handheld device
ZigBee
Central Unit
GPRS
26
Why Wearable and Mobile?
• Pros.
– Anywhere, anytime
– Portable
– Continuous recordings rather than “snapshot “
– Avoid “white coat” syndrome
portable
• Cons.
– Anywhere, anytime
nuisance
– Should be worn/carried all the time
– Wearing a tag can be regarded as stigma
– Privacy concern, 24/7 monitoring
27
Applications
Cognitive Orthotics
• Reminders
• Planners
●
Navigation and stray prevention
Health Monitoring
• Continuous Monitoring of Vital Signs
• ADL
●
Sleep Monitoring
Therapy & Rehabilitation
• Tele-Health
Emergency Detection
• Fall Detection
• Medical emergency
Emotional Wellbeing
• Social Connectedness
• Facilitating Communication
28
Wearable & Mobile Design Issues
• Issues:
–
–
–
–
Physical interference with movement
Difficulty in removing and placing
Weight
Frequency and difficulty of maintenance
• Charging
• Cleaning
– Social and fashion concerns
• Suggestions:
– Use common devices to avoid stigmatization
– Lightweight
– Easy to maintain
35
User Interface Design Issues
• Simple Interface
• Limit possibility of error
• Avoid cognitive overload
– Limit options
– keep dialogs linear
– Avoid parallel tasks
• Consider all stakeholders
– Patient, formal onsite/offsite caregivers,
informal onsite/offsite caregivers, technical
personnel
36
LCM Projects for AAL
•
Home Automation
– Intelligente Heizungssteuerung
•
•
•
•
•
•
•
•
Positionsbestimmung von Personen (aktiv/passiv)
Intrabody Communication
E-Bike Steuerung für Reha
Bestrahlungsgerät IR
Bestrahlungsgerät MR
Keyfinder
Carfinder
Mobiles Zeiterfassungssystem
•
Planned Projects
–
–
–
–
Smart Buildings Projekt (1Mio)
AAL Projekt (3.5 Mio Euro)
Smart Farm Projekt (3 Mio EUR)
EU Projekte Personenverfolgung
37
Arbeitszeiterfassungssystem
•
•
– Zeitersparnis für Dienstnehmer
– Reduktion von Bürokratie
– Zeiterfassung in „Mannschaftsbussen“
– weiters auch für andere Dienstfahrzeuge (in Einzelbesetzung)
– denkbar auch für Zeiterfassung in Gebäuden
Fahrer muss eindeutig zugewiesen werden können
Fehlerhafte Fahrermeldungen müssen signalisiert werden
Empfänger
made by
LCM
UART
GSM/GPS-Modul
LBS-Server
Positionierungssysteme auf Mikrowellenbasis
fiber optical link
UDP link
BS1
TP1
•
LPM (Local Position Measurement)
– Fehlererkennung und
Fehlerfortpflanzungsanalysen
– Qualitätscharakterisierung der Messdaten
– Positionsbestimmung und Filterung in Echtzeit
– Präzisionssteigerung durch Zusammenführen
verschiedener Sensorinformationen
•
BS2
Anwendungen
–
–
–
–
Fußball (z.B. bei Bayern München, AC Milan)
Eisschnelllauf (z.B. Niederlande, Russland)
Tierlokalisierung (z.B. Verhaltensforschung)
Unbemannte Flugobjekte
master
processing
unit
RT
BS3
fiber optical link
BS4
HUB
MPU
Herden- und Gesundheitsmanagementsystem InLocS
Ultraschallpositionierung
Sensorentwicklung im Rahmen eines EU-Projekts
2.
•
•
•
•
•
•
Simultaneous transmission of
radio- and ultrasonic-waves.
Based on different propagation
speeds of radio- and soundsignals, distances to receivers are
calculated.
Detection of moving devices possible (correction of doppler
shifts).
Coded ultrasonic signals allows the
co-existence of several independetly working positioning
systems.
Cycle time 200 ms.
Communication over CAN-Bus
Acoustic Positioning
 Proposed principle






Two Loudspeakers (LS)
mounted on the machinery
Miner is mounted with
microphone (array)
MPU is emitting RF
trigger signal periodically
If RF trigger signal
is detected at MU,
RF response is transmitted
If RF response is received,
LS emit orthogonal chirps
MU evaluates signals to
TOFs
Machinery
LS 1
Mobile Unit (MU)
Mic.
MPU
TOFs
Sig. Pro.
LS 2
RF Trigger
Positioning with Communications Transponders

Communications and position information necessary in many applications
(logistics, security applications, etc.)

Today: Integration of multiple units in single device
Innovation: Use of communications solutions for positioning tasks
 Low hardware complexity, cost-effective circuits
Simultaneous data communication and positioning

Indoor-measurements
with prototype:
Good results despite
multi-path propagation
RFID - Komponenten eines RFID Systems
RFID Transponder Aufbau
– Antenne
• Bei induktiver Kopplung: Eine Spule und ein Kondensator bilden
zusammen mit dem RFID Chip einen Parallelschwingkreis.
• Bei elektromagnetischer Kopplung: Eine auf die richtige Wellenlänge
optimierte Antenne (z.B.: /4 Dipol).
– RFID Transponder Chip
• Ist in vielen Ausführungen erhältlich (Aufkleben, bonden, löten, …)
Antenne
RFID Chip
HF Transponder mit
gewickelter Spule
Dr. Thomas Buchegger
UHF Transponder mit
gedruckter Spule
19. März 2014
44
RFID – Wichtige Eigenschaften
Wichtige Eigenschaften von RFID Systemen
•
•
•
•
•
•
•
•
Frequenzbereich (LF, HF, UHF)
Betriebsart (Passiv bis zu Aktiv)
Speicherzugriff, Speicherkapazität, Verschlüsselung
Bauart und Abmessungen
Leseabstand
Einbauumgebung
RFID Standard und Protokoll (Antikollision)
Kosten
Dr. Thomas Buchegger
19. März 2014
45
RFID - Transponder
Beispiele von verfügbaren RFID Transponder
Tierkennzeichnung
Glastransponderkapsel LF (125 kHz)
biegsame SmartLabel UHF und HF (13,56 MHz)
RFID-Ohrmarke
LF (125 KHz)
robuster UHF Tag
Medizinischer TAG 7,4 x 2.6 mm
HF (13,56 MHz)
Schlüsselanhänger LF (125 kHz)
UHF Tag
(Quelle: www.rfid-ready.de und www.mbbs.ch)
Dr. Thomas Buchegger
19. März 2014
49
Danke für Ihre Aufmerksamkeit.
Dr. Thomas Buchegger
19. März 2014
56