גילוי עיכוב התפתחותי בתינוקות בהסתמך על ניתוח תנועה במצלמת kinect

גילוי עיכוב התפתחותי בתינוקות בהסתמך על ניתוח תנועה במצלמת kinect

Department of Electrical Engineering
Midterm Presentation
‫גילוי עיכוב התפתחותי בתינוקות‬
‫בהסתמך על ניתוח תנועה במצלמת‬
KINECT
Students: Shiraz Avisrur, Dmitri Vladimirsky
Supervisor: Alex Frid
Context: Project A
Semester: Winter, 2014 ‐ In Progress‐
In Collaboration with: Dr. Hagit Fridman, University of Haifa
‫רקע‬
‫•‬
‫•‬
‫•‬
‫•‬
‫תנועות גפיים של תינוקות‪ ‬תפקוד המערכת העצבית‬
‫המרכזית‬
‫‪GM since 1990 ….‬‬
‫כיום‪ ,‬הניתוח נעשה ע"י רופא מוסמך‪:‬‬
‫ניתוח סובייקטיבי‬‫פחות מדויק‬‫עלות יקרה‬‫זמינות מוגבלת‬‫גילוי מוקדם ‪ ‬התאמת טיפול משפר‬
‫‪2‬‬
‫מטרת הפרויקט‬
‫ליצור מכונה אוטומטית שתיתן אבחנה רפואית עבור בעיות‬
‫התפתחות בתינוקות עד גיל ‪ 4‬חודשים ע"פ תנועות גפיים‪.‬‬
‫מה נרוויח???‬
‫זמינות גבוהה‬‫עלות זולה‬‫ניתוח מדויק ואובייקטיבי‬‫יכולת לבצע אבחון בסקלה רציפה‬‫התאמת טיפול אישי‬‫‪3‬‬
‫מה זה ‪?KINECT‬‬
‫‪ KINECT‬היא מצלמה לרכישת תמונות תלת ממד‬
‫שמשלבת גם מצלמה צבעונית רגילה‬
‫‪ KINECT‬משתמשת בשיטת ‪Structured Light‬‬
‫לחישוב העומק‬
‫מצלמה זו זולה ונגישה לקהל הרחב‪.‬‬
‫מדויקת למרחקי ביניים‬
‫)‪ 1-3‬מטר(‬
‫‪4‬‬
‫מה נעשה?‬
‫הוצאת שלד‬
‫‪3D data‬‬
‫עיבוד מקדים‬
‫הוצאת‬
‫מאפיינים‬
‫קבלת‬
‫החלטה‬
‫אופטימלי‬
‫תת אופטימלי‬
‫מעט לא תקין‬
‫סדרת הבוחן‬
‫מאוד לא תקין‬
‫מכונה לומדת‬
‫הוצאת מאפיינים‬
‫מורכבות‪:‬‬
‫• שינוי במרחב‬
‫• קו אמצע‬
‫• מחזוריות בכיוון התנועה‬
‫מגוון‪:‬‬
‫• שינוי במהירות‬
‫שטף‪:‬‬
‫• קצב שינוי המהירות )תאוצה(‬
‫‪6‬‬
‫תהליך בניית המכונה‬
‫ניקח את הדוגמאות המסווגות ונחלק אותם ל‪ 2-‬קבוצות‪test, train :‬‬
‫נכניס למכונת ‪ KNN‬את קבוצת ה‪ train‬עם פרמטרים לקונפיגורציה‬
‫נזין ל‪ KNN‬את קבוצת ה‪ test‬ללא ‪ labels‬ובודקים נכונותה‬
‫‪7‬‬
‫מכונה לומדת ‪KNN‬‬
‫לאחר הוצאת המאפיינים מהסרטונים‪ ,‬נסווג קלט חדש‬
‫ע"פ שיטת השכנים הקרובים ביותר‪ .‬ע"י מציאת ‪K‬‬
‫הדוגמאות מסדרת הלימוד הקרובות ביותר לקלט‪.‬‬
‫נסווג את הדוגמא החדשה ע"פ התווית השכיחה ביותר‬
‫מבין השכנים‪.‬‬
‫‪8‬‬
‫דיאגרמת בלוקים של התוכנה‬
‫טעינה של קובץ‬
‫רשימת מיקומי המפרקים‬
‫כתלות בזמן‬
‫חלוקה לחלונות‬
‫חלונות זמנים‬
‫הוצאת מאפיינים‬
‫שינוי‬
‫מרחבי‬
‫מעבר קו‬
‫אמצע‬
‫ווקטור מאפיינים המייצג‬
‫חלון זמני‬
‫מספר שכנים‬
‫תדר‬
‫שולט‬
‫תאוצה‬
‫מהירות‬
‫‪KNN‬‬
‫החלטה‬
‫‪9‬‬
‫קבלת החלטה‬
‫אופטימלי‬
‫תת אופטימלי‬
‫מעט לא תקין‬
‫מאוד לא תקין‬
‫עבור כל תינוק נקבל כ‪ 6-‬החלטות‪ ,‬אחת לכל מקטע‬
‫וידאו‪ .‬על מנת לקבל החלטה כללית נבצע מיצוע על‬
‫ההחלטות וכך בעצם נבנה סקלה רציפה‪.‬‬
‫‪10‬‬
‫תוצאות‬
‫התוצאות הטובות ביותר עבור המקרה הממוצע‬
‫ אחד‬test ‫והמקרה הגרוע ביותר הן עבור הוצאת וקטור‬
:‫ שכנים קרובים‬2-‫ממטריצת המאפיינים ו‬
punch
waving
throw
clapping
punch
44.54%
10.16%
74.97%
34.6%
waving
0%
83.15%
0%
20.8%
throw
54.95%
0.42%
25.03%
44.6%
Clapping
0.51%
6.27%
0%
0%
:‫חלוקת התנועות לזוגות‬
Waving
Throw
waving
100%
0%
throw
0%
100%
punch
Waving
punch
100%
0%
waving
100%
0%
11
waving
Clapping
waving
100%
0%
clapping
50.1%
49.9%
punch
Throw
punch
47.42%
52.58%
throw
100%
0%
throw
Clapping
throw
100%
0%
clapping
100%
0%
punch
Clapping
punch
74.43%
25.57%
clapping
100%
0%
‫עבודה להמשך‬
‫• קבלת הנתונים‪:‬‬
‫קבצי טקסט המכילים את מיקומי‬‫המפרקים במישור ‪XY‬‬
‫ סרטון ‪ + RGB‬עומק‬‫• הוספה של מאפיינים נוספים‪:‬‬
‫ סימטריה‬‫ חיזוי‬‫‪12‬‬
‫עבודה להמשך‬
‫• שיפור התוצאות‪:‬‬
‫ בדיקת השפעה של אזורי חפיפה‬‫ בדיקת השפעת כל אחד מהמאפיינים על‬‫התוצאות‬
‫‪ -‬שינוי מספר שכנים‬
‫‪13‬‬