Masterarbeit - Michael Kipp

Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning mit dem Beispiel eines interaktiven Sprachlernsystems Fachrichtung Informationswissenschaft Fakultät Empirische Humanwissenschaften Universität des Saarlandes Magisterarbeit zur Erlangung des akademischen Grads Magistra Artium (M.A.) vorgelegt von Cornelia Liegl Erstgutachter: Prof. Dr. Harald Zimmermann Zweitgutachter: Dr. Heinz-­‐Dirk Luckhardt Saarbrücken, 22. November 2010 Danksagung An dieser Stelle möchte ich mich besonders bei Dr. Michael Kipp bedanken, der mich während meiner Diplomarbeit wissenschaftlich betreut hat. Danke auch an Jan Miksatko, den ich bei seinen Studien unterstützen und begleiten durfte. Ein herzliches Dankeschön geht an meine Familie, die mich ausnahmslos und mit viel Geduld immer unterstützt hat. Papa, vielen Dank für das anstrengende Korrekturlesen. Widmen möchte ich diese Arbeit meiner Oma Brigitte Liegl, die nicht nur eine meiner engsten Vertrauten ist, sondern schon immer eine wahre Inspiration war. Ohne ihre stets offenen Ohren und ihr großes Herz hätte ich das nie geschafft! Vielen Dank auch an Boris Ajdin, für den ich in den letzten Monaten so wenig Zeit hatte, und der mir trotzdem zur Seite steht, mich motiviert und immer für mich da ist. Volim te. Ich möchte mich herzlich bei Christian Fuchs für seinen konstruktiven Input bedanken. Zu guter Letzt auch ein aufrichtiges Danke meinen lieben Arbeitskolleginnen, die mir die Zeit fürs Schreiben der Arbeit gegeben haben, die ich brauchte. Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 2 Inhaltsverzeichnis 1 Einleitung ..................................................................................................4
1.1
1.2
1.3
Hintergrund...................................................................................................................... 5
Fragestellung und Hypothesen ........................................................................................ 6
Aufbau.............................................................................................................................. 8
2 Lerntheorien im E-­‐Learning .......................................................................9
2.1
2.2
2.3
2.4
Behaviorismus.................................................................................................................. 9
Kognitivismus................................................................................................................. 12
Konstruktivismus............................................................................................................ 15
Einordnung von ITeach .................................................................................................. 17
3 Virtuelle Agenten ....................................................................................19
3.1 Begriffsklärung............................................................................................................... 20
3.2 Einsatz............................................................................................................................ 21
3.2.1 Virtuelle Agenten im E-­‐Learning ................................................................................. 23
3.2.1.1 STEVE ....................................................................................................................... 24
3.2.1.2 Herman the Bug ....................................................................................................... 27
3.2.1.3 WEAR ....................................................................................................................... 29
3.2.1.4 PPP-­‐Persona............................................................................................................. 31
3.2.2 Weitere Einsatzgebiete............................................................................................... 33
3.3 Kritik............................................................................................................................... 37
4 Sprachlernsoftware ITeach ......................................................................39
4.1
4.2
Programmaufbau ........................................................................................................... 39
Virtueller Agent in ITeach .............................................................................................. 41
5 Nutzerstudie ITeach ................................................................................43
5.1 Themenbezogene Arbeiten ........................................................................................... 43
5.1.1 Evaluation von Herman the Bug ................................................................................. 43
5.1.2 Evaluation von WEAR.................................................................................................. 47
5.1.3 Evaluation von PPP-­‐Persona ....................................................................................... 49
5.2 Rückschlüsse .................................................................................................................. 53
5.3 Vorbereitungen.............................................................................................................. 53
5.4 Stichprobe...................................................................................................................... 54
5.5 Durchführung................................................................................................................. 55
5.5.1 Aufbau der Nutzerstudie ............................................................................................ 56
5.5.2 Videoaufnahmen ........................................................................................................ 59 Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 3 6 Evaluation von ITeach .............................................................................60
6.1 Untersuchung des Persona-­‐Effekts................................................................................ 60
6.2 Videoanalyse.................................................................................................................. 63
6.2.1 Stichprobenbeschreibung ........................................................................................... 64
6.2.2 Methoden ................................................................................................................... 64
6.3 Ergebnisse...................................................................................................................... 67
6.4 Auswertung.................................................................................................................... 70
6.5 Weitere Fragestellungen................................................................................................ 72
7 Weiterführende Untersuchungen............................................................74
8 Schlussfolgerung .....................................................................................79
9 Ausblick ..................................................................................................82
10 Bibliographie ...........................................................................................83
10.1
10.2
Printmedien ................................................................................................................. 83
Online-­‐Medien ............................................................................................................. 87
11 Abbildungs-­‐ und Tabellenverzeichnis.......................................................88
11.1
11.2
Abbildungen................................................................................................................. 88
Tabellen ....................................................................................................................... 89
12 Informationen im Rahmen der Nutzerstudie............................................90
12.1
12.2
12.3
12.4
12.5
Poster zur Gewinnung von Probanden ........................................................................ 90
Anleitungen zum Experiment ...................................................................................... 91
Fragebogen vor dem ITeach-­‐Experiment..................................................................... 92
Post-­‐Session Fragebögen der ITeach-­‐Studie................................................................ 93
Abschließende Angaben nach dem ITeach-­‐Experiment .............................................. 94
13 Nutzerangaben ........................................................................................95
13.1
13.2
13.3
Gruppe 1: ITeach ohne Agent ...................................................................................... 95
Gruppe 2: ITeach mit Agent ......................................................................................... 96
Stichprobe zur Videoauswertung................................................................................. 97
Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 4 1
Einleitung
Entscheidend für den Erfolg von E-­‐Learning-­‐Systemen ist die Motivation des Lernenden. Da dieser, anders als im Frontalunterricht, selbstbestimmt entscheiden kann, wann, wieviel und was gelernt werden soll, muss die Handhabung von computergestützten Lernsystemen vereinfacht werden. Interdisziplinäre Forschungsrichtungen beschäftigen sich daher seit einigen Jahren mit dem vermehrten Einsatz von intelligenten virtuellen Agenten, die in E-­‐Learning-­‐Systemen als Tutoren fungieren können. Pädagogische Agenten dienen als Kommunikator, die dem Nutzer das Gefühl vermitteln sollen, nicht mit einer Maschine, sondern vielmehr mit einem menschenähnlichen Partner zu interagieren. Herkömmliche Benutzerschnittstellen, die umständlich über Tastatur und Eingabebefehle bedient werden müssen, wären damit hinfällig. Intelligente computergestützte Lernsysteme können einfach auf Sprache, Mimik und Gestik eines Nutzers reagieren, und sind durch ihre Benutzerfreundlichkeit und Intuitivität so größeren Nutzergruppen, vor allem älteren oder technisch nicht vorgebildeten Menschen zugängig. Eines der Ziele soll sein, Interfaces von E-­‐Learning-­‐Anwendungen realistischer, unterhaltsamer und interessanter für die Nutzer zu gestalten, um so eine höhere Motivation zu erreichen und den Lernerfolg zu erhöhen. Diese Natürlichkeit soll zum einen durch die Fähigkeit der virtuellen Charaktere, menschliche Sprache zu interpretieren und wiederzugeben, als auch durch den vermehrten Einsatz von Multimodalität – der Verwendung von Gesten, Gesichtsausdruck oder auch subtiler Körper-­‐
sprache – gefördert werden. Intensive Forschung, die nicht nur in verschiedenen Bereichen der Informatik (unter anderem Künstliche Intelligenz, Benutzerschnittstellen, Robotik), sondern auch in interdisziplinären Fachbereichen wie Computerlinguistik, Medienpsychologie und Informationswissenschaft betrieben wird, beschleunigen die Entwicklung dieser innovativen Art der Kommunikation mit dem Rechner. Der Einsatz von Agenten beim rechnergestützten Lernen soll im Rahmen dieser Magisterarbeit mit dem Beispiel eines interaktiven Sprachlernsystems evaluiert werden. Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 5 Im Verlauf einer Nutzerstudie wurden Videoaufnahmen von Probanden aufgenommen, für die Evaluationsstrategien entwickelt und durchgeführt werden. In Bezug auf Motivation und Lerneffekt der Teilnehmer gilt es zunächst herauszufinden, wie sehr die Testpersonen auf den Agenten fokussiert sind, wenn sie mit ihm interagieren. Mithilfe der Erkenntnisse, die aus den Videoaufnahmen gewonnen werden, kann weiter ermittelt werden, ob das Sprachlernprogramm respektive der virtuelle Agent die zuvor definierten Erwartungen erfüllen kann. Dazu werden relevante Ergebnisse aus der erfolgten Studie festgehalten und ausgewertet. Basierend auf den Forschungsergebnissen muss das System gegebenenfalls den Nutzerbedürfnissen genauer angepasst werden, die Aufgabe des Agenten überarbeitet oder die Gestaltung des Programms revidiert werden. Weitere Evaluationstheorien für einige dieser beispielhaften Szenarios werden im Anschluss an die Auswertung der Nutzerstudie präsentiert. 1.1 Hintergrund
Die Gruppe EMBOTS um Dr. Michael Kipp forscht seit mehreren Jahren im Cluster of Excellence „Multimodal Computing and Interaction“ der Universität des Saarlandes und dem Deutschen Forschungszentrum für Künstliche Intelligenz (DFKI GmbH) an der Umsetzung und Einbindung von virtuellen Agenten in der Mensch-­‐Computer-­‐Interaktion. Laufende Projekte umfassen neben Studien zur Optimierung der Animationstechnologie auch konzeptuelle Ansätze virtueller Agenten, die als Übersetzer von Gebärdensprache auf web-­‐basierten Plattformen eingesetzt werden sollen, oder als Live-­‐Sportkommentatoren fungieren. Da sich die künstlichen Charaktere im Umgang mit einem menschlichen Gegenüber möglichst natürlich bewegen und benehmen sollen, wird verstärkt an Technologien zur Realisierung von überzeugend wirkender Multimodalität geforscht. Multimodale Handlungen umfassen den Einsatz von menschlicher Mimik und Gestik, sowie naturgetreuer Reaktionen auf Verhaltensweisen von Nutzern. Um eine Empathie des Nutzers gegenüber virtuellen Agenten hervorzurufen, sollen diese als Person wahrgenommen werden, um Anwender beispielsweise in einem bestehenden Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 6 E-­‐Learning-­‐System anzuleiten und zu motivieren. Deswegen werden Methoden aus dem Bereich der künstlichen Intelligenz herangezogen. [Research] indicates that learners perceive and interact socially with pedagogical agents even when their functionality and adaptability are limited. Unlike traditional computer-­‐based learning that may be limited to learners’ cognitive changes, an anthropomorphic pedagogical agent can socially interact with a learner to enhance motivation and engage the learner, much as human teachers and peers. In this sense, pedagogical agents may extend the horizon of conventional computer-­‐based learning and could effectively serve as social-­‐cognitive tools. Pedagogical agents serve to build social relations, model new beliefs and attitudes, and share empathy, thus enabling learners to demonstrate more skillful performances and positive attitudes. (Yanghee und Baylor 2007: 28) In dem Sprachlernsystem ITeach, welches Gegenstand der vorgestellten Evaluation ist, kommt der virtuelle Agent „Gloria“ zum Einsatz. Es wird ermittelt, ob dieser Charakter zusätzlichen Stimulus bietet, und Auswirkungen auf Lernerfolge von Probanden hat. Der Agent wird im System vorsätzlich einseitig eingesetzt, er gilt als „Lehrer“, der auf richtige und falsche Eingaben sowohl mit sprachlichen Äußerungen als auch über eine veränderliche Körperhaltung, Gestik und Mimik reagiert . Mit ITeach wird ein computergestütztes tutorielles System präsentiert, welches im Rahmen einer Nutzerstudie auf Motivation und Lernerfolg der Probanden evaluiert wurde, wie in Kapitel 6.1 nachzulesen ist. Das im Rahmen dieser Untersuchung aufgezeichnete Filmmaterial der Probanden soll einer ergänzenden Evaluation der Aufmerksamkeitsfor-­‐
schung dienen. Anhand der Forschungsresultate sollen zusätzliche theoretische Überlegungen und mögliche weiterführende Evaluationsstrategien vorgestellt werden. Es gibt bisher nur wenig deutsche Literatur zum Thema Evaluation von Agenten, die in der Arbeit verwendeten Quellen sind zumeist aktuelle Paper, die auf internationalen Konferenzen vorgestellt wurden oder noch werden. Da es sich um ein vergleichsweise junges Forschungsgebiet handelt, sind darin präsentierte Evaluationsverfahren zum Teil sehr unterschiedlich, die Messergebnisse nicht koheränt, teilweise widersprechen sie sich sogar. Aufgrund dessen sollen neue Strategien vorgestellt werden, die die Mensch-­‐Maschine-­‐
Interaktion systematisch evaluieren und helfen sollen, den Nutzen eines virtuellen Agenten für den Lernenden innerhalb eines E-­‐Learning-­‐Systems herauszustellen. 1.2 Fragestellung und Hypothesen
In Hinblick auf Betrachtungen von (Witkowski, Arafa und De Bruijn 2001) und (Prendinger, Ma und Ishizuka 2007), die die Wirkung von virtuellen Agenten auf Menschen mithilfe einer Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 7 Analyse des Blickkontakts untersuchen, wird die Hypothese aufgestellt, dass Nutzer multimodale Agenten als soziale Interaktionspartner betrachten können. Dafür muss der Blickkontakt mit dem Agenten analysiert werden, denn so kann eine etablierte Kommunikationsebene ersichtlich werden. Dies spiegelt sich in verstärktem Blickkontakt wieder. „When people engage in person-­‐to-­‐person interaction a lot of time is spent attending the other person’s face because valuable information can be gleaned from lip movement and facial expressions.“ (Witkowski, Arafa und De Bruijn 2001: 86) Diese Hypothese zieht in Betracht, dass die Häufigkeit und Länge der Fokussierung des virtuellen Agenten Aufschluss darüber geben kann, ob der Nutzer den Agenten als sozialen Interaktionspartner akzeptiert. Diese These ist auch insofern interessant, dass emotionale Prozesse neben der selektiven Aufmerksamkeit „einen wesentlichen Einfluss auf die Verarbeitungstiefe von Informationen haben“ (Spitzer 2003: 50). Eine Anschlussfrage an diese Theorie ist, ob die dem Agenten entgegengebrachte Aufmerksamkeit gleichbleibend ist. Zu Anfang sind die Bewegungen des Agenten noch unbekannt und könnten deshalb interessanter auf den Nutzer wirken. Es gilt zu ermitteln, wann und ob sich ein „Gewöhnungseffekt“ einstellt, also ob Testpersonen dem Agenten nach mehreren Anwendungen des interaktiven Lernprogramms bereits weniger Aufmerksamkeit schenken. Sollte der Agent vom Nutzer wahrgenommen werden, gilt es zu beobachten, wie die Interaktion mit dem virtuellen Tutor die Leistung beim Sprachenlernen beeinflusst. Es wird angenommen, dass sich die potentiell gesteigerte Aufmerksamkeit auch in einem höheren Leistungsvermögen der Probanden auswirkt. Zusammenfassend werden die drei verschiedenen Hypothesen im Folgenden nochmals kurz vorgestellt. Hypothese eins: Der Nutzer nimmt den virtuellen Agenten als sozialen Interaktionspartner wahr, was er durch verstärkten Augenkontakt ausdrückt. Hypothese zwei: Durch Gewohnheit im Umgang mit dem Agenten wird mit fortschreitender Zeit die Aufmerksamkeit des Menschen auf den virtuellen Charakter reduziert. Hypothese drei: Die Lernleistung der Probanden wird durch eine Erhöhung der sozialen Interaktion mit dem Agenten gesteigert. Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 8 1.3 Aufbau
Um dem Leser einen schnellen Einstieg in die Verwendung von Agenten im E-­‐Learning zu gewähren, werden zunächst verschiedene Lerntheorien präsentiert, auf deren Basis computergestützte Lernsysteme wie ITeach entwickelt werden. Unterschiedliche Wege, Agenten in diese Systeme zu integrieren, sowie Beispiele verschiedener Arten von virtuellen Agenten werden vorgestellt, deren Wirkungsweise und Funktionen erläutert. Danach wende ich mich explizit dem Sprachlernprogramm ITeach zu, welches den verkörperten Agenten „Gloria“ als Tutor einsetzt. Zunächst sollen Konzept und Idee aufgezeigt werden, die zur Implementierung des Programms geführt haben. Die Funktionen der E-­‐Learning-­‐Software werden vorgestellt, und Eigenschaften und Wirkungsweise des virtuellen Charakters Gloria verdeutlicht. Anschließend wird der Verlauf der Nutzerstudie beschrieben, die im März 2010 an der Universität des Saarlandes mit dem Ziel der umfassenden Evaluation der Anwendung ITeach durchgeführt wurde. Anhand beispielhafter themenbezogener Arbeiten sollen verschiedene Evaluationsmetho-­‐
den für die Ermittlung der Wirkung von virtuellen Agenten vorgestellt und kritisch betrachtet werden. Nachdem Evaluationsstrategien und Forschungsresultate in Bezug auf den Persona-­‐
Effekt (Beziehung der Lernenden zum Agenten, hier bezüglich Motivation und Lernerfolg) in ITeach ausführlich beschrieben wurden, gilt es unter Bezugnahme der Evaluationsergebnisse nachzuweisen, ob und in welchem Maß der Agent die Blicke der Nutzer fokussiert. Eine beispielhafte Nutzerstudie soll dabei helfen, die Ergebnisse zu untermauern und damit genauere Erkenntnisse über die Aufmerksamkeit der Probanden zu erlangen, die dem Agenten entgegengebracht wird. Die Blickfokussierung wird dabei mithilfe von Videoauswertungen ermittelt, eine Methodik für die Analyse der Aufnahmen wird präsentiert und angewendet. Vorüberlegungen und Vorgehensweisen für weiterführende standardisierte Evaluationen eines interaktiven Sprachlernprogramms werden anhand der Ermittlungen erarbeitet und vorgestellt. Schlussfolgernd wird beschrieben, wie sich Modifikationen des Lernprogramms auf künftige Evaluationen auswirken könnten. Abschließend soll im Ausblick auf das Potential und die zukünftigen Entwicklungen im Bereich multimodaler verkörperter Agenten hingewiesen werden. Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 9 2
Lerntheorien im E-Learning
Bevor verschiedene Lerntheorien vorgestellt werden können, stellt sich die Frage, welche Prozesse der Begriff des Lernens umfasst. Die Literatur bietet eine Vielzahl an Theorien und Modellen die versuchen, menschliches Lernen zu verstehen und zu erklären. Johannes Schilling beschreibt Lernen kurz als „[...] das Aufnehmen, Verarbeiten und Umsetzen von Informationen“, und stellt fest: „Lernen ist ein lebenslanger Prozeß.“ (Schilling 1997: 159). So kurz und prägnant diese Erklärung ist, wirft sie allerdings die Frage auf, welche Informationen gemeint sind, und aus welchen Quellen diese im Laufe des Lebens bezogen werden. Guy Lefrançois präzisiert die Aussage: Lernen umfaßt alle Verhaltensänderungen, die aufgrund von Erfahrungen zustandekommen. Solche Änderungen schließen nicht nur die Aneignung neuer Informationen ein, sondern auch die Veränderungen des Verhaltens, deren Ursachen unbekannt sind. Andererseits sind in dieser Definition Veränderungen ausgeschlossen, die aufgrund von Reifevorgängen (genetisch vorbestimmten Änderungen), künstlichen chemischen Änderungen wie z. B. Konsequenzen der Einnahme von Drogen, oder vorübergehenden Veränderungen, z. B. durch Ermüdung, entstehen." (Lefrançois 2003: 3f.) Da Menschen im Laufe ihres Lebens nie aufhören, (negative sowie positive) Erfahrungen zu sammeln, kann Schillings These des lebenslangen Lernprozesses damit bestätigt werden. Wie Lernprozesse demnach bestmöglich angeregt werden können, wie die Rolle der Lernenden und Lehrenden verstanden wird und welche Vorstellungen von Wissen und Wissensvermittlung mit ihnen verbunden sind, wird anhand von drei lerntheoretischen Ansätzen erläutert: Behaviorismus, Kognitivismus und Konstruktivismus. Lerntheorien umfassen „Versuche, die Kenntnisse über das Lernen zusammenzufassen und zu systematisieren.“ (Lefrançois 2003: 8) Sie sollen im Folgenden kurz vorgestellt werden, da sie den größten Einfluss auf mediendidaktische Fragen haben. Der Bezug zu computergestützten Lernanwendungen im Allgemeinen sowie ITeach im Speziellen wird daraufhin hergestellt. 2.1 Behaviorismus
Die Theorie des Behaviorismus gründet sich auf den Forschungen des russischen Physiologen Iwan Pawlow (1849-­‐1936), der Lernen durch Konditionierung erforschte. Er fand heraus, dass man den Speichelfluss von Hunden als Reaktion auf einen Glockenton anregen kann, Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 10 indem das vom Hund vorerst als neutral betrachtete Geräusch mit einem Reiz verbunden wird. Der Reiz, im Tierversuch durch das Vorsetzen von Futter repräsentiert, löste den Speichelfluss aus, nachdem die Reiz-­‐Reaktions-­‐Verbindung gelernt wurde. Dafür wurde der Ton immer wieder gespielt, wenn dem Tier das Futter vorgesetzt wurde. Der Hund verband den Glockenton so mit einer positiven Erfahrung, und reagierte nach mehreren Versuchen mit vermehrtem Speichelfluss auf das akustische Signal, auch wenn der Reiz entzogen wurde. Mit fortschreitendem Lernprozess wurde der natürliche Reiz ersetzt, und mit einem neuen substituiert. (vgl. Edelmann 2000: 33) Der Prozess der neu entstehenden Verkettung von Reiz und Reaktion wird als klassische Konditionierung bezeichnet. In allen behavioristischen Modellen hat der Lehrende völlige Kontrolle über die Steuerung der Lernprozesse, den internen Prozessen des Lernenden wird keinerlei Bedeutung beigemessen. Burrhus Frederic Skinner (1904-­‐1990) übte Kritik an den seiner Auffassung nach unzulänglichen Theorien Pawlows, und entwickelte die Idee der klassischen Konditionierung weiter, indem er auch die Konsequenzen, die bestimmte Handlungen mit sich tragen, weiterführend untersucht hat. Seine Theorien basieren dabei ebenfalls auf der Verkettung von Reizen und Reaktionen. Er unterscheidet allerdings zwei Arten der Reaktionen bzw. des Verhaltens: „Beim respondenten Verhalten reagiert der Organismus auf seine Umwelt, während er beim operanten Verhalten auf die Umwelt einwirkt.“ (Baumgart 2001: 129). Das Subjekt reagiert entweder mit respondentem Verhalten, welches der vorher beschriebenen klassischen Konditionierung entspricht, oder mit operantem Verhalten, welches eine spontane Reaktion ohne Zusammenhang mit dem Auslöser beschreibt. Abhängig davon, ob auf die spontane und damit eigentlich unbeabsichtigte Handlung eine positive (sogenannter Verstärker) oder negative Konsequenz erfolgt, wird sie wiederholt oder zukünftig vermieden werden. „Consequences may „feed back“ into the organism. When they do so, they may change probability that the behaviour which produced them will occur again.“ (Skinner 1953: 59) Ein bestimmtes Verhalten kann also konditioniert werden, weil es mit einem angenehmen Reiz (positive Verstärker erbrachten in Versuchen bessere Lernergebnisse) verbunden und so bekräftigt wird. Um eine Handlung erfolgreich zu verstärken, ist der richtige Zeitpunkt der Verabreichung sowie die Angemessenheit der Belohnung von großer Bedeutung. Die Art des Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 11 Verstärkers kann dabei durch Beobachtung ermittelt werden, und ist individuell anzupassen. Zu spät gegebenes Feedback kann nicht mehr mit der Ursprungshandlung in Verbindung gebracht werden, und führt so zu keinem Lernergebnis. Bei der operanten Konditionierung steht die Motivation des Lernenden dabei im Mittelpunkt. In der Beschreibung seiner Methoden legt Skinner außerdem fest, dass Lernenden Unterrichtsstoff in kleinen Abschnitten und in linearer Abfolge präsentiert werden soll, um eine Verzögerung des Feedbacks und damit falsche Verknüpfung der Handlung zu vermeiden (vgl. Skinner 1953). Nach jedem Abschnitt erfolgt ein kurzer Wissenstest, abhängig von der richtigen Antwort wird der Lernende zur nächsten Wissenseinheit geleitet. In dieser Art des „programmierten Unterrichts“ sollen Schüler unmittelbar nach der Bearbeitung ihrer Aufgaben unter kontrollierten und eingeschränkten Lernbedingungen eine Rückmeldung über die Korrektheit ihrer Antwort erhalten. Diese Theorie ist die Basis für erste computergestützte Lernprogramme. Sogenannte tutorielle Systeme, die auf der Theorie des Behaviorismus basieren, sind entsprechend den vorgestellten Lernmethoden linear aufgebaut und erlauben dem Lernenden nur wenige Möglichkeiten zur Interaktion. Aufgaben werden vom Autor vorgegeben, und in einer festgelegten Reihenfolge bearbeitet. Das Vermitteln von meist deklarativem Wissen wird nicht auf reine Präsentation des Lehrstoffes beschränkt, sondern gemäß der behavioristischen Theorien vom Lernenden abgefragt, dessen Antwort daraufhin sofort gelobt oder bestraft. Die Art des Feedbacks kann dabei variieren. In der Regel folgt eine positive oder negative Bestätigung, indem bei richtiger Antwort mit der nächsten Aufgabe fortgefahren werden kann. Bei falscher Antwort wird die letzte Aufgabenstellung wiederholt, um eine Fehlerkorrektur zu ermöglichen. Verbindet der Lernende eine positive Bestätigung mit dem Training, findet eine operante Konditionierung statt, der Nutzer ist durch die gezielte Belohnung ermutigt, und wiederholt die verstärkte Verhaltensweise (vgl. Lefrançois 2003: 49f.). Da alle Nutzer dem vorgegebenen Pfad innerhalb dieser strukturierten Programme folgen, müssen keine alternativen Möglichkeiten der Bearbeitung vorgegeben werden, wie aus Abbildung 1 ersichtlich wird. Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 12 Die Programmierung ist sehr geradlinig und einfach. Da keine interaktiven Funktionen implementiert werden müssen, ist die technische Umsetzung tutorieller Systeme nicht mit großen Kosten verbunden. Auch die Wartung der Lernumgebungen ist wenig aufwändig. Abbildung 1: Prinzip eines tutoriellen Systems (Tutorielle Systeme 2007) Tutorielle Systeme bieten damit die einfachste Möglichkeit, Lernprogramme computergestützt umzusetzen. Der Nutzer bewegt sich in einem geschlossenen System mit klar strukturiertem Lernstoff, bei dem eine sehr eingeschränkte Möglichkeit der Beteiligung vorgegeben ist. 2.2 Kognitivismus
Im Gegensatz zur Theorie des Behaviorismus, bei der Denk-­‐ und Verarbeitungsprozesse des Lernenden keine Rolle spielen, und die „zu mechanistisch, zu unvollständig und zur Erklärung höherer geistiger Prozesse nicht geeignet [ist, ... beschäftigen sich Kognitivisten] primär mit Themen wie Wahrnehmung, Problemlösen durch Einsicht, Entscheidungsprozessen, Informationsverarbeitung und Verständnis. Bei all diesen Prozessen spielt das Bewusstsein (oder die Kognition) eine zentrale Rolle.“ (Lefrançois 2003: 95) Die seit den 1970er Jahren bestehende Theorie hat dabei das Ziel des Wissenserwerbs, der nicht nur auf Basis von Belohnung und Bestrafung erfolgt. Da kognitive Strukturen in Auseinandersetzung mit der Umwelt ausgebildet werden, betrachtet der Kognitivismus vor allem die Wirkung von äußerlich Beobachtbarem auf Inneres (Prozesse, Konstruktion und Vernetzungen) (vgl. Bausch, et al. 1998: 89). Diese äußeren Reize werden selbständig und Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 13 aktiv vom Lernenden verarbeitet, und in seine vorhandenen Wissensstrukturen eingeordnet, sein Gehirn wird damit als informationsverarbeitendes System angesehen. Auf Basis der Erfahrungen und gesammelten Erkenntnisse eines jeden Menschen werden für neue Problemstellungen selbständig individuelle Lösungswege gesucht und angewendet. Lehrangebote, welche auf kognitivistischen Ansätzen basieren, sind entsprechend diesem vorgestellten Konzept oftmals für die Vermittlung von komplexen Inhalten konzipiert. Wissen wird nicht nur systematisch dargestellt, sondern dem Lernenden werden auch Zusammenhänge des Lernstoffs vermittelt. Im Gegensatz zu tutoriellen System des Behaviorismus wird berücksichtigt, dass Menschen über Abstraktionsvermögen verfügen, und die Fähigkeit zur Problemanalyse besitzen. Erkenntnisse aus der Aufmerksamkeits-­‐ und Gedächtnisforschung haben dabei ebenso Einfluss wie Forschung im Bereich der Informationsverarbeitung. (vgl. Ewerth 2008: 10) Die Entwicklung von kognitiven Strukturen, die ständig verändert und erweitert werden können, wird gefördert. Beim Wissenserwerb spielen Fakten (deklaratives Wissen) und Regeln (prozedurales Wissen) eine wichtige Rolle, welche objektiv sind und unabhängig von einzelnen Personen existieren. Rückmeldungen an den Lernenden beinhalten ausführliche Kommentare, Hinweise oder Verweise auf Fehlerquellen, so dass verstanden und analysiert werden kann, welche Probleme beim Bearbeiten einer Fragestellung auftraten. Mithilfe des bestehenden Vorwissens kann gelernt werden, Aufgabenstellungen effektiver zu lösen. Lernende werden also anders als im Behaviorismus nicht nur bestraft oder gelobt, sondern können durch Verständnis aus Fehlern lernen. Soziale, motivationale und emotionale Aspekte beim Schüler werden in der Theorie des Kognitivismus allerdings ebenfalls nicht berücksichtigt. (vgl. Ewerth 2008: 10f.) Die 1994 von Euler vorgestellte Erweiterung der zuvor beschriebenen Prinzipien bietet mehr Freiraum zur Gestaltung für den individuellen Lerner, der befähigt werden soll, persönliche Erfahrungen zu sammeln und damit eigenständig Verfahren zur Problemlösung entwickeln soll. Aufgaben werden realitätsnah gestellt, was zu einer Verstärkung des Lerneffekts führt, da sich das Gelernte in bekannte Wissens-­‐ und Denkstrukturen einordnen lässt. Auf Basis dieser Erkenntnisse können intelligente tutorielle Systeme (ITS) entwickelt werden, die sich optimal an den individuellen Wissensstand des Lernenden anpassen sollen. Die Lernumgebung in diesen computergestützten Systemen soll hoch interaktiv gestaltet Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 14 werden. So sollen sich Lernende im Gegensatz zu rein behavioristischen Ansätzen (bei denen der Lernstoff linear und ohne Handlungsmöglichkeiten präsentiert wird) eigenständig mit den ihnen gestellten Aufgaben auseinandersetzen. Damit sind sie nicht auf ein starres Lernkonstrukt beschränkt, sondern können selbst bestimmen, in welcher Reihenfolge Aufgaben bearbeitet werden, und welche Lerninhalte vertieft werden. In dieser den jeweiligen Bedürfnissen angepassten Lernumgebung werden dem Schüler personalisierte Hilfestellungen geboten. Die Lernergebnisse der Schüler werden darüber hinaus analysiert und Modelle ihrer Wissensstände und Fähigkeiten erstellt, dem Lehrer fällt damit eine eher beratende Funktion zu. Es werden damit bedeutende Elemente des medienbasierten Lernens eingeführt, die es im Wesentlichen bei Drill & Practice-­‐Übungen nicht gibt. Die Autorinnen Moundridou und Virvou definieren ITS folgendermaßen: Intelligent Tutoring Systems (ITSs) are computer-­‐based instructional systems aiming at providing each student with a learning experience similar to the ideal one-­‐to-­‐one tutoring. In particular, ITSs have the ability to present the teaching material in a flexible way and to provide learners with tailored instruction and feedback. (Moundridou und Virvou 2002b: 203) Verschiedene Module, genauer ein Expertenmodul, Studentenmodul, Unterrichtsmodul und Kommunikationsmodul sind in der Regel im ITS implementiert. Abbildung 2: Kommunikation zwischen ITS-­‐Modulen (Knall 2005: 27) Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 15 Das Expertenmodul bildet innerhalb der Systemstruktur das Lehrerwissen ab, beinhaltet also alle Lehrinhalte, die vermittelt werden sollen. Das Studentenmodul verarbeitet und speichert die Fortschritte der Lernenden, und ist damit das Element, welches die Anpassung der Software an die individuellen Anforderungen der Nutzer ermöglicht. Die Reihenfolge der Lerninhalte wird dabei vom Unterrichtsmodul festgelegt. Über das Kommunikationsmodell wird die optimale Kommunikationsform zwischen System und Schüler bestimmt. Die lange Entwicklungszeit sowie die damit verbundenen hohen Kosten, die für die Entwicklung von effizienten ITS nötig sind, erschweren den verbreiteten Einsatz der Systeme. So sind derzeit nur wenige im praktischen Einsatz. Meist werden nur einige Module in der Systemarchitektur implementiert, da die Einrichtung und Pflege zu aufwändig ist, und benötigte Fachkenntnisse für die Umsetzung fehlen. 2.3 Konstruktivismus
Das Lernen durch Erleben und Interpretieren wird im Konstruktivismus beschrieben, der gänzlich gegensätzlich zur zuerst vorgestellten Theorie des Behaviorismus steht. Jeder Schüler konstruiert und strukturiert den konstruktivistischen Methoden entsprechend sein Wissen aktiv selbst, nimmt es unterschiedlich wahr, und integriert es eigenständig in sein Weltbild. Auf Basis von eigenen Erfahrungen, Vorkenntnissen und dem Weltverständnis bildet sich Wissen ohne jegliche Steuerung von außen. (Edelmann 2000: 287f.) beschreibt in diesem Zusammenhang fünf zentrale Forderungen, die bei der Umsetzung von konstruktivistischen Lernsystemen berücksichtigt werden sollen: • Der Lernende konstruiert sich eine subjektive Wirklichkeit aufgrund eigener Erfahrungen. • Der Lernende steht im Mittelpunkt der Betrachtung und steuert den Lernprozess weitestgehend selbständig. • Lernprozesse werden problemorientiert gestaltet und basieren auf authentischen Anwendungssituationen. • Ein Transfer des Erlernten auf andere Situationen wird angestrebt. • Kooperatives, teamorientiertes Arbeiten soll trainiert werden. Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 16 Eine der zentralen Annahmen des Konstruktivismus besagt dabei, dass eine objektive Beschreibung oder Erklärung der Realität nicht möglich ist, und es keine existente Realität ausserhalb des menschlichen Geistes gibt. (vgl. Payr und Baumgartner 1994: 105) Dieser lerntheoretische Ansatz fand in den 90er Jahren des letzten Jahrhunderts vermehrt Verbreitung. Er basiert auf den Untersuchungen des Psychologen Jean Piaget (1896-­‐1980), der Ansätze des Kognitivismus verändert und erweitert hat. Die Motivation des Lerners hat seinen Thesen nach einen hohen Stellenwert, denn ohne bestehendes Interesse für die Thematik sowohl als die Fähigkeit, eigenständig zu arbeiten, kann sich der Lernstoff nicht eingeprägt werden. Um die angestrebte Motivation des Lernenden zu erreichen, wird aktive Kommunikation, Wissensaustausch und Teamarbeit vorausgesetzt. Lehrende sind hier nicht nur aufgefordert, Hilfestellungen zur Problemlösung anzubieten, sondern Schüler auch bei der Definierung der Problemstellung zu unterstützen. Dabei gilt er, anders als bei den zuvor dargestellten Lerntheorien, keineswegs als allwissend. (vgl. Payr und Baumgartner 1994: 107) Um ein praktikables konstruktivistisches Lernsystem im Computer umzusetzen, empfiehlt sich die Einbindung von Lerninhalten in ein hypermediales System, da dieses die Integration mehrerer Medientypen (Text, Grafiken, Ton, Video) ermöglicht, und den Austausch zwischen Usern über unterschiedliche Plattformen und soziale Netzwerke unterstützen kann (Foren, Wikis, etc.). So kann eine größtmögliche Bandbreite von vernetzten Informationen gewährleistet werden, und die Kommunikation und Zusammenarbeit von Einzelpersonen oder Gruppen angeregt werden. Fall-­‐ und problemorientiertes Lernen wird durch den selbstgesteuerten Umgang mit den Lerninhalten gefördert. Eine weitere Möglichkeit für die computergestützte Umsetzung der konstruktivistischen Theorien sind Simulationen, die auf dem Arbeiten und Lernen mit dem Modell eines Systems beruhen. In diesen virtuellen „Welten“ gibt es in der Regel keine genaue Aufgabenstellung. Der Lernende muss erst eigenständig lernen, sich in dem unbekannten Szenario zurechtzufinden und die fremde Umgebung erkunden, damit er das Problem selbst erkennen und lösen kann. Da er die Gegebenheiten und Umstände der Simulation dafür analysieren muss, lernt er direkt aus dem Zusammenhang, und kann sich praktisches Wissen aus seiner aktiven Arbeit aneignen. Ein feststehender Lösungsweg muss dabei nicht Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 17 vorgegeben sein, was den Autor der Simulation seiner „allmächtigen“ Position enthebt, und ihn als Berater des Anwenders auftreten lässt. Für die Einrichtung eines solchen Systems bedarf es viel Arbeit, Zeit und Aufwand. Auch die Pflege eines funktionierenden hypermedialen Systems oder einer überzeugenden virtuellen Simulation ist weitaus aufwändiger als die eines (intelligenten) tutoriellen Systems. Bedingt durch die Grundidee vom Konstruktivismus müsste eine tailored software, eine maß-­‐
geschnittene Lösung für jeden Nutzer, bereitgestellt werden, was horrende Kosten und einen erheblichen Arbeitsaufwand verursachen würde. Es wird zudem eine sehr hohe Fachkenntnis vom Programmierer vorausgesetzt. Auch wenn konstruktivistische Methoden vermehrt im Unterricht eingesetzt werden, ist die Praktikabilität im E-­‐Learning durch die Schwierigkeiten bei der Umsetzung der Systeme damit nur eingeschränkt gegeben. 2.4 Einordnung von ITeach
Bedingt vor allem durch die hohen Kosten der Einrichtung konstruktivistischer Systeme zeigen behavioristische Modelle in der pädagogischen und mediendidaktischen Praxis bis heute Anwendung. Sie gelten als suboptimal, da sie das menschliche Verhalten zu mechanisch darstellen, es konnte aber nachgewiesen werden, dass sie in einfachen Szenarien zum gewünschten Lernerfolg führen können. So gewann das Programm „Blitzrechnen“ im Jahr 1997 sogar den Deutschen Bildungssoftwarepreis. Es muss allerdings festgestellt werden, dass komplexerer Lernstoff vermehrt in intelligenten tutoriellen Systemen vermittelt wird, die Anwender anhand von interaktiven Übungen anleiten. Die Software ITeach, bei der es sich um einen nicht-­‐netzbasierten virtuellen Vokabeltrainer handelt, basiert auf den behavioristischen Ansatz eines tutoriellen Systems. Im Falle von ITeach kann festgehalten werden, dass das starre Konstrukt der Drill & Practice-­‐Lösung, obwohl es keine individuelle Gestaltungsmöglichkeit für die einzelnen Lernenden bietet, für seinen Zweck das beste Mittel darstellt. “Ein Nonplusultra unter den Lerntheorien kann […] nicht allgemeingültig festgelegt werden. Jede Theorie hat ihre jeweiligen Stärken und Schwächen. Geht man heute bei dem konstruktivis-­‐
tischen Ansatz auch davon aus, dass er am besten die kognitiven Strukturen des menschlichen Gehirns beschreibt, so kann man ihn nicht als das gemeinhin “beste” Modell auffassen. Im Gegensatz zum behavioristischem Paradigma eignet er sich zum Beispiel nur schlecht, um einfaches Faktenwissen, wie die Vokabeln einer Fremdsprache, zu vermitteln.” (Krüger 2004: 17) Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 18 Basierend auf dem Prinzip einer Lernkartei (siehe Kapitel 4.1) kann insofern auf die Lernbedürfnisse des Einzelnen eingegangen werden, indem nur Vokabeln wiederholt werden, die er in der Software selbst als „nicht gewusst“ klassifiziert. Die Wiederholungs-­‐
schritte der einzelnen Lektionen sind damit immer den persönlichen Lernfortschritten der Programmnutzer angepasst. Der vom Programmierer vorgegebene Pfad weist hier demnach Verzweigungen auf. Bei falscher Antwort wird zur bereits abgefragten Einheit zurückgekehrt, bei korrekter Beantwortung wird mit der nächsten Informationseinheit fortgefahren. Als zusätzlicher Verstärker gibt ein virtueller Tutor eine gestisch/mimische, teilweise auch verbale Bestätigung bei vermehrter Eingabe, Vokabeln bereits zu kennen. Entsprechend der Reiz-­‐Reaktions-­‐Verkettung, soll sich der Lernende so durch unterstützendes positives Feedback die Fremdwörter besser einprägen können. Arbeitsaufgaben, hier das Lernen neuer Vokabeln aus verschiedenen Themenbereichen werden nach einer ersten Einstufungsphase in kurze Komplexe geteilt, was in Einklang mit den in Kapitel 2.1 vorgestellten Theorien Skinners steht. Das vorgestellte Drill & Practice-­‐Prinzip, welches sich vor allem für die Wissensvermittlung bei Vokabeltrainern anbietet (vgl. Allen 2003: 291ff.), vermeidet durch Anwendung der behavioristischen Methoden eine zu große Gedächtnisleistung der Lernenden. Auch die Verwendung des minimalistisch agierenden Agenten soll einem cognitive overload des Nutzers vorbeugen. So konnte in einer simplen und kostengünstigen Umsetzung ein computergestütztes Lernprogramm erstellt werden, das das wenig komplexe und sich ständig wiederholende Erlernen neuer Fremdwörter effizient unterstützt. Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 19 3
Virtuelle Agenten
Die Face-­‐to-­‐Face-­‐Kommunikation ist die älteste und damit bewährteste Art der Menschen, untereinander zu kommunizieren. Laufendes wechselseitiges Feedback ermöglicht bessere Verständigung der Gesprächspartner untereinander und erhöht im Allgemeinen die Flexibilität der Kommunikation. Die Glaubwürdigkeit von Kommunikationspartnern kann im Zwiegespräch gestärkt werden, was eine höhere Beeinflussungswirkung verspricht. (vgl. Kroeber-­‐Riel und Weinberg 1999: 498ff.) Damit hat diese Art der direkten Kommunikation auch für die Entwicklung von Lern-­‐ oder Werbestrategien eine große Bedeutung. Da die Vermittlung von Informationen auf direktem Weg stattfindet, können Botschaften einfacher und effizienter transportiert werden als durch andere Kommunikationskanäle. Nur bei persönlicher Kommunikation können verbale Äußerungen optimal von non-­‐verbalen Signalen unterstützt werden. Diese können helfen, Missverständnisse zwischen den Gesprächspartnern direkt aufzuklären. So können beispielsweise Sarkasmus und Ironie durch eine eindeutige Gestik und Mimik von ernstgemeinten Sätzen unterschieden werden. Muss sich der Gesprächspartner auf reine Sprachinformationen oder textuelle Beschreibungen beschränken, können subtile Botschaften nur erschwert oder gar nicht transportiert werden. Ein virtueller Agent als anthropomorphe Schnittstelle soll die direkte Kommunikation im Bereich der Mensch-­‐Maschine-­‐Interaktion ermöglichen. Dieser soll sowohl multimodal kommunizieren als auch Glaubwürdigkeit bei seinem Gegenüber erzeugen können. Der Rechner soll damit vom Menschen als sozialer Interaktionspartner wahrgenommen werden, und in verschiedenen Rollen eingesetzt und akzeptiert werden (Tutor, Berater, Helfer, Verkäufer etc.). Takeuchi und Naito weisen bereits 1995 auf die Bedeutung der Agenten als Benutzerschnittstelle hin, da sie annehmen, dass die Leistungsfähigkeit und Motivation von Anwendern computergestützter Systeme gesteigert werden kann, wenn sie wie mit einer natürlichen Person damit interagieren und kommunizieren können. We surmise that once people are accustomed to synthesized faces, performance becomes more efficient, and a long partnership further improves performance. Human-­‐like characterization is one good form of autonomous agents, because people are accustomed to interact with other humans. (Takeuchi und Naito 1995: 545) Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 20 Damit soll eine voraussetzungsfreie Nutzung von Computersystemen gewährleistet werden, was vielfältige Problemstellungen für die interdisziplinäre Forschung hervorruft. Um die alltägliche Nutzung der Maschinen zu vereinfachen, muss weitestgehend auf Spezialwissen zur Bedienung der Systeme verzichtet werden. Virtuelle Agenten könnten helfen, dieses Ziel mithilfe natürlichsprachiger sowie nonverbaler Ein-­‐ und Ausgabetechnologien zu erreichen. Interface Einsatzbereich, Aufgabenspektrum Nutzergruppe Maschinensprache Bedienung vereinzelter Großrechner Spezialisten Kommandosprache Bedienung arbeitserleichternder Maschinen am Arbeitsplatz Informatiker, spezifisch ausgebildete Nutzerinnen/ Nutzer Graphische Benutzeroberfläche Einsatz von PC’s an fast allen Arbeitsplätzen, zunehmend in Privathaushalten Alle Berufsgruppen, erforderliches Know-­‐how ist Teil der Ausbildung; nicht vorgebildete Privatnutzer erarbeiten sich die Bedienung Dialog-­‐Metapher (natürlich-­‐
sprachliche Interaktion) Im Entwicklungsstadium Ziel: voraussetzungsfreie Nutzung für alle Antropomorphe Schnittstellen Im Entwicklungsstadium Ziel: voraussetzungsfreie Nutzung für alle Virtuelle Realität, Augmented reality Im Entwicklungsstadium Ziel: voraussetzungsfreie Nutzung für alle Tabelle 1: Übersicht über die Entwicklung der Interface-­‐Metapher (Krämer 2008: 18) Wie Nicole Krämer darstellt, sind vor allem natürlichsprachliche Interaktion, antropomorphe (menschlich aussehende) Schnittstellen und virtuelle/erweiterte Realität unter Verwendung von künstlicher Intelligenz langfristige Ziele bei der Entwicklung von Benutzerschnittstellen, die eine voraussetzungsfreie Nutzung von Computersystemen realisieren könnten. 3.1 Begriffsklärung
An intelligent agent is a set of independent software tools linked with other applications and databases running within one or several computer environments. The primary function of an intelligent agent is to help a user (client) better use, manage, and interact with a computer application […]. Additionally, software agents […] can be authorized with the autonomy to make decisions and perform certain tasks. Agent-­‐based technology systems are assumed to involve artificial intelligence (AI) and include a degree of autonomous problem-­‐solving ability. (Jafari 2002: 29) Wie die Definition von Ali Jafari besagt, müssen Agenten vor allem fähig sein, autonom mit einem menschlichen Anwender eines Systems zu kommunizieren. Damit ist ein Agent vom Begriff des Avatars abzugrenzen, auch wenn umgangssprachlich beide Begriffe oft synonym Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 21 gebraucht werden. Avatare sind lediglich als grafische „Stellvertreter“ zu sehen, Verkörperungen von realen Personen in Software oder im Internet. Sie werden zumeist von Menschen gesteuert, handeln also nicht selbst durch eine künstliche Intelligenz. Agenten hingegen sind keine passiven Figuren, sondern vielmehr Softbots (Software Roboter), intelligente Agenten, die dank künstlicher Intelligenz und Heuristiken mit einer Software interagieren können. Sie können User weitaus selbständig bei Systemanfragen unterstützen und auf Eingaben aktiv reagieren, da sie ein Verständnis ihrer Umwelt haben. (Wooldridge und Jennings 1995: 116ff.) legen anhand relevanter Arbeiten verschiedene Eigenschaften eines virtuellen Agenten fest: • autonomy: Agenten agieren ohne direkte Unterbrechung durch Anwender, haben beschränkte Kontrolle über ihre Handlungen und inneren Zustand • social ability: Agenten interagieren mit anderen Agenten (möglicherweise auch Menschen) über eine Kommunikationssprache • reactivity: Agenten nehmen ihre Umwelt wahr und reagieren rechtzeitig auf Verän-­‐
derungen darin • pro-­‐activeness: Agenten reagieren nicht nur auf ihre Umwelt, sondern können zielgerichtes Verhalten ausführen, indem sie die Initiative ergreifen Diese Eigenschaften werden im Folgenden um vier weitere Kriterien ergänzt: • mobility: der Agent kann sich frei im elektronischen Netzwerk bewegen • veracity: Annahme, dass der Agent wissentlich keine falschen Informationen kommu-­‐
niziert • benevolence: Annahme, dass Agenten keine widersprüchlichen Ziele haben, und deshalb Befehle immer ausführen werden • rationality: Annahme, dass ein Agent um seine Ziele zu erreichen keine Handlungen ausführt, die das Erreichen der Ziele behindern 3.2 Einsatz
Eine britische Studie aus dem Jahr 2005 belegt, dass 74% der Einwohner Großbritanniens regelmäßige Kommunikation mit virtuellen Agenten praktizierten. Automatische Sprach-­‐
erkennung ist in vielen Servicebereichen bereits die Norm: „Paying gas or electric bills, Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 22 enquiring about bank balances, booking train and coach tickets, and even ordering pizza“ – verschiedene telefonische Dienstleistungen werden durch den Einsatz von autonomen Systemen vereinfacht. Die Nutzer gaben an, dass die telefonische Abwicklung von Anfragen durch Agenten zeitsparend ist (64%) und einfach zu benutzen ist (57%). Claudia Hathaway, Redakteurin der Zeitschrift Call Centre Focus stellte fest, dass virtuelle Agenten nach anfänglichen Komplikationen zunehmende Akzeptanz durch die britischen Bevölkerung erfahren. (Virtual Agents are Becoming Part of Everyday Life! 2005) Auch wenn noch keine Statistiken für die Verwendung von virtuellen Agenten in visuellen Medien existieren, weil diese nur in wenigen kommerziellen Anwendungen integriert sind, zeigt sich anhand dieser Untersuchung in Bezug auf virtuelle telefonische Kundendienste die Tendenz, dass Bürger zunehmend Vertrauen in computergestützte Systeme haben. Diese werden für die Bewältigung von täglichen Aufgaben verstärkt benötigt, da Menschen durch die technologische Entwicklung gewöhnt sind, Informationen zu jeder Zeit unabhängig von ihrem Aufenthaltsort beziehen zu können. Virtuelle Agenten werden demnach vermehrt eingesetzt, um den Bedürfnissen der Nutzer gerecht zu werden. Da die direkte Kommunikation die natürlichste Art der Verständigung der Menschen untereinander ist, wird interdisziplinär daran geforscht, Interfaces natürlicher zu gestalten. Die verbesserte Sprachtechnologie ist dabei nur einer der Schwerpunkte, um die Zufriedenheit und Akzeptanz der Benutzer zu steigern. Wenn die Interaktion mit einem virtuellen Agenten optimiert werden kann, können auch kognitive Prozesse unterstützt werden, wie Dehn und van Mulken ausführen: Broadly speaking, advocates of animated agents assume that such agents render a computer system more human-­‐like, engaging, and motivating. By rendering the system more human-­‐like, users can rely on standard interaction skills (such as interpreting their partner's facial expressions or taking into account eye contact) which makes the interaction with the computer much smoother. Coupled with an enhanced motivation to interact with the system (due to a higher degree of entertainingness), this should also support cognitive functions such as problem solving, understanding and learning. (Dehn und van Mulken 2000: 2) Die Autoren beschreiben hier unter anderem den persona effect, der in verschiedenen empirischen Untersuchungen nachgewiesen werden konnte (vgl. Dehn und van Mulken 2000), ein Phänomen, dass den positiven Effekt beschreibt, den lebensechte Agenten auf menschliche Anwender haben. Dieser kann sich vorteilhaft auf die Motivation und Leistung von Nutzern auswirken, Stressabbau bewirken und die Wahrnehmung gegenüber schwierigen Aufgaben verändern. Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 23 Agenten gewährleisten außerdem eine universelle und intuitive Benutzbarkeit von Benutzerschnittstellen, und können die Kommunikation mit einem Rechner so um ein Vielfaches erleichtern. Sie können in unterschiedlichen Kontexten angewendet werden. An verschiedenen Beispielen wird nachfolgend die Verwendung von virtuellen Agenten im E-­‐Learning-­‐Bereich dargestellt werden. Die Merkmale und Eigenschaften von Agenten in der Funktion pädagogischer Assistenten werden vorgestellt. Im Anschluss daran wird beispielhaft die Verwendung in kommerzieller Software und in Web-­‐Interfaces betrachtet. 3.2.1 Virtuelle Agenten im E-Learning
Ein verbreiteter Anwendungsbereich virtueller Agenten sind computergestützte pädagogische Systeme, die im Mittelpunkt der Betrachtung dieser Arbeit stehen. Im kommerziellen Sektor werden zahlreiche E-­‐Learning-­‐Anwendungen angeboten, die Lernenden eine zeitlich und räumlich unabhängige Nutzung der Software gewährleisten. Fortbildungsmaßnahmen können damit selbstbestimmt und unabhängig von Lehrern und Lehrinstitutionen durchgeführt werden. Der Einsatz von elektronisch unterstützten Lernanwendungen ermöglicht es Schülern, die Lerngeschwindigkeit individuell anzupassen, Aufgaben können zudem so oft wiederholt werden wie gewünscht. Im Gegensatz zu Präsenzseminaren kann damit die Gedächtnisleistung der Schüler unterstützt werden, denn so müssen nicht alle neuen Informationen auf einmal verarbeitet werden. Das zentrale Aufgabengebiet der computergestützten Lernsoftware ist die Wissensvermittlung, virtuelle Charaktere unterstützen den Nutzer dabei interaktiv beim Lernen. Sie geben Hilfestellungen bei der Bearbeitung von Aufgaben, bieten Ressourcen und erarbeiten Problemlösungen mit dem Anwender. Das Lernen soll möglichst in jeder Phase unterstützt und die Lernergebnisse optimiert und verbessert werden, wobei die Leistungsfähigkeit des Nutzers nie negativ beeinflusst, sondern möglichst verbessert werden soll. Entscheidend dafür ist die Motivation des Schülers. (Spitzer 2003: 53) hält dem-­‐
entsprechend fest: „Für jede Form von Lernen ist wichtig: Gelernt wird, wenn positive Erfahrungen gemacht werden.“ Häufig sind pädagogische Agenten anthropomorph gestaltet. Dank hoch entwickelter Visualisierungsmethoden der Computergraphik kann ein realistisches Aussehen bereits weitestgehend ermöglicht werden, die Implementierung natürlicher Bewegungen und Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 24 Sprachtechnologie sowie überzeugenden Verhaltensmustern der Agenten ist Thema interdisziplinärer internationaler Forschung. Anthropomorphe Interface Agenten sollen zukünftig nicht nur natürlichsprachigen Dialog ermöglichen, sondern auch ein benutzerfreundliches Klima erzeugen. [...] Das Mittel der Wahl, um den Benutzer entsprechend zu beeinflussen, ist weniger das verbale als vielmehr das nonverbale Verhalten des Agenten. (Krämer und Bente 2003: 287) Zunehmend wird dementsprechend versucht, multimodale autonome Agenten in E-­‐Learning-­‐Anwendungen zu integrieren, in denen sie menschliche Kommunikationskanäle wie Gestik, Mimik und Körpersprache nutzen. Gewöhnlich verfügen sie über Bibliotheken mit verschiedenen Gebärden und Ausdrücken, mit denen sie auf Handlungen oder Eingaben der Nutzer reagieren können. Ihre Möglichkeiten der Wahrnehmung und Motorik sind deshalb in der Regel vielfältiger als bei vorherigen virtuellen Tutoren und Lernpartnern. (vgl. Johnson, Rickel und Lester 2000: 62) Im folgenden sollen vier von internationalen Universitäten und Forschungsinstituten entwickelte virtuelle Charaktere mit ihrer Lernumgebung vorgestellt werden: STEVE, Herman the Bug, WEAR und PPP-­‐Persona, anhand derer Eigenschaften von pädagogischen Agenten beschrieben werden. 3.2.1.1
STEVE
Der Agent STEVE (Soar Training Expert For Virtual Environments), entwickelt vom Center for Advanced Research in Technology for Education des USC Information Sciences Institute wird für militärische Trainingsübungen eingesetzt: er hat die Aufgabe, Kadetten der US Navy die Funktionsweisen und komplexen Bedienfunktionen von Schiffen zu erläutern. Abbildung 3: STEVE, pädagogischer Agent im militärischen Bereich (Rickel und Johnson 1998: 332) Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 25 Am Beispiel von STEVE lassen sich die maßgeblichen Vorteile demonstrieren, die virtuelle Agenten gegenüber herkömmlichen Benutzerschnittstellen aufweisen können, wie (Johnson, Rickel und Lester 2000) beschreiben. Zu diesen Hauptmerkmalen (key features) gehören: 1. Interaktive Demonstrationen (Interactive Demonstrations): STEVE kann sich innerhalb seiner Welt, einem virtuellen dreidimensionalen Modell eines US Navy Schiffes, frei bewegen. Der Schüler kann ihm „folgen“, indem er die Demonstrationen unter freier Bestimmung der Blickwinkel betrachtet. Da Kadetten der Lehrstoff so auf anschauliche Weise präsentiert wird (nicht nur verbal beschrieben oder textuell übermittelt), können Arbeitsabläufe leichter nachvollzogen werden. Zusätzlich zu Handlungen, die STEVE ausführt, erklärt er detailliert seine Vorgehensweise: I will now perform a functional check of the temperature monitor to make sure that all of the alarm lights are functional. First, press the function test button. This will trip all of the alarm switches, so all of the alarm lights should illuminate. (Johnson, Rickel und Lester 2000: 53) Dabei kann STEVE durch ein Sprachgenerierungstool nicht nur selbst Sätze bilden, und passend auf Anfragen der Schüler reagieren, sondern kann sie durch eine implementierte Spracherkennung auch verstehen und verarbeiten. 2. Navigation, Führung (Navigational Guidance): STEVE ist Bestandteil einer komplexen Umgebung, die mehrere Räume und Bereiche umfasst. Er kann Lernenden „seine“ Welt zeigen und erklären, und sie darin herumführen. Da das virtuelle Modell mit dem echten Schiff übereinstimmt, kann das Gesehene leicht auf die Wirklichkeit übertragen werden. 3. Blick und Gestik als Aufmerksamkeitslenkung (Gaze and Gesture as Attentional Guides): Zur Verdeutlichung beim Zeigen der umfassenden Arbeiten am Schiff nutzt der Agent Gesten, um die Aufmerksamkeit der Zuschauer auf besondere Abläufe zu lenken. Er dreht gleichzeitig den Kopf in die Richtung des Objektes, womit ein natürliches Verhalten simuliert wird. Er kann auch sich bewegende Objekte und Personen mit seinen Augen verfolgen. 4. Nonverbale Rückmeldung (Nonverbal Feedback): STEVE kann mit seinen Gesprächs-­‐
partnern einen multimodalen Dialog führen. So kann der virtuelle Lehrer zur Bestätigung nicken, oder seinen Kopf schütteln, wenn eine Leistung nicht zufriedenstellend war. Diese unauffälligen Signale lenken den Schüler im Gegensatz zu verbalen Äußerungen kaum ab. Zudem kann körperliches Feedback eine größere Nachwirkung auf Schüler haben, da es Aussagen des Agenten Nachdruck verleiht. Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 26 5. Signale im Gespräch (Conversational Signals): Durch Mimik und Gestik gestaltet der Agent eine Unterhaltung lebhafter, und ermöglicht ein besseres Verständnis der Gesprächspartner untereinander. Zwinkern, Bewegungen der Augenbrauen, Nicken, Kopfschütteln, Augen-­‐
kontakt etc. helfen, Situationen besser zu bewerten. STEVE kann durch diese Signale auch non-­‐verbales Feedback geben. 6. Emotionen fördern und hervorrufen (Conveying and Eliciting Emotion): Neben Gestik kann durch die Variation bei der Betonung von Wörtern und Benutzung unterschiedlicher Tonlagen Emotionen bei Nutzern hervorgerufen werden. Der Agent wird dadurch als „Persönlichkeit“ wahrgenommen, die abwechslungsreiche Interaktionen bietet und lebendig wirkt. Wie Studien von Lester et al. (Lester, Converse und Kahler, et al. 1997a, sowie Lester, Converse und Stone, et al. 1997b, siehe Kapitel 5.1.1) nachgewiesen haben, tragen kommunikative Agenten zum Lernerfolg und zur Motivation von Lernenden bei. 7. Virtuelle Teammitglieder (Virtual Team Mates): Komplexe Aufgaben können oft nur in der Gruppe bewältigt werden. Dabei muss jedes Mitglied seine Arbeitsabläufe genau kennen, um einen reibungslosen Ablauf und effektive Zusammenarbeit zu gewährleisten. Im Training mit STEVE können Teams (bestehend aus menschlichen und virtuellen Mitgliedern) gebildet werden. Kadetten loggen sich im System ein, und bekommen einen virtuellen Ausbilder zur Seite gestellt, der sie während der Problemlösung betreut. Alle Mitglieder der Gruppe (virtuell und real) werden in der virtuellen Welt als Avatare repräsentiert. 8. Anwendbare pädagogische Interaktionen (Adaptive Pedagogical Interactions): Pädago-­‐
gische Agenten müssen außerdem in der Lage sein, verschiedene Funktionen gleichzeitig auszuführen. So kann STEVE Aufgaben beschreiben, Anschlussfragen generieren oder mögliche Antworten formulieren, während er den Lernfortschritt des Kadetten speichert. Das System muss umgehend reagieren, wenn eine Anfrage an STEVE gerichtet wird. Es wird ermöglicht, eine Darbietung zu unterbrechen, und ein neues Thema zu beginnen bzw. eine Rückfrage zu stellen, ohne einen Systemabsturz zu verursachen. Anhand dieser Eigenschaften stellt sich STEVE als anthropomorpher, autonom handelnder Agent in einer dreidimensionalen Simulation dar, mit dem eine direkte Kommunikation durch den Einsatz von künstlicher Intelligenz ermöglicht wird. Der Unterricht mit dem pädagogischen Agenten ist abwechslungsreich und anschaulich gestaltet. Nutzer können in der Lernumgebung frei handeln, und Manöver ohne Risiko üben. Durch nonverbales Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 27 Feedback und verbale Äußerungen werden positive Handlungen der Nutzer verstärkt, und das Prinzip von „learning by doing“ gefördert. (vgl. Rickel und Johnson 1998) 3.2.1.2
Herman the Bug
Herman the Bug, Produkt langjähriger Forschung an der North Carolina State University, ist ein pädagogischer Agent in Form eines comicartigen Insektes, der Schulkindern im Alter von 10 bis 14 Jahren Wissen über Pflanzen und deren Habitate vermittelt. Ähnlich wie STEVE befindet sich Herman in einer geschlossenen virtuellen Welt, die sich „Design-­‐A-­‐Plant“ nennt. Das Insekt demonstriert darin, wie Pflanzen in bestimmten Umgebungen beschaffen sein müssen, und erläutert deren botanische Anatomie. Nutzer können Pflanzenteile nach Anleitung des Agenten dynamisch zusammensetzen, um Gewächse in Anbetracht verschiedener vegetativen Zonen zu kreieren. Während der Anwendung des Programms bleibt Herman die gesamte Zeit auf dem Bildschirm sichtbar, und bewegt sich auf der Menüleiste, die von den Schülern eingesetzt wird, um Pflanzen zu gestalten. Von dort führt er die Nutzer durch „seine“ virtuelle Welt. Abbildung 4: Herman the Bug in der virtuellen Lernumgebung Design-­‐A-­‐Plant (Herman the Bug 2007) Viele der key features, die im vorigen Kapitel am Beispiel von STEVE ausführlich beschrieben wurden, fanden Anwendung bei der Implementierung von Herman the Bug. So artikuliert der Agent Gesten bei der Problembeschreibung, und lenkt damit die Aufmerksamkeit der Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 28 Schüler auf relevante Aspekte. Durch seine Mimik können verschiedene Emotionen wie Freude ausgedrückt werden, wenn eine Aufgabe korrekt ausgeführt wird. Da der Agent und die Lernumgebung speziell für Kinder gestaltet wurden, ist Herman über diese gebräuchlichen nonverbalen Rückmeldungen hinaus in der Lage, Handlungen mit verschiedenen Aktionen zu verstärken, die sehr unterhaltsam auf die Nutzer wirken. Dazu fliegt, läuft oder schwimmt der Agent herum, wächst, schrumpft, springt Bungee, wird teleportiert und macht Kunststücke, sofern es die laufende Anwendung erlaubt. Damit wächst die Motivation der Schulkinder, die unabdingbar ist, damit sie die Lust am Lernen nicht verlieren. Hermans visuelle und verbale Handlungen werden von einer Systemengine erzeugt, welche verschiedene Verhaltenssequenzen in Echtzeit berechnen kann. Der Agent verfügt über ein Repertoire von 30 animierten Sequenzen, 160 Tonaufzeichnungen und verschiedenen Liedern, um auf Eingaben zu reagieren. Dem virtuellen Insekt stehen damit drei verschiedene Arten von Kommunikationsmustern zur Verfügung: Zum einen wird eine kurze animierte Sequenz gezeigt werden, die mögliche Handlungen (zum Beispiel das Gestalten einer Pflanze) visuell darstellt, während der Agent mit gesprochenen Anweisungen das Gezeigte zusätzlich verbal beschreiben. Die so dargestellten Aktionen sollen vom Schüler verarbeitet, verstanden, und beim Bearbeiten nachfolgender Aufgaben angewendet werden. Außerdem kann der Agent Fachwissen rein verbal kommunizieren, ohne dass zusätzliche Animationen dem Verständnis der Situation helfen. Das dritte Kommunikationsmuster umfasst aufgabenspezifische Instruktionen, die vom Schüler direkt anwendbar sind. Ein Beispiel einer Aussage ist: „Choose a long stem so the leaves can get plenty of sunlight in this dim environment.” (Lester, Converse and Kahler, et al. 1997a: 362) Anhand von Herman the Bug wurde erneut eine dreidimensionale Simulation vorgestellt, in der Nutzern interaktiv Wissen vermittelt wird. Anders als STEVE hat diese Lernumgebung aber einen hohen Unterhaltungsfaktor, Schülern wird Wissen auf spielerische Art und Weise von einem virtuellen comicartigen Charakter vermittelt. Wie anhand extensiver Nutzerstudien ermittelt wurde (Lester, Converse and Kahler, et al. 1997a; Lester, Converse and Stone, et al. 1997b), kann in dieser Lernumgebung der Persona-­‐Effekt beobachtet Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 29 werden, wie in Kapitel 5.1.1 näher beschrieben wird. Motivation und Lernleistung der Anwender wurden im Umgang mit der Software gesteigert. 3.2.1.3
WEAR
Die Software WEAR (WEb-­‐based authoring tool for Algebra Related domains) wurde vom Department of Informatics der griechischen Universität von Piraeus implementiert. Das System gehört den Autorensystemen an, welches eine Lernumgebung präsentiert, in der Studenten lernen, algebraische Probleme zu lösen. Das Programm setzt dabei pädagogische Konzepte um, und gibt Lehrern die Möglichkeit, die Reihenfolge der mathematischen Probleme zu bestimmen, die Lehrmaterialien zu kategorisieren und Beziehungen zwischen Grundvoraussetzungen und Inhalten von elektronischen Leitfäden herzustellen. Dazu muss die Software nicht nur den Lehrstoff generieren, sondern auch eine logische Reihenfolge der Inhalte aufbauen. Die Leitfäden werden dabei eigenständig vom System erzeugt und den Lernenden zur Verfügung gestellt. Mithilfe des WEAR-­‐Mechanismus kann auch eine Fehlerdiagnose der Eingaben ausgeführt werden. WEAR stellt ein intelligentes tutorielles System dar, welches Experten-­‐ und Studentenmodul generiert, die die Fähigkeit besitzen, sich über ein Kommunikationsmodul austauschen. Diese Kommunikation ahmt die Interaktionsmuster nach, die in einer realen, eineindeutigen Beziehung zwischen Tutor und Schüler beobachtet werden. (Moundridou und Virvou 2002b) Die Benutzerschnittstelle des Studentenmoduls enthält einen virtuellen Agenten in Form eines Papageien (basierend auf der Microsoft Agent-­‐Technologie). Er führt die Lernenden in die virtuelle Lernumgebung ein, verliest Anweisungen und vermittelt Feedback während Aufgaben gelöst werden. Verbale Äußerungen des Agenten werden automatisch durch ein Sprachgenerierungstool erzeugt. Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 30 Abbildung 5: Problemlösung mit WEAR im Studentenmodul (Moundridou und Virvou 2002b: 211) Abbildung 5 zeigt das Interface des Studentenmoduls, in dem der Lernende mit einem mathematischen Problem konfrontiert wird. Dieses wird zuerst beschrieben, dann werden verschiedene Werte angezeigt, die für die Lösung der Aufgabe hilfreich sind. In einem Eingabefenster soll eine Gleichung eingegeben werden, mit deren Hilfe das algebraische Problem gelöst werden soll. Die Eingaben des Schülers werden vom System autonom untersucht und schrittweise mit der Musterlösung verglichen. Zuerst wird aber automatisch analysiert, in welchen naturwissenschaftlichen Bereich die Aufgabe eingeordnet werden kann (z.B. Physik). Während des gesamten Prozesses werden Eingaben des Schülers überwacht und diagnostiziert. Sobald Fehler auftreten, wird sofort entsprechendes Feedback vom Agenten in verbaler und textueller Form ausgegeben. Es wird dabei in Domain Errors und Mathematical Errors unterschieden. Domain Errors bestehen, wenn der Schüler offensichtlich nicht verstanden hat, welches Sachgebiet vorliegt, und so falsche Beziehungen zwischen Variablen in der Aufgabe beschrieben werden. Mathematical Errors umfassen falsche Eingaben und generelle Fehler bei der Isolierung von Variablen. Dank der vom Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 31 System autonom modellierten Schüler-­‐ und Lehrermodelle kann WEAR unter Bezugnahme der Bedürfnisse beider Nutzergruppen individuelle Lösungen für Arbeitsaufgaben anbieten. Auch das WEAR-­‐System wurde evaluiert, der Persona-­‐Effekt des Agenten konnte hier jedoch im Gegensatz zu Herman the Bug nicht ganzheitlich bestätigt werden (vgl. Moundridou und Virvou 2002b). Die Studie, die in Kapitel 5.1.2 näher erläutert wird, stellt dar, dass der Agent zwar förderlich auf die Motivation der Probanden wirkte, jedoch den Lernerfolg nicht verbessern konnte. 3.2.1.4
PPP-Persona
Das Deutsche Forschungszentrum für Künstliche Intelligenz (DFKI GmbH) in Saarbrücken entwickelte Mitte der 1990er Jahre das Intellimedia-­‐System PPP, welches den Agenten PPP-­‐
Persona einsetzt, um Lernende durch Hypermedia-­‐Präsentationen zu führen. Er kann dank seiner objektorientierten Konzeption auch in weiteren Anwendungen angewendet werden, zum Beispiel in Online-­‐Hilfesystemen, bei Home-­‐Shopping-­‐Angeboten oder im Tele-­‐Banking. Präsentationsaufgaben empfängt der Server des PPP-­‐Systems von einem Anwendungs-­‐
programm (entsprechend der Client/Server-­‐Architektur), die das System anschließend selbständig ausführen kann. Lehrmaterialien werden zum Teil automatisch generiert oder aus dem World Wide Web geladen. Dabei spielt die zeitliche Koordination eine entscheidende Rolle, die ebenfalls autonom vom System verwaltet wird. Der Agent PPP-­‐
Persona hat verschiedene Ausprägungsformen, und kann unter Verwendung von Comic-­‐
Zeichnungen oder Videosequenzen von realen Personen visualisiert werden. Dabei ist er in der Lage, selbständig Animationssequenzen zu initiieren. Der Präsentationsagent lenkt den Blick des Betrachters durch Gestikulation auf wichtige Elemente auf dem Bildschirm (siehe Abbildung 6). Der Aspekt der Navigational Guidance ist daher vorrangige Aufgabe von PPP-­‐Persona. Werden verschiedene Objekte auf dem Monitor des Benutzers angezeigt, hilft der virtuelle Charakter durch seine Mimik und Gestik, wesentliche Elemente einfacher zu identifizieren, und die Beziehungen zwischen abgebildeten Objekten herzustellen. Das umfangreiche Repertoire von nonverbalen Handlungen umfasst verschiedene Gesichtsausdrücke für Emotionen (Befürwortung/Missfallen), Gesten, die Äußerungen des Agenten verdeutlichen (warnen, empfehlen, abraten), unterstützende Körpersprache (auf ein Objekt schauen/zeigen), Mimik, die Bezug zum Nutzer herstellt (Augenkontakt während Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 32 Interaktionen), und Sprechbewegungen. Direktes Feedback wird durch eindeutige Gesichtsausdrücke übermittelt. Um die Wirkung des Agenten zu unterstützen, werden zusätzlich verbale Äußerungen verwendet, die mittels eines Sprach-­‐Synthesizers erzeugt werden. Abbildung 6: Beidhändige Zeigegesten einer Persona im PPP-­‐System (André, Müller und Rist 1996: 246) Das Verhalten des Agenten soll durch die Anwendung verschiedener Aktionstypen möglichst realistisch und ansprechend auf den Nutzer wirken (vgl. André, Müller und Rist 1996). Um dies zu erreichen, verfügt er über folgende Fähigkeiten: • Komplexe Präsentationsakte: Der Agent kann je nach Anwendung komplexe Aufgaben, (z.Bsp. Zeigeoperationen, Bewegungsakte, Sprechakte, Emotionsäußerungen) erhalten. • Ruhe-­‐Aktionen: Vom Agenten selbst initiierte Aktionen, die er in Ruhephasen ausübt, um lebendiger zu wirken. • Reaktive Aktionen: Der Agent muss umgehend auf Nutzereingaben reagieren. • Primitive Navigationsaktionen: Aktionen wie „springen“, „nach rechts/links drehen“ etc. • Elementaraktionen: Diese beschreiben alle Aktionen, die sich nicht in primitivere Aktionen aufteilen lassen, sie bestehen aus einzelnen Bildern oder zusammenhängenden Sequenzen. Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 33 Durch PPP wurde ein System geschaffen, welches in einem breiten Spektrum von Anwendungen eingesetzt werden kann. Dabei kann der Agent in unterschiedlichen Funktionen auftreten, beispielsweise als Shopping-­‐Assistent oder als Berater in Home-­‐
Banking-­‐Anwendungen. PPP-­‐Persona wurde von (van Mulken, Andre und Müller 1998) evaluiert, hier wurde ein Person-­‐Zero-­‐Effekt festgestellt, was bedeutet, dass die Software weder positiven noch negativen Einfluss auf die Lernenden hatte. Die Ergebnisse werden in Kapitel 5.1.3 präsentiert. 3.2.2 Weitere Einsatzgebiete
Die vorgestellten Agenten sind Projekte bekannter Universitäten, die Anwendern kaum geläufig sein dürften. In kommerziellen Anwendungen werden Agenten nur selten implementiert, was mit den hohen Kosten verbunden ist, die für die ganzheitliche Umsetzung aller Features der verkörperten Agenten eingeplant werden müssen. Auch mangelndes Fachwissen oder unzureichende Evaluationen können Gründe dafür sein. Zwei Beispiele sollen hier näher beschrieben werden, um einen Einblick in weitere Einsatzgebiete von Agenten-­‐Technologie zu geben. Am Beispiel von Microsoft Office kann der Versuch, eine affektive Benutzerschnittstelle in kommerzielle Software zu integrieren, gezeigt werden. Mit der Microsoft Agent Technologie, basierend auf Bayesschen Algorithmen, wurden zu diesem Zweck interaktive, animierte Charaktere zur Verfügung gestellt, die als Assistenten für die Arbeit mit Software-­‐Produkten und auf Webseiten eingesetzt werden können. Microsoft Agent verfolgte damit das Ziel, innovative, neue dialogorientierte Benutzerschnittstellen zu schaffen. Microsoft Agent is a technology that provides a foundation for more natural ways for people to communicate with their computers. … [It] empowers developers to extend the user interface beyond the conventional mouse and keyboard interactions prevalent today. Enhancing applications and Web pages with a visible interactive personality will both broaden and humanize the interaction between users and their computers. (Microsoft Agent 2010) In Microsoft Office (Windows Versionen 1997 bis 2003, Mac Versionen 1998 bis 2004) wurden mit dieser Hilfe der Technologie virtuelle Agenten in das Softwarepaket eingebunden, die eine grafische Repräsentation der Hilfefunktion darstellten. Sie wurden automatisch in das Interface von Microsoft Office Produkten eingeblendet, um dem User nützliche Tipps für die Bearbeitung seiner Aufgaben anzubieten, sowie neue Features und Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 34 wichtige Tastatur-­‐Kürzel vorzustellen. Sie ersetzten dabei keine herkömmlichen Menüs, sondern wurden zusätzlich im rechten Bildbereich der laufenden Anwendung angezeigt. Abbildung 7: Agent „Karl Klammer“, Screenshot aus Microsoft Office 2000 Diese Agenten hatten den Zweck, dem Programm eine individuellere Note zu verleihen, und dem Benutzer statt Menüfenstern und Tastaturbefehlen die Möglichkeit der einfachen Interaktion mit dem Programm zu geben, es also benutzerfreundlicher zu gestalten. Besonders unerfahrenen Systemnutzern sollte so geholfen werden, sich schneller im Programm zurechtzufinden. Im Falle der animierten Büroklammer hat sie vor allem bei erfahrenen Nutzern eher Frust durch ungewünschte Verbesserungsvorschläge ausgelöst, „[...] Clippy [der englische Name für Karl Klammer] seemed to offer help at all the wrong times“. (LeMoine 2008) Auf den Agenten wurde deshalb seit dem Office XP-­‐Release verzichtet, womit Microsoft auf die kontroversen Diskussionen unter Programmnutzern regierte. Im Rahmen einer 30 Millionen Dollar Werbekampagne wurde Karl Klammer im Jahr 2001 sogar offiziell „entlassen“, und kam auf einer Website zu Wort: „Know anyone who's hiring? Office XP works so easily that it's made Office Assistants like me useless. Obsolete. And, I'm told, hideously unattractive.“ (Luening 2001) Nachdem Agenten in dieser kommerziellen Umsetzung auf eine derartige Ablehnung beim Kunden gestoßen ist, sind sie als Hilfsmittel in Computerprogrammen heute wenig gebräuchlich. Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 35 Ein heute deutlich beliebteres Einsatzgebiet für Agenten sind Websites. Auch hier sind sie als vereinfachtes Interface zu verstehen, und ermöglichen schnelleres Auffinden von Informationen, einfachere Kommunikation und Hilfestellung für den Nutzer. Autonome Assistenten, die mit Hilfe von heuristischen Methoden arbeiten, treten häufig auf Shopping-­‐Websites auf, um zu gewährleisten, dass Kunden schneller das gewünschte Produkt finden können. Persuasive Technologien werden hier eingesetzt, Einkaufsvorlieben der Nutzer gespeichert, die von den Agenten intelligent verarbeitet werden können. Die virtuellen Charaktere erscheinen hier oft in menschenähnlicher Gestalt, um den Eindruck eines „Einkaufsladens“ aufrecht zu erhalten, und so Verkäufer oder Verkäuferin zu visualisieren. Aus Kostengründen beschränken sich viele Anbieter jedoch auf Benutzerschnittstellen, die nur wenige der Aspekte umsetzen, die bei der fortgeschrittenen Umsetzung von STEVE präsentiert wurden. Heuristische Methoden aus der Informatik kommen zum Einsatz, die mit geringstmöglichem Rechenaufwand und kurzer Rückmeldungszeit Anfragen beantworten. Selten bieten Agenten auf Websites multimodale Kommunikation an, eine emotionale Ebene wird nicht etabliert. Sie sind wenig flexibel und fungieren lediglich als komfortablere Suche, die den Besucher schneller zum Ziel führen soll. Abbildung 8: Deutsche Website von IKEA mit Shopping-­‐Agent Anna (IKEA Deutschland 2010) Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 36 Am Beispiel dieser Anfrage an „Anna“, die Shopping-­‐Assistentin des Möbelhauses IKEA (siehe Abbildung 8), lässt sich die mangelnde technische Umsetzung gut erkennen. Die Frage „Gibt es einen roten Teppich?“ löst eine Reaktion anhand des Wortes „Teppich“ aus. Anna meldet zurück: „Hier findest Du eine Übersicht unserer Teppiche.“, der Nutzer wird automatisch auf die entsprechende Verkaufsseite geleitet. Genauere Filterungen scheinen aber über die Stichworte der Bibliothek nicht möglich zu sein. Die ausgedrückte Bitte, ausschließlich Angebote roter Teppiche zu zeigen, liefert nicht das gewünschte Ergebnis. Das wohl bekannteste Genre, in dem Agenten bereits seit langer Zeit Einsatz finden, sind Videospiele. Darin werden oft Nicht-­‐Spieler-­‐Charaktere präsentiert, die dem menschlichen Nutzer Hilfestellungen geben. Bedingt durch Art, Gattung und Zielgruppe des Spiels können Agenten hier völlig unterschiedlich aussehen. Anthropomorphe Agenten sind ebenso vertreten wie tierische Helfer oder Fantasiewesen. Anhand vom Videospiel „Metal Gear Solid“ (siehe Abbildung 9) wird die Wirkungsweise von Agenten kurz erläutert. Verschiedene Supportcharaktere wurden eingeführt, die während der gesamten Spieldauer über Funk kontaktiert werden können. Abbildung 9: Rückmeldung eines Agenten im Spiel „Metal Gear Solid: Guns Of The Patriots“ (The Spy Hunter Experience 2009) Teilweise nehmen die Agenten selbständig Kontakt auf, um Hilfe in den Levels zu geben, können aber auch jederzeit angerufen werden, wenn mehr Informationen verlangt werden. Die Gespräche und Kommentare können dabei variieren, je nach dem Zeitpunkt des Kontakts und dem vorherigen Verhalten im Spiel. (Reeves und Nass 1998) Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 37 Auch in Massive Online Multiplayer Games treten Agenten auf, die vor allem neuen Spielern Einführungen in die Spielweise, die Funktionen und Möglichkeiten der virtuellen Welt aufzeigen. Auch diese passen sich dem Wissensstand der Spieler an, und geben so möglichst konkrete und passende Antworten auf deren Anfragen. Keywords werden gefiltert, die bestimmte Reaktionen auslösen. Je nach Genauigkeit der Heuristiken und der zugrundeliegenden Bibliothek können die Antworten von Nutzer zu Nutzer stark variieren. Es stellt sich die Frage, warum Agenten auf Websites und in Videospielen, also vor allen im Freizeitbereich, eine so große Toleranz erfahren, während sie in kommerziellen Büroanwendungen kaum Einsatz finden. Dazu soll der nächste Abschnitt einen kurzen Einblick in kritische Betrachtungen der virtuellen Charaktere geben. 3.3 Kritik
Chris Noessel stellt in Bezug auf das Buch The Media Equation (Reeves und Nass 1998), eine interessante These auf: „[..] Clippy [...] overpromised. Anthropomorphic embodiment changes the way we think about something. It’s no longer a complex machine, but a person, and we have much higher functional expectations of people: human-­‐like language and reasoning, an ability to seamlessly recognize the context of any utterance or action, the ability to recognize a user by sight, and even understand human intentions. Software isn’t anywhere near this sophisticated yet. (We’re getting quite close in parts, [...] but the next version of your operating system probably still won’t understand your sarcasm or know what to do with it.)“ (Noessel 2009) Liegt die offensichtliche Ablehnung von virtuellen Agenten in unseren Arbeitsprogrammen also an falschen Erwartungen, die der Nutzer an das System stellt? Auch Ben Shneiderman empfindet Agenten als irreführend. Seine Hypothesen besagen, dass die Systeme trügerisch sind, und dem Nutzer eine Persönlichkeit und menschliches Verhalten vorspielen. Er behauptet weiterhin, dass Benutzer durch den virtuellen „Zeigefinger“ eines Tutors eingeschüchtert und demotiviert werden könnten, und durch die vorgegebenen Charaktere weniger Gestaltungsmöglichkeiten vorhanden sind, was zu Fantasieverlust bei Kindern führen kann (vgl. Shneiderman 1998). Er führt außerdem an, dass effektive Benutzerschnittstellen verständlich, vorhersagbar und kontrollierbar agieren müssen, und dem Nutzer das Gefühl von Macht, Einflussnahme und Bewältigung vermitteln sollen. „At the end of the day, most users want to feel that they have done a good job, not that some machine has done their work for them. [...] Users want to be in control.” (Shneiderman 1995: 14). Dieser Eindruck von ausgeübter Kontrolle wäre bei der Verwendung von virtuellen Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 38 Agenten hinfällig, da sie autonome Handlungen ausführen und eigenständige Ziele verfolgen. Der zwischen Nutzern und Agenten etablierte Persona-­‐Effekt, der von verschiedenen Forschern untersucht wurde, kann sich also negativ auswirken, wenn nicht alle Erwartungen, die an einen sozialen Interaktionspartner gestellt werden, vom Agenten auch erfüllt werden. Zudem bestätigen einige Untersuchungen, dass der cognitive load beim Lernen mit Agenten zu hoch sein kann. Das heisst, dass die Lernenden durch die zusätzlich zu verarbeitenden Informationen, die bei der Interaktion mit den Agenten entstehen, eine eingeschränkte Aufnahmefähigkeit vorweisen. Diese kognitive Überlastung führt zu einer Ablenkung der Lernenden, und verzögert damit die Informationsverarbeitung (vgl. Dehn und van Mulken 2000: 3). Diese Theorien sollen im Rahmen der Evaluation von ITeach betrachtet werden. Es gilt nachzuweisen, ob ein Persona-­‐Effekt bezüglich Motivation und Leistung vorliegt, und inwiefern Nutzer vom Agenten abgelenkt werden. Die Ergebnisse werden in Kapitel 6 vorgestellt. Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 39 4
Sprachlernsoftware ITeach
Bei der Software, die von der Gruppe EMBOTS im Deutschen Forschungszentrum für Künstliche Intelligenz GmbH programmiert wurde, handelt es sich um einen interaktiven Vokabeltrainer. Funktionen und Bedienung des Programms wurden in Hinsicht auf die anschließenden Nutzerstudien sehr einfach gestaltet. So wurde eine Lernsoftware implementiert, die mit wenigen Mausklicks und Tastatureingaben bedient werden kann, und trotz des integrierten Agenten die Nutzer des Programms nicht kognitiv überfordern soll. 4.1 Programmaufbau
Das Lernen in ITeach erfolgt nach dem Prinzip einer Lernkartei nach der Methode von Sebastian Leitner (1919-­‐1989), die folgendermaßen funktioniert: Verschiedene Karteikästen sollen dazu genutzt werden, Fremdwörter zu kategorisieren. In den ersten Karten werden zu diesem Zweck Karten mit unbekannten Vokabeln (Übersetzung auf der Rückseite) abgelegt. Der Lernende beginnt, sich die Wörter aus dem ersten Kasten nacheinander systematisch einzuprägen. Beim Wiederholen werden die Vokabeln, die richtig übersetzt wurden, in den nächsten Kasten abgelegt. Vokabeln, die der Nutzer noch nicht beherrscht, werden in den letzten Kasten zurückgelegt. Nach regelmäßiger Überprüfung des Vokabulars ist das Ziel, alle Wörter zu kennen, und deren Karten aus dem letzten Kasten herausnehmen zu können. Durch die kontinuierliche Wiederholung werden Vokabeln so im Langzeitgedächtnis der Lernenden gespeichert und gelten damit als gelernt. Abbildung 10: Lernkartei nach Sebastian Leitner (Lernkartei 2010) Der Einsatz einer Lernkartei bietet dabei zahlreiche Vorteile gegenüber anderen Lernsystemen (Oppolzer 2005: 127 nach S. Leitner): Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 40 • Lerneinstieg geschieht immer an der richtigen Stelle • Unmittelbare Lernkontrolle • Kurzfristige Erfolgserlebnisse • Verteilte Wiederholung • Förderung der Konzentrationsfähigkeit • Individuelle Gestaltung des Lerntempos und der Anzahl der Wiederholungen • Vermeidung von „Überlernen“ und nutzlosen Wiederholungen Die Umsetzung des Vokabeltrainers in ITeach erfolgte nach dem gleichen Prinzip. Zuerst findet in einer Bestimmungsphase (filtration phase) die Auswahl der Vokabeln statt. Dem Nutzer werden dazu verschiedene Wörter auf deutsch angezeigt. Der Nutzer ist aufgefordert, sich das englische Äquivalent ins Bewusstsein zu rufen. Per Mausklick wird die korrekte englische Übersetzung preisgegeben. Der User klickt danach entweder auf den Button „gewusst“ oder „nicht gewusst“, je nachdem ob seine Vorstellung mit der richtigen Lösung übereinstimmte. Nur Wörter, die als „nicht gewusst“ eingestuft wurden, werden in die nächste Phase (Lernphase, learning phase) übernommen, die nach Leitners Theorie dem nächsten Karteikasten entspricht. Bereits geläufige Vokabeln werden in dieser Phase nicht wiederholt. Es werden nur unbekannte Vokabeln wiederholt, wenn der Anwender das System bereits zum wiederholten Male nutzt, werden zusätzlich Wörter der letzten Session angezeigt. Alle Wörter sind zu Beginn also im ersten Karteikasten abgelegt, und rücken abhängig von der Eingabe des Benutzers weiter in den nächsten Kasten (wenn Wörter als unbekannt eingestuft werden), oder zurück in den letzten Karteikasten (sind Vokabeln bekannt), bis sie nicht mehr angezeigt werden. Rücken Vokabeln in den letzten Kasten und werden nicht wiederholt, gelten sie als gelernt. Abbildung 11 verdeutlicht diesen Prozess. Haben Anwender diese learning phase beendet, startet das Programm eine open-­‐ended Phase ohne vorgegebenes Ende, in der Nutzer das System nutzen können, um freiwillig beliebig viele weitere Vokabeln zu lernen. In der ITeach-­‐Software wird zur Messung der Motivation der card score und bin score eingeführt. Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 41 Abbildung 11: Lernkartei in ITeach (Miksatko, Kipp und Kipp 2010b: 8) Das System zählt die einzelnen Karteikasten-­‐Schritte so einfach mit, der card score wird um eins erhöht (+1), wenn die Vokabel in den nächsten Kasten wandert, um eins verringert (-­‐1), sollte das Wort als „nicht gewusst“ eingestuft werden. Mit dem bin score werden die Karten in den jeweiligen Kästen gezählt (Werte 0 bis 3 für die Karteikästen 1 bis 4). Je höher der Wert bei card oder bin score ist, desto besser ist der Lernerfolg des Anwenders. 4.2 Virtueller Agent in ITeach
Das Programm benutzt einen anthropomorphen, weiblichen Agenten mit pädagogischer Funktion als Benutzerschnittstelle. Das äußere Erscheinungsbild des Agenten ist das einer jungen blonden Frau (siehe Abbildung 12) im modernen Business-­‐Outfit. „Gloria“ wurde von der Firma Charamel GmbH zur Verfügung gestellt, die sich auf die Erstellung und Echtzeit-­‐Animation sowie 3D Rendering von Avataren spezialisiert hat und eine enge Kooperation mit der DFKI GmbH pflegt. Die Handlungen des Agenten wurden in Hinsicht auf die Evaluation des Programms (siehe Kapitel 6) auf ein Minimum beschränkt. Um Programmnutzer nicht zu stark abzulenken, und eine kognitive Überlastung zu vermeiden, drückt sich der virtuelle Tutor nur in 15 Prozent des Anwendungszeitraums über Mimik und Gestik aus, indem er auf zu lernende Vokabeln deutet, und positive Rückmeldung zu Lernerfolgen über ein Nicken oder Lächeln gibt. Auf weitere nonverbale Rückmeldung wie Augenkontakt oder nachdrückliche Gestikulation wird verzichtet. Auch Ruhe-­‐Aktionen wurden nicht implementiert. Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 42 Abbildung 12: Avatar Gloria der Firma Charamel (Charamel 2009) Es wurden also nur sehr bedingt einige der Hauptaspekte umgesetzt, die für den ganzheitlichen Einsatz von pädagogischen Agenten anhand von STEVE (Kapitel 3.2.1.1) demonstriert wurden. Diese Reduktion der Features soll sich positiv auf die Eindeutigkeit der Ergebnisse der Nutzerstudie auswirken, die zur Evaluation dieses Programms dient. Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 43 5
Nutzerstudie ITeach
Anhand der zuvor präsentierten Software ITeach wurde im März 2010 die erste beispielhafte Nutzerstudie von ITeach von der Forschergruppe EMBOTS der DFKI GmbH in Saarbrücken durchgeführt. In jeweils vier Sitzungen über einen Zeitraum von 8 Tagen hinweg wurden 36 Testpersonen gebeten, das in Kapitel 4 beschriebene interaktive Sprachlernsystem zu testen. Dabei testeten 18 Personen eine Programmversion, die den Agenten inkludierte, bei der zweiten Gruppe wurde auf den virtuellen Charakter verzichtet. Die Ergebnisse dieser vergleichenden Langzeitstudie werden in Kapitel 6 dargestellt. Vorerst sollen nachfolgend themenbezogene Arbeiten von (Lester, Converse und Kahler, et al. 1997a), (Moundridou und Virvou 2002b), und (van Mulken, Andre und Müller 1998) vorgestellt werden, die Studien zur Verwendung von virtuellen Agenten in Software durchgeführt haben. 5.1 Themenbezogene Arbeiten
Exemplarisch werden im Folgenden drei Evaluationen vorgestellt, die versuchen, einen Persona-­‐Effekt in Lernprogrammen mit Agenten nachzuweisen. Mit der Vorstellung der Studien wird ersichtlich, dass die Versuchsaufbauten dabei stets unterschiedlich sind, was eine Erklärung für die variierenden Ergebnisse darstellt. So konnte die Evaluation der Lernumgebung „Design-­‐A-­‐Plant“ (Darstellung siehe Kapitel 3.2.1.2) ein Effekt auf Motivation und Lernerfolg der Probanden nachgewiesen werden, während bei Studien zu WEAR (beschrieben in 3.2.1.3) und PPP-­‐Persona (siehe Kapitel 3.2.1.4) der Persona-­‐Effekt lediglich bedingt verifiziert werden konnte. 5.1.1 Evaluation von Herman the Bug
Mit dem Begriff Persona-­‐Effekt wird die positive Beeinflussung beschrieben, die durch die Anwesenheit eines virtuellen Agenten in einer interaktiven Lernumgebung auf die Wahrnehmung von Schülern stattfindet. In der von (Lester, Converse und Kahler, et al. 1997a) durchgeführten Studie mit 100 Teilnehmern wurde der Agent Herman the Bug von Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 44 den Lernenden als sehr hilfreich, glaubhaft und unterhaltsam empfunden. Zudem wurde untersucht, wie die Verknüpfung verschiedener Arten von Hinweisen den positiven Eindruck des Agenten verstärken und die Lernergebnisse verbessern kann. Für diese Studie wurde eine Stichprobe von 100 Kindern (Durchschnittsalter 12 Jahre) in fünf Gruppen mit jeweils 20 Personen unterteilt. Sie wurden angewiesen, mit je einer von fünf verschiedenen Varianten des Agenten in der virtuellen Lernumgebung von Design-­‐A-­‐Plant zu interagieren. Alle Ausprägungen des virtuellen Insekts glichen sich bezüglich des Aussehens und Stimmlage des Agenten sowie aller animierten Sequenzen, die Aufgaben nicht direkt betroffen haben. In allen Versionen der Simulation glichen sich auch die implementierten Emotionsmuster und die nonverbale Kommunikation mit dem Nutzer. Die unterschiedlichen Versionen des Agenten differenzieren vielmehr in ihrer Möglichkeit, sich auszudrücken. • Fully Expressive: alle drei Kommunikationsmuster des Agenten (vgl. Kapitel 3.2.1.2) wurden angewendet • Principle-­‐Based Animated/Verbal: es wurden nur Tonaufnahmen und Animationen gezeigt, die generelles Fachwissen darstellen. Es wurden keine verbalen Erinnerungen an bereits gezeigte Aktionen noch aufgabenspezifische verbale Hilfestellungen gegeben. • Principle-­‐Based Verbal: es wurden nur Tonaufnahmen abgespielt, die generelles Fachwissen vermitteln. • Task-­‐Specific Verbal: es wurden nur aufgabenspezifische Tonaufnahmen abgespielt • Muted: keinerlei verbale Hilfestellung wurde geboten Vor der Untersuchung wurden demografische Daten der Teilnehmer anhand eines Fragebogens mit offenen Fragen aufgenommen (Alter und detaillierte Informationen zur Computernutzung). In einem Prä-­‐ und Post-­‐Test wurde zudem das Wissen der Schüler in Bezug auf Pflanzenkunde erfragt. 13 identische Multiple-­‐Choice-­‐Aufgaben wurden vor und nach dem Experiment gestellt, lediglich die Reihenfolge der schriftlich zu beantworteten Übungen änderte sich. In einer sich dem Post-­‐Test anschließenden Beurteilung wurden die Schüler aufgefordert, den Agenten anhand von 18 Fragen zu bewerten. Dabei wurden Antwortmöglichkeiten einer Likert-­‐Skala (very good (5), good (4), neither good nor bad (3), poor (2), and very poor (1)) Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 45 vorgegeben, um die Intensität der Antworten objektiv zu analysieren. Die Probanden wurden ermutigt, zusätzliche freie Angaben zu machen. 1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
How entertaining was the educational program? Regardless of how difficult it was to design the appropriate plants, how did you find using the educational program? How well do you think the feedback from the educational program adapted to you? Was the program’s advice useful to you? Did Herman the Bug encourage you? Did you believe the advice you got from Herman the Bug? Did Herman the Bug help you when you were having difficulties designing plants? In comparison to a science teacher, how helpful was Herman the Bug? How clear was Herman the Bug about what he was saying? Would you like Herman the Bug to help you with your homework? Do you think Herman the Bug knows more about plants than science teachers? When you made a mistake, did Herman the Bug become irritated? When you made a mistake, did Herman the Bug become concerned? Was Herman the Bug’s advice useful to you? As you progressed in the educational program, did Herman the Bug become more helpful? How was the feedback from Herman the Bug with respect to your progress? How entertaining or boring was working with Herman the Bug? How talkative was Herman the Bug? Tabelle 2: Fragebogen zur Wirkung des Agenten Herman the Bug (Lester, Converse und Kahler, et al. 1997a: 364) In einer Varianzanalyse wurden die Ergebnisse der Fragebögen dieser between-­‐subjects-­‐
Studie ausgewertet. Die Antworten mit den höchsten durchschnittlichen Wertungen bezogen sich auf die Fragen Nummer 7, 6, 5, 4 und 10. Die niedrigsten Beurteilungen ergaben die Antworten auf Nummer 11, 8 und 15. Beim voll ausdrucksfähigen Agenten fielen die Bewertungen in Bezug auf die Nützlichkeit der Hilfestellungen im Programm (Frage 4) und auf die Ermutigung durch den Agenten (Frage 5) auffallend hoch aus. Bei Antworten auf die übrigen Fragestellungen gab es keine nennenswerten Unterschiede zwischen den verschiedenen Versionen des Agenten. Aus den Ergebnissen schloss die Forschergruppe „the very presence of an animated agent in an interactive learning environment—even one that is not expressive— can have a strong positive effect on student’s perception of their learning experience. We refer to this as the persona effect.” (Lester, Converse und Kahler, et al. 1997a: 364). Anhand eines Vergleiches der Ergebnisse von Pre-­‐ und Post-­‐Test unter Bezugnahme auf die Art des eingesetzten Agenten, wie in Tabelle 3 dargestellt, lässt sich der Anstieg der Lernkurve der Probanden erkennen. Besonders Schüler, die mit dem über alle Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 46 Kommunikationsmuster verfügenden Agenten interagiert haben, schneiden verglichen mit den anderen Stichproben sehr gut ab. Agent Type Mean Student Pre-­‐Test Mean Student Post-­‐Test Mean Student Scores Scores Improvement Muted 5.05 7.05 2.00 Task-­‐Specific Verbal 5.50 8.35 2.85 Principle-­‐Based Verbal 4.25 7.45 3.20 Principle-­‐Based Animated Verbal Fully Expressive 5.15 8.30 3.25 4.30 7.55 3.75 Tabelle 3: Einfluss der unterschiedlichen Versionen des Agenten auf die Testergebnisse (Lester, Converse und Stone, et al. 1997b: 28) Wie die Autoren in ihrer Arbeit außerdem darstellen, profitieren die Probanden besonders bei komplexen Problemen von der Hilfe des Agenten: „As the level of problem difficulty increases, the magnitude of animated pedagogical agents effects on students’ problem-­‐
solving performance also increases. Furthermore, it is revealing that for complex problems, the expressive agent’s ability to increase students problem-­‐solving performance was particularly strong relative to the other agents.” (Lester, Converse und Stone, et al. 1997b: 28) Der Anstieg der Motivation und der verbesserte Lernerfolg wurde anhand der Ergebnisse dieser Pilotstudie für den Agenten Herman the Bug also nachgewiesen, und der Begriff Persona-­‐Effekt geprägt. Kritik kann an verschiedenen Aspekten der Evaluation geübt werden: „[The] main question addressed in this study was what type of feedback the agent should exhibit and not what effect the mere presence of such an agent has on learning performance.” (van Mulken, Andre und Müller 1998: 54). Da es zwar Untersuchungen mit fünf verschiedenen Versionen des Agenten Herman the Bug gibt, aber keine Kontrollbedingung, die auf den Agenten völlig verzichtet, sind die Ergebnisse in Hinsicht auf Lernerfolg und Motivation nur bedingt interessant. Es gilt damit lediglich als erwiesen, welche Variante des Agenten von den Nutzern präferiert wird, aber nicht, ob auf den Einsatz des virtuellen Tutors vielleicht völlig verzichtet werden könnte, weil eventuell dieselben Lernerfolge erzielt worden wären (vgl. die Ergebnisse der Studie von Takeuchi und Naito 1995). Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 47 Die Resultate der Studie sind auch deshalb zweifelhaft, weil alle virtuellen Agenten völlig unterschiedlich mit den Schülern kommunizieren. Zudem ist kein Langzeiteffekt ersichtlich, da die Studie nur eine Sitzung mit dem Programm umfasst. 5.1.2 Evaluation von WEAR
Im Zuge der Evaluation des in Kapitel 3.2.1.3 vorgestellten Systems WEAR (WEb-­‐based authoring tool for Algebra Related domains) wurde das intelligente tutorielle System von 48 Studenten der Universität von Piraeus getestet. (Dehn und van Mulken 2000) klassifizieren die Auswirkungen von Agenten auf Nutzer in drei Gruppen, und schlagen vor, Systeme mit virtuellen Agenten nach diesen Kategorien zu bewerten: • Subjektive Auswirkungen des Systems auf den Nutzer • Auswirkungen auf den Nutzer, während das System benutzt wird • Auswirkungen auf das Ergebnis der Interaktion, nachgewiesen durch Leistungsmessung Die hier vorgestellte Evaluation von Moundridou und Virvou aus dem Jahr 2002 bezieht sich auf diese Unterteilung, und hält die Auswirkungen des Agenten in Bezug auf Erfahrung, Verhalten und Leistung der Studenten fest. Zufällig wurden zwei Gruppen bestimmt, jede von ihnen umfasste eine Stichprobe von 24 Personen. Die Experimentalgruppe agierte mit dem Agenten, bei der Kontrollgruppe wurde auf den virtuellen Helfer verzichtet. Sie erhielten nur textuelle Informationen. Für die Nutzertests wurden simple mathematische Probleme in der Lernumgebung implementiert, deren Lösung mit linearen Gleichungen ausgedrückt werden kann. Die Evaluation umfasste eine prä-­‐ und postexperimentale Phase, in der fünf Probleme ohne das System gelöst werden sollten. Die dafür jeweils benötigte Zeit und erreichte Punktzahl wurden festgehalten. Nach dem Pre-­‐Test folgte eine erste Auseinandersetzung mit der Software, mit dem Nutzer unbegrenzt viele mathematische Probleme ohne vorgegebene Zeit lösen durften. Ihre Handlungen wurden dabei in Hinsicht auf Zeit und Leistung aufgezeichnet (Zeit, die auf jedes Problem verwendet wurde; Reaktionszeit; Zeit, die mit dem System gearbeitet wurde; erhaltene Note; Fehler pro Problem), außerdem wurde Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 48 registriert, wie viele Probleme von Nutzern abgelehnt wurden und wie oft Studenten eine Beispiellösung aufriefen, bevor sie eine Aufgabe selbst korrekt lösten. Anschließend an den Post-­‐Test sollte der in Tabelle 4 dargestellte kurze Fragebogen anhand einer Skala von 1 (very difficult) bis 5 (very easy) bewertet werden (bis auf die offenen Fragen 6 und 7, die frei beantwortet werden durften). 1.
2.
3.
4.
5.
6.
7.
Did you enjoy working with the system? Was the system easy to use? Were the problems that you were asked to solve with the system difficult? Did the system help you to improve your problem-­‐solving skills? How useful was the system compared to a human tutor? What did you like most in the system? Are there any comments that you would like to make? Tabelle 4: Fragebogen im Anschluss der Nutzerstudie zu WEAR (Moundridou und Virvou 2002b: 260) Das System der Experimentalgruppe A (Version mit Agent) wurde als unterhaltsamer und angenehmer bewertet, Problemstellungen wurden einfacher beurteilt und das System hilfreicher klassifiziert als die Version ohne Agent. Allerdings fiel die Wertung der Frage, ob das System im Vergleich zu einem menschlichen Tutor nützlicher ist, nicht signifikant vorteilhaft für den Agenten aus. Der virtuelle Tutor konnte also nicht den Eindruck eines echten Lehrers erwecken. Es gab im Allgemeinen keine negativen Aussage bezüglich der Handlungen des Agenten, allerdings wurde die Stimmqualität von verschiedenen Personen bemängelt, was die Autorinnen zum Schluss kommen lässt, dass die verbale Qualität eines Agenten wichtiger als seine visuelle Komponente ist. Bezüglich der Leistungen der Studenten konnte kein statistisch relevanter Unterschied zwischen Experimental-­‐ und Kontrollgruppe ermittelt werden. Beide Gruppen hatten gleiche Noten und benötigten dieselbe Zeit, um den Pre-­‐Test abzuschließen. Im Post-­‐Test verbesserten beide Gruppen Zeiten und Notendurchschnitt, ein verbesserter Lernerfolg trat also nicht abhängig vom Einsatz des Agenten auf. Zusammenfassend konnten zwei Wirkungsmuster definiert werden, die durch den Agenten entstanden sind: The first advantage concerned the enjoyment that students felt when they interacted with a system that embodied a speaking animated interface agent. […] The other advantage we came up with in our study was that students working with the agent version of the system found the problems that they should solve less difficult than students working without the agent did, despite the fact that the performance of both groups of students was similar. Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 49 The importance of this finding is great concerning the motivation of students to work with the system; it shows that students working with the agent version are more motivated than students working with the agent-­‐less version. (Moundridou und Virvou 2002b: 261) Trotz der gesteigerten Motivation und des offensichtlichen Vergnügens bei der Arbeit mit dem Agenten fand keine Verbesserung der Lernerfolge statt. Ein gesteigertes Verständnis der Problemstellungen fand auch durch die Hilfestellungen des virtuellen Lehrers nicht statt. Die Ergebnisse bestätigen die Studie zu PPP-­‐Persona von (van Mulken, Andre und Müller 1998), die in der folgenden Sektion vorgestellt werden soll. Obwohl bei den Versuchen von Moundridou und Virvou im Gegensatz zu (Lester, Converse und Stone, et al. 1997b) zwei Nutzergruppen miteinander verglichen wurden, die mit und ohne Agenten handeln, muss an dem Versuchsaufbau insofern Kritik geübt werden, als dass keine Langzeiteffekte ersichtlich werden, weil die Studie wiederum auf nur einer Session basiert. Es stellt sich deshalb die berechtigte Frage, ob die nachgewiesene höhere Motivation noch immer ausgeprägt wäre, wenn Probanden zum wiederholten Mal mit dem Agenten interagieren. 5.1.3 Evaluation von PPP-Persona
Die 1998 durchgeführte Nutzerstudie von van Mulken, André und Müller wurde im DFKI Saarbrücken initiiert, um den Persona-­‐Effekt von des Hypermedia-­‐Präsentators PPP-­‐Persona zu evaluieren, welches in Kapitel 3.2.1.4 vorgestellt wurde. Das Experiment sollte in Hinsicht auf folgende Problemstellungen Erkenntnisse zeigen: die Wirkung der Anwesenheit der Persona auf das Verständnis und Erinnerungsvermögen der Probanden, sowie die Wirkung auf deren subjektive Einschätzung des Agenten. 30 Probanden (Durchschnittsalter 28 Jahre) nahmen an der Studie teil. Gruppe A nutzte die Software mit dem Agenten, Gruppe B ohne Persona (between-­‐subjects). Im jeweiligen System wurden sowohl technische als auch nicht-­‐technische Informationen präsentiert (within-­‐subjects). Gruppe A wurden dabei alle Objekte grafisch und verbal unter Verwendung eines Agenten vorgestellt, der während der Präsentation auf relevante Informationen deutete. Gruppe B sah die grafische Darstellung der Aufgabenstellung und hörte die Audiospur, arbeitete jedoch ohne den dirigierenden Agenten. Der technische Lehrstoff der Präsentation umfasste die Beschreibung von vier verschiedenen Seilzugsystemen, deren Funktionsweise grafisch und akustisch erläutert wurde. Im nicht-­‐
Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 50 technischen Teil wurden zehn fiktive Angestellte der DFKI GmbH mit ihren jeweiligen Namen und deren Aufgabengebiet vorgestellt. Zusätzlich wurden anhand eines Grundrisses des Gebäudestockwerks Büroräume gezeigt, in denen die Angestellten arbeiteten. Nach beiden Präsentationen wurden Wissensfragen (Multiple Choice und offene Fragen) in Bezug auf das soeben Gelernte gestellt. Ein Beispiel für eine offene Frage bezüglich der technischen Präsentation ist „Welche Objekte berührt das rote Seil?“, eine Multiple Choice-­‐
Frage sah so aus: „Rotiert es im Uhrzeigersinn, gegen den Uhrzeigersinn oder gar nicht?“. Nachdem die Angestellten mit ihren Arbeitsplätzen in der nicht-­‐technischen Präsentation vorgestellt wurden, sollten die Testpersonen anhand einer Grafik die entsprechenden Büros sowie die Namen der Angestellten, deren Funktion und die jeweilige Raumnummer benennen. Post-­‐experimentell galt es außerdem, einen Fragebogen zu beantworten, der in zwei Teile gegliedert war: allgemeine Fragen (Q-­‐A) sowie Persona-­‐spezifische Fragen (Q-­‐B): General Questions (Q-­‐A) 1.
2.
3.
4.
5.
6.
Did you find the presentation difficult to understand? Did you find the presentation entertaining? Did you find the tests difficult? Did you find the presentations interesting? Did you feel overloaded by the information presented? General remarks about the presentations: ... Persona-­‐Specific Questions (Q-­‐B) 1.
2.
3.
4.
5.
6.
7.
Was Persona's behaviour appropriate for the presentation? Did Persona distract you from the relevant information? In which of both parts did you find Persona more appropriate? Did Persona help you concentrate on relevant information? Did Persona motivate you to further pay attention to the presentation? If in future you could choose between presentations with and without Persona (but with arrow annotations), which would you prefer? Other remarks about Persona:... Tabelle 5: Fragebögen zur PPP-­‐Persona-­‐Nutzerstudie (van Mulken, Andre und Müller 1998: 58) Die geschlossenen Fragen sollten auch bei dieser Studie anhand einer 5-­‐Punkt-­‐Skala von 0 (Verneinen) bis 4 (Bejahen) beantwortet werden. Bei jedem Fragebogen gab es außerdem eine offene Frage (6 und 13). Die Ergebnisse der post-­‐experimentellen Tests ergaben keine positive oder negative Auswirkung in Bezug auf das Verständnis der Aufgaben und die Merkleistung der Probanden, Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 51 sowohl in der technischen als auch in der nicht-­‐technischen Präsentation. Beide Gruppen hatten statistisch gleiche Ergebnisse im Test. Ein verbesserter Lernerfolg konnte damit nicht bestätigt werden. Die subjektiven Einschätzungen, die bei der Auswertung der Fragebögen ermittelt wurden (Tabelle 6), zeigen dass die Testpersonen beim technischen Teil der Präsentation den Agenten bevorzugen. Sie empfanden die Präsentation leichter zu verstehen, den Agenten als unterhaltsam, den Post-­‐Test weniger schwierig, die Präsentation generell als interessanter und fühlten sich vom Lernstoff weniger überfordert. Tabelle 6: Ergebnisse Fragebogen Q-­‐A der PPP-­‐Persona-­‐Studie (Mittelwerte) (van Mulken, Andre und Müller 1998: 61) Als statistisch signifikant konnte allerdings lediglich das Ergebnis „Presentation entertaining“ gewertet werden. Bezüglich der Personenbeschreibungen im nicht-­‐technischen Teil fielen die Ergebnisse hingegen deutlich unbeständiger aus. Eine leichte Tendenz zur Bevorzugung der Version mit Agent ist zu erkennen, aber die Neigung der Nutzer ist deutlich weniger ausgeprägt als zuvor beschrieben. Fragebogen Q-­‐B, den nur Probanden der Experimentalbedingung mit Agent beantworteten, zeigte weitere interessante Ergebnisse in Bezug auf den Agenten wie in Tabelle 7 dargestellt wird. Besonders auf die Frage, ob Persona der Konzentration der Probanden zuträglich war, und ob das Verhalten von Persona in Einklang mit der Präsentation stand, wurde positiv bewertet. Bei technischen Aufgaben habe Persona dabei eine größere Hilfe dargestellt als bei nicht-­‐technischen Aufgaben. In keinem der zwei Zustände wirkte der Agent ermutigend auf die Nutzer. Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 52 Tabelle 7: Ergebnisse Fragebogen Q-­‐B der PPP-­‐Persona-­‐Studie (Mittelwerte) (van Mulken, Andre und Müller 1998: 62) 43 Prozent der Probanden gaben an, Persona als hilfreich für die technischen Beschreibungen einzuschätzen, 57 Prozent antworteten, dass Persona in beiden Fällen hilfreich war. Keiner der Testpersonen fand den Agenten adäquater für nicht-­‐technische Präsentationen. Auf die Frage, ob sie eine Version mit einem navigierenden Pfeil der Persona-­‐Version vorziehen würden, antworteten nur sieben Prozent der Probanden, dass sie die Version ohne Agenten favorisieren würden, die Hälfte der Stichprobe würde den Agenten bevorzugen. 43 Prozent der Nutzer gaben an, dass die Entscheidung abhängig vom Lehrstoff ist. Aus den Ergebnissen schlossen die Autoren folgendes Fazit: [We] see that the presence of Persona neither has a positive nor a negative effect on comprehension and recall performance, and that the type of information does not seem to play a role in this. However, Persona does have a positive effect on the subject's impression of the presentation: Even its mere presence causes presentations to be experienced as less difficult and more entertaining. (van Mulken, Andre und Müller 1998: 64) Obwohl die Probanden beider Bedingungen beim Verständnis-­‐ und Gedächtnistest gleich abschnitten, schätzten Personen, die mit dem Agenten interagierten die Aufgaben als weniger kompliziert ein. Von Persona vorgestellte Präsentationen wurden leichter verstanden. Insofern gehen die Autoren davon aus, dass der Persona-­‐Effekt einen weitaus größeren Einfluss auf die Wahrnehmung von Menschen hatte, als bis dato angenommen, vor allem in Bezug auf technische Aufgabenstellungen. Interessant wäre es, diese Wirkung auf die Informationsverarbeitung in einer Langzeitstudie nachzuweisen. Wie die anderen vorgestellten Studien auch, basieren die Erkenntnisse des Experiments allerdings auf einer einzelnen Untersuchung. Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 53 5.2 Rückschlüsse
In Anbetracht der vorgestellten Methoden liegt die Hauptmotivation für die Durchführung der ersten beispielhaften Nutzerstudie des Programms ITeach vor allem darin, empirische Beweise in einer ersten Langzeitstudie zu ermitteln, ob virtuelle Agenten Nutzer in die Lage versetzen können, ihre Lernperformance zu verstärken, und ihre Motivation auch über einen längeren Zeitraum betrachtet zu steigern. Der sogenannte Persona-­‐Effekt (vgl. Lester, Converse und Kahler, et al. 1997a) konnte bisher nur bedingt nachgewiesen werden, bedingt vor allem durch Inkonsistenzen im Untersuchungsaufbau bisheriger Studien. Bei verschiedenen Experimenten gab es keine Kontrollbedingungen, und die Erkenntnisse wurden anhand von Untersuchungen einer einzelnen Session gewonnen. Die Ergebnisse der Studien variierten dadurch stark. Deshalb wurde die Evaluation von ITeach als Langzeitstudie konzipiert, in der Testpersonen über mehrere Tage mit dem tutoriellen System interagieren. Im Zuge der Analyse der aufgenommenen Daten bot sich die Gelegenheit, zudem die Fokussierung auf den Agenten zu untersuchen, um die Forschungsergebnisse der Persona-­‐Untersuchung gegebenenfalls zu untermauern. Obwohl es viele Analysen zur Interaktion mit Agenten gibt, verwenden nur wenige Forscher die Methode der Ermittlung der Aufmerksamkeit gegenüber dem Agenten. Hypothese 1 (siehe Kapitel 1.2) zieht in Betracht, dass die Häufigkeit und Länge der Fokussierung des virtuellen Agenten Aufschluss darüber geben kann, ob der Nutzer den Agenten als sozialen Interaktionspartner akzeptiert. Es sind bisher keine Ergbnisse bekannt, die nachweisen, ob die Aufmerksamkeit, die dem Agenten entgegengebracht wird, im Verlauf unterschiedlicher Sessions zunehmend, gleichbleibend oder abnehmend ist. 5.3 Vorbereitungen
Gesucht wurden Teilnehmer für ein Experiment, in dessen Rahmen ein interaktiver Vokabeltrainer getestet werden sollte. Um konstante Ergebnisse zu erhalten, galt als Voraussetzung für die Teilnahme, dass Probanden deutsche Muttersprachler sind. Englisch-­‐
Vorkenntnisse waren nicht nötig. Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 54 Die Auswahl der Subjekte erfolgte zufällig. Es wurden Flyer erstellt, die weiträumig auf dem Gelände der Universität des Saarlandes verteilt wurden. Zum Teil wurden Probanden auch durch persönliches Ansprechen rekrutiert. Die Teilnehmer wurden durch die Werbezettel nur in Kenntnis gesetzt, dass sie mit dem System deutsch-­‐englische Vokabeln lernen sollen. Um eine Beeinflussung der Testpersonen zu vermeiden, wurde absichtlich keinerlei Information zur Einbeziehung einer virtuellen Agentin gegeben. Um aufzuklären, wer die Untersuchungen durchführt, wurde zur Forschergruppe EMBOTS lediglich der Web-­‐Link angegeben, und kurz dargestellt, dass es sich um eine Informatik-­‐Forschergruppe im Cluster of Excellence / DFKI handelt, die sich mit Mensch-­‐Maschine-­‐Kommunikation beschäftigt. Die Probanden konnten mit einer Aufwandsentschädigung von zwanzig Euro pro Teilnehmer motiviert werden. Initial haben sich daraufhin mehr als fünfzig Interessenten gemeldet, von denen nach dem ersten Kontakt per E-­‐Mail jedoch einige ihre Beteiligung absagten. Das Werbeplakat kann im Anhang (Kapitel 12.1) gefunden werden. 5.4 Stichprobe
Mit insgesamt 41 Testpersonen (25 Männer, 16 Frauen) wurden Termine für das Experiment vereinbart. Bei fünf Nutzern traten während der Sitzung technische Fehler wie Systemabstürze oder unvollständige Datenzusammenführungen auf, weshalb endgültig 36 Teilnehmer in die statistische Wertung der Nutzerstudien eingehen. Das Design der Nutzerstudie sah einen Zufallsgruppenversuchsplan mit zweifacher Abstufung des Faktors „Agent im Lernprogramm“ vor. Die 36 Versuchspersonen wurden auf die zwei Bedingungen so aufgeteilt, dass in jeder Gruppe die gleiche Anzahl an weiblichen und männlichen Teilnehmern erreicht wurde (N = 18 Probanden pro Gruppe). Es wurde unterschieden in „Agent im Lernprogramm ITeach“ (Experimentalbedingung) und „kein Agent im Lernprogramm ITeach“ (Kontrollbedingung), also ein between-­‐subject-­‐Aufbau. Das Durchschnittsalter der Probanden in beiden Gruppen lag bei 26 Jahren, der jüngste Teilnehmer war zum Zeitpunkt der Studie 21 Jahre alt, die älteste Probandin 48 Jahre. Bedingt durch die Rekrutierungsmaßnahmen auf der Universität nahmen zum Großteil Studenten verschiedener Fachrichtungen am Experiment teil, nur insgesamt sechs der 36 Personen hatten ihre Hochschulausbildung abgeschlossen und waren bereits beruflich tätig. Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 55 Weniger als 10 Prozent der Probanden gaben an, bereits weitreichende Erfahrungen mit E-­‐Learning-­‐Systemen und virtuellen Agenten gemacht zu haben. 5.5 Durchführung
In der ersten Nutzerstudie des Sprachlernprogramms wurden im Zeitraum vom 08. bis 15. März 2010 sowie 16. bis 23. März 2010 zwei Gruppen von Probanden in jeweils vier Terminen an vier verschiedenen Tagen gebeten, englische Vokabeln mit Hilfe von ITeach zu lernen. Jede Session dauerte dabei etwa 15 Minuten pro Person. Die Versuchsintervalle ließen Personen das System an zwei aufeinanderfolgenden Tagen benutzen, dann mit einem Abstand von zwei Tagen wieder. Der letzte Termin lag vier Tage nach der letzten Sitzung. Damit sollte eine objektive Beobachtung der Langzeitwirkung auf den Probanden ermöglicht werden. Die Versuchspersonen nutzten die Software ITeach dazu, um sich mit deren Hilfe möglichst viele englische Vokabeln einzuprägen. Die Funktionsweise des Programms wurde bereits in Kapitel 4 hinreichend beschrieben. In beiden Varianten der Software wurde die Audiospur abgespielt, die Kommentare zum Lernfortschritt des Probanden gibt, und die alle Wörter verbal auf deutsch und englisch ausgibt. Allerdings nur in der Gruppe „Agent im Lernprogramm ITeach“ wurde ein virtueller Agent in der Mitte des Bildschirms dargestellt, der zusätzlich zur gesprochenen Sprache auch auf die zu lernenden Wörter zeigt, und subtile Bestätigung über Körpersprache und Mimik ausdrückt. Abbildung 13: Vergleich der ITeach-­‐Versionen mit und ohne Agent „Gloria“ (Miksatko, Kipp und Kipp 2010a: 478) Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 56 Der virtuelle Lehrer wird als full-­‐body, also in Ganzkörper-­‐Ansicht, abgebildet, damit auch seine Gestik wahrgenommen werden kann. Die Kontrollgruppe verzichtete bei der Interaktion mit dem System ganz auf den virtuellen Charakter. Beide Gruppen waren sich der unterschiedlichen Versionen des Programms nicht bewusst. Folgende Bedingungen wurden beim Versuchsaufbau in Hinsicht auf die von (Clark und Choi 2005) dargestellten Richtlinien berücksichtigt (vgl. Miksatko, Kipp und Kipp, 2010b: 16f.): • Clean experiment design: Frühere Studien präsentierten Versuchsaufbauten ohne Kontrollgruppe oder verglichen Agenten mit sehr unterschiedlichen Features. Dem wird hier entgegengewirkt, indem zwei Systemversionen eingesetzt werden, die sich nur in der Abstufung „Agent“ unterscheiden. • Simple scenario targeting agent presence only: Um die Nutzer nicht zu beeinflussen wurde ein Agent gewählt, dessen Fähigkeiten zur Kommunikation auf ein Minimum beschränkt wurden. Augenkontakt, Nicken, Kopfschütteln oder intensives verbales oder nonverbales Feedback wurden nicht verwendet. So können die Testergebnisse in direkte Relation mit der Anwesenheit des Agenten gesetzt werden. • Multiple interactions: Ein häufiger Kritikpunkt an vergangenen Untersuchungen bezog sich auf die nicht gemessenen Langzeiteffekte der Ermittlungen. Deshalb wurde diese Studie in vier Sitzungen durchgeführt, die sich über einen Zeitraum von je acht Tagen hinzogen. • Reliable measures: Auf invalide oder subjektive Messmethoden wurde zugunsten der quantifizierbaren Messungen von Card Score und Bin Score verzichtet (vgl. Kapitel 4.1) • Power analysis of the results: Statistische Tests wurden mit einer Teststärke durchgeführt, um die Messergebnisse zu validieren. 5.5.1 Aufbau der Nutzerstudie
Die im Experiment verwendeten Materialien werden im Folgenden beschrieben. Die Fragebögen und Anleitungen sind zudem in Kapitel 12 zu finden. Zur Erfassung allgemeiner demografischer Angaben (Alter, Geschlecht, Studiengang/Beruf), und Auskunft über die Häufigkeit der Benutzung von Computern, Erfahrung mit computergestützten Lernprogrammen und virtuellen Charakteren in Computerprogrammen sowie die regelmäßiger Anwendung von Fremdsprachen diente ein erster Fragebogen, der Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 57 vor der Absolvierung des Trainings ausgefüllt werden sollte. Angaben wurden über eine 5-­‐
wertige Likert-­‐Skala mit den Abstufungen sehr oft / oft / gelegentlich / selten / nie gemacht. Für den experimentellen Teil standen zwei Rechner in einem Labor der DFKI GmbH zur Verfügung. Die Computer waren mit Bildschirm, Tastatur, Maus und Kopfhörern ausgestattet, auf denen das computerbasierte Trainingsprogramm ITeach und eine Video-­‐
Aufnahmesoftware installiert waren. Die Arbeitsplätze standen sich gegenüber, und waren mit Sichtschutzen an der Seite abgeschirmt, so dass zwei Personen mit dem Rücken zueinander gleichzeitig am Experiment teilnehmen und trotzdem weitestgehend ungestört bleiben konnten. Die Probanden sollten zudem möglichst während allen Terminen denselben Computer nutzen, um vergleichbare Bedingungen zu gewährleisten. Der Versuchsaufbau sah folgendermaßen aus: Abbildung 14: Versuchsaufbau Labor, DFKI GmbH Es war immer ein Mitarbeiter anwesend, der die Versuchspersonen beaufsichtigen konnte. Er startete die ITeach-­‐Software, gegebenenfalls auch die Videoaufnahmen. Die Probanden konnten während ihrer Sitzung jederzeit beim Betreuer Hilfestellung anfordern. Allen Teilnehmern wurde zu Beginn der ersten Session ein Bogen mit Anleitungen zum Experiment vorgelegt, worin der genaue Umfang der Untersuchungen und das Ziel der Versuche beschrieben wurden. Die Versuchspersonen wurden schriftlich unterrichtet, dass sie im Rahmen der Studie ein Computerprogramm zum Vokabellernen (Englisch/Deutsch) Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 58 testen sollten. Das verwendete Vokabular stammte dabei aus den Bereichen „Tiere“, „Kleidung“, „Körper“ und „Medizin“, um zu gewährleisten, dass durch die breite Streuung der Themengebiete den Probanden nicht bereits alle vorgestellten Vokabeln bekannt sind. Die genauen Anleitungen sind in Kapitel 12.2 nachzulesen. Für das gesamte Experiment gab es kein Zeitlimit, so dass alle Aufgaben nach individuellem Tempo erledigt werden konnten. Für die Probanden galt es zunächst, im Computerprogramm angezeigte Vokabeln in „wusste ich“ (bekannte oder leichte Vokabel) und „nicht gewusst“ (nicht geläufiges oder gänzlich unbekanntes Wort) zu kategorisieren. Aufgrund dieser Informationen wurden im zweiten und dritten Teil der Session in ITeach gemäß dem System einer Lernkartei später die unbekannten Vokabeln wiederholt (nähere Erläuterungen finden sich in Kapitel 4.1). Während des Wiederholungsteils erschienen im Abstand von etwa 60-­‐70 Sekunden insgesamt drei kurze Fragebögen (post-­‐leg-­‐questionnaires), in denen die User aufgefordert wurden, eine Schätzung anzugeben, wieviel Zeit seit der letzten Phase vergangen ist (mit einem Schieberegler im Menü). Außerdem sollten sie beantworten, wie motiviert und wie konzentriert sie sich fühlten. Zur Beantwortung beider Fragen wurde eine erneut die zuvor vorgestellte Likert-­‐Skala genutzt. Diese Fragebögen dienten zur Messung der Motivation und zur Erfassung der Wirkung des Agenten auf den Probanden. Nach jeder Sitzung gab es zudem eine abschließende Einschätzung aufgrund von Aussagen, die auf dem Bildschirm angezeigt und mithilfe der 5-­‐Punkt-­‐Skala beurteilt werden sollten. Probanden der Experimentalgruppe wurden neun zusätzliche Aussagen vorgelegt, die sich konkret auf den Agenten bezogen. Die Aussagen finden sich in Kapitel 12.4. Im Anschluss an alle vier Sessions, in denen die Versuchspersonen im Labor anwesend waren, wurde ein post-­‐experimenteller Fragebogen (siehe Kapitel 12.5) zur Beantwortung vorgelegt. Bei diesem sollte mit Hilfe von vorgeschriebenen Wörtern der Eindruck beschrieben werden, den die Probanden bei der Bearbeitung der Aufgaben mit ihrer jeweiligen Version des Sprachlernsystems gewonnen haben. Die Testpersonen wurden gebeten, fünf aus 118 Wörtern auszuwählen, die sie am ehesten mit ihrer Version der Software assoziieren. Dieses Verfahren basiert auf den Microsoft Product Reaction Cards, die mit großem Erfolg in Evaluationen ihrer kommerziellen Software genutzt werden: „From the usability practitioner perspective, a great deal of useful data is obtained in a short period of time, including details about what users liked and disliked, as well as details about their Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 59 interaction with the product not previously shared during the session.“ (Benedek und Miner 2002: 3). In einem freien Textfeld konnten Probanden abschließende Bemerkungen zu ITeach eintragen. Abbildung 15: Übersicht der Fragebögen, vor, während und nach dem Experiment (Miksatko, Kipp und Kipp 2010b: noch nicht erschienen) 5.5.2 Videoaufnahmen
Insgesamt 29 von 36 Personen wurden bei der Durchführung des Experiments gefilmt. Davon nutzten 16 Probanden die ITeach-­‐Version ohne Agent, 13 Testpersonen arbeiteten in der Experimentalbedingung mit dem implementierten Agenten. Alle Personen haben zugestimmt, dass ihre Videoaufnahmen in wissenschaftlichem Kontext verwendet werden dürfen. Zu diesem Zweck wurde der Proband frontal aufgenommen, so dass sein Gesicht mit Mimik und Augenbewegungen deutlich erkennbar ist. Das Videomaterial soll im Rahmen dieser Arbeit wissenschaftlich untersucht werden und Aufschluss auf die Reaktionen der Menschen auf die Aktionen des virtuellen Agenten geben können. Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 60 6
Evaluation von ITeach
Das Sprachlernprogramm ITeach wurde hinsichtlich des Persona-­‐Effektes in einer ersten Studie evaluiert, welches die Motivation und Lernerfolge der Probanden in Experimental-­‐ und Kontrollbedingung (Software mit und ohne virtuellen Agenten) in einer Langzeituntersuchung zeigt. Um die Ergebnisse zu bestätigen, Vorschläge für folgende Studien zu konkretisieren und Verbesserungen für die Neugestaltung der Software vorzuschlagen, wurde zusätzlich eine Videoanalyse durchgeführt, die die Fokussierung der Nutzer auf den Agenten bestätigen soll. 6.1 Untersuchung des Persona-Effekts
Die Resultate der Untersuchungen von (Miksatko, Kipp und Kipp 2010a) und (Miksatko, Kipp und Kipp 2010b) sollen im Folgenden vorgestellt werden. Die Stichprobe der in Kapitel 5 beschriebenen Nutzerstudie wurde hinsichtlich ihrer Motivation, Ablenkung und Gedächtnisleistung evaluiert. Eine Varianzanalyse anhand der gewonnenen Daten des Experiments wurde unter Berücksichtigung der beiden Faktoren Agent (no-­‐agent, with-­‐
agent) und Sitzung (session 1-­‐4) durchgeführt und gab Aufschluss über die Ergebnisse. Hinsichtlich der Lernleistung der Probanden wurde eine Messung des Erinnerungsvermögens der gelernten Vokabeln durchgeführt. Diese basiert auf der Auswertung des card score und bin score, die die Entwicklung während einer Session sowie das übergreifende Wissen der Teilnehmer beschreiben. Abbildung 16: Messergebnisse card score, bin score (Miksatko, Kipp und Kipp, 2010b: 11) Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 61 In keinen der beiden Messungen konnte ein statistisch signifikanter Unterschied ermittelt werden, was bedeutet, dass durch die Verwendung eines Agenten keine Steigerung der Lernleistung nachgewiesen werden konnte. Dem Nachweis der Motivation der Probanden liegen die Schätzungen der vergangenen Zeit zugrunde, die Nutzer in den Post-­‐Leg-­‐Fragebögen abgeben sollten. Die wirklich vergangene Zeit wurde mit der Schätzung verglichen. Wurde die Bearbeitungszeit von den Teilnehmern geringer geschätzt, wird von einer gesteigerten Motivation ausgegangen. Außerdem war die Dauer der open-­‐ended Phase ausschlaggebend, weil Probanden sich hier freiwillig mit dem System beschäftigten, was auf eine hohe Motivation schließen lässt. Umso mehr Vokabeln unaufgefordert und aus eigenem Antrieb beantwortet wurden, desto höher die Leistungsbereitschaft. Auch hier konnte mithilfe einer Varianzanalyse keine statistisch verwertbare Abweichung der beiden Gruppen nachgewiesen werden. Beide Systeme bewirkten also eine gleiche Motivation, eine positive Wirkung des Agenten wurde nicht festgestellt. Desgleichen konnte auch in der Auswertung der Antworten auf die Frage „Wie motiviert fühlen Sie sich?“ kein Unterschied verifiziert werden. Abbildung 17: Vergleich der optional beantworteten Vokabeln und der Antworten auf die Frage nach der Motivation (Miksatko, Kipp und Kipp, 2010b: 12) Die Einschätzungen bezüglich der verschiedenen Aussagen des Post-­‐Session Fragebogens konnten nur bei der Aussage „Das Programm half mir, mich auf das Lernen zu konzentrieren.“ einen Effekt des Agenten auf die Probanden nachweisen. In der Entwicklung über die vier Sessions hinweg wurde vorerst die Systemvariante bevorzugt, in der ohne den Agenten gearbeitet wird, die Akzeptanz stieg in der Experimentalgruppe aber stetig. Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 62 Aussagen, die konkret auf den Agenten bezogen waren, wurden alle positiv bestätigt. Drei Aussagen, die in einem t-­‐Test mit dem erwarteten Wert „3“ verglichen wurden, stachen dabei besonders heraus: • Der Agent hat mich gelobt, wenn ich richtig lag. (t(17)=12.53, p<.001) • Die Arbeit mit dem Agenten war angenehm. (t(17)=6.39, p<.001) • Der Agent hat mich abgelenkt. (t(17)=5.49, p<.001) Mithilfe der Product Reaction Cards konnten interessante Erkenntnisse in Bezug auf die Gestaltung der beiden Systeme gewonnen werden. Anwender des Systems ohne Agent bewerteten es damit vor allem als ruhig, einfach verwendbar, sauber, einfach und hilfreich. Der puristische Charakter der Anwendung in der Kontrollbedingung wird durch die Wahl dieser Karten bestätigt. Nutzer des Systems mit Agent assoziierten es im Gegensatz dazu mit den Begriffen nützlich, freundlich, kreativ, macht Spaß und ansprechend. Das bedeutet, dass die Wirkung des Agenten einen positiven Einfluss auf die Anwender hat. Das einfach gestaltete System wird durch den virtuellen Tutor offensichtlich aufgewertet. Zusammenfassend kann festgehalten werden, dass der Agent keine messbare Wirkung auf die Lernleistung und Motivation der Probanden hatte. Die Testpersonen der Experimentalbedingung beschäftigten sich nicht länger mit dem Programm als die Kontrollgruppe, die geschätzte Bearbeitungszeit wurde gleich wahrgenommen. Die Autoren sprechen deshalb von einem persona-­‐zero-­‐effect, da der Agent offensichtlich keine Veränderung verursachte. Die Anwesenheit des Agenten wirkte sich allerdings positiv auf die Wahrnehmung der Testpersonen aus, die auch die subtilen Rückmeldungen des virtuellen Charakters bemerkten. Es konnte demnach nicht bestätigt werden, dass der Agent die Probanden von ihren Aufgaben abgelenkt oder irritiert hat. Die Aussage „Der Agent hat mich abgelenkt.“ wurde sehr niedrig bewertet, was die gleichwertigen Messdaten der Bearbeitungszeit und Leistung beider Gruppen bestätigt. Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 63 6.2 Videoanalyse
Verschiedene Personen wurden beim Experiment frontal gefilmt. Diese Videoaufnahmen galt es in einer Pilotstudie hinsichtlich ihrer Fokussierung des virtuellen Agenten zu untersuchen. Da Blickbewegungen darüber Aufschluss darüber geben können, welche Information im Gehirn derzeit verarbeitet wird, soll diese Methode verwendet werden, um den in der Nutzerstudie erwiesenen Persona-­‐Null-­‐Effekt zu bestätigen. Entscheidend für die Videoanalyse war die Unterscheidung der Blickmuster in Sakkaden und Fixationen. Sakkaden beschreiben sehr schnell wechselnde Augenbewegungen, Fixationen hingegen das längere Verweilen des Blickes auf einem Objekt. Bei den rasch veränderlichen Sakkaden soll dabei keine Informationsverarbeitung stattfinden. (vgl. Witkowski, Arafa und De Bruijn 2001: 80) Auch wenn nicht jeder Augenkontakt mit dem Agenten bedeutet, dass derzeit in Hinblick auf seine Aktionen Informationsverarbeitung stattfindet, geben Blickanalysen einen Hinweis auf die selektive Aufmerksamkeit des Nutzers. (Spitzer 2003: 50) bestätigt dies mit Unter-­‐
suchungen der neuronalen Strukturen im menschlichen Gehirn: „Selektive Aufmerksamkeit auf einen bestimmten Ausschnitt dessen, was gerade unsere Sinne affiziert, bewirkt die Aktivierung derjenigen neuronalen Strukturen, die für die Verarbeitung eben dieses Ausschnitts zuständig sind.“ Für die Untersuchungen des Videomaterials musste zuerst die Experimentalbedingung bestimmt werden. Da sich die Analyse auf einen Teilbereich der gesamten untersuchten Menge bezieht, wurde nur das Videomaterial der Probanden in Betracht gezogen, die bei der Version mit Agent aufgenommen wurden. Die Probandengruppe ohne Agenten zu betrachten, macht in diesem Szenario insofern keinen Sinn, als dass diese durch den fehlenden Fixpunkt, den der Agent darstellen würde, keinen sinnvollen Vergleichswert zur Gruppe mit virtuellem Lehrer bieten kann. Insgesamt wurden 13 der 18 Probanden aufgenommen, denn nicht jeder Teilnehmer stimmte den Aufzeichnungen zu. Für die Analyse im Rahmen dieser Arbeit wurden Videos von 12 Teilnehmern (N=12) ausgewählt (sechs Frauen und sechs Männer), von denen Filmmaterial von mindestens drei der Sitzungen im Labor vorlag. Um Vergleichswerte bei den Messungen zu erhalten, wurden jeweils drei aufeinanderfolgende Sessions ausgewählt, Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 64 die bei jedem Teilnehmer untersucht werden. 36 Videos unterlagen also insgesamt der Untersuchung. Die Filme stellen dabei Frontalaufnahmen der Probanden dar, die das Gesicht des Teilnehmers deutlich zeigen, also für die Beobachtung der Augenbewegungen geeignet sind. 6.2.1 Stichprobenbeschreibung
Im Folgenden wird zunächst eine Übersicht über die gewonnenen Daten der Untersuchung gegeben. Dabei wird zuerst die Stichprobe an Hand demografischer und untersuchungsrele-­‐
vanter Merkmale vorgestellt. Das Durchschnittsalter der zwölf Probanden beträgt 26,5 Jahre. Alle Teilnehmer wurden auf ihre Computerkompetenz hin befragt. Drei der Probanden gaben an, Computer oft zu benutzen, die restlichen 13 Personen sagten aus, einen PC sehr oft zu benutzen. Alle hatten Erfahrung im Umgang mit Lernprogrammen, sieben der Probanden gelegentlich, drei selten und zwei oft. Die meisten Personen der Stichprobe hatten bereits Kontakt zu virtuellen Charakteren, die Hälfte der Probanden allerdings nur selten. Zehn Personen haben im Studium oder Beruf sehr häufig mit Fremdsprachen zu tun, lediglich zwei selten. Drei der Probanden hatten ihr Studium bereits abgeschlossen, der Rest befand sich noch in der Ausbildung, wobei eine weite Bandbreite von Studienfächern genannt wurde (vgl. Kapitel 13.3). Die Stichprobe umfasst also ein repräsentatives Mittel der gesamten Anzahl der Probanden, die für die ITeach-­‐Studien akquiriert wurden. 6.2.2 Methoden
Alle Videoaufnahmen wurden mithilfe des Annotationstools ANVIL (siehe Abbildung 18) ausgewertet. Die Software, welche von Dr. Michael Kipp programmiert wurde, ermöglicht es, parallel zum ablaufenden Video Anmerkungen in verschiedenen Spuren festzuhalten, die auch zueinander in Relation gesetzt werden können. Die annotierten Stellen in der Aufzeichnung können zudem einzeln abgespielt und mit zusätzlichen Kommentaren versehen werden. Nachdem eine Spezifikation für die Annotation mithilfe von XML beschrieben und implementiert wurde, konnte das Tool für die Untersuchung des Blickpunktes eingesetzt werden. Wurde die Fokussierung des Probanden auf den Agenten ersichtlich, kann mithilfe Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 65 einem Start-­‐ und Endpunkt auf der Videospur die beobachtete Fixation auf den Agenten annotiert werden. Länge und Häufigkeit jedes Blickkontaktes zum Agenten wurden so festgehalten, wenn diese in der Filmaufnahme deutlich erkennbar waren. Abbildung 18: Setup der Software ANVIL zur Videoanalyse (Screenshot) So wurde ein einfacher Vergleich der Ergebnisse ermöglicht. Die jeweilige Länge und Häufigkeit der Blickfokussierung ist für die Auswertung direkt ersichtlich. Das in Kapitel 5.5.1 beschriebene Setup der Nutzerstudien ermöglichte eine weitgehende Isolation der Probanden von ihrer Umwelt, so dass Störungen des Prozesses kaum auftreten konnten. Für die Auswertung des Videomaterials waren im Wesentlichen vier Blickzonen relevant: (1) Anweisungen / Buttons des Programms, (2) Die Vokabel auf der linken Seite, (3) Die Vokabel auf der rechten Seite, und (4) Der virtuelle Agent. Englische Vokabel Virtueller Agent Deutsche Vokabel Steuerung und Fortschrittskontrolle Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 66 Blickrichtung nach links Deutsche Vokabel Blickrichtung nach rechts Englische Vokabel Blickrichtung nach unten Buttons „gewusst“ und „nicht gewusst“ sowie Fortschrittsanzeige Blickrichtung nach vorn Fokussierung des Agenten Tabelle 8: Übersicht Aufbau Screen und Blickrichtungen des Nutzers (Screenshots) Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 67 Sakkadischen Augenbewegungen, dem ruckartigen Ändern der Blickrichtung, wurden bei der Auswertung keine Beachtung geschenkt. Nur Fixierungen der Nutzer, die rund 100 Millisekunden oder länger anhielten, waren relevant für die Untersuchungen. Anhand von Screenshots (siehe Tabelle 8) soll die Vorgehensweise bei der Auswertung des Videomaterials erklärt werden. Das puristische Design des Programms und das einfache Setup im Labor ermöglichten eine einfache Art, die Blickmuster zu analysieren. Da der Agent in der Mitte des Bildschirms angezeigt wird, kann leicht bestimmt werden, wann er von Probanden betrachtet wird. Die aufzeichnende Kamera befindet sich dabei direkt über dem virtuellen Kopf des Agenten. Der Blickbereich konnte so in vier verschiedene Blickzonen unterteilt werden. Ziel ist es, mithilfe von Beobachtung und Auswertung von Videoaufzeichnungen heraus-­‐
zufinden, wie oft und wie lange der Fixpunkt des Agenten anvisiert wird, um Aufschluss über die Aufmerksamkeit der Probanden zu erlangen. Die Werte verschiedener Nutzer sollen dazu verglichen und die Ergebnisse normiert werden. 6.3 Ergebnisse
Die Erkenntnisse dieser Pilotstudie sollen im Folgenden vorgestellt und erläutert werden. Vorerst wurden statistische Daten zur Dauer der Sitzungen aufgenommen, um spätere Ergebnisse in deren Kontext betrachten zu können. Die durchschnittliche Dauer aller Sitzungen betrug dabei rund 853 Sekunden, wobei männliche Probanden den Vokabeltrainer im Schnitt 27 Sekunden länger als die weiblichen Teilnehmerinnen nutzten (siehe Tabelle 9). Die Angabe der Dauer wurde in Sekunden gewählt, um die Auswertung der Daten der Blickfokussierung einfacher mit der Gesamtdauer zu vergleichen. weiblich männlich beide Sitzung 1 961,167 934 947,583 Sitzung 2 852,833 901,5 877,167 Sitzung 3 704,5 763,5 734 Durchschnitt 839,5 866,3333 852,9167 Tabelle 9: Dauer der Sitzung, durchschnittliche Dauer in Sekunden Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 68 Auffällig ist, dass die Dauer der Nutzung bei beiden Geschlechtern abnehmend ist, also Sitzung eins rund 212 Sekunden länger dauert als Sitzung drei. Es lässt sich daraufhin vermuten, dass die Probanden eine „Eingewöhnungszeit“ benötigen, um effektiv mit dem System zu arbeiten. Anschließend an die Ermittlung der Dauer wurde mithilfe der Annotationssoftware ANVIL (siehe Kapitel 6.2.2) die Analyse der Blicke vorgenommen, die die Probanden auf den Agenten im Programm ITeach wenden. Tabelle 10 zeigt die Ergebnisse dieser Auswertung. Es wird ersichtlich, dass der Agent während der Nutzung des Systems rund 85 mal angeschaut wird, wobei Männer den virtuellen Tutor weitaus weniger betrachten, nur rund 77 mal gegenüber den Frauen, die den Agenten rund 93 mal fokussieren. Dabei wird im Vergleich der drei Sitzungen eine statistische Verteilung ersichtlich, die bestätigt, dass die Blickfokussierung von Sitzung eins zu zwei erst ansteigend ist (stark bei den Männern, schwach bei den Frauen ausgeprägt), dann aber beide Geschlechter in Sitzung drei den Agenten entscheidend weniger betrachten. Sitzung 1 Sitzung 2 Sitzung 3 weiblich männlich beide 98,1667 72 85,0833 98,3333 88,3333 93,3333 81,1667 70,5 75,8333 76,9444 84,75 Durchschnitt 92,5556 Tabelle 10: Anzahl der Blicke auf den Agenten, Durchschnittswerte Prozentual betrachtet sind allerdings nur geringe Unterschiede bei den weiblichen und männlichen Probanden zu erkennen, in Relation zur Gesamtdauer aller Sitzungen wird der Agent rund 5,17 Prozent der Zeit von beiden Gruppen betrachtet, worauf die Frauen geringfügig weniger Zeit damit verbringen, den Agenten zu betrachten, nämlich 5,09 Prozent im Gegensatz zu 5,25 Prozent bei den Männern (siehe Tabelle 11). Wäre eine größere Stichprobe vorhanden, liegt die Vermutung nahe, dass sich die Werte deutlicher angleichen würden. Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 69 weiblich männlich beide Sitzung 1 4,73542 4,61372 4,67457 Sitzung 2 5,20304 5,69958 5,45131 Sitzung 3 5,31683 5,44962 5,38323 Durchschnitt 5,08510 5,25430 5,16970 Tabelle 11: Blicke auf den Agenten, durchschnittliche Zeit in Prozent Interessant ist die Beobachtung, dass männliche Teilnehmer der Studie eine deutlich längere Blickdauer auf den Agenten verwendeten als die Frauen. Das heißt, die Werte von 0,58 Sekunden im Gegensatz zu 0,44 Sekunden der durchschnittlichen Dauer jedes Blickes lassen erkennen, dass Männer den Agenten länger fokussieren. Besonders in der zweiten Sitzung konnte dieser Effekt erkannt werden (0,62 Sekunden Blickdauer der Männer im Gegensatz zu 0,43 Sekunden bei den Frauen). weiblich männlich beide 0,45273 0,56445 0,50859 0,43163 0,62119 0,52641 0,44121 0,57248 0,50685 Durchschnitt 0,44186 0,58604 0,51395 Sitzung 1 Sitzung 2 Sitzung 3 Tabelle 12: Dauer jedes Blickes auf den Agenten, durchschnittliche Zeit in Sekunden
Zusammenfassend kann für diese erste Analyse festgehalten werden: Im Durchschnitt wurde über alle Sessions hinweg der Agent 84,75 mal angeschaut, dabei dauerten alle Blicke gesamt 45,17 Sekunden, was einem Wert von 5,3 Prozent der Sitzungsdauer entspricht. Der Mittelwert, der für die Dauer eines einzelnen Blickes ermittelt werden konnte lag bei 0,53 Sekunden. Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 70 In der Relation der einzelnen Sitzungen zueinander bedeutet das: In Sitzung zwei wurde dem Agenten die meiste Aufmerksamkeit geschenkt, sowohl bezüglich Fokussierungszeit, Blick-­‐
dauer und Anzahl der Blicke. In Sitzung eins wurden mehr Blicke auf den Agenten verwendet, deren Gesamtdauer aber kürzer war als in anderen Sessions. Bei Sitzung drei hingegen ist ein Gegentrend zu erkennen. Die Blicke fielen länger aus, dafür traten sie seltener auf (siehe Tabelle 13). Durchschnittliche Zeit der Durchschnittliche Dauer der Fokussierung auf den Agenten Blicke in Sekunden in Prozent Durchschnittliche Anzahl der Blicke Sitzung 1 4,77 0,51 85,08 Sitzung 2 5,45 0,53 93,33 Sitzung 3 5,38 0,51 75,83 Tabelle 13: Relation der Sitzungen 1-­‐3 (in Betracht auf ø Zeit der Fokussierung in Prozent, ø Blickdauer in Sekunden und ø Anzahl der Blicke) Anhand dieser Daten konnte die Folgesequenz der Blicke auf rund 10,06 Sekunden bestimmt werden, was bedeutet, dass der Agent durchschnittlich alle zehn Sekunden von den Nutzern betrachtet wird. 6.4 Auswertung
Überraschend war die Beobachtung, das eine Vielzahl der Probanden dem Agenten generell kaum Beachtung schenken. Das könnte die Forschungsergebnisse von (Miksatko, Kipp and Kipp 2010a) erklären, die herausfanden, dass Motivation und Lernerfolg der Lerner mit ITeach bei Experiment-­‐ und Kontrollbedingung gleich sind (siehe Kapitel 6.1). Interessant ist dabei vor allem die Frage, warum dem Agenten nicht mehr aktive Beachtung geschenkt wird, wieso der Agent also nicht öfter und länger vom Programmnutzer aufmerksam fokussiert wird. Es ist wegen des einfachen Aufbaus des Programms und der übersichtlichen Präsentation der Lerninhalte auf dem Bildschirm nicht von einer kognitiven Überlastung (cognitive overload) des Benutzers auszugehen. Ist der puristisch gestaltete Agent im Rahmen von ITeach vielleicht so unbedeutend für die Funktionsweise des Sprachlernprogramms, dass Nutzer ihn intuitiv aus ihrem Blickfeld ausblenden? Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 71 Diese Frage kann anhand der Ergebnisse der in Kapitel 6.1 vorgestellten Evaluation bezüglich des Persona-­‐Effekts in ITeach klar verneint werden. Wie hier nachgewiesen werden konnte, sind sich Nutzer dem Agenten im System durchaus bewusst. Entscheiden sie also willentlich, den Agenten nicht betrachten zu wollen? Darüber kann eine Analyse der Kommentare zum Programm Aufschluss bieten. Ein Proband merkte hier an, dass das Lernen im System zwar klar strukturiert war, und er gut Vokabeln lernen konnte, allerdings „fand [er] den Agenten zu unpersönlich“. Eine andere Person merkte an, dass sie „beim Lernen [...] den Agenten quasi nicht beachtet [hat], da [sie] das Lesen der Vokabeln zum Lernen sinnvoller fand, als den Agenten anzuschauen. Diesen habe [sie] nicht als Lehrer wahrgenommen“. Weitere, diese These unterstützende Bemerkungen umfassten die Aussagen „Mich persönlich lenkt der Agent jedoch zu sehr ab (ich empfinde ihre Bewegungen als störend).“ und „[der] Agent hat manchmal Bewegung gemacht ohne dabei zu sprechen (unnatürlich)“. Andere Anwender waren dem Agenten gegenüber positiver gestimmt: „mir hat es gefallen, von dem Programm gelobt zu werden, das lockert das Lernen etwas auf“, „das Verhalten der Agentin ist diskret, aber nicht zu starr“. Anhand der unterschiedlichen Aussagen wird klar, wie subjektiv die Wertung eines Agenten ausfallen kann. Was von einigen Nutzern als störend empfunden wird, möchten andere verstärkt sehen. Es könnte daher interessant sein, Agenten mit unterschiedlich ausgeprägtem Feedback-­‐Verhalten zu vergleichen. Der Kommentar einer Nutzerin könnte einen Hinweis darstellen, warum weibliche Nutzer den Agenten weniger beachten: „Für Frauen wäre vielleicht auch eine Version mit einem netten männlichen Agenten :) [gut]“. Es stellt sich daher die Frage, ob ein männlicher Agent die Blicke der Frauen wirklich mehr auf sich ziehen könnte. Im Allgemeinen können die Gründe für die geringe Fokussierung auf den Agenten mit dieser kleinen Stichprobe nur schwer ermittelt werden. In Kapitel 7 werden deshalb Vorschläge für weitere Untersuchungen dargestellt, die helfen könnten, diesen Sachverhalt genauer zu prüfen. Ein sehr interessantes Ergebnis lieferte eine Untersuchung der Beziehungen der aus der Videoanalyse gewonnenen Daten mit den Lernleistungen der Probanden, die aus der Arbeit von (Miksatko, Kipp und Kipp 2010a) ersichtlich wurden. Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 72 Hier konnte ein Effekt festgestellt werden, der erkennen lässt, dass sich die Lernleistung steigert, je länger der Agent betrachtet wird. Abbildung 19 zeigt die Korrelation des normalisierten Wertes des card score der Probanden (vgl. Kapitel 4.1) und der Blickdauer in Prozent. Die grüne Linie stellt eine Parameterschätzung dieser Korrelationsdaten dar. Durch den deutlichen Anstieg kann erkannt werden, dass eine Abhängigkeit zwischen Blickdauer und Lernleistung der Probanden besteht. Je länger die Probanden ihre Aufmerksamkeit auf den Agenten richten, umso besser sind ihre Lernergebnisse im virtuellen Vokabeltrainer. Abbildung 19: Korrelation zwischen Lernleistung und Blickdauer Da die Stichprobe dieses Experiments jedoch nur zwölf Probanden umfasst, und die Messwerte erkennbare Abweichungen enthalten, kann hier noch nicht von einer statistischen Signifikanz gesprochen werden. Es wurde allerdings eine Tendenz erkannt, die in weiteren Experimenten dringend kritisch untersucht werden sollte. Es könnte damit ermittelt werden, ob die Informationsverarbeitung durch einen virtuellen Agenten gesteigert werden kann. 6.5 Weitere Fragestellungen
Obwohl keine statistisch signifikanten Ergebnisse ermittelt werden konnten, sind während der Analyse verschiedene Ereignisse aufgefallen, die für weitere Studien von Interesse sein könnten. Eine spannende Beobachtung bei der Auswertung der Videos war beispielsweise die Interaktion der Nutzer mit der Software. In Einzelfällen der Stichprobe ließ sich erkennen, Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 73 wie Personen emotional während ihres Tests reagierten. So wurden in verschiedenen Situationen nonverbale Äußerungen wie bestätigendes Kopfnicken und Lächeln der Probanden beobachtet. Bedingt durch den einfachen Versuchsaufbau mit einer Kamera war es leider nicht möglich zu erkennen, ob diese Emotionen direkte Reaktionen auf den virtuellen Lehrer waren. Ein reizvolles Forschungsgebiet bietet deshalb die Relation der ausgedrückten Gefühle der Probanden in Hinsicht auf die Bewegung und sprachliche Äußerung des Agenten. Dies könnte anhand des Facial-­‐Action-­‐Coding-­‐Systems nach Ekman und Friesen (vgl. about facs 2003) ermittelt werden, welches „entwickelt [wurde] mit dem Ziel, ein zuverlässiges und objektives Instrumentarium zur Erfassung des mimischen Ausdrucks zur Verfügung zu haben“ (about facs 2003). Schwab und Unz arbeiten in ihrem noch nicht erschienen Forschungsbericht heraus, dass „sich die Methode sowohl für die Beschreibung der Medieninhalte wie auch als Verfahren zur Ermittlung der Zuschauerreaktionen [eignet]. Diese können im Zeitverlauf parallel zu den Medienereignissen aufgezeichnet und sekundengenau zugeordnet werden.“ (Schwab und Unz, noch nicht erschienen). Dieses Forschungsgebiet kann in Bezug auf die informationsverarbeitenden Prozesse aufschlussreiche Ergebnisse liefern, wenn neurobiologische Erkenntnisse auf das Lernen bezogen werden, denn „[einen] wesentlichen Einfluss auf die Verarbeitungstiefe von Informationen haben neben der selektiven Aufmerksamkeit emotionale Prozesse.“ (Spitzer 2003: 50). Anhand der Betrachtungen der Bemerkungen der Nutzer in Bezug auf das ITeach-­‐System hat sich vor allem eine Unzufriedenheit in Bezug auf die computerisierte Stimme ergeben, die alle Vokabeln verliest. Verschiedene Probanden beider Nutzergruppen bemängelten die Aussprache der Fremdwörter. Die Stimme wirke „zu maschinell“ und „zu technisch“. In Anbetracht dessen gilt es zu überlegen, ob eine andere, eventuell sogar menschliche Stimme eingesetzt werden sollte, um den virtuellen Agenten persönlicher und weniger technisch erscheinen zu lassen. Außerdem wurde von mehreren Probanden empfohlen, die zu erlernenden Vokabeln zu bebildern. Wörter, die mit zwei Möglichkeiten zur Übersetzungen besetzt sind, können so direkt korrekt identifiziert werden (vgl. fly – Fliege / Hosenschlitz, Krebs – crab / cancer). Das könnte sich möglicherweise in einer Steigerung der Lernleistung auswirken. Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 74 7
Weiterführende Untersuchungen
Bisherige Untersuchungen der Wirkung von Agenten beschäftigen sich zum Großteil mit der Motivation und Lernleistung der Probanden. Diese sind jedoch nur einige Aspekte, die bei der Interaktion mit Agenten und der Informationsverarbeitung im Allgemeinen eine Rolle spielen. (Clark und Choi 2005) entwickelten Prinzipien für die Untersuchung der Wirkung von virtuellen Agenten, die auch in der ITeach-­‐Studie Anwendung fanden: • The Balanced Separation Principle: es muss sichergestellt werden, dass pädagogische Methoden unabhängig von der Anwesenheit eines Agenten präsentiert werden. Motivation und Lernerfolg können durch Handlungen bestimmt sein, die der Agent ausführt (Zum Beispiel das Zeigen auf wichtige Objekte). Wenn es für diese Aktionen keine äquivalenten Maßnahmen in Kontrolluntersuchungen ohne Agent gibt, kann erhöhter Lernerfolg oder gesteigerte Motivation nicht eindeutig der Wirkung des Agenten zugeschrieben werden. (André, Müller und Rist 1996) entsprachen zu diesem Zweck dem Agenten mit einem Pfeil in der Version ohne Agent. • The Variety of Measured Outcomes Principle: Lernleistung und Motivation sollen durch eine Vielzahl von Tests nachgewiesen werden, die auch das konzeptuelle Verständnis der Prozesse und Prinzipien betreffen. Simple Reaktionsaufgaben haben keinen Sinn. Verständnisfragen sollen besseren Aufschluss darüber geben, ob ein nachweisbarer Persona-­‐Effekt vorliegt. • The Robust Measurement Principle: Die Verlässlichkeit und Validität der Messergebnisse muss gewährleistet sein. Motivation muss mithilfe standardisierter statistischer Methoden ermittelt werden. Auch die Aufmerksamkeitsforschung dabei könnte von Interesse sein, die bisherigen Messmethoden (subjektive Angaben in Fragebögen, Messung von Reaktionszeiten und Fehlerquoten) lieferten noch keine verlässlichen, objektiven Daten. • The Cost-­‐Effectiveness Principle: Eine Gegenüberstellung der Kosten der Umsetzung eines Lernsystems mit und ohne Agent über verschiedene Merkmale (Personal, Ausstattung, Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 75 Materialien, Folgekosten, alle weiteren) soll erfolgen. Diese werden anschließend in einer Kosten-­‐Nutzen-­‐Rechnung bewertet. • The Cognitive Load Principle: Auf die Verwendung zu komplexer Agenten soll verzichtet werden, da diese die Aufmerksamkeit auf sich ziehen und den Lernenden ablenken können. Der Agent soll klare lerntheoretische Ziele umsetzen, dafür muss er einfach, nicht störend und zielorientiert arbeiten. Entsprechend diesen Prinzipien sollte ein Evaluationsverfahren entwickelt werden, welches umfassend verschiedene Aspekte der Wirkung eines Agenten auf den Nutzer analysiert. Besonders die Beobachtung der Fokussierung auf den Agenten kann hilfreich sein, um neue Erkenntnisse zu gewinnen. Um die in Kapitel 6.3 vorgestellten Ergebnisse bezüglich der Aufmerksamkeitsforschung weiter zu verifizieren, sollten deshalb in einem Folgeversuch zusätzlich zu den vorgestellten Praktiken von (Miksatko, Kipp und Kipp 2010b) noch genauere und umfangreichere Messmethoden angewendet werden. Mithilfe von Eye-­‐
Tracking könnte beispielsweise die Fokussierung auf den Agenten noch genauer bestimmt werden. Ein Eye-­‐Tracker ermöglicht es, mithilfe einer Software die genauen Blickmuster von Probanden zu analysieren und die menschlichen Reaktionen in Relation zu Handlungen und Bewegungen des Agenten zu betrachten. (Prendinger, Ma und Yingzi, et al. 2005) wendeten das Verfahren an, um die Blick-­‐
fokussierung von Probanden zu analysieren, die eine web-­‐basierte Präsentation mit einem multimodalen Agenten nutzten. In der Studie wurde die Interaktion mit dem System für jeden einzelnen Moment ausgewertet. Es wurde nachgewiesen, dass menschliche Anwender mit dem anthropomorphen Agenten quasi natürlich interagierten. Sie folgten seinen verbalen und non-­‐verbalen Anweisungen, und schauten vor allem in das Gesicht des Agenten, so wie es bei einer normalen Konversation üblich ist. „The eye movements of users watching a presentation given by an agent provide quantificable evidence of their perception of the agent’s believability.“ (Prendinger, Ma und Yingzi, et al. 2005: 114) Im Verlauf der Studie wurden auch biometrische Daten der Stichprobe ausgewertet, die keine Unterschiede bezüglich des Hautleitungswiderstands und der Herzfrequenz bei Kontroll-­‐ und Experimentalgruppe nachweisen konnte. Aufgrund dieser Erkenntnisse schließen die Autoren eine ablenkende oder störende Wirkung des Agenten aus. Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 76 Die Studie von (Witkowski, Arafa und De Bruijn 2001) hatte zuvor bereits ähnliche Ergebnisse erzielt. Ein Agent führt Nutzer durch das Angebot in einem web-­‐basierten Shop-­‐
System, gibt ihnen Hilfestellungen zur Verwendung des Systems und Erklärungen zu Produkten. Auch in diesem Szenario konnte allerdings eine geringe Ablenkung der Nutzer durch den Agenten festgestellt werden. Probanden richteten ihre Aufmerksamkeit häufig auf den Agenten, so dass Produkte und Objekte im Shop weniger wahrgenommen wurden. Um die Ergebnisse zu verifizieren, die im Rahmen der Nutzerstudie zum interaktiven Sprachlernprogramm ITeach ermittelt wurden, sollte das Experiment mit einer größeren Stichprobe unter Verwendung der Eye-­‐Tracking-­‐Technologie durchgeführt werden. So könnte ermittelt werden, warum dem Agenten zum Teil so wenig Beachtung geschenkt wird. Ein Eye-­‐Tracker könnte dazu dienen, die Augenbewegungen der Probanden genauer zu analysieren. Parallel zu diesen Aufnahmen könnte eine Aufzeichnung der Handlungen des Agenten dienen, diese Daten miteinander zu vergleichen und in Beziehung zu setzen. Die Synchronität beider Aufzeichnungen ist für die Rekonstruktion einer Reaktionskette dabei eine erforderliche Bedingung. Auch Tonspuren sollten aufgezeichnet werden, zum einen von der Stimme des Agenten, zum anderen vom Probanden, der sich möglicherweise sprachlich äußert oder in einen Dialog mit der virtuellen Person tritt. Diese können bei Bedarf in Relation gesetzt werden. Neben den Audio-­‐ und Videoaufnahmen sollten Fragebögen helfen, die persönliche Beziehung zwischen Mensch und virtuellem Agenten genauer zu definieren. Er bezieht sich zu diesem Zweck ausdrücklich auf den virtuellen Agenten, um dessen Wirkung auf den Nutzer zu ermitteln. Die folgenden Aussagen sollten post-­‐
experimental von allen Probanden der Experimentalbedingung bewertet werden. No. 1. 2. 3. 4. 5. 6 7. 8. 9. 10. Aussage Stimme voll und ganz zu Der Agent hat mich motiviert. Der Agent hat mir geholfen. Ich hatte oft Augenkontakt mit dem Agenten. Der Agent wirkte wie ein Lehrer. Der Agent hat mich abgelenkt. Der Agent wirkte unnatürlich. Ich hätte auf den Agenten verzichten können. Ich würde lieber ohne Agenten arbeiten. Die Sprache des Agenten wirkte realistisch. Ich würde die Stimme einer realen Person bevorzugen. Stimme eher zu Stimme eher nicht zu Stimme gar nicht zu Tabelle 14: Fragebogen: Wirkung des Agenten auf den Nutzer Weiss nicht Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 77 Einige der Aussagen basieren dabei auf Fragen der Studie von (Lester, Converse und Kahler, et al. 1997a) und (Moundridou und Virvou 2002b). Außerdem ziehen sie Aussagen der Probanden des iTeach-­‐Experiments in Betracht, die sich post-­‐experimental vermehrt über die Sprachqualität des Agenten beschwerten. (P1: „Es wäre besser, wenn die Stimme menschlicher klingen würde, also keine Computerstimme, dadurch wäre das Programm vielleicht persönlicher“, P2: „die Aussprache war manchmal nicht korrekt“, P3: „Die Sprachausgabe war grundsätzlich zu maschinell und die Aussprache daher an einigen Stellen Falsch.“ , P4: „Durch die falsche deutsche Aussprache kam der Agent einfach zu technisch rüber.“) Um zu analysieren, ob und in welchem Maß Testpersonen den Agenten wahrnehmen, sollen folgende trivialen Fragen (siehe Tabelle 15) beantwortet werden. Interessant wäre es, bei einem Langzeitexperiment das Aussehen des Agenten geringfügig zu manipulieren (beispielsweise Augen-­‐, Haarfarbe oder Haarschnitt zu wechseln), um zu analysieren, ob Probanden einen Unterschied erkennen. Werden die Fragen richtig beantwortet, könnte das eine erhöhte Aufmerksamkeit gegenüber der virtuellen Person bestätigen. Dabei muss festgehalten werden, dass eine Veränderung des äußeren Erscheinungsbildes nur einmal vorgenommen werden sollte. Kennen die Nutzer die Frage bereits aus einer früheren Sitzung, erwarten sie eine Abweichung und werden den Agenten mehr fokussieren. No. Frage Freitext 1. 2. 3. Welche Haarfarbe hat der Agent? Welche Augenfarbe hat der Agent? Wie war der Agent gekleidet? Weiss nicht Tabelle 15: Triviale Fragen zum äußeren Erscheinungsbild des Agenten Um die Eigenschaften des virtuellen Agenten abschließend zu beschreiben, werden dem Probanden zehn positive sowie zehn negative Adjektive vorgestellt (siehe Tabelle 16), die sie auf den Agenten beziehen sollen. Eine einfache Skala hilft der Beurteilung und der anschließenden Auswertung. Diese Möglichkeit ist eine Vereinfachung der Microsoft Product Reaction Cards, die zu einem genaueren und besser auswertbaren Ergebnis führen könnte. Außerdem dürfen sonstige Bemerkungen zum Agenten in ein Freifeld eingetragen werden. Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 78 No. Beschreibung 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. Freundlich Sympathisch Locker Unterstützend Motivierend Attraktiv Vertrauenserweckend Energetisch Natürlich Persönlich Bevormundend Störend Unnahbar Langweilig Frustrierend Bedrohlich Überflüssig Beängstigend Kühl Uninteressant Stimme voll und ganz zu Stimme eher zu Stimme eher nicht zu Stimme gar nicht zu Weiss nicht Tabelle 16: Beurteilung des Agenten anhand von Adjektiven Es wird ausdrücklich festgehalten, dass die vorgestellten Verfahren zusätzlich zur bereits ausgearbeiteten Methodik der Evaluation von ITeach anzuwenden sind. Die beschriebenen Maßnahmen dienen dabei zur Evaluation und Definition der persönlichen Beziehung, die mutmaßlich zwischen Nutzer und Agent im Verlauf einer Langzeitstudie aufgebaut wird. Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 79 8
Schlussfolgerung
Die Erforschung und Evaluation der virtuellen Agenten ist noch nicht ausgereift. Vorgeschlagene Evaluationsstrategien wie die von (Clark und Choi 2005) sind ein erster Versuch, Standards für Experimente und Untersuchungen für dieses neue Forschungsgebiet zu etablieren. Im Rahmen dieser Magisterarbeit wurde eine erste umfassende Untersuchung der Software ITeach präsentiert, die über mehrere Sitzungen und einen längeren Zeitraum hinweg Probanden begleitete, die eine interaktive Sprachlernsoftware nutzten in der ein virtueller Agent integriert ist. Die Daten, die anhand einer exemplarischen Videoanalyse gewonnen werden konnten, geben Aufschluss über die Fokussierung von zwölf Probanden, die mit diesem System arbeiteten. Obwohl eine kleine Stichprobe vorlag, die zu klein ist, um verlässliche statistische Werte aus den gewonnenen Daten zu extrahieren, wurden anhand der Messergebnisse einige Tendenzen ersichtlich, die nachfolgend nochmals zusammenfassend erläutert werden sollen. Die durchschnittliche Dauer der Blicke auf den virtuellen Agenten fiel entgegen der Erwartung sehr gering aus. Die Probanden verwendeten nur rund 5,17 Prozent der gesamten Sitzungsdauer mit einem durchschnittlichen Wert von 14,22 Minuten darauf, den virtuellen Agenten zu betrachten, was einem Mittelwert von 45,17 Sekunden entspricht. Ein Vergleich der drei analysierten Sitzungen stellt dar, dass die Blickfokussierung von Sitzung eins (rund 98,17 Blicke) zu Sitzung zwei (rund 98,33 Blicke) erst geringfügig ansteigend ist, in Sitzung drei (rund 81,17 Blicke) aber stark abfällt. Dabei steigert sich allerdings die Länge der einzelnen Blicke von der ersten (4,67 Prozent der Gesamtdauer) zur zweiten Sitzung (5,45 Prozent) hin. In der dritten Sitzung fällt die Betrachtungsdauer hingegen leicht ab (5,38 Prozent). Es konnte die auffällige Tendenz ermittelt werden, dass Blicke der männlichen Probanden (durchschnittlich 0,58 Sekunden) länger anhaltend sind als die der weiblichen Teilnehmer (durchschnittlich 0,44 Sekunden). Dabei ist die Anzahl der Blicke bei den Männern (77 mal) aber geringer als bei den Frauen (93 mal). Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 80 Es konnte erstmalig eine Beziehung der Blickkontakte zu der Lernleistung der Probanden hergestellt, und eine Tendenz zur Abhängigkeit der Daten ermittelt werden. Je länger die Probanden ihre Aufmerksamkeit auf den Agenten richteten, umso höher ihr Leistungsvermögen beim Vokabellernen. Es muss angemerkt werden, dass die Daten große Abweichungen enthalten, die möglicherweise durch ausreißende Werte verursacht wurden. In Anbetracht der gewonnenen Erkenntnisse kann Bezug auf die Hypothesen genommen werden, die in Kapitel 1.2 aufgestellt wurden. Hypothese eins: Der Nutzer nimmt den virtuellen Agenten als sozialen Interaktionspartner wahr, was er durch verstärkten Augenkontakt ausdrückt. Bei einem Durchschnittswert von lediglich 45,17 Sekunden, die Nutzer mit der Betrachtung des virtuellen Agenten verbrachten, kann nicht von einer begründeten Kommunikation zwischen Nutzer und Agent gesprochen werden. Auch wenn bei der Betrachtungsdauer im Vergleich zu Sitzung eins zu Sitzung drei ein Anstieg erkennbar wird (0,78 Prozent) und der Agent teilweise positiv wahrgenommen wurde, können die Messergebnisse nicht bestätigen, dass er als sozialer Interaktionspartner erkannt wird. Die erste Hypothese gilt damit als widerlegt. Hypothese zwei: Durch Gewohnheit im Umgang mit dem Agenten wird mit fortschreitender Zeit die Aufmerksamkeit des Menschen auf den virtuellen Charakter reduziert. Trotz eines geringfügigen Anstiegs des Interesses am virtuellen Agenten fällt die Aufmerksamkeitskurve in der letzten Sitzung steil ab. Obwohl die Gründe für dieses Verhalten der Probanden im Rahmen dieser Studie nicht nachgewiesen werden konnten, wird angenommen, dass bei längerer Benutzung des Programms über mehrere Sitzungen hinweg ein Gewohnheitseffekt eintritt. Hypothese zwei gilt damit als bestätigt. Hypothese drei: Die Lernleistung der Probanden wird durch eine Erhöhung der sozialen Interaktion mit dem Agenten gesteigert. Obwohl die Anzahl der Blicke, wie in Hypothese eins dargestellt, zur letzten Sitzung hin eine abfallende Tendenz zeigt, konnte mithilfe einer Parameterschätzung der Effekt ermittelt werden, dass Probanden eine gesteigerte Leistung zeigten, je länger der virtuelle Agent betrachtet wurde. Es scheint, als träte diese Korrelation unabhängig vom etablierten sozialen Kontakt auf. Hypothese drei lässt sich damit nicht eindeutig bestätigen, und muss in weiteren Untersuchungen genauer verifiziert werden. Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 81 Alle die in dieser exemplarischen Analyse ermittelten Daten gilt es in einer weiteren Evaluation mit größerer Stichprobe auf ihre Richtigkeit zu überprüfen. Die Stichprobe der ITeach-­‐Studie bestand, bedingt durch die Rekrutierung der Probanden an der Universität des Saarlandes, vorrangig aus jungen Menschen die mit dem Umgang des Computers vertraut sind, und fließend Englisch sprechen. Um diesen Trend zu vermeiden, sollten nachfolgende Untersuchungen Stichproben verschiedenen Alters umfassen, deren Anwenderkenntnisse im Bereich der Computernutzung variieren, und die hinsichtlich ihrer englischen Sprachkenntnisse differieren. Die in Kapitel 7 präsentierten Evaluationsverfahren sollten angewendet werden, um den Effekt des virtuellen Agenten auf den menschlichen Anwender in weiteren Studien zu verdeutlichen. Auch die in Kapitel 6.5 angeregte Untersuchung der Emotionen der Probanden könnten interessante Resultate erbringen, die in Relation mit den Ergebnissen einer Eye-­‐Tracking-­‐Analyse gesetzt werden sollten. Angelehnt an die abgeschlossene Nutzerstudie zu ITeach sollten die gleichen Bedingungen bezüglich Experimental-­‐ und Kontrollbedingung eingehalten werden. Gestützt auf die Untersuchungen von (Witkowski, Arafa und De Bruijn 2001) und (Prendinger, Ma und Yingzi, et al. 2005) könnte überlegt werden, ob der im System verwendete virtuelle Agent in weiteren Studien nicht als full-­‐
body, sondern face-­‐only implementiert wird, da Nutzer offensichtlich am häufigsten das Gesicht der virtuellen Helfer betrachten. Eventuell kann damit eine eindeutig messbare Wirkung auf den Probanden erwirkt werden. Anhand der vorliegenden Ausführungen wird ein umfassender Untersuchungsaufbau präsentiert, der vor allem dafür eingesetzt werden kann, die bis dato nahezu unergründeten Faktoren der Aufmerksamkeit und emotionalen Prozesse der Nutzer eines Systems unter Verwendung von virtuellen Agenten abzubilden. Dieser kann in Verbindung mit den bekannten Methoden zur Motivations-­‐ und Leistungsbestimmung angewendet werden, um eine ganzheitliche Evaluation der Einflüsse von virtuellen Charakteren auf das menschliche Lernen zu ermöglichen. Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 82 9
Ausblick
Software-­‐Hersteller bewerben ihre Produkte verstärkt mit Begriffen wie Benutzerfreundlich-­‐
keit, Effizienz und großer Intuitivität. Oftmals wirken Programme aber einschüchternd oder unverständlich auf die Anwender, vor allem unerfahrene Nutzer sind mit der umständlichen Bedienungsweise leicht überfordert. Was könnte jedoch eine intuitivere Benutzerschnittstelle sein, als ein Kommunikationspart-­‐
ner, der Aussagen verstehen kann und erwartungsgemäß darauf reagiert? Virtuelle Agenten sollen diese Zukunftsvision erfüllen, und die Mensch-­‐Maschine-­‐Interaktion revolutionieren. Sie sollen für eine einwandfreie Verständigung sorgen, und die Anzahl der frustrierten PC-­‐Nutzer deutlich reduzieren. Forscher des stark interdisziplinär ausgeprägten Bereichs sind sich der genauen Wirkungsweise der virtuellen Charaktere allerdings noch nicht gänzlich bewusst, und versuchen deshalb, einheitliche Evaluationsstrategien zu entwickeln, die den Einfluss der Agenten erfassen können. Vor allem in Bezug auf das menschliche Lernen mit Agenten sind noch viele Fragen offen, die nur in gemeinschaftlicher Kooperation von Informatikern, Computerlinguisten, Psychologen, Biologen, Neurologen und Geisteswissenschaftlern beantwortet werden können. Die Entwicklungen, die auf Basis von ganzheitlichen Evaluationen unternommen werden, können entscheidend dazu beitragen, die Effektivität, Effizienz und Akzeptanz der Computersysteme zu erhöhen, und damit eine multimodale und langfristig realistischere oder gar völlig natürliche Kommunikation des Anwenders mit dem Rechner zu ermöglichen. Ist die Wirkungsweise der Agenten umfassend nachgewiesen, werden die virtuellen Helfer Einzug in den Alltag halten und für einen sorgloseren, angenehmeren und vor allem komfortableren Informationsaustausch mit dem Computer sorgen. Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 83 10 Bibliographie
10.1 Printmedien
André, Elisabeth, Jochen Müller, und Thomas Rist. „The PPP Persona: A Multipurpose Animated Presentation Agent.“ AVI '96 Proceedings of the workshop on Advanced visual interfaces, New York: ACM, 1996. 245-­‐247. Bailenson, Jeremy N., Nick Yee, Jim Blascovich, Andrew C. Beall, Nicole Lundblad, und Michael Jin. „The Use of Immersive Virtual Reality in the Learning Sciences: Digital Transformations of Teachers, Students, and Social Context.“ The Journal of the Learning Sciences, Taylor & Francis Group, LLC, 17 (2008): 102-­‐141. Baumgart, Franzjörg. Entwicklungs-­‐ und Lerntheorien. Erläuterungen – Texte – Arbeitsaufgaben. 2. durchgesehene Auflage. Studienbücher Erziehungswissenschaft: Band II. Regensburg: Julius Klinkhardt Verlagsbuchhandlung, 2001. Bausch, Karl R., Herbert Christ, Frank G. Königs, und Hans J. Krumm. „Kognition als Schlüsselbegriff bei der Erforschung des Lehrens und Lernens fremder Sprachen.“ Arbeitspapiere der 18. Frühjahrskonferenz zur Erforschung des Fremdsprachenunterrichts. Tübingen: Narr Francke Attempto, 1998. Baylor, Amy L., und Jeeheon Ryu. „The API (Agent Persona Instrument) for Assessing Pedagogical Agent Persona.“ In: D. Lassner und C. McNaught (Hrsg.). Proceedings of World Conference on Educational Multimedia, Hypermedia and Telecommunications. Chesapeake: AACE, 2003. 448-­‐451. Beskow, Jonas, Björn Granström, und David House. „Analysis and Synthesis of Multimodal Verbal and Non-­‐verbal Interaction for Animated Interface Agents.“ In: A. Esposito et al. (Hrsg.), Verbal and Nonverbal Communication Behaviours, 250-­‐263. Berlin Heidelberg: Springer-­‐Verlag, 2007. Beun, Robbert-­‐Jan, und Eveliene de Vos. „Embodied Conversational Agents: Effects on Memory Performance and Anthropomorphisation.“ Intelligent virtual agents: 4th International Workshop, IVA 2003, Berlin Heidelberg: Springer-­‐Verlag, 2003. 315-­‐319. Clark, Richard E., und Sunhee Choi. „Five Design Principles For Experiments On The Effects Of Animated Pedagogical Agents.“ Journal of Educational Computing Research 32, 3 (2005): 209-­‐225. Dehn, Doris M., und Susanne van Mulken. „The Impact of Animated Interface Agents: A Review of Empirical Research.“ Int. J. Human-­‐Computer Studies (Academic Press) 52 (2000): 1-­‐22. Edelmann, Walter. Lernpsychologie. 6. Aufl. Weinheim: Psychologie Verlags Union, 2000. Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 84 Jafari, Ali. „Conceptualizing Intelligent Agents for Teaching and Learning.“ EDUCAUSE Quarterly, 3 (2002): 28-­‐34. Johnson, W. Lewis, Jeff W. Rickel, und James C. Lester. „Animated Pedagogical Agents: Face-­‐
to-­‐Face Interaction in Interactive Learning Environments.“ International Journal of Artificial Intelligence in Education 11 (2000): 47-­‐78. Kerres, Michael. Multimediale und telemediale Lernumgebungen: Konzeption und Entwicklung. 1. Auflage, München Wien: Oldenbourg, 1998. Knall, Thomas. „Automatische Adaptierung von SCORM-­‐basierenden Lerninhalten.“ Magisterarbeit, Institut für Informationssysteme und Computer Medien (IICM), Technische Universität Graz, 2005. Krüger, Roland. „Lerntheorien und ihre Auswirkung auf eLearning-­‐Systeme.“ Seminararbeit, Fakultät für Mathematik und Informatik, Universität Mannheim, 2004. Krämer, Nicole C. Soziale Wirkungen virtueller Helfer. Gestaltung und Evaluation von Mensch-­‐Computer-­‐Interaktion, Stuttgart: W. Kohlhammer, 2008. Krämer, Nicole C., und Gary Bente. „Brauchen Interface Agenten Emotionen?“ In: J. Ziegler und G. Szwillus (Hrsg.), Mensch & Computer 2003: Interaktion in Bewegung, 287-­‐296. Stuttgart: B. G. Teubner, 2003. Kroeber-­‐Riel, Werner, und Peter Weinberg. Konsumentenverhalten. München: Verlag Vahlen, 1999. Lefrançois, Guy R. Psychologie des Lernens. 3., unv. Auflage, Berlin Heidelberg New York: Springer-­‐Verlag, 2003. Lester, James C., Sharolyn A. Converse, Susan E. Kahler, S. Todd Barlow, Brian A. Stone, und Ravinder S. Bhogal. „The Persona Effect: Affective Impact of Animated Pedagogical Agents.“ Proceedings of CHI '97, 1997a. 359-­‐366. Lester, James C., Sharolyn A. Converse, Brian A. Stone, Susan E. Kahler, und Todd S. Barlow. „Animated pedagogical agents and problem-­‐solving effectiveness: A large-­‐scale empirical evaluation.“ Proceedings of the Eighth World Conference on Artificial Intelligence in Education, Amsterdam: IOS Press, 1997b. 23-­‐30. Metzger, Christiane, und Rolf Schulmeister. „Interaktivität im virtuellem Lernen am Beispiel von Lernprogrammen zur Deutschen Gebärdensprache.“ In: H.O. Mayer and D. Treichel (Hrsg.), Handlungsorientiertes Lernen und eLearning. Grundlagen und Praxisbeispiele., München, Wien: Oldenbourg Verlag, 2004. 265-­‐297. Miksatko, Jan, und Michael Kipp. „Hybrid Control for Embodied Agents Applications.“ In: B. Mertsching, M. Hund and Z. Aziz (Hrsg.), KI 2009, Berlin Heidelberg: Springer-­‐Verlag, 2009. 524-­‐531. Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 85 Miksatko, Jan, Kerstin H. Kipp, und Michael Kipp. „The Persona Zero-­‐Effect: Evaluating virtual character benefits on a learning task.“ Proceedings of the 10th International Conference on Intelligent Virtual Agents (IVA-­‐10), Berlin Heidelberg: Springer, 2010a. 475-­‐481. Miksatko, Jan, Kerstin H. Kipp, und Michael Kipp. „Evaluating benefits of a pedagogical virtual agent in repeated interactions: Comparing motivation, distraction and memory performance in a learning task.“ Computers & Education, Elsevier, 2010b. noch nicht erschienen. Moundridou, Maria, und Maria Virvou. „Evaluating the Persona Effect of an Interface Agent in a Tutoring System.“ Journal of Computer Assisted Learning 18, 2002b. 253-­‐261. Oppolzer, Ursula. Super lernen: Tipps & Tricks von A -­‐ Z . 5. Auflage, Baden-­‐Baden: Humboldt Verlags GmbH, 2005. Payr, Sabine, und Peter Baumgartner. Lernen mit Software. Innsbruck: Österreichischer Studienverlag, 1994. Prendinger, Helmut, Chungling Ma, und Mitsuru Ishizuka. „Eye movements as indices for the utility of life-­‐like interface agents: A pilot study.“ Interacting with Computers 19, 2 (März 2007): 281-­‐292. Prendinger, Helmut, Chungling Ma, Jin Yingzi, Arturo Nakasone, und Mitsuru Ishizuka. „Understanding the effect of life-­‐like interface agents through eye users' eye movements.“ ICMI '05, ACM Press, 2005. 108-­‐115. Rickel, Jeff, und W. Lewis Johnson. „STEVE: a pedagogical agent for virtual reality.“ AGENTS '98 Proceedings of the second international conference on Autonomous agents. New York: ACM, 1998. 332-­‐333. Schilling, Johannes. Soziale Arbeit. Neuwied, Kriftel, Berlin: Luchterhand, 1997. Schwab, Frank, und Dagmar Unz. „Untersuchung der mimischen Kommunikation: Das Facial Action Coding System als Forschungsmethode.“ Forschungsbericht, noch nicht erschienen. Shaw, Erin, W. Lewis Johnson, und Rajaram Ganeshan. „Pedagogical Agents on the Web.“ AGENTS '99 Proceedings of the third annual conference on Autonomous Agents. New York: ACM, 1999. 283-­‐290. Shneiderman, Ben. Designing the user interface. Stratgies for effective human-­‐computer interaction. 3. Auflage, New York: Addison-­‐Wesley, 1998. Shneiderman, Ben. „Looking for the bright side of user interface agents.“ Magazine interactions (ACM) 2, 1 (Januar 1995). 13-­‐15. Skinner, Burrhus Frederic. Science and human behavior. New York: Macmillan, 1953. Spitzer, Manfred. „Neuronale Netzwerke und Psychotherapie.“ In Neurobiologie der Psychotherapie. Studienausgabe 2004 der 1. Auflage, Stuttgart: Schattauer, 2003. 42-­‐57. Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 86 Takeuchi, Akikazu, und Taketo Naito. „Situated facial displays: towards social interaction.“ In: I. Katz, R. Mack, L. Marks, M.B. Rosson and J. Nielsen (Hrsg.). Human factors in computing Systems: CHI ́95, New York: ACM Press, 1995. 450-­‐455. van Mulken, Susanne, Elisabeth Andre, und Jochen Müller. „The Persona Effect: How Substantial Is It?“ HCI '98 Proceedings of HCI on People and Computers XIII. London: Springer-­‐Verlag, 1998. 53-­‐66. Witkowski, Mark, Yasmine Arafa, und Oscar De Bruijn. „Evaluating User Reaction to Character Agent Mediated Displays Using Eye-­‐tracking Technology.“ Proceedings AISB-­‐01 Symposium on Information Agents for Electronic Commerce, 2001. 79-­‐87. Wooldridge, Michael J., und Nicholas R. Jennings. „Intelligent Agents: Theory and Practice.“ Knowledge Engineering Review (Citeseer) 10, 2 (1995). 115-­‐152. Yanghee, Kim, und A. L. Baylor. „Pedagogical agents as social models to influence learner attitudes.“ Educational Technology 47, 01 (2007). 23-­‐28. Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 87 10.2 Online-Medien
about facs. Medien-­‐ und Organisationspsychologie. 2003, online abrufbar: http://www.uni-­‐
saarland.de/fak5/orga/Kurs/home.htm, (Stand 21.11.2010). Benedek, Joey, und Trish Miner. „Measuring Desirability: New methods for evaluating desirability in a usability lab setting.“ Proceedings of UPA 2002 Conference. 2002, online abrufbar: http://www.microsoft.com/usability/uepostings/desirabilitytoolkit.doc, (Stand: 20.11.2010). Herman the Bug. 09.05.2007, online abrufbar: https://www2.kuleuven.be/tiki/ show_image.php?id=220, (Stand: 21.11.2010). IKEA Deutschland. IKEA Deutschland. 2010, online abrufbar: http://www.ikea.com/de/, (Stand: 15.11.2010). LeMoine, Doug. Whither Clippy? 21.11.2008, online abrufbar: http://www.cooper.com/journal/2008/11/whither_clippy.html, (Stand: 21.11.2010). Lernkartei. 13.11.2010, online abrufbar: http://de.wikipedia.org/wiki/Lernkartei, (Stand: 16.11.2010). Luening, Erich. Microsoft tool „Clippy“ gets pink slip. CNET News, 11.04.2001, online abrufbar: http://news.cnet.com/2100-­‐1001-­‐255671.html, (Stand: 19.11.2010). Microsoft Agent. Microsoft, 17.08.2010, online abrufbar: http://msdn.microsoft.com/en-­‐
us/library/ms695784%28VS.85%29.aspx, (Stand: 20.11.2010). Moundridou, Maria, und Maria Virvou. „WEAR: A Web-­‐Based Authoring Tool for Building Intelligent Tutoring Systems.“ 2nd Hellenic Conference on AI, SETN-­‐2002, 2002b. 203-­‐214, online abrufbar: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.2.8782&rep= rep1&type=pdf, (Stand: 19.11.2010). Noessel, Chris. Awww…I need to shut down now. 20.07.2009, online abrufbar: http:// www.cooper.com/journal/2009/07/shut_down.html, (Stand: 21.11.2010). The Spy Hunter Experience. 21.11.2009, online abrufbar: http://www.salzmafia.com/blog/ 2009/11/21/the-­‐spy-­‐hunter-­‐experience/, (Stand: 18.11.2010). Tutorielle Systeme. Universität Würzburg, Institut für Informatik. 2007, online abrufbar: http://ki.informatik.uni-­‐wuerzburg.de/forschung/publikationen/studienarbeiten/faulhaber/ kap4-­‐1-­‐3.html, (Stand: 21.11.2010). Virtual Agents are Becoming Part of Everyday Life! PR Newswire Association LLC. 26.09.2005, online abrufbar: http://www.thefreelibrary.com/Virtual+Agents+are+Becoming+Part+of+ Everyday+Life!-­‐a0136632729, (Stand: 19.11.2010). Charamel. Weibliche Avatare, Charamel GmbH. 2009, online http://www.charamel.com/avatare/weiblich.html, (Stand: 10.11.2010). abrufbar: Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 88 11 Abbildungs- und Tabellenverzeichnis
11.1 Abbildungen
Abbildung 1: Prinzip eines tutoriellen Systems....................................................................... 12
Abbildung 2: Kommunikation zwischen ITS-­‐Modulen ............................................................ 14
Abbildung 3: STEVE, pädagogischer Agent im militärischen Bereich...................................... 24
Abbildung 4: Herman the Bug in der virtuellen Lernumgebung Design-­‐A-­‐Plant .................... 27
Abbildung 5: Problemlösung mit WEAR im Studentenmodul................................................. 30
Abbildung 6: Beidhändige Zeigegesten einer Persona im PPP-­‐System................................... 32
Abbildung 7: Agent „Karl Klammer“, Screenshot aus Microsoft Office 2000 ......................... 34
Abbildung 8: Deutsche Website von IKEA mit Shopping-­‐Agent Anna .................................... 35
Abbildung 9: Rückmeldung eines Agenten im Spiel „Metal Gear Solid: Guns Of The Patriots“
........................................................................................................................................ 36
Abbildung 10: Lernkartei nach Sebastian Leitner ................................................................... 39
Abbildung 11: Lernkartei in ITeach ......................................................................................... 41
Abbildung 12: Avatar Gloria der Firma Charamel ................................................................... 42
Abbildung 13: Vergleich der ITeach-­‐Versionen mit und ohne Agent „Gloria“........................ 55
Abbildung 14: Versuchsaufbau Labor, DFKI GmbH................................................................. 57
Abbildung 15: Übersicht der Fragebögen, vor, während und nach dem Experiment ............ 59
Abbildung 16: Messergebnisse card score, bin score ............................................................. 60
Abbildung 17: Vergleich der optional beantworteten Vokabeln und der Antworten auf die Frage nach der Motivation.............................................................................................. 61
Abbildung 18: Setup der Software ANVIL zur Videoanalyse ................................................... 65
Abbildung 19: Korrelation zwischen Lernleistung und Blickdauer.......................................... 72 Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 89 11.2 Tabellen
Tabelle 1: Übersicht über die Entwicklung der Interface-­‐Metapher ...................................... 20
Tabelle 2: Fragebogen zur Wirkung des Agenten Herman the Bug ........................................ 45
Tabelle 3: Einfluss der unterschiedlichen Versionen des Agenten auf die Testergebnisse .... 46
Tabelle 4: Fragebogen im Anschluss der Nutzerstudie zu WEAR............................................ 48
Tabelle 5: Fragebögen zur PPP-­‐Persona-­‐Nutzerstudie ........................................................... 50
Tabelle 6: Ergebnisse Fragebogen Q-­‐A der PPP-­‐Persona-­‐Studie (Mittelwerte)...................... 51
Tabelle 7: Ergebnisse Fragebogen Q-­‐B der PPP-­‐Persona-­‐Studie (Mittelwerte)...................... 52
Tabelle 8: Übersicht Aufbau Screen und Blickrichtungen des Nutzers ................................... 66
Tabelle 9: Dauer der Sitzung, durchschnittliche Dauer in Sekunden ...................................... 67
Tabelle 10: Anzahl der Blicke auf den Agenten, Durchschnittswerte ..................................... 68
Tabelle 11: Blicke auf den Agenten, durchschnittliche Zeit in Prozent................................... 69
Tabelle 12: Dauer jedes Blickes auf den Agenten, durchschnittliche Zeit in Sekunden.......... 69
Tabelle 13: Relation der Sitzungen 1-­‐3 ................................................................................... 70
Tabelle 14: Fragebogen: Wirkung des Agenten auf den Nutzer ............................................. 76
Tabelle 15: Triviale Fragen zum äußeren Erscheinungsbild des Agenten............................... 77
Tabelle 16: Beurteilung des Agenten anhand von Adjektiven ................................................ 78
Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 90 12 Informationen im Rahmen der Nutzerstudie
12.1 Poster zur Gewinnung von Probanden
Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 91 12.2 Anleitungen zum Experiment
Erster Teil: Neue Vokabeln Im ersten Teil werden neue Vokabeln ausgewählt. Dies läuft wie folgt ab: •
•
•
Sie sehen ein englisches Wort und überlegen sich die deutsche Übersetzung Sie drücken die Leertaste, um die Antwort zu sehen Sie geben per Mausklick an: "wusste ich" oder "nicht gewusst" Versuchen Sie hier schon, die Wörter zu lernen. Zweiter Teil: Wiederholung Im zweiten Teil werden die Vokabeln wiederholt. Dies läuft genau so ab wie im ersten Teil: Sie sehen ein Wort, überlegen sich die Übersetzung, decken dann die Antwort auf (Leertaste) und geben dann "wusste ich" oder "nicht gewusst" an (Mausklick). WICHTIG: Während des zweiten Teils erscheint hin und wieder ein kurzer Fragebogen (3 Fragen). Dort sollen Sie unter anderem schätzen, wieviel Zeit seit dem letzten Fragebogen vergangen ist bzw. wenn es der erste Fragebogen ist, seit dem Beginn von Teil 2. Bitte versuchen Sie aber nicht, sich während des Lernens die Zeit zu merken oder auf die Uhr zu schauen. Die Schätzungen sollen einfach "aus dem Bauch heraus" erfolgen. Dritter Teil: Zusatzvokabeln Wenn Sie noch weiter lernen wollen, können Sie im dritten Teil beliebig viele weitere Vokabeln lernen. Sie werden alle 5 Wörter gefragt, ob sich noch weitermachen möchten oder aufhören möchten. Sobald Sie aufhören wählen, kommt ein weiterer Fragebogen und die Sitzung ist beendet. Kurz gefasst: • Jede Sitzung besteht aus drei Teilen: Neue Vokabeln, Wiederholung, Zusatzvokabeln • Bei jedem Wort: Erst überlegen, dann Antwort zeigen lassen (Leertaste) • Zur Bewertung "wusste ich" oder "nicht gewusst" verwenden Sie die Maus Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 92 12.3 Fragebogen vor dem ITeach-Experiment
Frage Antwort Alter Geschlecht m / w Beruf / Studienfach Wie häufig verwenden Sie Computer sehr oft / oft / gelegentlich / selten / nie Haben Sie schon mit Lernprogrammen am Computer zu tun gehabt? sehr oft / oft / gelegentlich / selten / nie Haben Sie mit virtuellen Charakteren/Menschen in Computerprogrammen zu tun gehabt (z.B. in Computerspielen)? sehr oft / oft / gelegentlich / selten / nie Haben Sie in Beruf oder Studium zentral mit sehr oft / oft / gelegentlich / selten / nie Fremdsprachen zu tun? Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 93 12.4 Post-Session Fragebögen der ITeach-Studie
Aussagen, die in beiden Bedingungen angezeigt wurden 1.
Das Programm hat mich zum Lernen ermuntert. 2.
Ich würde diesen Vokabeltrainer nochmals verwenden. 3.
Ich fühlte mich abgelenkt. 4.
Es hat Spaß gemacht, mit dem Programm zu arbeiten. 5.
Durch das Programm hat sich mein Vokabelwissen verbessert. 6.
Ich fühlte mich angespannt. 7.
Das Programm half mir, mich auf das Lernen zu konzentrieren. 8.
Die Arbeit mit dem Programm war angenehm. 9.
Der Stoff wurde wirksam präsentiert. 10. Ich empfand die Benutzung des Programms als mühsam. 11. Das Programm hatte meine volle Aufmerksamkeit. 12. Ich würde das Programm regelmäßig benutzen. Aussagen, die nur in der Experimentalbedingung mit Agent angezeigt wurden 1.
Der Agent hat mein Interesse am Vokabellernen erhöht. 2.
Der Agent hat mich gelobt, wenn ich richtig lag. 3.
Wenn ich mit dem Agenten gearbeitet habe, war ich stärker ins Lernen vertieft. 4.
Der Agent war wie ein Lehrer. 5.
Die Arbeit mit dem Agenten war angenehm. 6.
Die Anwesenheit des Agenten hat mich angespornt. 7.
Die Interaktion mit dem Agenten war natürlich. 8.
Die Agent hat mich abgelenkt. 9.
Ich wünsche mir, dass mich der Agent beim Vokabellernen unterstüzt. Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 94 12.5 Abschließende Angaben nach dem ITeach-Experiment
Beschreiben Sie die Lernarbeit mit folgenden Worten: zugänglich
kreativ
schnell
bedeutungsvoll
langsam
fortgeschritten
anpassbar
flexibel
motivierend
raffiniert
lästig
hoch entwickelt
instabil
nicht sicher
stabil
ansprechend
veraltet
frisch
wertlos
steril
nahbar
wünschenswert
sympathisch
neu
stimulierend
anziehend
schwierig
frustrierend
alt
einfach
langweilig
abgetrennt
macht Spaß
optimistisch
stressig
geschäftsmäßig
störend
hinderlich
gewöhnlich
zeitraubend
unruhig
ablenkend
schwer verwendbar
organisierend
zeitsparend
ruhig
stumpfsinnig
hilfreich
anmaßend
zu technisch
sauber
einfach verwendbar
hochqualitativ
überwältigend
vertrauenerweckend
klar
effektiv
unpersönlich
bevormundend
unnahbar
kooperativ
effizient
beeindruckend
persönlich
unattraktiv
komfortabel
mühelos
unverständlich
qualitativ schlecht
unkontrollierbar
kompatibel
unterstützend
inkonsistent
mächtig
unkonventionell
spannend
energetisch
uneffektiv
vorhersehbar
verstehbar
komplex
einnehmend
innovativ
professionell
unerwünscht
umfassend
unterhaltend
inspirierend
relevant
unvorhersehbar
souverän
enthusiastisch
integriert
verlässlich
unfertig
verwirrend
wichtig
bedrohlich
reaktiv
brauchbar
verbunden
außergewöhnlich
intuitiv
starr
nützlich
konsistent
aufregend
einladend
zufrieden stellend
wertvoll
kontrollierbar
erwartungsgemäß
irrelevant
sicher
praktisch
vertraut
pflegeleicht
simpel
Bitte teilen Sie uns Ihre Anmerkungen zum System mit: FREITEXT Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 95 13 Nutzerangaben
13.1 Gruppe 1: ITeach ohne Agent
Al-­‐
ter Ge
sch
lec
ht Beruf / Studienfach Wie häufig verwenden Sie Computer Haben Sie schon mit Lernprogrammen am Computer zu tun gehabt? 29 22 m w sehr oft sehr oft 24 48 23 24 33 21 m w w m w w 28 27 24 23 25 25 w m m m m m 23 w 24 23 30 w m w Computerlinguistik Wirtschaftsinformatik Student, Chemie und Englisch auf Lehramt Gymnasium Informatik Pharmazie Wirtschaft und Recht Chemiker human-­‐ und molekularbiologie Kauffrau für Bürokommunikation / Wirtschaftspädagogik Lehramt Englisch/Spanisch Biologie Diplom Informatik Student Mechatronik (Dipl.) Rechtswissenschaften Studentin, Interkulturelle kommunikation+BWL Übersetzen (Französisch, Spanisch) Student / BWL Computerlinguistik Haben Sie in Beruf oder Studium zentral mit Fremdsprachen zu tun? gelegentlich gelegentlich Haben Sie mit virtuellen Charakte-­‐
ren/Menschen in Computerprogram-­‐
men zu tun gehabt (z.B. in Computerspielen)? selten nie sehr oft sehr oft oft oft sehr oft oft selten selten selten gelegentlich selten selten gelegentlich selten nie gelegentlich nie gelegentlich sehr oft gelegentlich selten oft nie gelegentlich sehr oft 0ft sehr oft oft sehr oft sehr oft selten selten gelegentlich selten gelegentlich selten nie selten selten oft selten selten selten sehr oft sehr oft gelegentlich oft sehr oft sehr oft nie selten sehr oft sehr oft sehr oft sehr oft oft selten gelegentlich gelegentlich selten selten sehr oft gelegentlich oft sehr oft gelegentlich Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 96 13.2 Gruppe 2: ITeach mit Agent
Alter Ge-­‐
schl
echt Beruf / Studienfach Wie häufig verwenden Sie Computer Haben Sie schon mit Lernprogrammen am Computer zu tun gehabt? Haben Sie in Beruf oder Studium zentral mit Fremdsprachen zu tun? nie Haben Sie mit virtuellen Charakte-­‐
ren/Menschen in Computerprogram-­‐
men zu tun gehabt (z.B. in Computerspielen)? nie 24 w Jura / Rechtswissenschaften sehr oft 30 m Researcher sehr oft selten gelegentlich oft 27 m Human-­‐ und Molekularbiologie oft gelegentlich nie sehr oft 28 m Dolmetschen und Übersetzen, Englisch und Französisch sehr oft gelegentlich gelegentlich sehr oft 24 m Mechatronik sehr oft selten gelegentlich gelegentlich 27 w Chemie Diplom sehr oft selten nie oft 24 m Sport/Deutsch sehr oft gelegentlich nie gelegentlich 26 m Mechatronik sehr oft gelegentlich selten selten 24 w Übersetzen sehr oft oft selten sehr oft 24 m Informatik Master sehr oft gelegentlich oft sehr oft 25 w Student / Lehramt Englisch und Französisch oft gelegentlich selten sehr oft 21 w BWL sehr oft oft (während der Schulzeit) oft selten 28 w Diplom-­‐Chemikerin (Doktorandin) oft selten selten oft 28 w Historisch orientierte Kulturwissenschaften sehr oft gelegentlich selten selten 27 w Diplom Dolmetschen sehr oft selten nie sehr oft 26 m Anglistik/Chemie Lehramt sehr oft gelegentlich selten sehr oft 29 w Psychologin (Deutsch als Fremdsprache im Aufbaustudiengang) oft selten selten 30 m Informatik (Promotionsstudent) sehr oft gelegentlich selten oft Oft (Englisch ist Arbeitssprache) selten Evaluation multimodaler virtueller Agenten im Bereich E-­‐Learning 97 13.3 Stichprobe zur Videoauswertung
Alter Gesc
hlech
t Beruf / Studienfach Wie häufig verwenden Sie Computer Haben Sie schon mit Lernprogrammen am Computer zu tun gehabt? Haben Sie mit virtuellen Charak-­‐
teren/Menschen in Computerprogram-­‐
men zu tun gehabt (z.B. in Computerspielen)? Haben Sie in Beruf oder Studium zentral mit Fremdsprachen zu tun? 25 w Student / Lehramt Englisch und Französisch oft gelegentlich selten sehr oft 28 w Diplom-­‐Chemikerin (Doktorandin) oft selten selten oft 28 w Historisch orientierte Kulturwissenschaften sehr oft gelegentlich selten selten 27 w Chemie Diplom sehr oft selten nie oft 24 w Übersetzen sehr oft oft selten sehr oft 21 w BWL sehr oft oft (während der Schulzeit) oft selten 30 m Researcher sehr oft selten gelegentlich oft 27 m Human-­‐ und Molekularbiologie oft gelegentlich nie sehr oft 28 m Dolmetschen und Übersetzen, Englisch und Französisch sehr oft gelegentlich gelegentlich sehr oft 24 m Informatik Master sehr oft gelegentlich oft sehr oft 26 m Anglistik/Chemie Lehramt sehr oft gelegentlich selten sehr oft 30 m Informatik (Promotionsstudent) sehr oft gelegentlich selten Oft (Englisch ist Arbeitssprache) Eidesstattliche Erklärung Ich versichere hiermit an Eides Statt, die vorliegende Arbeit selbstständig und unter ausschließlicher Verwendung der angegebenen Literatur und Hilfsmittel erstellt zu haben. Die Arbeit wurde bisher in gleicher oder ähnlicher Form keiner anderen Prüfungsbehörde vorgelegt und auch nicht veröffentlicht. Saarbrücken, den 22.11.2010 Cornelia Liegl