Poster - Forum interdisziplinäre Forschung

WiWeb: Wissenserschließung im Web
Sprachtechnologien und psychologische Prozesse
Projektleitung: Iryna Gurevycha, Nina Keithb
Weitere Beteiligte: Daniel Bära, Nicolai Erbsa, Margot Mieskesa, Christian Staba, Christian Wolffb, Torsten Zescha
a
Ubiquitous Knowledge Processing Lab, Technische Universität Darmstadt, b AG Organisations- und Wirtschaftspsychologie, Technische Universität Darmstadt
Laufzeit: 3 Jahre
Motivation & Ziele
Neuartige Sprachtechnologien sollen Nutzer_innen sowohl bei
der Informationssuche als auch bei der Aufbereitung der
Informationen unterstützen, führen aber nicht immer zu einer
kognitiven Entlastung. Ein Grund hierfür ist, dass bei der
Entwicklung neuer Sprachtechnologien die relevanten
psychologischen Prozesse oft vernachlässigt werden.
Das Ziel dieses interdisziplinären Forschungsprojektes war es,
relevante psychologische Prozesse zu identifizieren, um die
Nutzbarkeit und Gestaltung solcher Sprachtechnologien
langfristig zu optimieren.
Sprachtechnologien
Zu diesem Zweck wurden Nutzerstudien durchgeführt mit
dem Ziel, die Wirksamkeit von Sprachtechnologien zu
untersuchen und die kognitiven Kriterien zu identifizieren,
welche für den Entwurf neuer Sprachtechnologien von hoher
Relevanz sind. Exemplarisch haben die Projektpartner zwei
unterschiedliche Sprachtechnologien ausgewählt: automatisch
erstellte Vorschaufenster von Wiki-Seiten zur Lösung von
Wissenserwerbsaufgaben sowie verschiedene Methoden zur
automatischen Zusammenfassung sprachlicher Informationen.
Projektergebnisse
Studie 1: Wirksamkeit von Vorschau-Fenstern
Studie 2: Sprachtechnologien zur Textzusammenfassung
Das Ziel der ersten Nutzerstudie war es, die Nützlichkeit von automatisch
generierten Vorschaufenstern und deren Wirksamkeit bezüglich
Wissenserwerbsaufgaben zu untersuchen. Dabei sollte insbesondere die
Hypothese untersucht werden, ob Nutzer durch die Verwendung der
Sprachtechnologie „Wiki-Sniffer“ ein besseres Verständnis eines
recherchierten Themas bei der Informationssuche erhalten [1].
In der zweiten Nutzerstudie im Projekt WiWeb werden die Wirksamkeit von
Sprachtechnologien zur automatischen Zusammenfassung von sprachlichen
Inhalten untersucht. Insbesondere war es Ziel dieser Studie, den Effekt von
einer vorgegebenen Menge an zusammenfassungs-relevanten Sätzen auf die
Qualität einer manuell erstellten Zusammenfassung zu untersuchen.
Ergebnisse:
•  Die Verwendung von „Wiki-Sniffer“ reduziert den Zeitaufwand für die
Bearbeitung von Wissenserwerbsaufgaben.
•  Ohne Sprachtechnologien machten die Probanden weniger Fehler.
•  Die Darbietung von sinnvollen Zusammenfassungen begünstigt das
unmittelbare Behalten und Wiedererkennen von Textinformationen und
erleichtert das eigene Erstellen von Zusammenfassungen.
•  Die Darbietung von irrelevanten Zusammenfassungen wirkt sich
ungünstig auf das unmittelbare Behalten und Wiedererkennen von
Textinformationen aus, wirkt aber günstig auf andere Indikatoren des
Textverstehens (z.B. Inferenzen) insb. bei Personen mit hohem Vorwissen.
Eine effektive Verwendung von Sprachtechnologien für Wissenserwerbsaufgaben setzt eine gute Methodenkompetenz der Anwender voraus.
Hypothesen:
Folgeprojekte
Entwicklungen
Für zukünftige Nutzerstudien wurden im Projekt WiWeb folgende
Sprachtechnologien entwickelt:
•  Interaktive Schreibumgebung zur Unterstützung des Erwerbs des
argumentativen Schreibens.
•  Sprachtechnologie zur automatischen Erkennung von Argumentationsstrukturen in studentischen Aufsätzen [4,5]
AIPHES „Adaptive Informationsaufbereitung aus heterogenen
Quellen“, DFG-finanziertes Graduiertenkolleg, bewilligt im November
2014, 2015 – 2020
AWS „Argumentative Writing Support“: Software Campus Projekt
gefördert vom BMBF, 2015 – 2017
CEDIFOR „Centrum für Digitale Forschung in den Geistes-, Sozialund Bildungswissenschaften“, BMBF-gefördertes Zentrum für Digital
Humanities, 2014 – 2017
Kooperationen
Aus dem Projektkontext entstanden neue Kooperationen mit:
•  Universität Kassel: Ziel dieser Kooperation ist die Vorbereitung und
Durchführung weiterer computergestützter Experimente und die
Beantragung gemeinsamer Forschungsprojekte.
Nachwuchsförderung
Themen von WiWeb sind in folgende Lehrveranstaltungen eingeflossen:
• 
• 
• 
•  Educational Testing Service (USA): Ziel dieser Kooperation ist es,
die Wirksamkeit neuer Sprachtechnologien aus dem Bereich der
Argumentationserkennung im Bereich der Intelligenten Schreibassistenz zu untersuchen.
Natural Language Processing and eLearning (Vorlesung) SS 2013
Text Analytics: Cross-lingual Link Discovery (Seminar) SS 2013
Text Analytics: Text Summarization (Seminar) WS 2013/2014
Geförderte Nachwuchswissenschaftler:
• 
• 
• 
• 
Dr. Margot Mieskes, Associate Professor for Research and Economy Data Management,
Darmstadt University of Applied Sciences (seit 2015)
Dr. Torsten Zesch, Tenure-track Assistant Professor (Language Technology), Univ.
Duisburg-Essen (seit 2014)
Nicolai Erbs, „Approaches to Automatic Text Structuring“, Dissertation (2010 – 2015)
Christian Stab, „Argumentative Writing Support by means of Natural Language
Processing“, Dissertation (seit 2013)
•  Kooperation mit der Hochschule Darmstadt (HDA): Nach der
Berufung der beteiligten Wissenschaftlerin Dr. Margot Mieskes wird
die im Rahmen des WiWeb-Projekts begonnene Kooperation mit der
HDA zur Untersuchung kognitivpsychologischer Aspekte von
Zusammenfassungsmethoden fortgeführt.
Literatur
[1] Christopher Kim Schwarz, Nina Keith, Iryna Gurevych, Nicolai Erbs, Torsten Zesch. 2010. Effektivere Informationssuche im World Wide Web. In: KCreativity, Learning Strategies and Efficiency in E-learning 2010 Poster Presentation, September 2010.
[2] Daniel Bär, Nicolai Erbs, Torsten Zesch, Iryna Gurevych. Wikulu: An Extensible Architecture for Integrating Natural Language Processing Techniques with Wikis. In: Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies
(ACL-HLT 2011), Portland, Oregon, USA, June 2011, pp. 74-79.
[3] Wolfgang Stille, Nicolai Erbs, Torsten Zesch, Iryna Gurevych, Karsten Weihe. Aufbereitung und Strukturierung von Information mittels automatischer Sprachverarbeitung. In: Proceedings of KnowTech, Kongress zum IT-gestützten Wissensmanagement, vol. 13, BITKOM, Bad Homburg,
Germany, September 2011, pp. 199-208.
[4] Christian Stab, Iryna Gurevych. Identifying Argumentative Discourse Structures in Persuasive Essays. In: Alessandro Moschitti and Bo Pang and Walter Daelemans: Conference on Empirical Methods in Natural Language Processing (EMNLP 2014), Association for Computational
Linguistics, Stroudsburg, PA, USA, October 2014, pp. 46-56.
[5] Christian Stab, Iryna Gurevych. Annotating Argument Components and Relations in Persuasive Essays. In: Proceedings of the 25th International Conference on Computational Linguistics (COLING 2014), Dublin, Ireland, August 2014, pp. 1501-1510.
[6] Stefan Henß, Margot Mieskes, Iryna Gurevych. A Reinforcement Learning Approach for Adaptive Single- and Multi-Document Summarization. In: International Conference of the German Society for Computational Linguistics and Language Technology (GSCL-2015), p. (3-12),
September 2015.