Foliensatz zum Vortrag - StudiGer

Transcription

Foliensatz zum Vortrag - StudiGer
35. Jahrestagung der DGfS, 12.-15. März 2013, Potsdam
Arbeitsgruppe 10: Modellierung nicht-standardisierter Schriftlichkeit
Thomas Bartz, Angelika Storrer
Korpusbasierte Analyse
internetbasierter Kommunikation
Phänomene und Herausforderungen
*räusper* Hömma woher kommste denn?
Ick bin aus Do-Stadt, net aus Berlin.
Dortmunder Chat-Korpus: 1101001a_CvK_Welcome_2004-10-22_a.xml
Technische Universität Dortmund
Institut für
deutsche
Sprache und Literatur
Technische
Universität
Dortmund
Institut für deutsche Sprache und Literatur
Thomas Bartz / Angelika Storrer, 10.04.2013: 1
0. Dieser Vortrag
Überblick über den Vortrag
1. Motivation und Projekthintergrund
2. Phänomene und Herausforderungen
3. Ausblick
Technische Universität Dortmund
Institut für deutsche Sprache und Literatur
Thomas Bartz / Angelika Storrer, 10.04.2013: 2
1. Motivation und Projekthintergrund
Korpusbasierte Analyse internetbasierter Kommunikation
Empirische Untersuchungen an Sprachdaten aus
Genres internetbasierter Kommunikation (IBK)
So ruhig kann ein Mann sein,
der verkörpern muss, was er
singt, nämlich Ein bisschen
Spaß muss sein, was genauso
fürchterlich ist wie alles, was
sein muss.

ermöglichen Einblicke in die sprachlichen
Besonderheiten des Kommunizierens im Netz
(im Vergleich zu „traditionellen“ schriftlichen und
mündlichen Kommunikationsformen),

helfen, durch IBK angestoßene sprachliche
Innovationen und aktuelle Tendenzen des
Sprachwandels in der Gegenwartssprache
aufzudecken.

sind auch für die Arbeit mit linguistisch
aufbereiteten Webkorpora in Linguistik,
Computerlinguistik und Informatik interessant.
Die Zeit, 04.11.2004, Nr. 46
Hallo Martin alles klar, wie sang
schon einst Roberto Blanco?
Ein büschen Späßken muss
sein. In diesem sinne
angenehme Wikiwoche.
Glückauf
http://de.wikipedia.org/wiki/Benutzer_Diskussi
on:Pittimann/Archiv/2012/Januar
Technische Universität Dortmund
Institut für deutsche Sprache und Literatur
Dilemma:
 Benötigt werden hochwertige, linguistisch
aufbereitete Spezialkorpora, deren Aufbau aber
gerade aufgrund der IBK-Besonderheiten eine
Herausforderung darstellt.
Thomas Bartz / Angelika Storrer, 10.04.2013: 3
1. Motivation und Projekthintergrund
Projekt „Deutsches Referenzkorpus zur internetbasierten
Kommunikation“ (DeRiK)
BBAW / TU Dortmund (seit 2010), www.dwds.de
DFG-Netzkerk „Empirische Erforschung internetbasierter
Kommunikation“
(seit 2010) Sprecher: Michael Beißwenger, www.empirikom.net
Netzwerk “Building & Annotating CMC Corpora“
Korpusprojekte aus D, F, IT, NL (seit 2013), wiki.itmc.tu-dortmund.de/cmc/
BMBF-Verbundprojekt „Korpusgestützte Recherche und
Analyse mit Hilfe von Data Mining“ (KobRA)
TU Dortmund: Germanistik/Informatik, BBAW, SfS Tübingen, IDS Manneim
(seit 2012) Projektleitung: Angelika Storrer, www.kobra.tu-dortmund.de
Technische Universität Dortmund
Institut für deutsche Sprache und Literatur
Thomas Bartz / Angelika Storrer, 10.04.2013: 4
2. Phänomene und Herausforderungen
Nicht-standardisierte Schriftlichkeit in der IBK:
Interaktionsorientiertes Schreiben
Zu den Besonderheiten der IBK gehört eine Schreibhaltung, bei der der
unmittelbare kommunikative Erfolg im Kontext der laufenden Interaktion eine
höhere Priorität hat als die (für Schrifttexte sonst notwendige)
situationsunabhängige Verständlichkeit des sprachlichen Produkts.
Dies zeigt sich an folgenden typischen Merkmalen:

Schnellschreib-Phänomene

Sprachliche Ökonomie:
Liberaler Umgang mit GKS und
Interpunktion; Akronyme

Orientierung am Duktus
der gesprochenen Umgangssprache
(Lexik und Syntax)

„Verschriftete Umgangssprache“:
An der umgangssprachlichen Lautung orientierte Verschriftungen

Innovative semiotische und sprachliche Formen:
Emoticons,
Inflektive,
Adressierungsausdrücke
Technische Universität
Dortmund
Institut für deutsche Sprache und Literatur
wieso stoeps?biste
losgerannt einkaufen udn
ahst vergessen dich
anzuziehen vorher?*G*
Thomas Bartz / Angelika Storrer, 10.04.2013: 5
2. Phänomene und Herausforderungen
Tests mit
Werkzeugen zur
automatischen
Annotation
Testdatenset:
Belege für ausgewählte Phänomene
IBK-spezifischer
Sprachverwendung
Phänomene
WikipediaChat
Diskussionen
Ökonomie: Akronyme
100
100
Verschriftete Umgangssprache:
Wortschreibung
100
100
Verschriftete Umgangssprache:
Kontraktive Formen
100
100
Innovative Zeichen: Emoticons
100
100
Innovative Zeichen: Aktionswörter
100
100
Belege gesamt
DWDS
100
1000
Toolchain 1: Tokenisierer/Satzgrenzenerkenner + TreeTagger des IMS
Toolchain 2: Tokenisierer/Satzgrenzenerkenner + OpenNLP-Tagger (SfS)
Technische Universität Dortmund
Institut für deutsche Sprache und Literatur
Thomas Bartz / Angelika Storrer, 10.04.2013: 6
2. Phänomene und Herausforderungen
Automatische Verarbeitung von IBK-Sprachdaten:
Herausforderungen auf verschiedenen Ebenen
Tokenizer
Tagset: STTS
POS-Tagger
Technische Universität Dortmund
Institut für deutsche Sprache und Literatur
Daten
Thomas Bartz / Angelika Storrer, 10.04.2013: 7
2. Phänomene und Herausforderungen
Automatische Verarbeitung von IBK-Sprachdaten:
Herausforderungen auf verschiedenen Ebenen
 Segmentierung
Technische Universität Dortmund
Institut für deutsche Sprache und Literatur
Tokenizer
POS-Tagger
Tagset: STTS
Nicht-standardkonforme
Verwendungen von
Spatien und Interpunktionszeichen führen bei
der Tokenisierung z.T.
zu Einheiten, die in den
folgenden Schritten der
Verarbeitung nicht
sinnvoll klassifizierbar
sind.
Daten
Thomas Bartz / Angelika Storrer, 10.04.2013: 8
2. Phänomene und Herausforderungen
Automatische Verarbeitung von IBK-Sprachdaten:
Herausforderungen auf verschiedenen Ebenen

 Segmentierung
Technische Universität Dortmund
Institut für deutsche Sprache und Literatur
Tokenizer
POS-Tagger
Tagset: STTS
Nicht-standardkonforme
Verwendungen von
Spatien und Interpunktionszeichen führen bei
der Tokenisierung z.T.
zu Einheiten, die in den
folgenden Schritten der
Verarbeitung nicht
sinnvoll klassifizierbar
sind.
Daten
Klassifizierung
Einheiten werden trotz
korrekter bzw. normalisierter Segmentierung
nicht als Vertreter im
Tagset vorhandener
Kategorien identifiziert.
Thomas Bartz / Angelika Storrer, 10.04.2013: 9
2. Phänomene und Herausforderungen
Automatische Verarbeitung von IBK-Sprachdaten:
Herausforderungen auf verschiedenen Ebenen

 Segmentierung
Tokenizer
POS-Tagger
Tagset: STTS
Nicht-standardkonforme
Verwendungen von
Spatien und Interpunktionszeichen führen bei
der Tokenisierung z.T.
zu Einheiten, die in den
folgenden Schritten der
Verarbeitung nicht
sinnvoll klassifizierbar
sind.
Daten
Klassifizierung
Einheiten werden trotz
korrekter bzw. normalisierter Segmentierung
nicht als Vertreter im
Tagset vorhandener
Kategorien identifiziert.
 Kategorien
Einheiten können trotz korrekter bzw. normalisierter
Segmentierung nicht zugeordnet werden, weil im
Tagset keine entsprechende Kategorie existiert.
Technische Universität Dortmund
Institut für deutsche Sprache und Literatur
Thomas Bartz / Angelika Storrer, 10.04.2013: 10
2. Phänomene und Herausforderungen
Ökonomie:
IBK-typische und okkasionelle Akronyme
IMHO in my humble opinion
bspw. beispielsweise
Die Akronyme werden
z.T. in Kombination mit
anderen Einheiten
verwendet.
Einzelne Bestandteile
können iteriert oder
variiert werden.
b.t.w.
by the way
Btw.
by the way
vllt
vielleicht
evt.
eventuell
mE
meines Erachtens
zB
zum Beispiel
cuuuuu
see you
Thx
thanks
cya
see ya
jmd
jemand(en)
cu@all
+ Adressierung
LG
Liebe Grüße
rääää
„re“ = returned
POV
point of view (in Wikipedia-Diskussionen)
Technische Universität Dortmund
Institut für deutsche Sprache und Literatur
Thomas Bartz / Angelika Storrer, 10.04.2013: 11
2. Phänomene und Herausforderungen
 Segmentierung
Tokenizer
Korrekte Tokenisierungen
Toolchain 2
Datenset
98
98
Wikip.-Diskussion
89
92
Chat
<>vllt</> 
<>cs=chpo</> 
Tagset: STTS
Toolchain 1
POS-Tagger
Daten
 Klassifizierung
Korrekte POS-Tags
Toolchain 1
Toolchain 2
Datenset
8
21
Wikip.-Diskussion
10
17
Chat
dat fusion-pack fuer cs/FM 
Sollen wir evt./ADJD  nicht gleich anfangen
sollte das mE/ADV  noch ergänzt werden
Ansonsten: IMO/NE 
Technische Universität Dortmund
Institut für deutsche Sprache und Literatur
Abgekürzte Wortformen werden
getaggt wie die ausgeschriebene
Form.
Mehrteilige, nicht durch Spatien
getrennte Abkürzungen werden
entsprechend ihrer
syntaktischen Funktion
klassifiziert.
Vgl. STTS-Guidelines: 9
Thomas Bartz / Angelika Storrer, 10.04.2013: 12
2. Phänomene und Herausforderungen
„Verschriftete Umgangssprache“:
Wortschreibung
DWDS
Wikipedia-Diskussion
Chat
ja, in ihm offenbare sich
Jo, gute Vorbereitung ist
ahjo :)
Nein, mein Leben besteht
Nö, hat er nicht mehr ;-)
nope nusu, nur die üblen
Okay, okay, sie ist ein
okidoki, sag Bescheid
oki...mach‘s gut
Gut, gelegentlich brachte
Jut, ich find die Variante
jo mir jehts jut dir och
das ist schon kraftraubend Schaden kann dat ja nich
syno det is to wenig for de
nicht genug Anregungen
ich wars ja net ;O)
nur mit Dir. Sonst nüscht.
Guten Tag, Silke
gudn tach! ok, mach ich
all gun tach, kolleje jauch!
ins Grübeln, was?
Wat bisse, derzeit bei die
na watt?
Chance für Kollege Zufall
nur unter Kollegen und
all gun tach, kolleje jauch!
wieder gucken konnten
mal mal drüber guggn.
und pösguggende elsi :)
Mit letzten Grüßen
nicht ;o) Grüßken
greetz von nadi
Technische Universität Dortmund
Institut für deutsche Sprache und Literatur
Thomas Bartz / Angelika Storrer, 10.04.2013: 13
2. Phänomene und Herausforderungen
 Segmentierung
Tokenizer
Korrekte Tokenisierungen
Toolchain 2
Datenset
99
100
Wikip.-Diskussion
91
92
Chat
100
100
DWDS
<>moin,moin:-</> 
<>dori,wa?:-</> 
Tagset: STTS
Toolchain 1
POS-Tagger
Daten
 Klassifizierung
Korrekte POS-Tags
Toolchain 1
Toolchain 2
Datenset
34
44
13
87
Jut/NN 
jetze/VVFIN 
Wikip.-Diskussion
Jute/VVFIN 
Vadder/NN 
15
Chat
Jo/NE 
feddich/ADJD 
83
DWDS
okidoki/NE 
nix/PIS 
Technische Universität Dortmund
Institut für deutsche Sprache und Literatur
Thomas Bartz / Angelika Storrer, 10.04.2013: 14
2. Phänomene und Herausforderungen
„Verschriftete Umgangssprache“:
Kontraktive Formen
wasn dat fürn heller streifen auf
dem monitor?
na da haste aber was
verschlimmbessert, machstes
selber rückgängig? :)
slebst anna uni inna mensa
shcmeckt das richtig gut
Standard
Non-standard
Typ / STTS-Tags
findest du, ich kenne es
geht es
findest + e, kenn + s,
geht + s
VVFIN + PPER
mach es, schreib es
mach + s, schreib + s
VVIMP + PPER
hast du, bist du, ist es
hast + e, bist + e, iss + es VAFIN + PPER
könntest du, kann es
könntest + e, kann + s
VMFIN + PPER
machst du es
machst + e + s
VVFIN + PPER + PPER
Technische Universität Dortmund
Institut für deutsche Sprache und Literatur
Thomas Bartz / Angelika Storrer, 10.04.2013: 15
2. Phänomene und Herausforderungen
 Segmentierung
Tokenizer
Korrekte Tokenisierungen
Toolchain 2
100
Datenset
Tagset: STTS
Toolchain 1
POS-Tagger
100 Wikip.-Diskussion
96
92 Chat
Daten
 Klassifizierung
Zugewiesene POS-Tags (Auswahl)
Toolchain 1
Toolchain 2
VVFIN
35 VVFIN
VVIMP
1 VMFIN
Datenset
26
10 Wikip.-Diskussion
NN
34 VAFIN
6
VVFIN
41 VVFIN
34
VMFIN
6 VAFIN
NN
32 VMFIN
„Es ist bis jetzt […] nicht
möglich, […] kontraktive
Formen mit einer Kombination
aus mehreren Tags zu
versehen.“
STTS-Guidelines: 9
11 Chat
6
Technische Universität Dortmund
Institut für deutsche Sprache und Literatur
Thomas Bartz / Angelika Storrer, 10.04.2013: 16
2. Phänomene und Herausforderungen
Innovative Zeichen:
Emoticons
:)
(:
:-)
:-))
:-)))
:o)
;-)
;-))))
:(
:-(
:O)
:P
:-P
8)
=o)
:-}
(#):-)
>:->
:Ü
:-9
8)
:-?
^^
-.o_O
O-O
---./\.--°_°
´°`-´°`
«o•o»
Die Menge an Kombinationen aus Interpunktionszeichen,
Zahlen und Buchstaben, die als Emoticons verwendet
werden können, ist prinzipiell nicht begrenzt.
Einzelne Elemente von Emoticons werden häufig
absichtsvoll und kreativ iteriert.
Weiß zufällig jemand, warum der Verein sich - entgegen
allen Rechtschreibregeln :) - mit -ss- und nicht mit -ßschreibt?
bekommt von mir einen Orden;-) Nee, mal im Ernst
bitte wo hat anthony hopkins in anaconda mitgespielt?
nirgends^^!
:((( Mit mir will einfach keiner chatten!:(((
@medien: ja, wenn man das so genau wüsste...:/
Technische Universität Dortmund
Institut für deutsche Sprache und Literatur
Thomas Bartz / Angelika Storrer, 10.04.2013: 17
2. Phänomene und Herausforderungen
 Segmentierung
Tokenizer
Toolchain 1
Toolchain 2
<>:-D</> 
Datenset
23
22 Wikip.-Diskussion
48
45 Chat
<>(#):-) </> 
<>;-</> 
<>)</> 
<>)</> 
POS-Tagger
Tagset: STTS
Korrekte Tokenisierungen
Daten
 Kategorien
Zugewiesene POS-Tags (häufigste)
Toolchain 1
Toolchain 2
Datenset
ADJA/D
52 $./$,/$(
68
NN/NE
43 NN/NE
23 Wikip.-Diskussion
VVFIN
3 VV*
5
ADJA/D
52 NN/NE
40
NN/NE
43 $./$(
36 Chat
CARD
4 XY
15
Technische Universität Dortmund
Institut für deutsche Sprache und Literatur
Auffällig: Selten bzw. gar nicht
vergeben werden die
Kategorien:
 XY
„Nichtwort“, Symbolgruppen
oder Kombinationen aus
Ziffern und Zeichen
 ITJ
den Emoticons positional
und funktional ähnlich
Thomas Bartz / Angelika Storrer, 10.04.2013: 18
2. Phänomene und Herausforderungen
Innovative Zeichen:
Inflektive und Inflektivkonstruktionen
Inflektive
*freu*
*lach*
*lächel*
*grins*
*ächz*
*stotter*
*wunder*
*wink*
*sss*
*lol*
*rofl*
*g*
*ggg*
Einfache Inflektive sind oft homonym zu bestimmten
Verbformen, insbesondere zu Imperativformen.
Bei mehrteiligen Inflektivkonstruktionen (z.T. ohne
Spatien) wäre die Möglichkeit einer Analyse der
Bestandteile wünschenswert.
Inflektivkonstruktionen
*baff bin*,
*entäuschtguck*, *fiesgrins*, *rotwerd*
*feuerzeug an reb weiterreich*,
*auf locher rumhüpf & konfetti mach*,
*beimpostmannbedank*,
*malganzdollgrüßundliebindenarmnehm*
Technische Universität Dortmund
Institut für deutsche Sprache und Literatur
Thomas Bartz / Angelika Storrer, 10.04.2013: 19
2. Phänomene und Herausforderungen
 Segmentierung
Tokenizer
Toolchain 1
Toolchain 2
<>*freu*</> 
Datenset
9
9 Wikip.-Diskussion
0
0 Chat
POS-Tagger
<>*</> 
<>grins</> 
<>*</> 
Tagset: STTS
Korrekte Tokenisierungen
Daten
 Kategorien
Zugewiesene POS-Tags (häufigste)
Toolchain 1
Toolchain 2
Datenset
Tag VVIMP, wenn homonyme
Imperativform vorhanden
Toolchain 1
Datenset
VV*
41 XY
30
NN/NE
32 VV*
24 Wikip.-Diskussion
34 von 58 Wikip.-Diskussion
ADJA/D
25 ADJA/D
22
28 von 47 Chat
VV*
41 XY
46
ADJA/D
32 VV*
23 Chat
0 von 58 Wikip.-Diskussion
NN/NE
26 ADJA/D
20
1 von 47 Chat
Technische Universität Dortmund
Institut für deutsche Sprache und Literatur
Toolchain 2
Datenset
Thomas Bartz / Angelika Storrer, 10.04.2013: 20
3. Zusammenfassung und Ausblick
Phänomene nicht-standardisierter Schriftlichkeit führen bei der automatischen
linguistischen Aufbereitung von Sprachdaten aus der internetbasierten
Kommunikation je nach Phänomentyp zu Herausforderungen auf
verschiedenen Ebenen des Verarbeitungsprozesses:
A
 Schnellschreib- und Ökonomie-Phänomene
 „Verschriftete Umgangssprache“
 Segmentierungsproblematik
Token-Verschmelzungen wegen
z.T. fehlender Spatien

Klassifizierungsproblematik
Vorhandene Kategorien werden
nicht zuverlässig zugewiesen
(abweichende Schreibungen,
sprechsprachliche Syntax).
Mögliche Lösung:
Aufbau handannotierter Korpora und Anpassung/Optimierung
vorhandener Sprachverarbeitungswerkzeuge
 Nächster Vortrag:
Kay-Michael Würzner, Lothar Lemnitzer, Alexander Geyken & Bryan Jurish:
Linguistische Annotation von Dokumenten internetbasierter
Technische Universität-Dortmund
Kommunikation
Eine explorative Analyse
Institut für deutsche Sprache und Literatur
Thomas Bartz / Angelika Storrer, 10.04.2013: 21
3. Zusammenfassung und Ausblick
B
 Innovative semiotische und sprachliche Formen
 Segmentierungsproblematik

Token-Verschmelzungen,
Aufsplittung zusammenhängender
netztypischer Zeichenkombinationen
Kategorienproblematik
Fehlende Kategorien für
netztypische Zeichen und
Wortformen in gängigen Tagsets
Mögliche Lösung:
 Entwicklung von Werkzeugen zur
Identifizierung netztypischer
Zeichenverwendungen
 Erweiterung relevanter
Kategorien in bestehenden
Annotationsschemata/Tagsets
Aktuelle Arbeiten:
Mitarbeit in der Arbeitsgruppe zur Überarbeitung des STTS
Thomas Bartz, Michael Beißwenger, Angelika Storrer
Vorschlag zur Erweiterung der TEI-Guidelines
um IBK-typische Elemente
M. Beißwenger, M. Ermakova, A. Geyken, L. Lemnitzer, A. Storrer (2012): A TEI Schema for the
Representation of Computer-Mediated Communication. In: Journal of the Text Encoding Initiative (TEI),
Universität Dortmund
issueTechnische
3 | November
2012 (DOI: 10.4000/jtei.476).
Institut für deutsche Sprache und Literatur
Thomas Bartz / Angelika Storrer, 10.04.2013: 22
3. Zusammenfassung und Ausblick
Ausblick:
Identifizierung IBK-typischer Zeichenverwendungen
Die Identifizierung IBK-typischer Zeichenverwendungen wird durch homonyme
konventionelle Zeichenverwendungen erschwert.
Instanz
wink, *wink*
:-)
Treffer
falsch
positiv
Belege
128
123
5
25.350
?
?
Niederlande – Finnland -:- (-:-)
:-), danke.
IBK-Stilelemente auf Wikipedia-Diskussionsseiten
BMBF-Verbundprojekt: KobRA
Entwicklung von Verfahren zur Filterung und Disambiguierung
bei der korpusbasierten Recherche und Analyse mit Hilfe von
Data-Mining. Beteiligte:
Angelika Storrer (Germanistik TU Dortmund, Koordination),
Katharina Morik (Informatik TU Dortmund),
Alexander Geyken (BBAW)
Erhard Hinrichs (SfS Tübingen)
Universität Dortmund
MarcTechnische
Kupietz,
Andreas
Witt
(IDS Mannheim)
Institut
für deutsche
Sprache und
Literatur
Korpus-basierte
Recherche und
Analyse mithilfe
von Data-Mining
http://www.kobra.tu-dortmund.de
Thomas Bartz / Angelika Storrer, 10.04.2013: 23
35. Jahrestagung der DGfS, 12.-15. März 2013, Potsdam
Arbeitsgruppe 10: Modellierung nicht-standardisierter Schriftlichkeit
Thomas Bartz, Angelika Storrer
Korpusbasierte Analyse
internetbasierter Kommunikation
Phänomene und Herausforderungen
*räusper* Hömma woher kommste denn?
Ick bin aus Do-Stadt, net aus Berlin.
Dortmunder Chat-Korpus: 1101001a_CvK_Welcome_2004-10-22_a.xml
Technische Universität Dortmund
Institut für
deutsche
Sprache und Literatur
Technische
Universität
Dortmund
Institut für deutsche Sprache und Literatur
Thomas Bartz / Angelika Storrer, 10.04.2013: 24