Überprüfung und Korrektur von Nominalkongruenz im Deutschen

Transcription

Gerhard Fliedner
Überprüfung und Korrektur von
Nominalkongruenz im Deutschen
Diplomarbeit
Institut für Computerlinguistik
Universität des Saarlandes, Saarbrücken
Saarbrücken, Juni 2001
Versicherung
Ich versichere hiermit, dass ich die vorliegende Arbeit selbstständig verfasst und keine anderen
als die angegebenen Quellen und Hilfsmittel benutzt habe.
Saarbrücken, 20. April 2001
Gerhard Fliedner
Danksagung
Ich danke Manfred Pinkal für die Idee zur Arbeit und die Ermutigung und Anregungen während ihrer Entstehung und Hans Uszkoreit für viele nützliche Literaturhinweise. Ich möchte
Ulrike Baldewein und Edith Klee, die mich bei der Arbeit im KORREKT-Projekt tatkräftig unterstützt haben, herzlich danken. Stefan Thater danke ich für Diskussionen über Parsing und
Alexander Koller für Diskussionen über Grammatiken und Sprachen. Thorsten Brants und Oliver Plaehn danke ich dafür, dass sie mir für die Evaluation Daten aus dem „Negra“-Korpus
extrahiert haben. Graeme Hirst (University of Toronto) und Karin Molin (Kungliga Tekniska
Högskolan, Stockholm) haben mir Literatur zugeschickt, die in Deutschland nicht aufzutreiben
war; vielen Dank dafür! Besonderer Dank geht an alle, die mir Texte zum Aufbau der Korpora
zur Verfügung gestellt haben. Außerdem danke ich natürlich allen, die mich beim Schreiben der
Arbeit unterstützt haben – ob mit Anregungen, Diskussionen oder schlicht mit ihrer Geduld.
Inhalt
1
EINLEITUNG
11
2
PROBLEMSTELLUNG
13
2.1 Grammatikkorrektur.................................................................................................13
2.1.1
Abgrenzung zu Rechtschreibkorrektursystemen ..............................................14
2.1.2
Grammatikkorrektursysteme...........................................................................15
2.1.3
Abgrenzung von Stilkorrektursystemen...........................................................16
2.1.4
Benutzerschnittstellen .....................................................................................17
2.2 Nominal- und Präpositionalphrasen im Deutschen.....................................................18
2.2.1
Nominalphrasen..............................................................................................19
2.2.2
Präpositionalphrasen.......................................................................................22
2.2.3
Fehlerklassen ..................................................................................................23
2.2.4
Nichtmuttersprachler ......................................................................................25
2.2.5
Grammatikkorrektursysteme und Nichtmuttersprachler ...................................26
3
FORSCHUNGSSTAND
29
3.1 Überblick .................................................................................................................29
3.2 Morphologische Analyse ..........................................................................................30
3.3 Syntaktische Verarbeitung........................................................................................32
3.3.1
Partielles Parsen (Chunkparsen) ......................................................................34
3.4 Robuste syntaktische Verarbeitung ...........................................................................36
3.4.1
Begriff............................................................................................................36
3.4.2
Breitenabdeckung ...........................................................................................39
3.4.3
Verschiedene Ansätze zur robusten Sprachverarbeitung..................................40
3.4.4
Systeme..........................................................................................................42
3.5 Grammatikkorrektur.................................................................................................46
3.5.1
Grammatikkorrektur und Robustheit...............................................................46
3.5.2
Prüfung von kontrollierten Sprachen...............................................................48
3.5.3
Techniken zur Grammatikprüfung...................................................................50
3.5.4
Kommerzielle Systeme....................................................................................53
3.5.5
Systeme mit Fehlerantizipation........................................................................54
3.5.6
Systeme mit Constraint Relaxation..................................................................59
3.5.7
Hybridsysteme ................................................................................................63
3.5.8
Andere
Systeme..............................................................................................69
...................................................................................................71
3.6 Fehlerklassi
3
Gerhard Fliedner
3.6.1
3.6.2
3.6.3
3.6.4
Fehlerquelle ................................................................................................... 72
Fehlerursache................................................................................................. 72
Fehlerauswirkungen....................................................................................... 74
Fehlerklassen und Verarbeitungslevel............................................................. 75
4
KONZEPTION EINES SYSTEMS ZUR KONGRUENZPRÜFUNG
79
4.1 Constraint Relaxation und Fehlerantizipation ........................................................... 80
4.1.1
Constraint Relaxation und Fehlerantizipation im Vergleich............................. 80
4.1.2
Techniken zur Constraint Relaxation.............................................................. 83
4.2 Grammatikformalismus............................................................................................ 87
4.2.1
Reguläre Ausdrücke ...................................................................................... 88
4.2.2
Rekursive Strukturen in deutschen Nominalphrasen ....................................... 89
4.2.3
Deterministische kontextfreie Grammatiken ................................................... 90
4.2.4
Endliche Automaten mit Rekursion................................................................ 91
4.2.5
Approximative Darstellung von kontextfreien Sprachen durch endliche
Automaten ................................................................................................................... 98
4.3 Bewertung von Analysen........................................................................................100
4.3.1
Kostenfunktionen in anderen Systemen .........................................................101
4.3.2
Grundlagen der Optimalitätstheorie...............................................................102
4.3.3
Bewertung von Analysen mit Optimalitätstheorie ..........................................104
5
SYSTEMIMPLEMENTATION
107
5.1 Referenzkorpus ......................................................................................................108
5.2 Grundlagen ............................................................................................................110
5.3 Morphologie ..........................................................................................................110
5.3.1
Analyse.........................................................................................................111
5.3.2
Tokenisierung...............................................................................................112
5.4 Satzstrukturanalyse ................................................................................................112
5.5 Parser.....................................................................................................................114
5.6 Lösungsauswahl .....................................................................................................115
5.7 Benutzerinterface ...................................................................................................116
5.7.1
Warnungen ...................................................................................................119
5.7.2
Korrekturen vornehmen................................................................................119
6
BEWERTUNG UND VERGLEICH
123
6.1 Evaluation in der Literatur......................................................................................124
6.2 Grundlagen der Bewertung.....................................................................................126
6.2.1
Zielsetzung ...................................................................................................126
6.2.2
Evaluationskorpus ........................................................................................127
6.2.3
Recall, Präzision und F-Wert ........................................................................128
6.3 (K)eine Adäquatheitsevaluation ..............................................................................129
6.4 Korpustest Präzision...............................................................................................132
6.4.1
Vergleich nach Textsorten ............................................................................132
6.4.2
Fehlerklassen der „echten Fehler“..................................................................134
6.4.3
Fehlerklassen der Präzisionsfehler .................................................................142
6.4.4
Ergebnisse für das Referenzkorpus................................................................149
4
Inhalt
6.5 Recall-, Präzisions- und F-Werte für Teilkorpora....................................................151
6.5.1
Recallfehler...................................................................................................153
6.5.2
Präzision und F-Wert....................................................................................154
6.6 Vergleich mit einem anderen System ......................................................................154
6.6.1
Vergleich der gefundenen echten Fehler ........................................................156
6.6.2
Vergleich der Präzisionsfehler.......................................................................159
6.6.3
Recall ...........................................................................................................160
6.7 Vergleich mit einem getaggten Korpus ...................................................................161
6.8 Geschwindigkeit.....................................................................................................165
7
SCHLUSS
171
7.1 Mögliche Systemerweiterungen ..............................................................................172
7.1.1
Fehlerantizipation für Fehler auf Wortebene..................................................172
7.1.2
Verbesserung der Korrekturvorschläge .........................................................173
7.1.3
Andere Arten von Kongruenz und Rektion ...................................................173
7.1.4
Individuelle Anpassung des Systems an verschiedene Benutzer .....................175
7.1.5
Integration in Textverarbeitungssysteme .......................................................177
7.2 Fazit.......................................................................................................................178
8
LITERATUR
179
9
INDEX
195
5
Abbildungen
Abbildung 1: Natürliche Sprache und Computergrammatik (Erklärung im Text)................... 36
Abbildung 2: Extragrammatisch und ungrammatisch (Erklärung im Text) ............................. 38
Abbildung 3: Fehlerregel aus einem Grammatikkorrektursystem mit Fehlerantizipation......... 51
Abbildung 4: Grammatikregel mit relaxierbaren Constraints ................................................. 52
Abbildung 5: Externe Relation zur Constraint Relaxation (nach Rodríguez, Marín und Oliva
96, 42) ......................................................................................................................... 85
Abbildung 6: Einige reguläre Ausdrücke über Wortarten und Beispiele für akzeptierte deutsche
Eingaben ...................................................................................................................... 89
Abbildung 7: Endlicher Automat mit Rekursion für die kontextfreie Sprache anbn ................. 93
Abbildung 8: Endlicher Automat mit Rekursion für die allgemeine Dyck-Sprache mit n
Klammerpaaren ............................................................................................................ 94
Abbildung 9: Zusammenspiel von Constraint 1 und 2, Beispiel: *der Künstliche Intelligenz 105
Abbildung 10: Zusammenspiel von Constraint 2 und 3, Beispiel: *die Performanz des System
und seine Leistung...................................................................................................... 105
Abbildung 11: Programmablauf (schematisch).................................................................... 107
Abbildung 12: Morphologische Analyse für Liebe, generiert von GERTWOL .................... 111
Abbildung 13: Benutzerschnittstelle: Kongruenzfehler mit Korrekturvorschlag ................... 118
Abbildung 14: Recall .......................................................................................................... 128
Abbildung 15: Präzision ..................................................................................................... 128
Abbildung 16: F-Wert (gewichtete Kombination von Recall und Präzision) ........................ 128
Abbildung 17: Verarbeitungsgeschwindigkeit: Verteilung im Korpus.................................. 166
Abbildung 18: Parsingzeit in Abhängigkeit von der Eingabelänge ....................................... 168
7
Tabellen
Tabelle 1: Fehlerklassen für Nominalkongruenz bei FLAG.................................................... 25
Tabelle 2: Sprachklassen der Chomsky-Hierarchie (Hopcroft und Ullman 79)....................... 33
Tabelle 3: Verteilung der Textsorten im Referenzkorpus .................................................... 109
Tabelle 4: Zusätzliche Warnungen ...................................................................................... 120
Tabelle 5: Präzision nach Textsorten .................................................................................. 133
Tabelle 6: Verteilung echter Fehler im Evaluationskorpus................................................... 135
Tabelle 7: Verteilung Präzisionsfehler im Evaluationskorpus............................................... 143
Tabelle 8: Präzision nach Textsorten (Referenzkorpus)....................................................... 149
Tabelle 9: Verteilung echter Fehler im Referenzkorpus....................................................... 150
Tabelle 10: Verteilung der Präzisionsfehler im Referenzkorpus ........................................... 150
Tabelle 11: Recall für den Text eines Muttersprachlers ....................................................... 152
Tabelle 12: Recall für den Text einer Nichtmuttersprachlerin .............................................. 152
Tabelle 13: Recall für einen Text aus dem Referenzkorpus ................................................. 152
Tabelle 14: Grammatik 6 (Word 2000) – Präzision nach Textsorten ................................... 155
Tabelle 15: Gefundene Fehler – Vergleich Grammatik/Korrekt ........................................... 156
Tabelle 16: Präzisionsfehler – Vergleich Grammatik/Korrekt .............................................. 159
Tabelle 17: Vergleich Recall, Präzision und F-Wert für zwei Texte..................................... 161
9
1 Einleitung
Eine unüberschaubare Menge von Texten wird täglich mit Computern erfasst, redigiert, verarbeitet und ausgegeben: Briefe, Memos, Bücher, Zeitungen, Zeitschriften usw. Dabei schleichen
sich Fehler ein. Die Idee liegt nahe, die Computer neben der Dokumentverarbeitung auch zur
Prüfung und Korrektur der Texte einz usetzen.
Der Bedarf an automatisierter Korrektur wird immer größer: Die Menge der Dokumente
wächst immer weiter – nicht zuletzt durch den Boom des Internets, das es erlaubt, Texte und
Daten mit minimalem Aufwand zu publizieren. Zum anderen werden Veröffentlichungszyklen
!"$#%
&'(*)++-,.$+/1023$45
67
xte
immer kürzer, häu
früher korrigiert und überarbeitet haben, gestrichen.
Inzwischen sind die Korrektursysteme auch immer besser für ihre Aufgaben geeignet: Wir
8 9
: ;
" < =
> ( $ : $" ! ) @
A
? B " ( C
> F
D 2
E / C
;
H
G + D # $ 4 I >% nguistik (und natürlich in
be
den mit ihr eng verbundenen Disziplinen wie Linguistik, Informatik und Künstliche Intelligenz)
heute an einer Position, die man im Rückblick wahrscheinlich als die Schwelle des Sprachtechnologiezeitalters bezeichnen wird. Die Ergebnisse computerlinguistischer Forschung verlassen
zunehmend die Forschungsinstitute und Labors und halten im Alltag immer breiterer Bevölkerungsschichten Einzug: Spracheingabe, Korrektur-, Übersetzungs- und dialoggeführte Auskunftssysteme mit Spracheingabe (z. B. für Telefonbanking) sind nur einige Beispiele von
Techniken, die inzwischen alltäglich auf breiter Front eingesetzt werden.
Diese Arbeit beschäftigt sich mit der Konzeption eines Grammatikkorrektursystems, das Kongruenz und Rektion innerhalb deutscher Nominal- und Präpositionalphrasen überprüft und korrigiert.
Das im Rahmen der Arbeit implementierte System verwendet eine morphologische Analyse, ein
K
J 3 ( M
" N
L B $" > +) I O P Q
4' M
S
R $ D ! T !% P U
M
A
L ( " V" V T 9
;
D ! W
H
G + V" X < Y
2
0 % Z
ation zur
Behandlung ungrammatischer Eingaben und ein an die Optimalitätstheorie angelehntes Verfahren zur Auswahl der optimalen Analyse.
Das System wurde im Rahmen einer Evaluation mit einem Korpus aus verschiedenen Textsorten getestet. Es erreichte in diesen Tests Recall- und Präzisionswerte von etwa 70 %. Das
11
Gerhard Fliedner
zeigt, dass die verwendete Kombination von Techniken zur Lösung der Aufgabe gut geeignet
ist.
Die Arbeit ist wie folgt aufgebaut:
Zunächst werden Grammatikkorrektursysteme im Allgemeinen und die Struktur deutscher
'3
Nominalphrasen zusammen mit einer Klassi erung der Kongruenzfehler beschrieben.
Grammatikkorrektur wird dann als Gebiet der robusten syntaktischen Verarbeitung eingeordnet und eine umfangreiche Auswahl existierender Systeme zur robusten syntaktischen Verarbeitung und Grammatikkorrektur vorgestellt.
Die Konzeption eines Grammatikkorrektursystems wird erläutert und die Implementation des
Systems, die im Rahmen dieser Diplomarbeit vorgenommen wurde, beschrieben. Der Arbeitstitel des Systems ist Korrekt (Korrektur von Rektion und Kongruenz in Texten), dieser Name
wird auch im Folgenden verwendet.
Eine Beschreibung der Evaluation des implementierten Systems und ein Ausblickskapitel
schließen die Arbeit ab.
Natürlich ist das implementierte System auch zur Korrektur dieser Arbeit selbst verwendet
worden. Zur Illustration sind die etwa 30 Fehler, die das System nach dem letzten Korrekturlesen noch gefunden hat, im Text durchgestrichen und verbessert.
12
2 Problemstellung
In diesem Kapitel wird die in dieser Arbeit behandelte Problemstellung vorgestellt.
Zunächst werden in 2.1 Systeme zur Grammatikkorrektur allgemein eingeführt und von Systemen zur Rechtschreibkorrektur und Systemen zur Stilkorrektur auf der anderen Seite abgegrenzt.
In 2.2 werden Nominal- und Präpositionalphrasen im Deutschen im Hinblick auf die Grammatikalitätsbedingungen Kongruenz und Präpositionalrektion charakterisiert. Grammatikfehler in
'3
S
9
[ < $ 4 B " P 3 >% [ Y
A
? P % I [% < B" /" \
+K
C
] T $ rsprachdiesem Bereich werden klassi
lern und Nichtmuttersprachlern angesprochen.
Im folgenden Kapitel 3 wird der Forschungsstand für die relevanten Fragen dargestellt.
2.1 Grammatikkorrektur
Die ersten Systeme zur Grammatikkorrektur wurden gegen Ende der Siebzigerjahre des 20.
Jahrhunderts entwickelt. Inzwischen ist diese Art von Systemen weit verbreitet, insbesondere
da sie seit etwa zehn Jahren als fester Bestandteil kommerzieller Textverarbeitungsprogramme
verkauft werden (Microsoft Word, Corel WordPerfect).
Grammatikkorrektursysteme suchen in natürlichsprachlichen Texten nach Grammatikfehlern.
Diese Fehler werden dem Benutzer angezeigt. In den meisten Fällen machen die Systeme dem
Benutzer Korrekturvorschläge, aus denen er einen auswählen kann. Dazu müssen die Systeme
von der fehlerhaften Eingabe auf die vom Benutzer intendierte Form schließen und diese generieren.
Systeme zur Rechtschreib-, Grammatik- und Stilkorrektur werden zusammenfassend als Proo^_(`Cabbced 1 bezeichnet. Sie sind oft direkt in Texteditoren und Textverarbeitungsprogrammen
eingebunden, um das Verfassen von Texten zu erleichtern. Allerdings gibt es bisher trotz entsprechender Vorschläge (vgl. Genthial und Courtin 92) bisher praktisch keine Systeme, die alle
1
Auf deutsch z. T. Korrektursysteme genannt.
13
Gerhard Fliedner
diese Funktionen sinnvoll vereinigen (z. B. durch Verwendung gemeinsamer Benutzerwörterbücher).
Im Folgenden soll zunächst der Begriff der Grammatikkorrektur genauer geklärt werden und
einige allgemeine Eigenschaften der Systeme erläutert werden.
Grammatikkorrektursysteme werden grundsätzlich von Systemen zur Rechtschreibkorrektur
auf der einen und Systemen zur Stilkorrektur auf der anderen Seite unterschieden.2 Diese Unterscheidung soll im Folgenden charakterisiert werden.
2.1.1 Abgrenzung zu Rechtschreibkorrektursystemen
Systeme zur Rechtschreibkorrektur beschäftigen sich mit der Korrektur falsch geschriebener
Wörter in Texten. Sie werden nach ihrer Funktion in Systeme zur Nichtwortkorrektur und Systeme zur kontextabhängigen Rechtschreibkorrektur unterteilt.
Systeme zur Nichtwortkorrektur basieren auf der Beobachtung, dass i. A. etwa 75 % aller
Rechtschreibfehler (insbesondere Tippfehler) zu Zeichenketten führen, die keine Wörter der
jeweiligen Sprache sind (z. B. *udn statt und).3 Diese Systeme verwenden daher ein großes
Lexikon, eventuell ergänzt durch eine morphologische Analyse (vgl. 3.2), und markieren alle
Wörter im Text, die nicht im Lexikon gefunden werden, als mögliche Schreibfehler. Als Korrekturvorschläge werden ähnliche Wörter aus dem Lexikon ermittelt; dazu sind unterschiedlif
sich in Kukich
che Verfahren verwendet worden (z. B. String-Distanzen, ein Überblick
92, insb. 392 ff.). Auf dieser Technik basieren praktisch alle heute kommerziell erhältlichen
Rechtschreibkorrektursysteme.
85:
Systeme zur kontextabhängigen Rechtschreibkorrektur versuchen Schreibfehler zu
zufällig korrekte Wörter der Sprache ergeben. Ein solcher Fehler kann z. B. durch das Fehlen
eines Buchstabens entstehen, wie in *in intelligentes Programm statt ein intelligentes Pro85:g"$
g"I
4>8O<"$g]h"$I
gramm. Diese Fehler sind besonders schwierig zu
zuordnen lassen und nur unter Einbeziehung des Kontextes gefunden werden können.
2
Diese Systeme können weiter in Prüf- und Korrektursysteme unterteilt werden. Während Prüfsysteme sich
darauf beschränken, Fehler anzuzeigen, und die Korrektur dem Benutzer überlassen, machen Korrektursyst eme
Vorschläge, wie der Benutzer den Fehler korrigieren kann. In Kukich 92 werden beispielsweise Systeme zur
Rechtschreibkontrolle in Systeme zur Rechtschreibprüfung (Error Detection) und zur Rechtschreibkorrektur
(Error Correction) eingeteilt. Inzwischen machen die meisten Systeme Korrekturvorschläge, so dass der Unterschied kaum noch praktische Bedeutung hat. Deswegen wird nicht immer sorgfältig zwischen Prüf- und Korrektursystemen unterschieden.
3
In Kukich 92 werden mehrere Arbeiten zusammengefasst, die sich mit dem Anteil von Tippfehlern beschäftigen, die zufällig wieder Wörter der Sprache ergeben. In den verschiedenen Arbeiten werden (für das Englische) Werte zwischen 2 und 40 % aller Tippfehler angegeben (vgl. Kukich 92, S. 413 und die Literaturhinweise
dort).
14
2 Problemstellung
Arbeiten in diesem Bereich verwenden zurzeit vor allem probabilistische Techniken. In solchen
Systemen werden beispielsweise alle Wortfolgen zur Korrektur vorgeschlagen, die nach einem
statistischen Sprachmodell hinreichend unwahrscheinlich sind (vgl. z. B. Mays, Damerau und
Mercer 91, Golding 95, Golding und Roth 96 und Golding und Schabes 96).
Um die Leistung solcher Systeme zu verbessern, werden z. T. so genannte Confusion Sets
verwendet. In einem solchen Confusion Set sind Wörter zusammengefasst, die aufgrund verY)4V$"4<i/kjV'l
B. typische Schreibfehler, Homophone oder
schiedener Ursachen häu
typische Fehler bei der Wortverwendung). Ein Beispiel hierfür sind im Englischen die Homophone their, there und they’re. Nur wenn in einem Text Wörter aus einem Confusion Set vorkommen, prüfen diese Systeme (mit statistischen Methoden oder Heuristiken), ob ein anderes
Wort aus dem Confusion Set im Kontext wahrscheinlicher ist. Neben den erwähnten statistikbasierten Methoden werden auch Pattern-Matching-Methoden verwendet (vgl. z. B. Ravin 93,
insb. S. 69).
Einen guten, immer noch aktuellen Überblick über die in der Rechtschreibkorrektur verwendeten Techniken gibt Kukich 924. Auf die dort nicht vorgestellte Verwendung von Morphologien
in Rechtschreibkorrektursystemen geht 3.2 kurz ein. Außerdem sei auf Fliedner (in
Vorbereitung) verwiesen.
2.1.2 Grammatikkorrektursysteme
Ein Grammatikkorrektursystem ist im Gegensatz zu den Rechtschreibkorrektursystemen ein
Computersystem, das für Eingaben einer natürlichen Sprache, die aus korrekten Wörtern der
Sprache besteht, Verstöße gegen die Grammatikalitätsbedingungen der Sprache erkennt und
signalisiert.5
Als wesentliches Kriterium eines Grammatikfehlers nehme ich an, dass bei Grammatikfehlern
die Lemmata (Lexikonformen) der Inhaltswörter in der Eingabe mit denen im intendierten Satz
übereinstimmen und dass es sich um einen Fehler der folgenden Arten handelt:
4
Die Arbeit setzt allerdings einen starken Schwerpunkt auf Ansätze mit Neuronalen Netzen und probabilistischen Techniken, Kukichs eigenes Arbeitsgebiet. Das spiegelt m. E. weder ihren tatsächlichen Anteil an den
Arbeiten zur Textkorrektur wieder, noch hat sich Kukichs Erwartung, dass diese Techniken umfassende Lösungen für die Probleme der Textkorrektur liefern können (Kukich 92, insb. 429 ff.), bisher erfüllt.
5
Meistens sind auch Eingaben mit Fehlern, die oben als „kontextabhängige Fehler“ bezeichnet worden sind,
ungrammatisch, vgl. das ungrammatische Beispiel oben. Kukich beispielsweise subsummiert dementsprechend
Grammatikkorrektursysteme implizit unter Systeme zur kontextabhängigen Fehlerkorrektur (Kukich 92, 421
ff.). In der Literatur mPn3o4pIqHrTs>tu\vwps>n3pgvwx>y{zTpg|ipImnws!q
s>}fnk~wz*Nnq
pzrtu3p idung von (kontextabhängiger) Rechtschreib- und Grammatikprüfung. Ich gebe im Folgenden Kriterien, die in dieser Arbeit zur Unterscheidung
verwendet werden. Allerdings sind auch diese Kriterien nicht in allen Fällen eindeutig.
15
Gerhard Fliedner
K
J 4 C
# 3 8 1
5 ' l
• Flexionsfehler (falsche oder fehlende Flexion in
gramm statt des Programms)
• Fehler bei Funktionswörtern (fehlende oder über
B. dt. *des Pro-
J"{"I>?P
:"VV$5O%"/<"?
i-
onswort im Kontext, insbesondere in Kasusmarkersprachen, z. B. japanisch *

( f
3 ( -ni iku) statt ¡¢£¤

(Tar -ga gakk -ni iku, Tar geht zur
Schule), fehlender Subjekt-Marker ga, Imaichi und Matsumoto 95)
• Wortstellungsfehler (Eines oder mehrere Wörter stehen falsch, z. B. im Spanischen, wo bestimmte Adjektive nur prä-, andere nur postnominal stehen können: *el rojo coche statt el
coche rojo, das rote Auto, Rodríguez, Marín und Oliva 96, 57.)
• Valenzfehler (Ein regiertes Element fehlt, z. B. Objekt bei transitiven Verben, oder wurde
fälschlich eingefügt. In diesem Fall stimmen die Inhaltwörter nicht mit dem intendierten Satz
überein.)
• Zeichensetzungsfehler
2.1.3 Abgrenzung von Stilkorrektursystemen
Von Grammatikkorrektursystemen werden auf der anderen Seite Stilkorrektursysteme (Style
Checker) unterschieden. Den Unterschied fasst Thurmair so zusammen:
Grammar checking tries to ¥§¦3¨;©>ª>ª -formedness which by de¥§¦w©>«>©>¬f¦H©!®{¬¦4$©>¨¯°I¯{¨S«>¬S±4¯²7³i©!$«>²f´f¯²f¦3¨
MUST be corrected, style checking has to do with well-formed, but somehow marked text. As a result,
style checking has to be more “liberal” as it has to do with “deviations” which might have been intended by the author but CAN be corrected. (Thurmair 90, 365, seine Hervorhebungen)
Ravin charakterisiert Grammatik- und Stilfehler (dort Grammar Errors und Style Weaknesses)
mit folgenden drei Tendenzen (vgl. Ravin 93, 67 f.):
1. Grammatikfehler führen zu eindeutig falschen Texten.
2. Grammatikfehler sind kategorisch, Stilschwächen bilden eher ein Kontinuum (z. B. die
Verwendung von vielen pränominalen Modi
µ ¶ · $¸ ¹ º » :¼ ½ P¾ ¿ » S
º À !¿ PÁ .
¸ <» S
Â ¶ 4» >¿ ¼ » 4» >¿ ¼ Ã » Ä ¸ X¿ À » <Å Ä · <¼ ¸ itative Grenze zu stilistisch schlechten Sätzen).
3. Grammatikfehler können durch die Änderung einzelner weniger Wörter korrigiert werden,
während zur Korrektur von Stilschwächen i. A. die Eingabe komplett umstrukturiert werden
muss.
Beide Beschreibungen machen deutlich, dass in einigen Fällen die eindeutige Unterscheidung
von Grammatikfehlern und Stilschwächen schwierig sein kann.6 In der Praxis werden Gram6
Zusätzlich wird z. T. auch noch zwischen Stil- und Sprachbenutzungsfehlern (Usage) unterschieden. In
EAGLES 95 wird diese Unterscheidung gemacht. Dort werden als Beispiele für Stilfehler die unpassende Verwendung von Passiv oder Nominalisierung und als Sprachbenutzungsfehler die Verwendung von informellen
Ausdrücken in formalen Texten genannt (S. 117).
16
2 Problemstellung
matik- und Stilkorrekturkomponenten auch häuµÀ¿>¼Æ»¿>¼»4ÇÉÈÊ:Â¸$»ÇÌË+»º»¿>¼P¿>À¸;ÍVÎÏ B. Critique,
Ravin 93, und GramCheck, Ramírez und Sánchez[-]León 96).
2.1.4 Benutzerschnittstellen
Systeme zur Grammatikkorrektur lassen sich nach der Art der Benutzerinteraktion weiter unterscheiden.
Die meisten Systeme arbeiten als „Offline“-Korrektur. Sie werden nach der Fertigstellung der
ersten Version eines Textes verwendet, um in einem zusätzlichen Arbeitsschritt im gesamten
Text nach möglichen Grammatikfehlern zu suchen.
Systeme zur Online-Korrektur sind in einen Texteditor bzw. Textverarbeitungs- oder Layoutsystem voll integriert und kontrollieren die Eingaben des Benutzers bereits während der Eingabe.
2.1.4.1 Offline-Systeme
Die Offline-Systeme lassen sich noch einmal nach ihrer Interaktion mit dem Benutzer unterteilen:
• „Batch-Korrektur“
Systeme dieser Klasse lesen eine Textdatei und schreiben die Ergebnisse der Korrektur in
eine Datei zurück (z. T. auch direkt in die Eingabedatei). Der Benutzer muss dann in einem
zusätzlichen Bearbeitungsschritt die Korrekturvorschläge des Systems sichten und in seinen
Text integrieren. Beispiele hierfür sind das SECC-System (Adriaens und Macken 95) und
Vosses Korrektursystem (Vosse 92, vgl. 3.5.7.3).
• Interaktive Korrektur
Bei dieser Art der Korrektur wird der Text ebenfalls als Ganzes geprüft. Wenn das System
Fehler im Text µ¼8Ã»¸$ÐÑ»º/Ã»¼Ã¿
»<Â/»Ã»ÇÓÒ2»¼<Ä¸Î§»ºk·ÇÓÒ¿>Ô
Ã:Â/Õ¾¿>º$ÇÖ·¼À»Î§»¿>À¸{ÏS× usätzlich
werden Korrekturvorschläge zur Auswahl angezeigt. Über eine solche Benutzerschnittstelle
verfügen unter anderem das Critique-System (Heidorn [u.a.] 82) und die in die Textverarbeitung Microsoft Word integrierte Grammatik- und Stilkorrektur.
• Vollautomatische Korrektur
Eine allgemeine vollautomatische Korrektur von Grammatikfehlern scheitert zurzeit vor allem daran, dass die Grammatikkorrektursysteme häuµÀMË+¹+¼kÇ»¾Pº»º»4¼9·ÔØ¸$»ºI¼·f¸¿!Ë»¼YÙ;¹ºIº» kturmöglichkeiten nicht zuverlässig die passende auswählen können. Außerdem schlagen sie
zu häuµÀkÙ;¹+ºIº/»¶¸TÄº»¼kÚÛº*Ü.¿>¼À·fÁ»¼YË¹ºÐÃ¿
»¿>¼\ÝÞ¿>ºI¶ÔX¿
Õ¾¶»4¿!¸H¶»¿>¼8»@ßº·ÇÇ·¸¿>¶Ú»¾PÔ
»º»4¼<¸¾· lten (Präzisionsfehler).
17
Gerhard Fliedner
Eine Ausnahme stellt das bereits erwähnte SECC-System dar, das in eindeutigen Fällen mit
nur einer Korrekturmöglichkeit die Korrektur automatisch vornimmt (Adriaens und Macken
95). Beispielsweise wird im Englischen automatisch eine Korrektur vorgenommen, wenn die
falsche Form des Artikels a bzw. an verwendet wird, wenn also das auf a folgende Wort mit
einem Vokal bzw. das auf an folgende mit einem Konsonanten beginnt. In unsicheren Fällen
oder in Fällen mit mehreren möglichen Korrekturen wird keine Korrektur vorgenommen,
sondern nur die Korrekturvorschläge in die Datei geschrieben, so dass der Benutzer einen
auswählen kann (vgl. oben).
2.1.4.2 Online-Systeme
Viele Benutzer empµ¼Ã»4¼=»<Â-·ÔàÂ-·¼À»4¼»¾PÇÐNÑ»¼P¼hÂI¿
»Y·fÄÚâá2»3Õ4¾ tschreib- und Grammatikfehler
bereits während des Schreibens aufmerksam gemacht werden. Dazu müssen die Korrektursysteme besonders eng in Texteditoren bzw. Textverarbeitungsprogramme eingebunden werden.
Die bereits erwähnte Grammatikprüfung in Microsoft Word verfügt über einen solchen OnlineModus. Dieses System prüft Eingaben, sobald der Benutzer bei der Eingabe ein eindeutiges
Satzende erreicht. Grammatikfehler werden durch eine Wellenlinie unter den fehlerhaften Wörtern signalisiert.
Systeme mit noch weiter gehender Integration fehlen zurzeit noch. Hilfreich wären zum einen
Systeme, die eindeutige Fehler selbstständig korrigieren, zum anderen Systeme, die die Eingaben des Benutzers überwachen und auswerten. Durch die zusätzliche Information aus der ständigen Überwachung der Eingaben könnte die gewünschte Korrektur vom System mit größerer
Zuverlässigkeit ermittelt werden.
Durch eine Kombination dieser Techniken könnten z. B., wenn der Benutzer einzelne Wörter
im Text austauscht, die Flexion des Wortes und aller kongruierenden Wörter automatisch angeglichen werden.
Die Auswertung von Benutzereingaben und der zuverlässige Rückschluss auf die Intentionen
des Benutzers bedarf allerdings noch erhebliche Forschungsanstrengungen (zur Auswertung
von Benutzereingaben vgl. z. B. Severinsson[-]Eklundh und Kollberg 92, außerdem 3.6.2).
2.2 Nominal- und Präpositionalphrasen im Deutschen
Im Rahmen dieser Arbeit soll die Überprüfung der Kongruenz in deutschen Nominal- und Präpositionalphrasen dargestellt werden. In diesem Unterkapitel werden die relevanten grammatischen Konstruktionen im Deutschen und die behandelten und nicht behandelten Phänomene
vorgestellt.
18
2 Problemstellung
Die Arbeit umfasst die Prüfung und Korrektur von Fehlern der Nominalkongruenz und Präpositionsrektion im Deutschen. Daher wird auf die Prüfung anderer Arten von Kongruenz (Subjekt-Verb- und Pronomen-Antezedens-Kongruenz) und Rektion (Verb-, Adjektiv- und Substantivrektion) nicht eingegangen (vgl. aber 7.1.3 ).
Außerdem sollen ausschließlich morphosyntaktische Kriterien berücksichtigt werden. Daher
werden Fehler, die nur mit semantischer oder Diskursinformation erkannt werden können, ebenfalls nicht behandelt. Dabei handelt es sich insbesondere um die Folgenden:
• Erkennung falscher Verwendungen bei Wörtern mit homonymen Formen: z. B. Banken/Bänke, Fels/Felsen, Drache/Drachen
• Fehlende und „zu viel gesetzte“ Artikel
In den meisten Fällen können im Deutschen Nomina nur entweder mit oder ohne Artikel
stehen können. Im Allgemeinen stehen die Massennomen (Stoffbezeichnungen, Kollektiva
und Abstrakta) ohne, Individualnomen dagegen mit Artikel. Von dieser Grundregel gibt es
jedoch eine Vielzahl von Ausnahmen. (vgl. z. B. Duden 98, 313–323)
In bestimmten Zusammenhängen (Spezi
µ ¶ · ¸ ¿ ¹ ¼ .
ã ¿ VÂ i
¸ Î Ï B. auch bei Massennomen eine Kombination mit Artikeln möglich oder erforderlich; die Nomen ändern in diesem Fall ihre Bedeutung (z. B. ein Wein vom Gleithang [≈eine Sorte Wein, die aus Trauben gekeltert
ist,…], das Leitungswasser in Saarbrücken). Verstöße gegen diese erweiterten Regeln mit
allen Ausnahmen können ohne Einbeziehung von Semantik und Diskurs in die Analyse nicht
erkannt werden. Eine ausschließlich morphosyntaktische Analyse greift hier daher notwendigerweise zu kurz, so dass diese Problemgruppe hier ebenfalls nicht weiter behandelt wird.
2.2.1 Nominalphrasen
In deutschen Nominalphrasen müssen alle deklinierbaren Wörter bezüglich Kasus, Numerus
und Genus kongruieren. Neben diesem generellen Grundsatz gibt es für die Wörter der unterschiedlichen Wortarten je nach ihrer Funktion in der Phrase verschiedene Besonderheiten. Die
wichtigsten werden in der folgenden Liste zusammen mit einer kurzen Charakterisierung der
Funktion vorgestellt. Darstellung und Kategorisierung orientiert sich dabei an Duden 98.
• Nomen
Als „Namensgeber“ sind Nomen die Köpfe der Nominalphrasen7. Es handelt sich hier um
Substantive, Eigennamen und Substantivierungen (insb. von Adjektiven, Partizipien und
Verben). Diese Wörter können alleine minimale Nominalphrasen bilden (z. B. Gold, Ver-
7
Pronominale Köpfe sind ebenfalls möglich. Sie werden im Rahmen dieser Arbeit nicht weiter behandelt.
Elliptische Konstruktionen, bei denen das Nomen ellidiert wird, werden ebenfalls nicht behandelt, vgl. 6.4.3.1.
19
Gerhard Fliedner
wandte). Das Nomen steht i. A. als letztes Element in der Nominalphrase und bestimmt ihr
Genus.
• Determiner
In die Klasse der Determiner fallen Wörter mit verschiedenen Wortarten: Artikel und bestimmte Pronomen. Die genaue Abgrenzung dieser Klasse ist z. T. problematisch. Zwei
wichtige Merkmale sind, dass keine anderen Elemente der Nominalphrase vor dem Determiner stehen können (vgl. die umfangreiche Arbeit und *umfangreiche die Arbeit vs. umfangreiche wichtige Arbeiten und wichtige umfangreiche Arbeiten), und dass in einer Nominalphrase nur ein Determiner verwendet werden kann (Nichtwiederholbarkeit, vgl. *diese
solche Arbeiten vs. diese so gearteten Arbeiten)8. Einige Beispiele: die Arbeit (Artikel),
diese Arbeit (Demonstrativpronomen), alle Arbeiten (Inde
µ ¼ Ø¿ ¸ ä º +¹ 8¼ +¹ Ç » ¼ ã Ð welche Arbeit
(Interrogativpronomen)
• Adjektive
Die Nomen in einer Nominalphrase können durch (grundsätzlich beliebig viele) attributive
Adjektive näher bestimmt werden. Sie stehen vor dem Nomen.9 Diese Gruppe umfasst im
weiteren Sinne auch die Partizipien und Ordinalzahlen (da die Flexion dieser Worte gleich
ist). Im Folgenden wird „Adjektiv“ daher oft als übergeordnete Bezeichnung für diese
Gruppe verwendet.
Adjektive werden im Deutschen nicht nur nach Kasus, Numerus und Genus dekliniert, sondern sie haben jeweils auch noch eine starke, eine schwache und eine gemischte Deklinatiµ P¼ !¿ ¸ ¾ 4» !¿ ¸ Ã »
º æ
å +¹ Ç inalonsform10. Die Verwendung dieser Formen richtet sich nach der De
phrase. Die allgemeine Regel lautet: In Nominalphrasen ohne Determiner müssen Adjektive
µ ¼ Ø¿ $¸ » ¼ ç Vº ¸ >¿ ¶ 4» >Ô g
¼ Ä ¼ g
Ã +Ë » rgleichbaren Determinern schwach und nach inde
µ P¼ !¿ $¸ » ¼
stark, nach de
Artikeln und vergleichbaren Determinern gemischt dekliniert werden. Viele Determiner lassen sich aber nicht eindeutig einer der Klassen zuordnen, z. T. werden sogar bei unterschiedlichen Deklinationsformen (z. B. Singular/Plural) einzelner Determiner die folgenden Adjektive unterschiedlich dekliniert (vgl. z. B. Duden 98, 286–291).
8
Hier muss allerdings berücksichtigt werden, dass verschiedene Kombinationen von Determinern als feststehende Wendungen häuèPégêëì
í
îTïIí
ïð(ñòó B. alle diese Fehler. Die Zahl der möglichen Wendungen ist aber beschränkt und die Elemente der Wendung können nicht verstellt werden können (*diese alle Fehler), so dass
man einen Determiner mit mehreren Elementen annehmen kann.
Wenn das attributive Adjektiv dem Substantiv nachgestellt wird, bleibt es unôPïIõ4í
ö>ïîí (Röslein rot). Diese
Konstruktion ist allerdings im Wesentlichen auf besondere Sprachverwendungen beschränkt (Dichtung, Werbung, usw.) und wird hier nicht weiter behandelt.
9
10
In dieser Arbeit werden diese drei verschiedenen Deklinationsparadigmata (stark, schwach, gemischt) angenommen. Eine Beschreibung deutscher Nominalphrasen, die nur von starker und schwacher Deklination ausgeht, èðw÷ïIí8øöXùúHö>ðHò4ó B. Netter 94.
20
2 Problemstellung
Von Adjektiven können außerdem weitere Elemente abhängen. Zum einen regieren viele
Adjektive Komplemente (Nominalphrasen im Genitiv, Dativ oder Akkusativ, Präpositionalphrasen und Orts- oder Richtungsangaben). Die Rektion ist lexikalisch bestimmt, z. B. bewusst + Genitiv, behilflich + Dativ, wert + Akkusativ, stolz + auf + Akkusativ. Zum anderen können Adjektive auch durch Nominal- oder Präpositionalphrasen oder Adverbien modi
µ 3Î [¿ » Vº ¸ Ñ 4» º Ã » ¼ Ï
µ 3Î [¿ » º » 8¼ Ã ;
» .
Ü Ô » Ç » <¼ $¸ @
» VÂ $¸ 4» ¾ » @
¼ +Ë +¹
º · T¸ ¸ Iº Ø¿ Á Ä ¸ !¿ +Ë » Y
¼ ç §Ã üû » ¶ ¸ !¿ +Ë » ¼ Ï Ü iniSowohl regierte als auch modi
ge Beispiele: der außerordentlich stolze Forscher (Adverb), der mit gutem Grund stolze
Forscher (Präpositionalphrase als Modi
µ ¶ · $¸ ¹ Iº ã Ð der auf seinen neuesten Artikel stolze Forscher (Präpositionalphrase als Komplement). In dieser Position können auch geschachtelte
Nominal- bzw. Präpositionalphrasen stehen, also solche, die selber durch postnominale Noµ 3Î [¿ » Vº
¸ Ñ » º Ã » ý
¼ VÍ Î Ï B. der [auf seinen neuesten Artikel
minal- oder Präpositionalphrasen modi
[im Bereich [der allgemeinen Relativitätstheorie]]] stolze Forscher).
• Kardinalzahlen
Ein anderes pränominales Element sind die Kardinalzahlen. Kardinalzahlen werden im Allgemeinen nicht dekliniert (Ausnahme: eins als Kardinalzahl wird immer, zwei und drei in bestimmten Fällen dekliniert, z. B. die Leser zweier Zeitungen). In Nominalphrasen geben
Kardinalzahlen die Anzahl des Nomens an (zwei Zeitungen, zehn Minuten). Bei Zahlen größer als eins muss daher das zugehörige Nomen im Plural stehen, wenn es sich nicht um eine
Maßangabe (maskulin oder Neutrum) handelt (z. B. Gramm), die nicht dekliniert wird.
• Koordination
Innerhalb der Nominalphrase können alle Elemente außer den Determinern koordiniert werden. Zur Koordination werden Kommata (besonders bei Aufzählungen) oder koordinierende
Konjunktionen11 verwendet. Innerhalb der Nominalphrase müssen dabei die koordinierten
deklinierbaren Wörter bezüglich Kasus, Numerus und Genus kongruieren. Wenn vollständige Nominalphrasen koordiniert werden, müssen sie nur bezüglich des Kasus übereinstimmen
(z. B. der GeschäftsführerinDat fem sg und ihren Mitarbeitern Dat mask pl).
Ein Sonderfall ergibt sich bei der Koordination zweier „nicht-maximaler“ Nominalphrasen,
die mit einem Determiner maximale Nominalphrasen bilden (z. B. alle Verwandten und Bekannten). Diese Koordination ist grundsätzlich möglich, wenn der benötigte Determiner für
beide Phrasen formgleich ist. Im Detail unterscheiden sich allerdings die Grammatikalitätseinschätzungen verschiedener Muttersprachler: Während alle Muttersprachler Phrasen mit
unterschiedlichen Genera als grammatisch empµ¼Ã»¼þÍVÎ8Ï B. mit ihremmask+neut großen
Gehirnneut und ÿ
mask), ist für viele die Koordination bei unterschiedlichem
Numerus nicht möglich (? der verschiedenen Einzelziele und notwendigen Transparenz,
11
Vor einigen Konjunktionen muss außerdem ein Komma gesetzt werden, z. B. aber (eine schwierige, aber
wichtige Arbeit).
21
Gerhard Fliedner
rus nicht möglich (? der verschiedenen Einzelziele und notwendigen Transparenz, vgl. dazu
auch 6.4.2.2).
Wichtig für die Erkennung der Koordination von Phrasen ist, dass die koordinierten Phrasen
durch postnominale Modi
µ ¶ · $¸ ¹ º » ý
¼ VÍ Î Ï B. Präpositionalphrasen und Genitivattribute) modiµ
µ ¶ · $¸ ¹ º » ;
¼ ¶ + P¼ ¼ » @
¼ /Â » !Ô +Á » 1
º Ñ [¿ 3» Ã »
º Ç ¹ Ã !¿ µ 3Î [¿ » Vº i
¸ Â » X¿ :¼ 8½ Ã ¿ *
» .
× · ¾ Ô Ã 4» º
ziert werden können. Die Modi
Modi
µ ¶ f· ¸ ¿ +¹ 8¼ » @
¼ à¿ VÂ
¸ ¸ ¾ w» +¹ º f» ¸ ¿ Â Õ ¾ Ä <¼ +Á <» Â Õ P¾ º P¼ ¶ $¸ Ð ä /º · ¶ ¸ ¿ Â 4Õ
¾ Ñ » rden jedoch mehr als drei bis vier
µ ¶ f· ¸ ¿ +¹ 8¼ » @
¼ /Â Õ ¾ ¹ @
¼ Â 4Õ <¾ Ñ » 1
º Ë » {º VÂ ¸ 8¼ Ã >Ô ¿ Õ ¾ Ï 3· <Ã Ä º Õ ;
¾ ¶ · ¼ ¼ 4Î Ñ ischen das Kopfnomen der ersModi
ten Phrase und die Konjunktion noch weiteres syntaktisches Material treten (z. B. die theoretischen Grundlagen der Arbeit und die Implementation). Das erschwert die automatische
Erkennung der koordinierten Phr asen.
• Pränominale Genitivattribute
Neben den bereits erwähnten postnominalen Genitivattributen (also nachgestellte Nominalµ wÎ ¿ eren) kommen im Deutschen auch präphrasen im Genitiv, die eine Nominalphrase modi
nominale Genitivattribute vor. Diese sind sehr häuµÀkÁ»¿ÜS¿>À» nnamen, insbesondere Personennamen (z. B. Karls Erfolg). Von Substantiven sind sie inzwischen selten und werden
meist als altertümliche Verwendung empfunden: des Kaisers neue Kleider, nach alter Väter
Sitte. Sie werden daher in dieser Arbeit nicht behandelt.
• Eigennamen
Wenn eine Nominalphrase aus einem zusammengesetzten Eigennamen besteht (z. B. ein
Personenname mit Vornamen und Nachname), wird nur das letzte Element dekliniert. Auch
Titel (z. B. Präsident) werden in einer solchen Zusammensetzung nicht dekliniert.
2.2.2 Präpositionalphrasen
Neben Kongruenzfehlern in Nominalphrasen sollen im Rahmen dieser Arbeit auch Rektionsfehler in Präpositionalphrasen untersucht werden.
Eine Präpositionalphrase besteht aus einer Präposition und einer Nominalphrase. Die Präposition regiert die Nominalphrase bezüglich des Kasus. Welchen Kasus (Genitiv, Dativ oder Akkusativ) eine Präposition regiert, ist lexikalische Eigenschaft der Präposition. Einige Präpositionen regieren verschiedene Kasus. Im Rahmen dieser Arbeit wird in diesen Fällen nicht zwischen den z. T. semantisch unterschiedlichen Varianten unterschieden (vgl. Angabe der Richtung und des Ortes bei in: ins StadionAkk, Richtung laufen und im Stadion Dat, Ort laufen).
Im Deutschen kommen drei nach ihrer Stellung in der Präpositionalphrase unterschiedene Präpositionen vor: Präpositionen (aus Gold), Postpositionen (seiner Verdienste wegen) und Zirkumpositionen (von Haus aus). Da viele Präpositionen bezüglich der Wortart ambig sind (Prä-
22
2 Problemstellung
position/Postposition, z. B. wegen, Präposition/Subjunktion, z. B. während) sind die Grenzen
der Präpositionalphrasen nicht immer einfach zu erkennen.
2.2.3 Fehlerklassen
In diesem Kapitel werden die Kongruenzfehler in Nominalphrasen und die Rektionsfehler in
Präpositionalphrasen in verschiedene Klassen eingeteilt. Diese Klassen wurden auch bei der
Evaluation des implementierten Systems verwendet (vgl. 6.4.2). Dort werden die Fehlerklassen
mit Beispielen aus verschiedenen Texten weiter differenziert.
Die Einteilung hier wurde mithilfe von Nachschlage- und Lehrwerken (Duden 98, Schlegel 95,
Bury 2000) vorgenommen und mit den Ergebnissen aus der Korpusevaluation abgeglichen.
Ich verwende eine im Wesentlichen an der Fehlerauswirkung, also den im Text direkt sichtbaren Merkmalen des Fehlers orientierte Klassi
µ wÎ ¿ » Vº Ä P¼ À Ð +Ë » Bº Â Ä Õ ¾ » f· Á » S
º 4Î Ä À Ô » ¿ Õ ý
¾ · ¼ Ã 4» º » ;
>¿ Ç » nsiµ 3Î [¿ » Vº Ä ¼ À Ç !¿ ¸ » >¿ P¼ Î Ä Á 4» 3Î ¿ » 8¾ » ¼ VÍ Î Ä º A
» P¾ Ô » Iº ¶ [Ô <· BÂ $Â !¿ µ ¶ · ¸ ¿ ¹ h
¼ Ë À üÔ Ï 3.6). Allen Fehlern
onen der Klassi
dieser Klasse ist gemeinsam, dass die Kongruenz innerhalb der Nominalphrase verletzt ist.
• Adjektiv- oder Determinerendung fehlt
Bei einem Adjektiv oder Determiner in der Nominalphrase fehlt die Flexionsendung ganz.
Beispiel: *das erst Mal statt das erste Mal
• Falsche Adjektiv- oder Determinerendung
Die Flexionsendung eines Adjektivs oder Determiners in der Nominalphrase ist falsch. Die
Ursachen hierfür sind nur anhand des Textes z. T. nicht eindeutig festzustellen.
Eine mögliche Ursache ist eine Umformulierung eines Textes, bei der eines oder mehrere
Wörter nicht korrekt angeglichen wurden.
Eine weitere mögliche Ursache ist die Verwendung eines Substantivs mit falschem Genus.
Diese Fehler beruhen z. T. auch auf Fehlern, die sich auf Umformulierungen eines Textes
zurückführen lassen (ein Substantiv wird durch eines mit anderem Genus oder Numerus ersetzt und der stehen gebliebene Teil der Phrase nicht entsprechend angeglichen), z. T. sind
auch Kompetenzfehler die Ursache, insbesondere bei Fremd- und Fachwörtern (z. B. *das
Graphit statt der Graphit).
• Fehler bei der Adjektivdeklination (stark/schwach/gemischt)
Diese Klasse von Fehlern ist eine Unterklasse der vorhergehenden. Ein Adjektiv ist bezüglich des vorangehenden Determiners nicht korrekt dekliniert. Hierbei kann es sich um Tippfehler, also Performanzfehler, handeln (fehlender letzter Buchstabe, die auf der Tastatur nebeneinander liegenden m und n verwechselt). Die teilweise konsequente Falschschreibung
im Text eines Autors legt allerdings den Schluss nahe, dass selbst Muttersprachler die Re-
23
Gerhard Fliedner
geln der entsprechenden Deklination nicht vollständig beherrschen (Kompetenzfehler). Beispiel: *vor einem neuem Rätsel statt vor einem neuen Rätsel
Fehler bei der Adjektivdeklination kommen wegen der großen Komplexität relativ häuµÀ
vor: „Die Deklination des Adjektivs gehört zu den kompliziertesten Gebieten der deutschen
Formenlehre.“ (Schlegel 95, 24)
• Substantivendung fehlt
Bei einem Substantiv fehlt eine nötige Endung. Dabei kann es sich zum einen um Performanzfehler handeln, zum anderen werden aber z. T. Substantive auch falsch dekliniert.
Der „Grammatikduden“ weist insbesondere darauf hin, dass bei Substantiven aus verschiedenen Deklinationsparadigmata im Singular ein Wechsel hin zu „einfacheren“ Paradigmata
ohne Endungen stattµ¼8Ã»¸$Ð7Á»<Â/¹+¼8Ã»ºBÂgÁ+»¿7Ù;¹Çä¹ÂI¿!¸$·9Í Duden 98, 255, vgl. auch Schlegel
95, 15 f.). Das betrifft insbesondere Akkusative und Dative auf en (z. B. den Adressat statt
Adressaten), zum anderen Genitive auf s (z. B. des Vorkommensbereich statt Vorkommensbereich[e]s).
• Falsche Substantivendung
Auch hier sind verschiedene Fehlerursachen denkbar: Zum einen kann es sich wieder um
Performanzfehler handeln (Tippfehler oder Wort nicht an andere Änderungen in der Eingabe angepasst). Zum anderen kommen hier auch Kompetenzfehler vor, bei denen z. B. der
Autor das Substantiv einem falschen Flexionsparadigma zuordnet. Beispiel: des Autoren
statt des Autors
• Rektionsfehler
In einer Präpositionalphrase steht die regierte Nominalphrase im falschen Kasus. Beispiel:
mitsamt seiner ArgumenteGen statt mitsamt seinen ArgumentenDat.
Eine ähnliche Einteilung in Fehlerklassen wurde im Rahmen des deutschen Grammatikkorrektursystems FLAG (vgl. 3.5.5.1) vorgenommen. Hier sollen die dort verwendeten Fehlerklassen
kurz zusammengefasst und die Unterschiede aufgeführt werden (vgl. Tabelle 1). Die Fehlerklassen wurden im FLAG-Projekt für eine umfangreiche Korpusannotation verwendet (vgl.
Becker [u.a.] 99). Die Fehlerklassen sind in Crysmann 97 zusammengefasst.
Eine Fehlerannotation in dem gelabelten Fehlerkorpus ist bei FLAG eine Relation zwischen
Wörtern. Neben der Fehlerklasse kann diese Relation mit einer „Fehlerdimension“ gelabelt
werden, bei Kongruenzfehlern beispielsweise mit dem verletzten Kongruenzconstraint (z. B.
Kasus). Die Fehlerklassen sind hierarchisch angeordnet, so dass neben den speziellen Klassen
auch jeweils die übergeordneten allgemeineren zur Verfügung stehen.
µ wÎ ¿ » Vº Ä P¼ h
À >¿ Ç i
ç ß -Projekt nicht ausEin wichtiger Unterschied ist, dass bei der Fehlerklassi
schließlich die Fehlerauswirkung als Kriterium verwendet wurde, sondern z. T. auch die Feh24
2 Problemstellung
Fehlername
FLAG
Fehlerbeschreibung FLAG
Fehlername Korrekt
Bemerkung
SGCas
Kasusrektion
Rektionsfehler
SGCas umfasst alle Formen von Rektion (z. B.
auch Verbrektion)
SC
Konkordanz in Nominalphra- Alle außer „Rektion“ SC umfasst alle Fehler
se
(zusätzlich:
Ka- und „Fehler Adjektiven- der Nominalkongruenz,
sus-/Numerus-/Genus-Fehler) dung (st./schw./gem.)“
die nicht im Folgenden
µ 3Î [¿ » Vº i
¸ IÂ >¿ 8¼ Ã
genauer spezi
SCSW
Adjektiv stark/schwach
Fehler Adjektivdeklination (st./schw./gem.)
SCNG
Genus
Adjektivendung falsch
SCP
Parallele Beugung (Adj.)
Adjektivendung falsch
Tabelle 1: Fehlerklassen für Nominalkongruenz bei FLAG
lerursachen bzw. Fehlerquellen (z. B. „Genus falsch“ bzw. „Kasus stimmt nicht überein“). Da
Fehlerursachen dieser Art an der Ober3Õ¾8»¼¿
Õ4¾<¸A¿>ÇÇ»4ºi»¿>¼Ã»fÄ¸¿>Àæ»ºI¶»¼P¼<Á·4ºSÂI¿>¼8ÃÐ8Ñ-ÄºÃ»¿>Ç
Rahmen dieser Arbeit diese Art der Klassi
µ ¶ · ¸ ¿ ¹ ¼ ¼ [¿ Õ <¾ ¸ Ë 4» Vº Ñ 4» ¼ det.
2.2.4 Nichtmuttersprachler
Zwischen den Fehlern von Muttersprachlern und Nichtmuttersprachlern gibt es – je nach
Sprachbeherrschung – mehr oder weniger deutliche Unterschiede: Nichtmuttersprachler machen mehr Kompetenzfehler als Muttersprachler. Der Terminus „Nichtmuttersprachler“ impliziert ja gerade, dass ihre Beherrschung der relevanten Sprache nicht der eines Muttersprachlers
entspricht. Daher ergibt sich eine größere Zahl von Kompetenzfehlern und damit auch eine
höhere Gesamtfehlerzahl. Damit ändern sich natürlich auch relative Fehlerzahlen (z. B. Fehler
pro 1 000 Wörter oder Fehler pro Seite). Vor diesem Hintergrund ist es interessant, welche
Arten von Fehlern bei Nichtmuttersprachlern für die im Rahmen dieser Arbeit behandelten
Phänomene zu beobachten sind.
Die unterschiedlichen Fehlerursachen lassen sich i. A. nicht direkt bestimmten Fehlerauswirkungen zuordnen. Einige Worte zu den Fehlerursachen tragen m. E. aber zum besseren Verständnis der speziN
µ Â Õ 8¾ » ¼ A
» P¾ Ô » 1
º +Á » T¿ Ï +È [¿ g
» IÂ >¿ 8¼ Ã 4Î Ä U
Ç » >¿ ¼ 4» ¼ Ã » g
¼ 2
Ò <» /Â Õ ¾ º 4» !¿ Á Ä P¼ À » ¼ ä º ¹ Á Ô 4» Ç · ¸ ¿ /Â Õ ¾ » º
Fälle in Schlegel 95 entnommen, zum anderen aus der Evaluation der in einem Textkorpus
vorkommenden Fehler (6.4.2) erschlossen.
Wenn ein nicht muttersprachlicher Autor in einer Nominalphrase eine falsche Endung verwendet, so ist die Wahrscheinlichkeit relativ hoch, dass es sich um einen Kompetenzfehler handelt.
25
Gerhard Fliedner
Bei Substantivendungen ergeben sich Fehler vor allem aus zwei Gründen: Entweder wird das
Substantiv mit einem falschen Genus oder mit einem falschen Flexionsparadigma verwendet.
Im Deutschen sind die Regeln, welchem der drei Genera ein Substantiv angehört, kompliziert
und enthalten viele Ausnahmen. Nichtmuttersprachler müssen das Genus eines Wortes daher
zusammen mit dem Wort lernen. Das wird zusätzlich dadurch erschwert, dass die meisten
Sprachen andere Systeme haben (z. B. zwei Genera oder keine Genera, sondern Nominalklassen). Daher kommt es leicht zu Fehlern, bei denen der Nichtmuttersprachler das falsche Genus
verwendet.
Ähnlich kompliziert wie die Zuordnung der Substantive zu den Genera ist auch die Zuordnung
zu den Deklinationsparadigmata: Das Deutsche verfügt über ca. 20 verschiedene Deklinationsparadigmata, denen die Substantive zugeordnet sind. Fehler bei der Zuordnung führen dazu, dass Substantive mit falschen Endungen verwendet werden, z. B. falsche Pluralbildung.
Außerdem ist es natürlich schwierig, die korrekte Verwendung aller dieser mehreren hundert
Formen beim Zweitspracherwerb zu erlernen, so dass auch bei korrekter Zuordnung der Wörter zu den Paradigmata Fehler aufgrund von mangelnder Beherrschung der Paradigmata selbst
dazukommen.
Die erste Schwierigkeit ist also zu wissen, welche Form verwendet werden muss, die zwe ite zu
wissen, wie diese Form gebildet wird.
Bei Adjektiven und Determinern sind die Fehler im Wesentlichen auf die falsche Verwendung
der Deklinationsparadigmata zurückzuführen: Sie entstehen, wenn der Schreibende die Deklinationsmuster dieser Wörter nicht ausreichend beherrscht. Das führt zu Kongruenzfehlern in
der Nominalphrase und/oder Fehlern bei der starken, schwachen und gemischten
Adjektivdeklination.
2.2.5 Grammatikkorrektursysteme und Nichtmuttersprachler
Das vorige Unterkapitel hat sich mit den möglichen Fehlerklassen der Kongruenzfehler in deutschen Nominalphrasen bei Muttersprachlern und Nichtmuttersprachlern beschäftigt. Dieses
Unterkapitel geht der Frage nach, wie Grammatikkorrektursysteme von Nichtmuttersprachlern
µ ¶ · ¸ [¿ +¹ 8¼ » =
¼ · =
¼ Ã 4»
¼ È :Ê Â $¸ » Ç » k
¼ Ë ¹ Iº À enommen wereingesetzt werden können bzw. welche Modi
den sollten.
Arendse Bernth geht davon aus, dass aktuelle Grammatikkorrektursysteme für Muttersprachlern noch nicht brauchbar sind und häuµÀÞ·Á8À» lehnt werden, da die Präzision mit ungefähr
50 % zu gering sei:
Users understandably enough do not have the patience to sift through recommendations half of which
are not relevant. (Bernth 2000, 34)
26
2 Problemstellung
Er meint weiter, dass Nichtmuttersprachler eine viel interessantere Zielgruppe für aktuelle
Grammatikkorrektursysteme seien als Muttersprachler, insbesondere, wenn die Systeme für
Benutzer mit bestimmten Muttersprachen besonders angepasst werden.
Furthermore, NNSs [non-native speakers] often need more support with grammatical issues than NSs
[native speakers], and for this reason they are also more tolerant of lower precision. (Bernth 2000, 34,
meine Anmerkungen)
Bernth hat zur besseren Unterstützung von Nichtmuttersprachlern in das System EasyEnglish,
das zur Grammatikprüfung und Prüfung auf die Regeln einer kontrollierten Sprache, spezielle
Unterstützung für Nichtmuttersprachler integriert.
Diese Unterstützung (in EasyEnglish als zusätzliche Fehlerregeln implementiert) sollte möglichst für verschiedene Muttersprachen zur Verfügung stehen. So können Nichtmuttersprachler
jeweils spezielle Module verwenden, die auf die Behandlung besonderer, von Muttersprachlern
dieser Sprache häuµÀ=À emachter Fehler zugeschnitten sind. Ein Beispiel dafür könnten Probleme bei der Verwendung von Artikeln für Sprecher einer Sprache ohne Artikel (z. B. Japaner)
sein.
Neben der beschriebenen Möglichkeit, Grammatikkorrektursysteme zur Korrektur von Texten
zu verwenden, die von Nichtmuttersprachlern verfasst wurden, sind auch besondere Sprachlernsysteme für Nichtmuttersprachler entwickelt worden. Solche Systeme enthalten Übungen,
die speziell auf die Bedürfnisse von Sprachlernenden zugeschnitten sind. Bei diesen Übungen
muss der Lernende Sätze schreiben oder ergänzen, die bestimmte problematische syntaktische
Phänomene enthalten.
Intelligente Sprachlernsysteme verfügen über Wissen über die beteiligten grammatischen Regeln, erkennen daher sowohl die richtige Form als auch Fehler und können dadurch auch Vorschläge zur Fehlerkorrektur machen (dies kann z. B. durch Constraint Relaxation realisiert werden, vgl. 3.4.3).
In Catt 88 ist ein Sprachlernsystem für Englisch beschrieben, das diese Idee noch einen Schritt
weiterführt: Catts System wurde speziell für Französisch- und Chinesisch-Muttersprachler
entwickelt und enthält neben einer englischen auch eine französische Grammatik. Für Eingaben, die mit der englischen Grammatik nicht erfolgreich analysiert werden können, können
zusätzlich Regeln der französischen Grammatik verwendet werden. Damit kann das System
genau solche Fälle behandeln, in denen der Lernende eine grammatische Struktur (fälschlich)
aus dem Französischen ins Englische übertragen hat.
Dieses und andere Systeme weisen also Parallelen zu Grammatikkorrektursystemen auf und
werden daher bei der Beschreibung von Grammatikkorrektursystemen in 3.5.6 und 3.5.7 mit
vorgestellt.
27
Gerhard Fliedner
Im Rahmen dieser Arbeit konnten solche speziellen Verfahren nicht erprobt werden. Es wurden jedoch mehrere Texte von Nichtmuttersprachlern gesammelt, und auf Fehler ausgewertet.
Auf Basis dieser Texte konnten Annahmen über die Fehler der Nichtmuttersprachler überprüft
werden. Weitere Arbeiten zur zum Entwurf spezieller Verfahren für Nichtmuttersprachler sollten auf solchen Daten aufbauen. Allerdings reichen die gesammelten Datenmengen bisher nicht
aus, um systematische Rückschlüsse auf die genaue Art von Fehlern zu ziehen, die Sprecher
bestimmter Muttersprachen machen.
28
3 Forschungsstand
Dieses Kapitel beschreibt den Forschungsstand verschiedener für die Arbeit relevanter Gebiete.
Zunächst werden nach einem kurzen allgemeinen Überblick (3.1) Verfahren zur morphologischen und syntaktischen Analyse vorgestellt (3.2 und 3.3).
Eine morphologische Analyse muss zentraler Bestandteil eines Systems zur Kongruenzprüfung
im Deutschen sein, da die komplexe deutsche Deklination zur Prüfung der Kongruenz vollständig erfasst werden muss.
Für die Überprüfung deutscher Nominalphrasen ist es außerdem notwendig, ihre Struktur zu
analysieren (vgl. auch 2.2). Dazu wird eine syntaktische Analyse verwendet. Da die Verarbeitung auf die phrasale Ebene (hier Nominal- und Präpositionalphrasen) beschränkt bleiben kann,
wird zur Analyse ein partielles Parsingverfahren (Chunkparser) zu verwenden, vgl. 3.3.1.
Das wichtige Gebiet der robusten syntaktischen Verarbeitung wird in 3.4 ausführlich beschrieben, da ausgehend von den dort eingeführten Begriffen und Verfahren die eigentliche Grammatikprüfung entwickelt wird (3.5). Beide Unterkapitel stellen jeweils wichtige in der Literatur
beschriebene Systeme vor.
µ ¶ f· ¸ ¿ +¹ ¼ Ë ¹ ¼ A
» P¾ Ô » Iº ¼ Ú Û º
Es schließt ein Unterkapitel an, in dem ich auf die allgemeine Klassi
Systeme zur Fehlerprüfung und –korrektur eingehe (3.6).
Ausgehend von diesen Grundlagen wird in Kapitel 4 die Konzeption eines konkreten, im Rahmen dieser Arbeit implementierten Systems beschrieben.
3.1 Überblick
Die ersten Systeme, die natürliche Sprache verarbeiten, entstanden in den Sechzigerjahren des
20. Jahrhunderts nur wenige Jahre nach den ersten Computern (Rechtschreibkorrekturprogramme vgl. z. B. Blair 60, Damerau 64). Sie wurden noch größtenteils von Ingenieuren entworfen und implementiert, v. a. wegen der extremen Kompliziertheit der verwendeten Rechner.
Erst mit der breiteren Verfügbarkeit der Computer in den Siebzigerjahren wurden verstärkt
Systeme unter Mitarbeit von Linguisten entwickelt. Diese Zeit kann also als der eigentliche
29
Gerhard Fliedner
Anfang der Computerlinguistik als Forschungsdisziplin gelten. Eine entscheidende Rolle hat bei
der Etablierung der Computerlinguistik als eigenständigem Gebiet die Formalisierung linguistischer Methoden durch wichtige Arbeiten wie die von Noam Chomsky in den Sechzigerjahren,
Richard Montague in den Siebzigerjahren und natürlich von vielen anderen gespielt.
Seitdem haben die drei Disziplinen Informatik (und Künstliche Intelligenz12), Linguistik und
Computerlinguistik gemeinsame Forschung hervorgebracht und durch neue Fragestellungen
aus den jeweils anderen Gebieten weiterentwickelt (vgl. Uszkoreit 97).
In den letzten etwa zehn Jahren hat eine zunehmende Zahl von Systemen zur Sprachverarbeitung Marktreife erreicht. Sie werden heute in immer mehr Gebieten eingesetzt. Die vielleicht
wichtigsten Anwendungsgebiete umfassen Spracheingabe (Diktiersysteme), Proo ng Tools,
Online-Wörterbücher und Terminologiedatenbanken, Systeme zur maschinellen Übersetzung,
Werkzeuge zum Dokumentretrieval und Textmining und zunehmend auch Dialogsysteme, die
Systeme um gesprochene Sprache als Schnittstelle zum Benutzer erweitern.
Systeme zur Verarbeitung natürlicher Sprache sind häuµÀY¿>¼Ù;¹Çä¹¼»¼(¸$»¼Y·ÄÚTÀ»f¸$»¿>Ô!¸$ÐÃ¿
»g¶Ô[· ssischen Forschungsbereichen der theoretischen Linguistik entsprechen: Morphologie, Phonetik/Phonologie, Syntax, Semantik und Pragmatik/Diskurs. Diese Reihenfolge dieser Aufzählung entspricht ungefähr der zeitlichen Reihenfolge, nach der Systeme mit den entsprechenden
Komponenten zuerst entwickelt wurden.
Während es auf jedem der Gebiete noch offene Fragen und ungelöste Probleme gibt, entspricht
die Reihenfolge dieser Liste auch ungefähr der aktuellen „Beherrschung“ des der jeweiligen
Sprachkomponente: Für Morphologie und Sprachein- und ausgrabe gibt es heute robuste, vielfältig einsetzbare Systeme13; allgemein verwendbare, robuste Systeme zur semantischen oder
Diskursverarbeitung fehlen noch.
Einen aktuellen allgemeinen Überblick über den Forschungsstand in der Computerlinguistik
gibt Cole [u.a.] 97.
3.2 Morphologische Analyse
Als Morphologische Analyse (kurz oft auch Morphologie) bezeichnet man Systeme, die Wörter einer Sprache morphologisch zerlegen und ihren Lemmata (Lex ikonformen) zuordnen. Eine
12
Im englischsprachigen Raum oft als eigene Disziplin betrachtet.
13
In diesen Bereichen gibt es inzwischen sogar schon kommerziell erhältliche Software Development Kits, auf
deren Basis Softwareentwickler vergleichsweise einfach z. B. Systeme mit einer Schnittstelle über gesprochene
Sprache erstellen können.
30
3 Forschungsstand
vollständige morphologische Analyse beschreibt alle morphologischen Regularitäten einer
Sprache, also Flexions-, Derivations- und Kompositionsmorphologie.
Heute stehen Morphologien für die meisten wichtigen Sprachen der Welt zur Verfügung. Viele
von Ihnen beruhen auf dem Prinzip der Zwei-Ebenen-Morphologie (Koskenniemi 83). Das
grundlegende Prinzip ist seit Koskenniemis Arbeit erweitert und ausgebaut worden, insbesondere von der Finite-State-Arbeitsgruppe des Xerox Research Centre in Grenoble, Frankreich
(vgl. z. B. Karttunen 2000, Karttunen, Kaplan und Zaenen 92).
In der Zwei-Ebenen-Morphologie wird das Problem der morphologischen Analyse als Problem
der Übersetzung zwischen zwei Zeichenketten betrachtet. Bei der einen Zeichenkette handelt
es sich um die Ober3Õ4¾»¼PÚ¹+ºIÇUÃ»(Â1Ý¹ºV¸$»<Â/Ð8Á+»¿Ã»ºi·¼8Ã»º»¼-ÄÇUÃ·<ÂÎÄÀ»¾+º$¿>À».»ÇÇ·*Á8ÎÑýÏ
die zugehörigen Lemmata und morphologische Information. Das System verwendet ein Lexikon, in dem zum einen die Lemmata der Sprache und zum anderen Flexions- und
Derivationsmorpheme gespeichert sind.
Wie der Name Zwei-Ebenen-Morphologie bereits andeutet, stellt das System die Beziehung
zwischen diesen beiden Ebenen (Ober3Õ4¾»*Ä¼Ã.»!8¿>¶¹¼ã¾»4ºfÏ·ÎÄÑ»ºÃ»¼»¼ÃÔ>¿[Õ¾»#"º·¼ÂÃ ucern verwendet (endliche Automaten mit Ausgabe, vgl. Hopcroft und Ullman 79, 42 ff.). Die
Transducer kodieren die morphologischen Regeln der Sprache. Diese Regeln beschreiben z. B.
wie Flexionsmorpheme und Lemmata kombiniert werden dürfen. Je nach Bedarf können auch
morphophonologische und/oder orthograµ sche Regeln kodiert werden.
Eine solche Regel könnte z. B. im Deutschen die Regel beschreiben, die bei Verbstämmen auf e
das e einer mit e beginnenden Flexionsendung ellidiert. (vgl. knie-n + e → knie-e → [ich]
knie). Die Verarbeitung kann grundsätzlich in beiden Richtungen erfolgen (Analyse und Generierung von Wortformen). Neben obligatorischen Regeln, die immer angewendet werden müssen, gibt es auch fakultative Regeln, die angewendet werden können, aber nicht müssen. Das
erlaubt die Analyse und Generierung verschiedener möglicher Formen, z. B. der Imperativ Singular im Deutschen bestimmter Verben (schließ und schließe).
Durch die Verwendung von endlichen Automaten entsteht ein für die Implementation in der
natürlicher natürlichen Sprachverarbeitung besonders geeignetes System. Der Formalismus hat
wohlde
µ ¼ ¿ » º $¸ M
» Ú +¹ $º Ç · Ô \
» .
Ü >¿ À » ¼ Â Õ 8¾ · Ú $¸ » Æ
¼ VÍ Î Ï B. Schnittbildung von Automaten) und erlaubt eine
µ 3Î ¿ » (¼ $¸ %
» ;
$ » º 4· Vº Á » Ø¿ T¸ Ä ¼ À &
Ï M
· Ã (· Â .
'» ¿>
¶ ¹ C
¼ » Á » P¼ Ú · >Ô Ô ;
Â · àÔ Â 4» ¼ dlicher
deklarative Beschreibung und ef
Automat kodiert werden kann (vgl. Aho und Corasick 75 und Mohri 96), ergibt sich eine
bezüglich der Eingabelänge lineare Laufzeit.
Dies erklärt, dass Zwei-Ebenen-Morphologie heute weit verbreitet ist. Besonders häuµÀÑ;¿>ºÃ
sie im Rahmen der Rechtschreibprüfung und -korrektur angewendet. In der Rechtschreibprüfung ist es besonders wichtig, dass nicht nur sämtliche, auch seltene Formen von Wörtern er-
31
Gerhard Fliedner
kannt werden, sondern auch neue, durch Komposition entstandene oder durch Derivation
abgeleitete Wörter. Der beschriebene Formalismus kann zudem relativ leicht durch zusätzliche
Mechanismen ergänzt werden, die auch fehlerhafte Eingaben den richtigen Lemmata zuordnen.
Man kann sich z. B. leicht eine Fehlerregel vorstellen, die bei der Zuordnung von Zeichen aus
dem Lexikon zur Ober3Õ¾8»À»¼·fÄY»4¿>¼g×.»¿
Õ4¾»¼Ô(Â/Õ¾<¸{Ï¿ ese Regel würde dann bei der Analyse erlauben, ein Wort dem richtigen Lexikoneintrag zuzuordnen, in dem ein Buchstabe fehlt
(Tippfehler). Eine solche Ergänzung ist in Wagner 74 beschrieben.
Systeme auf Basis von Zwei-Ebenen-Morphologie sind zur Beschreibung und
Rechtschreibprüfung sehr verschiedener Sprachen entwickelt worden, z. B. für Arabisch
(Bowden und Kiraz 95), Baskisch (Agirre [u.a.] 92), Deutsch (Haapalainen und Majorin 94)
und Französisch (Chanod 94).
3.3 Syntaktische Verarbeitung
In den meisten Systemen zur natürlichsprachlichen Verarbeitung wird die syntaktische Verarbeitung als eigene Aufgabe angesehen und oft als eigenes Programmmodul implementiert.
Neuere Ansätze wie Head-driven Phrase Structure Grammar (HPSG, Pollard und Sag 94)
versuchen allerdings, die Trennung zwischen morphologischer, syntaktischer und semantischer
Verarbeitung aufzuheben.
Seit Chomskys grundlegender Arbeit zur Syntax (57, vgl. auch Chomsky 65) in den späten
Fünfzigerjahren des zwanzigsten Jahrhunderts werden allgemein die folgenden Grundlagen der
syntaktischen Verarbeitung angenommen (vgl. auch Uszkoreit 97): Man fasst eine (formale)
Sprache als eine Menge von Sätzen auf, die jedoch endlich beschrieben werden kann; im interessanten Fall ist die Sprache selber unendlich. Ein Satz ist eine Zeichenkette, die den grammatischen Regeln der Sprache entspricht. Um eine solche Sprache zu beschreiben, verwendet man
eine Grammatik G14, die genau alle Sätze der Sprache in endlicher Form beschreibt. Man sagt,
dass die Grammatik G die Sätze der Sprache L(G) generiert.
Formale Sprachen lassen sich in Sprachklassen einteilen. Diese Sprachklassen fassen Sprachen
zusammen, zu deren Beschreibung man mindestens Grammatiken einer bestimmten Beschreibungsmächtigkeit benötigt (z. B. reguläre, kontextfreie und kontextsensitive Grammatiken). Je
größer die Beschreibungsmächtigkeit einer Grammatik ist, umso länger benötigt ihre Verarbeitung. Diese Sprachklassen bilden nach der Beschreibungsmächtigkeit der zugehörigen Gram-
14
Gemeint ist hier der mathematische Begriff einer Grammatik, die im Wesentlichen aus einem Alphabet,
einer Menge von Nichtterminalsymbolen und einer endlichen Menge von grammatischen Regeln zur Beschreibung der Sprache besteht. Formale De P
è 3ð !ö í ionen èðw÷ïðøöXùúHò4ó B. in Hopcroft und Ullman 79.
32
3 Forschungsstand
Sprachtyp
Grammatik
Automat
Max. Zeitkomplexität des
Wortproblems
Typ 3
Regulärer Ausdruck
Endlicher Automat
O(n)
Typ 2
Kontextfreie Grammatik
Kellerautomat
O(n3)
Typ 1
Kontextsensitive Grammatik
Linear begrenzte TuringMaschine
O(kn)
Typ 0
Rekursiv aufzählbare
Grammatik
Allgemeine TuringMaschine
nicht entscheidbar
Tabelle 2: Sprachklassen der Chomsky-Hierarchie (Hopcroft und Ullman 79)
matiken eine Hierarchie, die oft als Chomsky-Hierarchie bezeichnet wird (vgl. Hopcroft und
Ullman 79, Kapitel 9 und die Literaturhinweise dort).
Jede dieser Sprachklassen ist mit einer bestimmten Art von Automaten verbunden. Automaten
sind das mathematische Modell eines Systems, das eine Grammatik kodiert. Sie lesen Eingaben
und reagieren – je nach Art der Eingabe – mit verschiedenen Ausgaben. Im einfachsten Fall
besteht die Ausgabe z. B. aus der Meldung „Diese Eingabe gehört zur Sprache, die meine
Grammatik beschreibt.“ Tabelle 2 gibt die wichtigsten Sprachklassen der Chomsky-Hierarchie
zusammen mit häuµÀYË»4ºVÑ»4¼Ã»¸$»¼åæ·Ç»4¼YÚÛºÃ¿[»»4¼<¸ÂIäº/»3Õ¾»4¼Ã»¼kßº·ÇÇ·¸¿>¶»¼@Ä¼8Ã\çÄ¸$¹Ç aten an. Außerdem ist jeweils die maximale Komplexität des Wortproblems bezogen auf die
Eingabelänge angegeben, wie lange es also im ungünstigsten Fall dauert, um zu entscheiden, ob
eine Eingabe der Länge n von einer Grammatik akzeptiert wird.
Systeme zur natürlichsprachlichen Verarbeitung verfügen über eine Systemgrammatik G, die
möglichst genau der Grammatik der natürlichen Sprache entsprechen soll (vgl. aber 3.4.1).
Wesentlich ist dabei, dass die Grammatik die Art wiederspiegelt, wie in der jeweiligen Sprache
Einheiten, die eine Bedeutung enthalten (z. B. Wörter) so zu größeren Elementen zusammengefasst werden, dass sich die Bedeutung des Elementes aus der Komposition seiner Bestandteile ermitteln lässt (Zaenen und Uszkoreit 97).
Um Eingaben bezüglich dieser Grammatik zu analysieren, enthalten Systeme ein Parser genanntes Programmmodul, das bestimmt, ob die Eingabe ein Satz der Sprache ist, und eine
Strukturbeschreibung des Satzes bezüglich der Grammatik G aufbaut. Die Struktur wird oft als
Ableitungsbaum dargestellt. Ein kurzer allgemeiner Überblick zu verschiedenen Parsingverfahren µ ¼ Ã » Y
¸ $Â ¿ Õ ¾ >¿ ¼ Joshi 97. Ausführliche Beschreibungen zur Implementation verschiedener
µ ¼ Ã 4» ¼ $Â ¿ Õ 9
¾ A
Ä Ï a. in Naumann und Langer
Parsingverfahren für verschiedene Grammatiktypen 94.
33
Gerhard Fliedner
Im Laufe der Zeit sind eine Vielzahl von Theorien zur syntaktischen Beschreibung von natürlichen natürlicher Sprache und darauf basierende Systeme entwickelt worden (z. B. HPSG, LFG,
GPSG). Eine solche Theorie enthält die Grundlagen zur formalen Beschreibung von natürlichen Sprachen, postuliert also bestimmte Annahmen darüber, wie eine Grammatik natürlichsprachliche Phänomene beschreiben soll. Zur eigentlichen Beschreibung von Grammatiken
werden unterschiedliche Grammatikformalismen15 verwendet. Sie können ungefähr mit Programmiersprachen verglichen werden.16 Ein kurzer Überblick über die wichtigsten Formalisµ ¼ Ã »
¸ IÂ ¿ 4Õ Y
¾ >¿ ¼ Uszkoreit und Zaenen 97. Dort µ¼8Ã»¼=ÂI¿
Õ¾W·ÄÕ¾@ûü»Ñ»¿>ÔàÂ);¿ nmen und Theorien weise auf die einführende Liter atur.
3.3.1 Partielles Parsen (Chunkparsen)
Partielles Parsen (oft auch Chunkparsen, von engl. chunk „Brocken“ genannt) ist ein Sammelµ P¼ !¿ ¸ ¿ ¹ ¼ Ã » º
begriff für Techniken, die nur für Teile der Eingabe eine Analyse liefern. Die De
Chunks ist bei verschiedenen Systemen leicht unterschiedlich, meist werden Phrasen direkt
unterhalb der Satz- bzw. Klauselebene verwendet, also im Wesentlichen Nominal- und Präpositionalphrasen. Abney unterstreicht in seiner Arbeit neben Verarbeitungsgesichtspunkten der
Computerimplementation auch die psycholinguistische Relevanz solcher Chunks als wichtige
Instanz bei der menschlichen Sprachproduktion und -perzeption. (Abney 91, 257 ff.).
Für bestimmte Anwendungen wie z. B. Information Retrieval, automatische Textzusammenfassung oder Message Extraction reichen solche Teilanalysen oft völlig aus. Brants de
µ P¼ ¿ » Vº N
¸ Ã ¿ »
Ziele folgendermaßen:
Chunking concentrates on constructs that can be recognized with a high degree of certainty. For several applications, this type of information with high accuracy is more valuable than deep analysis with
low accuracy. (Brants 99, o. S.)
Beim Chunken werden meistens Verfahren verwendet, die den Analysen Wahrscheinlichkeiten
zuordnen. So können zuverlässige (wahrscheinliche) Analysen von weniger zuverlässigen (unwahrscheinlichen) unterschieden werden.
Einer der ersten probabilistischen Chunker ist in Church 88 beschrieben. Dort werden aus dem
fürs Englische wichtigen handgetagten Brown-Korpus 17 Wortart-Trigrammwahrscheinlich15
Grammatikformalismus und Sprachklasse der Chomsky-Hierarchie sind zunächst unabhängige Begriffe. Für
die meisten Formalismen wurde inzwischen ermittelt, welche Klasse von Sprachen sich mit ihnen theoretisch
ausdrücken lässt. In der Praxis werden die Formalismen oft eingeschränkt, um eine ef
è {ò >ö ï ð í +
ï
* ï Tî ê rbeitung zu
ermöglichen. Vergleiche Uszkoreit 97.
16
Grammatiktheorie und -formalismus lassen sich oft nur schwer voneinander trennen. Grammatiktheorien
werden i. A. mithilfe eines bestimmten, geeigneten Formalismus formuliert und machen oft (mehr oder
weniger implizite) Annahmen über den verwendeten Formalismus.
17
W. Nelson Francis und Henry Kucera.
mar. Houghton Mifô in, Boston, Mass.
1982.
Frequency Analysis of English Usage: Lexicon and Gram-
34
3 Forschungsstand
keiten, also die Wahrscheinlichkeit, dass drei bestimmte Wortarten im Text aufeinander folgen,
und lexikalische Wahrscheinlichkeiten ermittelt. Anhand dieser Wahrscheinlichkeiten wird Nominal- und Präpositionalphrasen in Eingabetexten als Markov Models die wahrscheinlichste
Folge von Wortart-Tags zugewiesen.
Um linguistisch adäquatere Analysen mit einer Struktur zu erhalten, verwendet Brants in seinem System mehrere kaskadierte Beschreibungsebenen (Brants 99). Auf jeder dieser Ebenen
werden Markov Models verwendet, die jeweils die Ausgabe der nächstniedrigeren Ebene als
Eingabe verwenden. Zur Ermittlung der günstigsten Analyse wird der Viterbi-Algorithmus
verwendet (Viterbi 67). Durch die kaskadierte Beschreibung erzielt das System besonders gute
Ergebnisse für die Analyse von Nominal- und Präpositionalphrasen, ihrer jeweiligen syntaktischen Funktionen und auch der Satzstruktur.
Der Ansatz von Schmid und Schulte im Walde (2000) verwendet statt einfacher Trigramme
eine probabilistische kontextfreie Grammatik (Probabilistic Context-free Grammar, PCFG),
bei der die Regeln einer kontextfreien Grammatik mit Wahrscheinlichkeiten versehen sind. Diese Grammatik wird mithilfe eines annotierten Trainingskorpus trainiert. Dabei verwendeten die
Autoren in mehreren Versuchen unterschiedliche Kombinationen aus einer vorgegebenen, untrainierten kontextfreien Grammatik und so genannten „Rückfallregeln“, die allgemein die
Kombination benachbarter Konstituenten erlauben.
Ein Chunkparser, der keine Wahrscheinlichkeiten verwendet, sondern ausschließlich Grammatiken auf Basis regulärer Ausdrücke, ist in Abney 96 beschrieben. Abney verwendet mehrere
Automaten, die jeweils eine linguistische Ebene beschreiben. 18 Diese Automaten werden
kaskadiert, d. h. dass die Ausgabe einer Ebene als Eingabe der nächsthöheren Ebene dient. Da
jede Ebene durch einen deterministischen endlichen Automaten kodiert werden kann, arbeitet
dieser Parser sehr schnell (größenordnungsmäßig lineare Laufzeit bezüglich der Eingabelänge).
Die Beschreibung verschiedener Chunkparser zeigt, dass verschiedene Kombinationen von
Verfahren zum Chunkparsen verwendet worden sind. Dadurch, dass Chunks nur gebildet werden, wenn ihre Wahrscheinlichkeit relativ hoch ist, und i. A. keine überspannende Analyse gefunden werden muss, erreichen sie bei der Analyse gute Ergebnisse.
18
Eine frühere Arbeit von Abney beschreibt ein System mit zwei Ebenen, die mithilfe eines LR-Parsers (vgl.
Hopcroft und Ullman 79, 248 ff.) analysiert werden: einem Chunker und einem Attacher, der dafür zuständig
ist, die vom Chunker erkannten Chunks miteinander zu verbinden, vgl. Abney 91.
35
Gerhard Fliedner
*
A
Für einen Menschen
akzeptable „Sätze“ der
natürlichen Sprache L(N')
W W W W W W W W XW XW XW XW XW XW XW XW XW XW XW XW XW XW XW XW XW XW XW XW XW XW XW XW XW XW XW XW XW XW XW XW XW XW XW XW XW XW XW XW XW XW XW XW XW XW XW XW XW XW W W W W W W W W
W W W W W W W W XW XW XW XW XW XW XW YXW YXW YXW YXW XYW YXW YXW YXW YXW XYW YXW YXW YXW YXW XYW YXW YXW YXW YXW XYW YXW XYW YXW YXW XYW YXW XYW YXW YXW XYW YXW XYW YXW YXW XYW XW XW XW XW XW XW XW XW W W W W W W W W
WWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWW
Grammatische Sätze
der natürlichen Sprache
L(N)
Von der Computergrammatik akzeptierte
Sätze L(G)
Abbildung 1: Natürliche Sprache und Computergrammatik (Erklärung im Text)
3.4 Robuste syntaktische Verarbeitung
3.4.1 Begriff
Zur Einführung dieses Kapitels soll der Begriff der robusten Sprachverarbeitung, wie er in dieser Arbeit verwendet wird, geklärt werden. Dies ist ein wichtiger Punkt, da der Begriff selten
genau de
µ ¼ ¿ » º K
¸ ;
Ñ >¿ º Ã
‘Robustness’ […] falls into the class of terms that researchers use freely without bothering to actually
de,-./10!-32+4653.87.90':<;'-+:.9.>=?:@4A;+BC.?4650C41DA41D6:E;'-.?;GFH4653;!:.FJILKMKMNOD6:P:<IC.>:E4Q50C410!7.?B.:<412C.>:R>7DABC.92+B9NS:<DQ=8T1UVN
trusting to the power of metaphor. People somehow know what a robust person is; therefore they will
get an idea when we start talking about robust natural language understanders. (Stede 92, 383)
Aus diesem etwas vagen Bild lässt sich ableiten, dass der zentrale Punkt der Robustheit die
Zuverlässigkeit unter allen Bedingungen ist, insbesondere auch in Extremsituationen (beim
Computersystem z. B. knapper Speicher, Ausfall von Komponenten, Fehler in parallel laufenden Anwendungen).
Im Kontext natürlicher Sprache ergibt sich eine besonders wichtige solche Extremsituation,
wenn das System mit einer natürlichsprachlichen Eingabe konfrontiert wird, die mit dem im
System integrierten Sprachwissen nicht verarbeitet werden kann, also nicht wohlgeformt be19
züglich der Systemgrammatik ist
. Dieses Bild soll im Folgenden noch präzisiert werden.
Abbildung 1 zeigt schematisch die Teilmengenbeziehungen zwischen einer (beliebigen) natürlichen Sprache und der Sprache, die ein natürlichsprachliches System analysieren kann, das diese
natürliche Sprache verarbeitet.
Der natürlichen Sprache liegt ein (nicht leeres) Alphabet A zugrunde. Der Einfachheit halber
sei hier angenommen, dass es sich um die Zeichen der Schrift handelt, die zum Schreiben der
19
„Grammatik“ wird in diesem Kapitel in einem weiten Sinn als formale Beschreibung des gesamten Sprachwissens im System verwendet. Der Begriff soll hier auch morphologische, semantische, pragmatische oder
andere Komponenten mit einschließen.
36
3 Forschungsstand
Sprache verwendet wird (z. B. das lateinische Alphabet). Die unendliche Menge aller Zeichenketten, die sich mit den Zeichen dieses Alphabets erzeugen lassen, ist mit A* bezeichnet.
Durch die Grammatik der natürlichen Sprache N wird die Menge der grammatischen Sätze der
Sprache beschrieben. Diese von N beschriebene Sprache wird mit L(N) bezeichnet und ist eine
Teilmenge von A*.
Die Grammatik des betrachteten Computersystems zur Verarbeitung natürlicher Sprache akzeptiert eine Menge von Sätzen, die wieder eine Teilmenge der grammatischen Sätze der natürlichen Sprache ist. Diese Grammatik ist mit G bezeichnet.20, 21
Neben den grammatischen Sätzen in N ist in diesem Zusammenhang aber noch eine weitere
Menge interessant: die Menge der für einen Leser oder Hörer akzeptablen, aber nicht unbedingt grammatischen Sätze N'. Ein Satz in dieser Menge gehorcht den Regeln der natürlichen
Sprache so weit, dass er für den Hörer im Wesentlichen verständlich ist. Daher handelt es sich
bei L(N') um eine Obermenge von L(N). Katz bezeichnet diese Menge als Semi-Sentences (64).
Anhand dieser Konzepte können nun einfach die Begriffe ungrammatisch und extragramma` b
a ] d_ c ] [ e f (\ h
] Pg k
i Aj l C] [ c ] m
f !] E
Z H[ Q\ P` ^\ k
i o
[ n rp q ^\ ] M_ ` A\ u
s v
t r] q C] r[ P` Aj ^\ Cw x ] b
[ 'p y g Stede 9222.
tisch deZEH[ ^\ C] M_ E
Die Menge der ungrammatischen Zeichenketten in A* bezüglich N sei genau als die Differenzmenge A*−L(N) deZEH[ ^\ C] M_ {
` Mz A\ [ Abbildung 2 „aufsteigend“ schrafZC] M_ P` '| e } ~[ l _ p s b
s 'p P` \ q w {
x \ Mq
` ] A\ [ ]
Zeichenkette also genau dann, wenn sie nicht zur natürlichen Sprache gehört. Der Begriff der
extragrammatischen Sätze bezüglich G und N ist als die Differenzmenge dieser Sprachen
20
Ich gehe hier vereinfachend davon aus, dass es sich bei L(G) um eine Teilmenge von L(N) handelt, dass das
System also nur Sätze der natürlichen Sprache akzeptiert. Diese Annahme ist jedoch nicht realistisch. Für die
meisten sprachverarbeitenden Systeme stellt Übergenerierung ein ernstes Problem dar. Wenn die Systemgrammatik übergeneriert, akzeptiert das System auch Eingaben als korrekt, die nicht zu der jeweiligen natürlichen
Sprache gehören, also nicht in L(N) enthalten sind. In diesem Fall also L(N)−L(G)≠∅, L(G)−L(N)≠∅. Dieses
zusätzliche Problem soll hier jedoch nicht weiter behandelt werden, da es nicht direkt mit der Frage der Robustheit verbunden ist. [Ich danke Karel Oliva für diesen Hinweis.]
21
Es ist vielfach bezweifelt worden, ob dieses diese grundsätzliche Herangehensweise überhaupt geeignet ist,
um natürliche Sprachen adäquat zu beschreiben:
The formalisms in TL [Theoretical Linguistics] have been proposed, roughly speaking, for describing
rules of distinguishing grammatical word sequences from arbitrary ungrammatical sequences… [W]e
need a formalism for describing the rules of distinguishing the most feasible grammar structures from
other less feasible but still grammatical ones of the same sentences [Disambiguation]. (Tsujii 88, 452,
seine Hervorhebungen, meine Anmerkung)
[T]he main characteristic shared by all grammars is that they are prescriptive (or normative) in nature.
[…] This is in sharp contrast with the normal use of language, which has, as its main purpose, the
communication of something. (Lesmo und Torasso 84, 534 f.)
In Carbonell und Hayes 83 werden die Begriffe extragrammatisch und ungrammatisch ebenfalls deH
3 A
hier umfassen aber die extragrammatischen auch die akzeptablen, aber ungrammatischen Zeichenketten (der
„absteigend schraf~
> ( u
#
steigend stark schraf~ ^
@
> A
C > E
' A A ' 3 r G +
?
A
~ ' A C C >
nach Stedes De~
6 ^ A '
' ^ 9 C 9

> ^ ( ¡ +
3 ¢
3 L
^ ^ >
L ^ £
C ^ ¥¤ 3 ¦ ( &
S
§ nzepte behandeln.
22
37
Gerhard Fliedner
´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´
´ ´ ´ ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ ´ ´ ´ ´
´ ´ ´ ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ ´ ´ ´ ´
Ungrammatische
Zeichenketten
´ ´ ´ ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ ´ ´ ´ ´ Für Grammatikkorrektur
´ ´ ´ ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ ¶µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ ´ ´ ´ ´ interessante „Sätze“
Extragrammatische
Sätze bezüglich G
´ ´ ´ ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ µ´ ´ ´ ´ ´
´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´´
Abbildung 2: Extragrammatisch und ungrammatisch (Erklärung im Text)
L(N)−L(G) deZE~[ ^\ ] M_
` Mz A\ [ Abbildung 2 „absteigend“ schrafZC] M_ P` '| e ¢
¨ ~© P` _ p l _ p {
s b
s !p P` \ dq w x x C] A\ k
ª
` p j q «
i C] A\ [
Satz der natürlichen Sprache, der von dem betrachteten System nicht als grammatisch akzeptiert wird.23
Ein robustes natürlichsprachliches System ist im Rahmen dieser DeZEH[ 6\ P` (\ k
i b
[ C] A\
[ H¬ ® Mq ` ] b
s ¯ c rp q
auch dann, wenn es mit einer un- oder extragrammatischen (also nichtwohlgeformten) Zeichenkette bezüglich G konfrontiert wird,
• nicht vollständig scheitert, sondern
• ein sinnvolles Ergebnis oder zumindest
• sinnvolle Teilergebnisse für die Eingabe liefert, wobei
• die Qualität der Ergebnisse mit abnehmender Wohlgeformtheit der Eingabe ebenfalls graduell abnimmt (Menzel 95).
Besonders wichtig für die Benutzerakzeptanz ist es, dass für Eingaben aus N, also grammatische Sätze der natürlichen Sprache, möglichst keine fehlerhaften Ergebnisse auftreten.
In der DeZE~[ 6\ P` ^\ i [ ° i [ ²
± i ~n E
y Mq P` x ] 6\ ` wurde bisher zunächst das in einem natürlichsprachlichen System implementierte Sprachwissen nicht genauer differenziert. Bei der tatsächlichen Entwicklung eines solchen Systems muss selbstverständlich genauer unterschieden werden, welche
robusten Verfahren auf welcher Ebene der Verarbeitung eingesetzt werden sollen. Es sei hier
auf drei Arbeiten verwiesen, in denen versucht wird, extra- und ungrammatische Eingaben nach
der Verarbeitungsebene zu klassiZ@³ ^\ ] _ ] n. Die Arbeiten enthalten Beispiele und beschreiben
z. T. auch Ansätze bzw. Strategien zu ihrer Behandlung. Einen ausführlichen Überblick gibt der
allgemeine Teil in Carbonell und Hayes 8324. Weischedel und Ramshaw 87 gibt einige Hinwei-
23
Neben den Begriffen ungrammatisch (ungrammatical) und extragrammatisch (extragrammatical) werden in
der Literatur auch die synonymen Bezeichnungen „absolut nichtwohlgeformt“ (absolutely ill-formed) bzw.
„relativ (zu einer bestimmten Grammatik) nichtwohlgeformt“ (relatively ill-formed) verwendet, die auf
Weischedel und Sondheimer (83) zurückgehen.
24
Dieser Teil der Arbeit ist praktisch identisch mit Carbonell und Hayes 84.
38
3 Forschungsstand
se, welche Verarbeitungsebenen in robusten Systemen benötigt werden. Stede 92 schließlich
gibt eine kürzere allgemeine Zusammenfassung.
3.4.2 Breitenabdeckung
Die Literatur zur robusten Verarbeitung beschäftigt sich im Wesentlichen mit der Implementation von tatsächlichen Systemen. Der Schwerpunkt der behandelten problematischen Phänomene liegt daher i. A. auf der Breitenabdeckung der Systeme, nicht, wie in der theoretischen
Linguistik und Computerlinguistik, auf der Tiefenabdeckung. Bei der Systemimplementation ist
es wichtiger, eine große Zahl von theoretisch eher uninteressanten, meist leicht lösbaren Problemen zu behandeln, als einige wenige Phänomene vollständig abzudecken. Das weist auf eine
Diskrepanz zwischen Forschungsanstrengung und tatsächlicher Relevanz für natürlichsprachliche Systeme hin. Roesner merkt dazu an:
– There is often a mismatch between the problems dealt with extensively in a given linguistic theory and
their frequency of occurrence in real data.
– On the other hand the chosen linguistic theory of grammar may tell you only little or nothing about
phenomena that are predominant in your application… (Roesner 88, 450)
Das Beispiel der unbekannten Wörter zeigt dies deutlich: In den meisten Systemen ist es theoretisch uninteressant und technisch wenig aufwendig, dem Systemlexikon neue Wörter hinzuzufügen. Dennoch tritt dies Problem nach wie vor im Umgang mit natürlichsprachlichen Systemen mit am häuZElqP`][bz¡°lje1³e B. Rechtschreibkorrektursysteme).
HäuZElbjA\(]gP]_<[bpCjqib[p!`·_<j¥\^wx£q¸_pwx~jA\^wx]¬H®£qP`]sb]h¹]\¥[]hº#[pCj6®q]hg·_8¨O\A[Hlp!nk][¯Ham]\Aj\Ax~[][bcH\(]
Breitenabdeckung fehlt, nicht weil die Ausdrucksstärke des Formalismus nicht ausreicht oder
weil die Eingabe theoretisch problematische Phänomene enthielte. Die meisten der problematischen Phänomene ließen sich also einzeln theoretisch problemlos beschreiben, erst ihre große
Anzahl und die Kombination lässt sie zum Problem werden.
Chanod, Montemagni und Segond schreiben dazu:
Moreover, one may observe in corpora a massive range of phenomena which never or rarely crop up in
theoretical literature, such as postal addresses, money, dates, bibliographical citations, lists, etc. The
computational complexity induced by these numerous phenomena is commonly overlooked in NLP systems. To some extent, these phenomena may be described individually, but most of the computational
complexity results from the integration of all the speci,~R2C.>:R>7DVT14¥DA;!-C:SD6-34A;#0h:D6-9»~UA.¢T0!7P:<.7H¼ (Chanod,
Montemagni und Segond 94, 374)
Tomita geht sogar davon aus, dass für dieses Problem vielleicht keine Lösungen gefunden
werden können:
We can never anticipate and prepare for all of the uninteresting problems in advance. It seems as if
there will be always these problems no matter how carefully and how many times we test and debug the
system and the grammar. (Tomita 88, 453)
39
Gerhard Fliedner
Darüber hinaus ist angezweifelt worden, ob selbst die umfangreichste Grammatik für die Verarbeitung natürlicher Sprache wegen der ständigen Veränderung angemessen sein kann, da
Grammatiken statisch sind:
Even if it were possible to develop a totally watertight and comprehensive grammar (which has certainly not proved possible so far), the synchronic idealisation underlying all efforts to encode the
grammatical rules of a natural language implies that such a grammar would soon be rendered partially
obsolete. (Briscoe 93, 2 f.)
Menzel gibt sich allerdings in einer aktuellen Arbeit optimistisch, dass die Unterschiede zwischen den „Theoretikern“ und den „Praktikern“ nach und nach, vor allem durch die Kombination verschiedener neuerer Techniken überbrückt werden können (Menzel 2000).
3.4.3 Verschiedene Ansätze zur robusten Sprachverarbeitung
In der Literatur zur robusten syntaktischen Verarbeitung werden verschiedene grundlegende
Verfahren vorgestellt. Die wichtigsten Ansätze sollen in diesem Unterkapitel kurz vorgestellt
werden. Das folgende Unterkapitel beschreibt Systeme, die unter Verwendung der verschiedenen Verfahren entwickelt wurden.
Z [ c '] h
` q ^\ w
x A\ [ Stede 92. Stede beschreibt dort neEin guter Überblick über robuste Techniken E
ben verschiedenen existenten Systemen zusammenfassend auch fünf abstrakte allgemeine Strategien, um natürlichsprachliche Systeme robust zu machen (vgl. Stede 92, 409 f.). Soweit sich
die folgenden Ansätze einer der Strategien zuordnen lassen, wird dort auf sie verwiesen.
In diesem Überblick sollen schwerpunktmäßig robuste Verfahren auf dem syntaktischen Level
zur Verarbeitung geschriebener Sprache (Textdokumente, Benutzereingaben) aufgeführt werden, da im Rahmen dieser Arbeit ausschließlich morphosyntaktische Verfahren zur Korrektur
von Kongruenz- und Rektionsfehlern vorgestellt werden. Für einen Überblick über robuste
semantische Verarbeitung sei auf Worm 99 (insbesondere auch robuste Verarbeitung gesprochener Sprache), Menzel 95 und Stede 92 verwiesen.
• Grammatische UnterspeziZE¹ 'p P` ^\ ki [
In einfachen natürlichsprachlichen Systemen mit begrenzten Domänen kann es sinnvoll sein,
nicht alle grammatischen Wohlgeformtheitsbedingungen der Sprache in der Grammatik zu
kodieren. Das hat zur Folge, dass das System insgesamt „nachsichtiger“ wird: Sowohl extragrammatische als auch ungrammatische Konstruktionen werden akzeptiert, wenn sie einer
grammatischen Eingabe ähnlich genug sind. In größeren Domänen ist dieser Ansatz jedoch
problematisch, da die grammatischen Constraints natürlich zur Disambiguierung beitragen,
so dass mit zunehmender Komplexität der Domäne auch die Zahl der falschen Analysen
steigt. Die UnterspeziZ kation entspricht Stedes Strategie 1 (Do not encode all wellformedness constraints).
40
3 Forschungsstand
• Fehlerantizipation
Die sprachliche Abdeckung des Systems wird bei diesem Ansatz um Fehlerbeschreibungen
erweitert. Diese Beschreibungen (z. B. Regeln in kontextfreien Grammatiken) kodieren eine
fehlerhafte Konstruktion oder Sprachverwendung. Dadurch wird die Grammatik so erweitert, dass auch Eingaben geparst werden können, die bestimmte, bei der Entwicklung des
Systems absehbare Grammatikfehler enthalten. Die Fehlerregeln sind i. A. speziell gekennzeichnet, so dass Parses, die Grammatikfehler enthalten, von voll grammatischen Parses unterschieden werden können. Dieser Ansatz setzt Stedes Strategie 2 (Encode the illformedness into the grammar) um.
• Constraint Relaxation
Dieser Ansatz beruht darauf, dass bestimmte Constraints (Wohlgeformtheitsbedingungen)
im Rahmen des Systems nicht fest vorgegeben sind, sondern dass sie gelockert (relaxiert)
werden können. In diesen Systemen kann eine Eingabe, die von der Grammatik mit allen
Constraints („Kerngrammatik“) nicht akzeptiert werden könnte, dennoch geparst werden,
indem ein Constraint oder mehrere Constraints nicht angewendet werden. Auf diese Weise
kann eine adäquate Struktur gefunden werden. Dies entspricht Stedes Strategie 3a (Relax
well-formedness constraints when necessary).
• Parse Fitting
Dieser Ansatz kann bei Parsern verwendet werden, die Zwischenergebnisse aufbauen (z. B.
Bottomup- oder Inselparser). Wenn kein überspannendes Ergebnis gefunden werden kann,
versuchen zusätzliche Heuristiken, die Teilergebnisse zu einem überspannenden Ergebnis zu
verknüpfen.
• ModiZE¹ !p P` (\ ki b
[ c 1] 8
q
½ p 9_ q C] 9_ q
Neben den genannten Ansätzen, bei denen die Grammatik modiZ ziert wird, sind verschiedene Systeme implementiert worden, in denen der Parser selber durch zusätzliche Parsingpro` {
a A\ _ c He O
¨ A\ ¾
[ dq k
i (j w x ] S
_ ?
½ Cp 9_ q ] S
_ ° ] 9_ Pq ¿
y w rx O
` Cp j q
i [ !] k
n ]
[ c C] «
[ ~À ¬ ` Cp [ c p _ Hc ¸ _ ozeduren“
zeduren modiZ@³ ^\ ] M_ ?
(z. B. Shift, Reduce, Scan) auch erweiterte Prozeduren anzuwenden, die es erlauben, Teilparses ohne grammatische Regel zu verbinden. Beispielsweise könnte eine solche Prozedur
erlauben, ein „überÁ·EqLq<\Al]1qÂtvi_M`³y überlesen und den Parse so fortzusetzen.
• Wahrscheinlichkeitsbasierte Verfahren
Wahrscheinlichkeitsbasierte Verfahren ordnen einer Eingabe eine oder mehrere Ausgaben
mithilfe von aus Trainingskorpora ermittelten Wahrscheinlichkeiten zu. Dabei wird die
Wahrscheinlichkeit dieser Zuordnung ermittelt. Daher verfügen diese Verfahren über eine
Art „eingebauter Robustheit“: Auch für nicht vorhergesehene oder fehlerhafte Eingaben
wird die nach den Trainingsdaten wahrscheinlichste Struktur ermittelt. Auch für fehlerhafte
41
Gerhard Fliedner
Eingaben wird also ein eine Struktur ermittelt. Der einzige Unterschied ist, dass die Wahrscheinlichkeit der Zuordnung i. A. kleiner ist, wenn das System mit grammatisch korrekten
Daten trainiert wurde.
Dies entspricht genau der Forderung an eine robuste Sprachverarbeitung, dass sich die Ergebnisse auch bei nicht in der Kerngrammatik vorgesehenen Phänomenen nur graduell verschlechtern. Durch die implizite Natur des Sprachwissens können diese Systeme auf der anderen Seite jedoch i. A. ungrammatische Eingaben nicht zuverlässig von grammatischen abgrenzen.
• Partielles Parsen (Chunkparsen)
Auch partielles Parsen ist ein Ansatz zur robusten Verarbeitung. Hier werden nur die Teile
der Eingabe analysiert, für die diese Analyse mit hoher Wahrscheinlichkeit korrekte Ergebnisse liefert. Dies ist eine mögliche Anwendung von Stedes vierter Strategie (Represent only
those parts of the input that you understand). Das Kapitel 3.3.1 beschäftigt sich ausführlicher mit Chunkparsen.
• Einbeziehung von Semantik/Diskurs
Die Einbeziehung von Semantik und/oder Diskurs kann dabei helfen, syntaktische Analysen
robuster zu machen. Dabei werden mithilfe von Teilergebnissen aus der syntaktischen Analyse semantische und/oder Diskursrepräsentationen aufgebaut. Fehlende oder nicht zueinander passende Elemente können mithilfe dieser zusätzlichen Information ermittelt und korrigiert werden.
Die Unterscheidung zwischen einigen dieser Verfahren ist auf den ersten Blick nicht ganz offensichtlich und soll hier deshalb noch einmal aufgegriffen werden:
Bei der Fehlerantizipation wird die Grammatik um Fehlerregeln ergänzt. Im Gegensatz dazu
l ] A\ [ Ä
] m
a ] 6\ ` C] _ ¾
] ¢
¨ k
n ] [ Å
] A\ Æ
[ Hc ^\ Å
] l _ Cp s b
s !p P` \ dq w x ¾
] Ç eschreibung eingeführt. Es
wird beim ParseZ¿` P` A\ H[ Ã
handelt sich hier nicht um zusätzliche Grammatikregeln, sondern um Metaregeln, die nicht zur
eigentlichen Grammatik gehören. Wenn dagegen der Parser modiZE³ (\ ] M_ ` wird, liegt die Kontrolle bei der Analyse von extra- und ungrammatischen Eingaben nicht mehr bei der Grammatik,
sondern beim Parser.
3.4.4 Systeme
In diesem Kapitel sollen einige wichtige robuste Systeme kurz vorgestellt und den allgemeinen
Ansätzen im vorigen Kapitel zugeordnet werden.
42
3 Forschungsstand
• Grammatische UnterspeziZE¹ !p P` (\ ki [
Ein Beispiel für ein System, bei dem verschiedene grammatische Constraints unterspeziZ
ziert sind, ist das TICC-System (TrafÈ c Information Collator/Condenser, Allport 88). In
diesem System werden Verkehrsmeldungen, die aus verschiedenen Quellen (u. a. Polizeifunk) automatisch gesammelt werden und auf einem zentralen Rechner der Polizei von Sussex zusammenlaufen, ausgewertet. Das Ziel war es, automatisch Warnmeldungen für Autofahrer zur direkten Übertragung im Verkehrsfunk zu generieren. Da die Verkehrsmeldungen
meist in einer Art „Telegrammstil“ abgefasst sind, werden viele Constraints in der Grammatik gar nicht ausgedrückt, um auch eigentlich ungrammatischen Eingaben eine Struktur zuweisen zu können.
• Fehlerantizipation
Im folgenden Unterkapitel wird eine ganze Reihe von Grammatikkorrektursystemen mit
Fehlerantizipation vorgestellt, die für die Verwendung dieses Ansatzes typisch sind (vgl.
3.5.5 und 3.5.7).
• Constraint Relaxation
In Weischedel und Black 80 und Kwasny und Sondheimer 81 wird ein System präsentiert,
das Augmented Transition Networks (ATNs) zum Parsen verwendet. ATNs sind ein in den
Siebzigerjahren des 20. Jahrhunderts häuÉEÊËÌÍPÎbÌÏÐÌ!ÑÌÍSÒ#ÍÓÔÔmÓ!ÑPÕAÖ×PØÍ<ÔbÓÙAÕÚ<ÔÛEÚdÜ£ÐÌÍ?Õ¥Ô
Wesentlichen auf endlichen Automaten basiert, deren Kanten mit bestimmten Befehlen (z. B.
Setzen und Testen von Variablen, Stackverwaltung) gelabelt sind, die beim Traversieren der
Kante ausgeführt werden (vgl. Woods 70).
Die ATN-Grammatik wird im beschriebenen System so abgeändert, dass bestimmte, einzelnen Grammatikalitätsbedingungen entsprechende Tests (z. B. auf Kongruenz) als relaxierbar
gekennzeichnet werden. Für jeden solchen Test, der während des Parsens angewendet wird,
wird ein Backtrack-Punkt angelegt. Falls keine Analyse gefunden werden kann (d. h. der
Parser ÉEÏÐÌ!ÑÕAÏmÌÕAÏÌCÔuÝ?ÛEÚMÑÓÏÐmÖÌCÕAÏÌÏ{ÞÓrÚ9ÚdÌÏÐÌÏoßàkÌÍ<ÊÓÏ~ÊáÔmÌâHÍ<ãdÜàkÌÊÕAÏHÏ1ÑÌÕAÏä²ÓåÖHÑPÍdÓåÖÕAÏ~ÊÜ
bei dem nach und nach die verschiedenen relaxierbaren Constraints außer Kraft gesetzt
werden, bis eine Analyse gefunden wird.
In Weischedel und Sondheimer 83 wird diese Idee weiter verallgemeinert: Hier werden,
wenn keine Analyse gefunden werden kann, so genannte Metaregeln (Meta Rules) auf die
bisher gefundenen Teilergebnisse angewandt. Diese erlauben neben dem Relaxieren von
Constraints auch andere ModiÉE
Ö 'Ó PÑ ^Õ k
Ø Ï Ì b
Ï Ð Ì S
Í S
æ Ì AÕ (Ù Ì <Í Ê !Ì à HÏ Õ LÚ Ú HÌ Cç «
è 3Ó å â #
é rÏ m
Î Ì Ï rÐ Û HÏ ê
Ê Ð Ì 8
Í ²
ë Ì Ê Ì AÙ Ï
wird das Parsen fortgesetzt. Dieser Ansatz enthält also auch Elemente des Parse Fittings.
Neben den hier genannten Systemen werden in 3.5.6 und 3.5.7 Grammatikkorrektursysteme
vorgestellt, die Constraint Relaxation verwenden.
43
Gerhard Fliedner
• Parse Fitting
Parse Fitting wird im Grammatik- und Stilkorrektursystem Epistle/Critique (Jensen [u.a.]
83, vgl. auch 3.5.7.1) eingesetzt, um auch für Eingaben, für die der verwendete BottomupParser zunächst keine überspannende Analyse E
É Ï Ð !Ì Ñ E
Ü !Ó E
Û
Ú Ð Ì ì
Ï ¢
æ CÌ Õ lanalysen eine vollständige
Analyse zu ermitteln. Dazu werden wiederholt mithilfe von Heuristiken zwei „vielversprechende“ Teilanalysen ausgewählt, die dann miteinander verbunden werden. Die überspannende Analyse soll als Eingabe für ein nicht weiter beschriebenes Semantikmodul dienen.
Die Autoren führen verschiedene Beispiele an, bei denen auch für unvollständige Eingaben
und Eingaben mit besonders komplizierter Interpunktion überspannende Analysen gefunden
werden.25
• ModiÉEÖ 'Ó PÑ ^Õ kØ m
Ï Ð rÌ 8
Ú
í Ó 9Í dÚ Ì 9Í Ú
Eine grundlegende Arbeit in diesem Bereich stammt von Mellish (89). In dieser Arbeit wird
ein System vorgestellt, in dem für englischsprachige Eingaben ein Bottomup-Chartparser für
eine kontextfreie Grammatik zunächst die maximalen Konstituenten ermittelt. Falls die
Chart nach diesem Parse keine überspannende Kante enthält, wird ein zweiter Parse – diesmal top-down – gestartet, der versucht, die Kanten in der Chart weiter zu verbinden. Dabei
werden neben allgemeinen Topdown-Prozeduren auch Fehlerprozeduren verwendet. Eine
solche Fehlerprozedur hypothetisiert z. B. bei einem unbekannten Wort, dass dieses gerade
zu der von einer benachbarten Kante benötigten Kategorie gehört. Um die Suche nicht völÑ b
Î CÌ Í Ð Ì ð
Ï î ñ
Û (Ù rÓ 9Ú dÚ Ì Ï ò
Ü {
Î AÕ Í ó
Ð HÐ ^Õ Ì #
é Ê Ì Ï Ð ô
Ó Ð rÌ õ
Ú ¢
æ Ø Þ Ð HØ Î Ï -Parsers mit einer
lig inefÉE3î ^Õ Ì rÏ ï
Kostenfunktion sortiert, so dass Kanten, die weniger Fehler enthalten, als erste
vervollständigt werden.
Eine Erweiterung dieses Verfahrens wird in Min und Wilson 97 beschrieben. Hier wechseln
sich allerdings Bottomup- und Topdown-Parsen immer wieder ab, d. h. die Charteinträge
eines Parses werden im folgenden Parse wiederverwendet.
Ähnlich ist auch die in Erbach 93 zur Korrektur von Fehlern auf Wortebene vorgeschlagene
Ö 'Ó PÑ ^Õ k
Ø ö
Ï Ð 1Ì +
Ú ?
í CÓ 9Í Ú Ì LÍ Ú 8
Ü HÐ (Õ á
Ì 1Ì ÷
Ú Ì <Í ^Ù !Ó Û ~à Ñ &
Ü P× Ì ~â ^Ù Ì Ï Ð Ì @
Ü ø k
à Ì MÍ ù E
ø LÚ <Ú AÕ Ê Ì E
Ü P× ú Ù dÚ å Hâ AÙ (Õ å
â Ê !Ì PÑ Í Ì ~Ï rÏ Ñ Ì E
Ü P× ú Ù dÚ å hModiÉE
lich zusammengeschriebene und falsch geschriebene Wörter beim Chartparsen zu korrigieren.
In Kato 94 wird die Idee ebenfalls aufgegriffen. Hier wird die Agenda für das TopdownParsen jedoch so sortiert, dass sich eine A*-Suche (vgl. z. B. Russel und Norvig 95, 96 ff.)
25
Stede weist allerdings darauf hin, dass für diese Eingaben von der Grammatik ja gerade keine Struktur gefunden werden kann. Da durch Parse Fitting keine Struktur hinzugefügt werden kann, wird daher die endgültige Analyse i. A. über zu wenig Struktur verfügen wird, um für eine weitere Verarbeitung nützlich zu sein (vgl.
ntikschnittstelle bei Jensen
Stede 92, 391 f.). Dieser Punkt bleibt wegen der sehr vagen De~
û ü 6ý (þ Aý 'ÿ ü
[u.a.] weitgehend unklar.
44
3 Forschungsstand
ergibt. Da A*-Suche vollständig und optimal efÉEî ^Õ Ì 1Ï ÷
Ñ Õ MÚ Ñ ¡ Ë Ê Ù ç Russel und Norvig 95, 99f.
und die Literaturangaben dort), garantiert dies, dass der Parse mit den wenigsten Fehlern
optimal schnell gefunden wird.
• Wahrscheinlichkeitsbasierte Verfahren
Wahrscheinlichkeitsbasierte Verfahren werden seit einiger Zeit in vielen Bereichen der
Sprachverarbeitung (insbesondere Spracheingabe) eingesetzt, insbesondere aufgrund ihrer
Robustheit. Zu praktisch jeder Klasse von Grammatiken gibt es eine entsprechende prob abilistische Erweiterung, die z. B. die Wahrscheinlichkeit einzelner Regelanwendungen während des Parsingprozesses berücksichtigt (z. B. Stochastic Context-free Grammars, SCFG,
vgl. Lari und Young 90, Stochastic Lexicalized Tree Adjoining Grammars, SLTAG, vgl.
Resnik 92 oder Stochastic Lexicalized Context-free Grammars, SLCFG, vgl. Schabes und
Waters 94). Ihre Zahl ist daher zu groß, um hier mehr als nur einige wichtige Vertreter vorzustellen.
In Briscoe 93 werden mehrere Versuche beschrieben, in denen verschiedene probabilistische
kontextfreie Grammatiken (Probabilistic Context-free Grammars, PCFG) mit handgetagten
Korpora trainiert werden. Dabei werden gute Parsingergebnisse für Testeingaben erreicht,
die den Trainingskorpora ähneln.
PCFG werden auch in Schmid und Schulte im Walde 2000 verwendet, hier allerdings nicht
für vollständige Parses, sondern für teilweises Parsen (NP-Chunking, vgl. 3.3.1). In der Arbeit werden verschiedene Trainingsmethoden verglichen, insbesondere wird die Verwendung einer Lexikalisierung erörtert. Dabei wird CFG-Regeln neben einer Basiswahrscheinlichkeit zusätzlich die Wahrscheinlichkeit zugeordnet, dass sie mit einem bestimmten Wort
als Kopf erscheinen.
Brants’ Verfahren, bei dem kaskadierte Markov-Modelle zum Chunken verwendet werden,
wurde ebenfalls bereits in 3.3.1 erwähnt.
In allen Arbeiten wurden die Grammatiken nach einer Trainingsphase mit einem Testkorpus,
das dem Trainingskorpus ähnelte, überprüft. Dabei wurden i. A. gute Ergebnisse beobachtet
(Präzision und Recall jeweils deutlich über 75 %, z. T. sogar über 90 %). Auf Texten, die mit
dem Trainingskorpus weniger Ähnlichkeit haben, verschlechtert sich die Qualität der Ergebnisse jedoch i. A.
• Partielles Parsen (Chunkparsen)
Verschiedene Systeme zum Chunkparsen wurden bereits in Kapitel 3.3.1 vorgestellt. Diese
Systeme können, wie schon beschrieben, z. B. zur Generierung von Eingaben für Systeme
zur Message Extraction verwendet werden, wo nur ausreichend wahrscheinliche Analysen
als Grundlage weiterer Auswertungen verwendet werden.
45
Gerhard Fliedner
• Einbeziehung von Semantik/Diskurs
An der Carnegie Mellon University wurden in den Achtzigerjahren des vorigen Jahrhunderts
mehrere natürlichsprachliche Interfaces entwickelt, die alle Case Frames (Kasusrahmen) als
zentrales Element des Parsers verwenden. Das FlexP-System (Hayes und Mouradian 81)
wurde für das natürlichsprachliche Interface eines E-Mail-Systems entwickelt, CASPAR
(Carbonell und Hayes 83) für ein natürlichsprachliches Datenbankinterface, DYPAR (ebd.)
als Interface für ein Expertensystem und MULTIPAR (Minton, Hayes und Fain 85) als allgemeines natürlichsprachliches Programminterface.
Die Strategie bei der Verwendung von Case Frames in diesen Systemen sieht – stark vereinfacht – so aus: Das System identiÉE3î ^Õ Ì MÍ Ñ Ð rÓ Ú b
!Ó Û HÞ Ñ kË Ì MÍ à AÕ Ï Ð Ì Í + ¥Õ HÏ Ê !Ó kà ì
Ì Û Ï Ð Ë Ì rsucht dann,
den zugehörigen Case Frame mit dem verbleibenden syntaktischen Material zu füllen. Da
der Case Frame eine starke Erwartung bezüglich des Inhalt Inhalts der Eingabe aufbaut,
kann das System verschiedene Arten von extra- und ungrammatischen Eingaben verarbeiten. Beispielsweise können bestimmte fehlende Funktionswörter (z. B. englisch to bei der
Angabe des Goals bestimmter Verben) leicht ergänzt werden oder Schreibfehler, die zufällig
zu korrekten Wörtern führen, aufgrund semantischer Anomalien erkannt werden.
Ein anderes System, das vor allem durch die Einbeziehung von Semantik bzw. Weltwissen
auf unbekannten Zeitungstexten gute Ergebnisse bei der Informationsextraktion erzielt erzielt, ist das FRUMP-System (DeJong 82). Hier werden auf Schanks ConceptualDependency-Theorie (Schank 73) basierende Skripts verwendet, um semantische und auf
Weltwissen begründete Constraints für bestimmte Zeitungsmeldungen (z. B. Meldung über
ein Treffen zweier Organisationen) zu formulieren. Diese Skripts enthalten eine Menge von
Einzelereignissen, aus denen sich eine Meldung typischerweise zusammensetzt. Beim Analysieren einer neuen Meldung wird zunächst das passende Meldungsskript identiÉEî ^Õ Ì PÍ &
Ñ Û Ï Ð
dann schrittweise weiter instanziiert. Da die Instanziierung top-down erfolgt, können durch
detaillierte Erwartungen an das im Artikel Beschriebene auch ambige oder anaphorische
Strukturen korrekt analysiert werden, da nur zur bisherigen Analyse passende Analysen berücksichtigt werden.
3.5 Grammatikkorrektur
3.5.1 Grammatikkorrektur und Robustheit
Das Problem der Grammatikprüfung und -korrektur für natürliche Sprache wird im Rahmen
dieser Arbeit als Teilgebiet der robusten syntaktischen Verarbeitung aufgefasst.
46
3 Forschungsstand
Bei der Grammatikkorrektur geht es, wie allgemein bei der robusten syntaktischen Verarbeitung, darum, dass ein natürliche Sprache verarbeitendes System fehlerhafte Eingaben korrekt
verarbeitet oder wenigstens brauchbare Teilergebnisse liefert (vgl. 3.4.1).
Bei der Grammatikkorrektur ist „korrekt verarbeiten“ gerade dadurch deÉ@HÏ ^Õ Ì PÍ Ñ £
Ü Ð rÓ LÚ Ú Eingaben,
die Fehler enthalten, vom System markiert und korrigiert werden. Es gibt hier im Vergleich zu
anderen Anwendungen der robusten Sprachverarbeitung allerdings einen wichtigen Unterschied, der im Folgenden diskutiert werden soll.
Für andere Anwendungen der robusten Sprachverarbeitung ist es von untergeordneter Bedeutung, ob eine Eingabe grammatisch oder ungrammatisch bezüglich der natürlichen Sprache ist.
Solange die Anwendung brauchbare, annährend korrekte Ergebnisse liefert, ist es unwichtig,
ob es sich um eine extragrammatische oder ungrammatische Eingabe handelt. Im einen Fall ist
die Abdeckung der Systemgrammatik zu klein, im anderen Fall hat der Benutzer einen Eingabefehler gemacht, sich beispielsweise vertippt. Die Reaktion des Systems kann (und sollte) in
beiden Fällen gleich sein.26
Weischedel und Ramshaw verdeutlichen das am Beispiel von natürlichsprachlichen Schnittstellen zu Informationssystemen, bei denen relativ viele Benutzereingaben Fehler enthalten:
[A]ll natural language interfaces should be forgiving, doing what the user intends. In natural language
access to information systems, the magnitude of the ill-formedness problem can be seen in several case
studies; Thompson (1980) and Eastman and McLean (1981) indicate that as much as 25 % of typed queries to question-answering systems are ill-formed. (Weischedel und Ramshaw 87, 157)
Die Funktion einer Grammatikkorrektur besteht im Gegensatz dazu gerade darin, ungrammatische Eingaben zu erkennen, also zu prüfen, ob die Zeichenkette Element der Menge A*−L(N)
ist. Durch das sprachliche Wissen im System G wird aber nur L(G) deÉEHÏ ^Õ CÌ MÍ Ñ £
Ü CÌ AÕ Ï #
Ì S
æ Ì AÕ AÙ m
Ô Ì HÏ Ê Ì
von L(N). Daraus folgt, dass das System keine allgemeine Möglichkeit hat, für einen Satz, der
nicht von G akzeptiert wird, zu entscheiden, ob es sich um eine ungrammatischen oder einen
eine extragrammatische Zeichenkette handelt.
Dieser Unterschied ist zweifelsohne wichtig. Schwind 88 geht sogar so weit, in diesem Zusammenhang für ein Sprachlernsystem anzumerken:
[W]e are attempting to perform sensitive parsing [„empû ndliches Parsen“] rather than robust parsing.
This means that we aim to achieve a system which is very sensitive to all possible kinds of errors and
which moreover tries to
(Schwind 88, 608, meine Hervorhebung und Anmerkung)
"!#$% %#&'()(*%#(,+.-
26
In vielen Anwendungsbereichen ist es sogar erwünscht, dass auch eigentlich ungrammatische Eingaben
genau wie grammatische verarbeitet werden, insbesondere z. B. bei der Eingabe spontaner gesprochener Sprache, die eine Vielzahl von ungrammatischen Phänomenen enthält, vgl. z. B. Worm 99, Goeser 91
47
Gerhard Fliedner
Die in der Grammatikprüfung verwendeten Verfahren entsprechen jedoch denen in der robusten Sprachverarbeitung weitgehend, daher ist es trotz dieses Unterschieds sinnvoll, die Grammatikprüfung als Spezialdisziplin der robusten Verarbeitung aufzufassen.
Aus dem Gesagten lässt sich jedoch direkt ableiten, dass das allgemeine Problem der fehlenden
Abdeckung für Grammatikprüfsysteme eine besondere Relevanz bekommt: In keinem heutigen
Computersystem zur Verarbeitung natürlicher Sprache wird die gesamte jeweilige Sprache
abgedeckt. Daraus ergibt sich, dass die Menge der extragrammatischen Sätze L(N)−L(G) nicht
leer ist.
Auf der theoretischen Ebene bedeutet dies, dass man L(G) nur bedingt als Ausgangspunkt bei
/ 20 1 )3 51 64 80 67 ;9 =: >< 9 A? 5@ ;9 C: DB 7 ie vom Grammatikkorrektursystem gefunden und korrigiert werden
der De'
sollen, verwenden kann. Dieser Punkt wird in Rodríguez, Marín und Oliva 96 behandelt. Die
Diskussion wird in 3.6 aufgegriffen.
In der Praxis führt diese Diskrepanz zwischen der Grammatik der natürlichen Sprache und der
Systemgrammatik zu unbegründeten Fehlermeldungen. Dabei signalisiert das Grammatikkorrektursystem für vollständig grammatische Eingaben (bezogen auf die natürliche Sprache) einen Fehler (Präzisionsfehler). Diese Präzisionsfehler sind nach wie vor eines der größten Probleme bei Grammatikkorrektursystemen (vgl. auch 6.4.3).
3.5.2 Prüfung von kontrollierten Sprachen
In 3.5.1 wurde erläutert, dass extragrammatische Konstruktionen Probleme für Systeme zur
Verarbeitung natürlicher Sprache und insbesondere Grammatikkorrektursysteme darstellen.
Diese Probleme haben wesentlich zur Entwicklung und zum breiten Einsatz kontrollierter
Sprachen beigetragen. In diesem Unterkapitel sollen die Vorteile kontrollierter Sprachen dargestellt werden. Ein allgemeiner Überblick /'0E769 3GF.15H;?I1J0 Wojcik und Hoard 97. Ramírez,
Declerck und Sánchez[-]León 2000 führt zusätzliche Sprachen und Systeme auf.
Viele Unternehmen setzen insbesondere in der technischen Dokumentation kontrollierte Sprachen ein. Eine kontrollierte Sprache basiert auf einer natürlichen Sprache, ist jedoch in Bezug
auf Lexikon (Umfang und Wortbedeutung), Syntax und Stil eingeschränkt. Oft sind die Ein/ 20 51 ;9 ,: L3 NK $M O : H P
? A7 51 Q9 F S
9 TR J1 D0 CF ;H A? C: ;U A0 AV O 20 W ;9 X
0 F 64 J@ Y@ ;9 *: : 9 51 ;H Q? 3 [Z ;9 : 67 ;9 E0 B 67 Q\ LF ^F ] nschränkungen formal de'
klarheiten möglichst vermieden werden und nur bestimmte einfache Konstruktionen verwendet
werden. Da bei technischen Dokumenten Verständlichkeit und Eindeutigkeit im Mittelpunkt
stehen, nimmt man dafür einen monotonen und repetitiven, „dürren“ Stil in Kauf.
Für menschliche Leser soll dies den Vorteil erreichen, dass Dokumente klarer zu verstehen und
leichter zu übersetzen sind und dass sie auch für Nichtmuttersprachler wegen der einfachen,
eindeutigen Sprache leicht verständlich sind. Durch die starken Einschränkungen kann zusätz48
3 Forschungsstand
lich eine größere Konsistenz erreicht werden, da z. B. oft nur ein einziges Wort aus einer
Gruppe von Synonymen zugelassen ist. Besonders interessant sind kontrollierte Sprachen daher für multinationale Unternehmen, in denen Dokumente für Mitarbeiter mit verschiedenen
Muttersprachen zugänglich sein sollen.
Ein mindestens ebenso wichtiger Vorteil ist, dass kontrollierte Sprachen von natürlichsprachlichen Systemen sehr viel besser und ef`
/ _ 51 ;9 a0 .3 ;9 c
: db ;9 : ;\ ): e ;9 1 .3 #9 3 [Z ;9 : 67 ;9 I
0 V 6f A0 60 9 g
0 \ h@ i
F A0 51 ;H a? i
3 ;9 j1 A0 W eschränkte natürliche Sprachen. Der Grund dafür ist, dass der eingeschränkte Sprachumfang die
Zahl der extragrammatischen Problemfälle bei der Verarbeitung verkleinert. Im Extremfall
kann das sogar so weit gehen, dass der Umfang der kontrollierten Sprache auf eine Art ab/ A0 51 ;9 ): k3 h1 )F .3 =B A7 51 89 A7 51 89 A7 J1 C: ;9 AV .3 $9 ^] l CF 9 )3 ;_ O 20 S
W J1 i
0 9 J1 60 89 m d4 ol An 6O .3 ;9 *: 6W : ;\ ol 8l \ )3 J1 p
V ;9 *: 5@ #\ 6O Ae L3 DK .q i
0 A7 1 eschließend de`
sem Fall gibt es keine extragrammatischen Konstruktionen bezüglich dieser Grammatik mehr:
Eine Eingabe ist entweder grammatisch in der kontrollierten Sprache (und wird damit von der
Grammatik akzeptiert) oder sie ist ungrammatisch (und wird daher nicht akzeptiert). Für kontrollierte Sprachen gilt also im Idealfall tatsächlich das die Systemgrammatik mit der natürlichen Sprache übereinstimmt (d. h. L(G)=L(N)).
Die Regeln der kontrollierten Sprache können entweder positiv oder negativ formuliert werden: Einige kontrollierte Sprachen verwenden Regeln, die bestimmte Verwendungen ausschließen, andere listen in den Regeln sämtliche erlaubten Verwendungen auf. Oft wird auch
eine Mischung dieser beiden Arten verwendet.
Durch die Verwendung von auf die kontrollierte Sprache zugeschnittenen Systemen können
daher Dokumente oft ohne menschliche Hilfe fehlerfrei verarbeitet werden. Das ist besonders
nützlich für Anwendungen wie maschinelle Übersetzung, Informationsextraktion und Text
Retrieval.
Um sicherzustellen, dass die von Autoren verfassten Dokumente tatsächlich der Sprachde`
/ 0 ition voll entsprechen, setzen viele Firmen spezialisierte Grammatikprüfsysteme, so genannte
Controlled Language Checker ein (vgl. z. B. Bernth 97, Haller 96 und Adriaens 94). Diese Systeme sind i. A. so aufgebaut, dass sie neben Korrekturvorschlägen für allgemeine Rechtschreibund Grammatikfehler auch für Eingaben, die nicht der kontrollierten Sprache entsprechen,
Korrekturvorschläge machen. Diese Korrekturvorschläge können z. B. den Vorschlag eines
„erlaubten“ Synonyms für ein „verbotenes“ Wort oder allgemeine Anweisungen wie „Verwenden Sie Aktiv statt Passiv.“ enthalten. Das bedeutet, dass das System zwar ungrammatische
s vt 5u ht Aw s ;x y erkennt. Um sinnvolle Korrekturvorschläge machen zu können,
Eingaben per de6r muss aber auch hier Eingaben mit Fehlern eine (Teil-)Struktur zugeordnet werden.
In den in 3.5.5 bis 3.5.8 folgenden Beschreibungen von Grammatikkorrektursystemen sind
auch einige Systeme zum Controlled Language Checking aufgeführt. Da sie im Wesentlichen
49
Gerhard Fliedner
die gleichen Techniken verwenden, sind sie hier nicht gesondert aufgeführt. Es wird jedoch
jeweils auf die verwendete kontrollierte Sprache hingewiesen.
3.5.3 Techniken zur Grammatikprüfung
Die meisten Grammatikprüfsysteme verwenden eine von zwei Techniken, die im Rahmen der
robusten Sprachverarbeitung bereits vorgestellt wurden: Fehlerantizipation und Constraint
Relaxation.
Diese beiden Verfahren sollen hier noch einmal kurz aufgegriffen und vor dem Hintergrund der
Grammatikprüfung neu eingeordnet werden.
Fehlerantizipation bedeutet in diesem Zusammenhang, dass die vorhandene Systemgrammatik
um Fehlerregeln erweitert wird. Diese Fehlerregeln beschreiben jeweils eine bestimmte fehlerhafte Konstruktion im Rahmen des verwendeten Formalismus. Eine solche Fehlerregel könnte
also beispielsweise einen Artikel und ein Substantiv, die nicht kongruieren, zu einer Phrase
verbinden. Im Rahmen einer Grammatikprüfung werden solche Fehlerregeln mit einer Fehlerbeschreibung (ggf. auch mit einer Korrektur) verbunden, die nach einem erfolgreichen Parse
dem Benutzer angezeigt wird. Eine fehlerhafte Eingabe wird hier also genau so geparst wie
eine grammatische Eingabe, der einzige Unterschied ist das Vorhandensein eines Fehlermerkmals.
Je nach der gewünschten Abdeckung werden unter Umständen Grammatiken, die ausschließlich aus Fehlerregeln bestehen, verwendet: Wenn es zur sicheren Erkennung der Fehler nicht
notwendig erscheint, eine volle Analyse der Eingabe vorzunehmen, entfällt diese.
Ein Beispiel soll dies verdeutlichen: Abbildung 3 zeigt eine Fehlerregel aus einem Grammatikkorrektursystem mit Fehlerantizipation. Es handelt sich hierbei um eine Regel aus dem schwedischen Granska-System, die die Kongruenz zwischen dem Determiner und dem Nomen einer
Nominalphrase27 prüft (linke Seite der Regel) und ggf. korrigiert (rechte Seite der Regel). Das
Wissen über den Fehler ist „positiv“ kodiert: Die linke Seite der Regel beschreibt genau einen
speziN
/ F ;H E? ;9 $0 >< 9 A? 5@ ;9 z: K
Ein Verfahren, das von verschiedenen Systemen mit reinen Fehlergrammatiken eingesetzt wird,
ist die Verwendung einer Disambiguierung vor der eigentlichen Anwendung der Fehlerregeln.
Dabei wird zunächst eine morphologische Analyse vorgenommen. Für Eingaben, in denen ambige Wörter vorkommen, wird versucht, die Ambiguität auf einfache Weise aufzulösen. Dabei
kommen entweder spezielle Disambiguierungsgrammatiken oder probabilistische Verfahren
27
2{ *| } 5~ J | h D~ | v ; | a Q | ^ v J N| L| h 5~ J k '~ v J A ; B. hus: Haus,
a~5~J;~>#|v| n-
Im Schwedischen müssen Substantive besonders
huset: das Haus, daher wird in der Regel darauf geprüft, ob Genus, Numerus oder Spezi
stimmen.
50
3 Forschungsstand
cong22@incongruence {
WENN folgende Sequenz in der Eingabe
gefunden wird
X(wordcl=dt),
Determiner X
Y(wordcl=jj)*,
0-n Adjektiv(e) Y
Z(wordcl=nn ∧ (gender ≠ X.gender ∨ num ≠ X.num
∨ spec ≠ X.spec))
Substantiv Z, Genus, Numerus und/oder
Spezi
-->
DANN
mark(X Y Z)
markiere X, Y und Z
corr(X.form(gender:=Z.gender, num:=Z.num,
spec:=Z.spec))
Korrekturvorschlag: Gleiche den Determiner an das Substantiv an
info("The determiner" X.text "does not agree
with the noun" Z.text)
Gib eine Warnung aus
a~5~Eh~5J|j~Q©iz|v|J
}
Abbildung 3: Fehlerregel aus einem Grammatikkorrektursystem mit Fehlerantizipation
(Determiner-Nomen-Kongruenzfehler aus dem Granska-System, nach Carlberger [u.a.] (in
Vorbereitung), o. S.)
zum Einsatz. Wichtig ist hier, dass dabei keine Strukturen aufgebaut, sondern nur Analysen,
die sicher ausgeschlossen werden können, entfernt werden sollen. Dies ist i. A. einfacher und
robuster zu realisieren, da nur Teilstrukturen erkannt werden müssen.
Ein wichtiger, häu`d;,[;66#.;DC )h,A5 ¡6D));Ja¢;£o£8;#¤¦¥;§A5QC;J Karlsson
[u.a.] 95 beschriebenen Technik werden nach einer morphologischen Analyse zunächst durch
reguläre Ausdrücke erwünschte und nicht erwünschte Lesarten ermittelt und die nicht erwünschten gelöscht. Dabei können auch probabilistische Verfahren verwendet werden. Erst
danach wird ggf. noch eine syntaktische Analyse vorgenommen. Constraint Grammar wird im
Con-Text-System (3.5.5.3) und im Grammati¦
¨ -System (3.5.5.5) angewendet, ein ähnliches
Verfahren im Multilint-System (3.5.5.2). Ein rein statistisches Verfahren zur Disambiguierung
wird im Granska-System (3.5.5.6) angewendet.
Das Herangehen ist bei Constraint Relaxation unterschiedlich. Hier wird eine Grammatik der
natürlichen Sprache verwendet, in der bestimmte Constraints als relaxierbar gekennzeichnet
werden.
Auch hier soll ein Beispiel das Verfahren der Beschreibung verdeutlichen: Abbildung 4 zeigt
eine Grammatikregel mit relaxierbaren Constraints. Die Regel ist aus dem englischen System
Editor’s Assistant entnommen und beschreibt, wie eine Nominalphrase aus Determiner und
Nomen gebildet werden kann. Die Constraints (aufgrund des verwendeten PATR IIFormalismus auch die Kategorien der Phrasen) sind mit 1 bis 6 durchnummeriert. Constraint 4
wird erfüllt, wenn das Nomen nach dem Determiner a mit einem Konsonanten, nach an mit
51
Gerhard Fliedner
X0
→
1
〈X0 cat〉
= NP
Kategorie von X0 ist NP
2
〈X1 cat〉
= Det
Kategorie von X1 ist Det
3
〈X2 cat〉
= N
Kategorie von X2 ist N
4
〈X1 needs-vowel〉
5
〈X1 agr num〉 = 〈X2 agr num〉
Det-Numerus = N-Numerus (Vergleich)
6
〈X0 agr num〉 = 〈X2 agr num〉
NP-Numerus = N-Numerus (Perkolation)
Kombiniere X1 und X2 zu X0
X1 X2
= 〈X2 starts-w-vowel〉
Relaxation Level 0
an: needs-vowel=+; a: needs-vowel=-;
andere: needs-vowel=
Erster Parserdurchlauf
Notw. Constraints: {2, 3, 5, 4, 1, 6}
Relaxation Packages: {}
Keine Constraints relaxiert
Relaxation Level 1
Erster Parserdurchlauf ist gescheitert,
Eingabe enthält einen Fehler. Daher
Constraint Relaxation erlauben
Notwendige Constraints: {2, 3, 1}
Nur die Wortarten müssen stimmen
Relaxation Packages:
Folgende Constraints sind relaxierbar
(a) {5, 6} Determiner/Nomen: Numerusfehler
Numeruskongruenz
(b) {4} a/an-Fehler
a/an-Fehler
Abbildung 4: Grammatikregel mit relaxierbaren Constraints
(Determiner-Nomen-Kongruenzfehler aus dem „Editor’s Assistant“-System, nach Douglas und
Dale 92, 471, 473)
einem Vokal beginnt. Constraint 5 prüft die Numeruskongruenz zwischen Determiner und
5 , . ; A 'ª ^« ¬ 8£ ; ) '¬ , [ ; , 6 Q ' « omens zur Mutter.
Nomen, Constraint 6 perkoliert den (uni'
Diese Regel könnte so in einem beliebigen natürlichsprachlichen System verwendet werden.
Erst der zweite Teil, der die Constraint Relaxation beschreibt, ermöglicht eigentlich den Einsatz zur Grammatikprüfung. Dazu werden zwei Relaxations-Level beschrieben. Im Level 0
(keine Relaxation) müssen alle Constraints erfüllt sein (die Reihenfolge der Constraints ent 5 ntesten Auswertungsreihenfolge). Falls die Analyse auf Level 0 scheitert,
spricht der ef'
wird erneut geparst. In diesem Level 1 können Constraint 5 und 6 oder Constraint 4 relaxiert
werden, d. h. falls eines der Constraints nicht erfüllt werden kann, wird das Parsen trotzdem
fortgesetzt. Allerdings wird die Stelle, an der das Constraint gescheitert ist (also relaxiert werden musste) in eine Fehlerliste aufgenommen.
Die Grammatikregel ist also zunächst allgemein formuliert, erst das zusätzliche Wissen über die
relaxierbaren Constraints erlaubt die Verarbeitung von fehlerhaften Eingaben. Das Wissen über
die Fehler ist hier „negativ“ formuliert: Wenn bestimmte Constraints nicht erfüllt sind, geht das
System davon aus, dass genau eine Verletzung dieses Constraints vorliegt und damit der zuge52
3 Forschungsstand
hörige Fehler vorliegt. Statt auf Gleichheit mit dem Fehlermuster (wie bei der Fehlerantizipation) wird also auf die Abweichung von der fehlerfreien Regelanwendung getestet.
Von den anderen syntaktischen für robuste Systeme beschriebenen Ansätzen bietet sich der
Ansatz der syntaktischen Unterspezi'
) 5 6¡ i
6¡ v® )® nsichtlich nicht zur Grammatikprüfung an, da
hier Grammatikfehler ja, wie beschrieben, nicht ignoriert, sondern gerade gefunden werden
sollen. Parse Fitting wird zwar z. B. im Critique-System verwendet, um das System zusätzlich
robuster zu machen (vgl. 3.5.7.1), stellt aber alleine keine geeignete Lösung dar.
Eine Modi'
) ¯ d¡ P
6 Q ^ ° ; L ; ± 8 6² A a . G
; 8 ³ h® ´ µ ; j 6 ¶
·¢ C ; ^£ 8£ ) j 6 d¡ * C ; A v ¬ grundsätzlich verwendet werden. Allerdings würde damit das linguistische Wissen über Fehler an der falschen
Stelle kodiert (nämlich im Parser, nicht in der Grammatik). Ein solches Verfahren dürfte sich
i. A. als zu un>
¸ # 6¨ d¹ ; º ; , [ ; h C ; ¦ ¤
Statistische Ansätze sind meines Wissens bisher nicht zur Grammatikprüfung verwendet worden. Die Menge der als Trainingskorpora benötigten Daten wäre hier außerordentlich groß.
Wenn man eine Kongruenzprüfung auf Basis statistischer Verfahren realisieren wollte, müssten
zunächst die entsprechenden Kongruenzmerkmale zuverlässig erkannt werden. Schmid und
Schulte im Walde verwenden in ihrem probabilistischen Chunker für das Deutsche auch eine
Kasuserkennung, merken aber dazu an:
As the evaluation results show, the distinction between the cases [Kasus] could be learned in general,
but morphological similarity and in addition the relatively free word order in German impose high demands on the necessary probability model. (Schmid und Schulte im Walde 2000, o. S., meine Anmerkung)
6 6 ; 6¡ $ o» d¡ 2 6 , ¼¬ ; 2 )® hlern die
Daher ist anzunehmen, dass für das ungleich schwierigere Auf'
benötigte Datenmenge nicht mehr zu handhaben wäre. Auf der anderen Seite wird in Brants,
Skut und Krenn 97 ein System vorgestellt, das mithilfe von kaskadierten Markov-Modellen
partielles Parsen erlaubt und dabei den Phrasen syntaktische Funktionen (Subjekt, direktes Objekt) zuweist und hierfür eine durchschnittliche Korrektheit von über 90 % erreicht. Da die
syntaktischen Funktionen im Wesentlichen mit den Kasus korrespondieren, lässt dieses Ergebnis erwarten, dass sich hier evtl. mit verfeinerten Methoden eine Genauigkeit erreichen ließe,
die eine Verwendung in der Grammatikprüfung möglich macht. Allerdings ist schwer abzuschätzen, ob ein solches Verfahren die gesamte Komplexität der Deklination innerhalb der
deutschen Nominalphrase zufrieden stellend beschreiben kann (vgl. auch 2.2).
3.5.4 Kommerzielle Systeme
Leider war zu kommerziell erhältlichen und z. T. weit verbreiteten Grammatikkorrektursystemen nur wenig zu erfahren. In Chandler 89 `66 .5½;¾J³»¬*;*6º¯;5½;¾¿6;;26ºJh½¾6;µÀ^ rsi-
53
Gerhard Fliedner
onen der zu Ende der Achtzigerjahre aktuellen Programme Correct Grammar, Critique (ausführlicher beschrieben unter 3.5.7.1) und Grammatik.
In Textverarbeitungsprogrammen (insb. Microsoft Word und Corel WordPerfect) waren ab
den Neunzigerjahren zwei Systeme integriert, die inzwischen beide von der belgischen Firma
Lernout&Hauspie vertrieben werden: CorrecText und Grammatik
CorrecText wurde zunächst von Houghton Mif'
¸ J [ ; Q v o 5 ;½ ; Áº N .Â 6 Q § A¡ ¹ ; 8 , 8 Ã A¾ Q . 6¡ * #½
Grammar verwendete übrigens die CorrecText-Engine28) und war seit Anfang der 90er Jahre in
der Textverarbeitung Word integriert. Das System wurde von Houghton Mif'
¸ J 6Ä 6Å J -off IN29
SO übernommen. Die Sprachtechnologieabteilung von INSO wurde dann wiederum 1998
von Lernout&Hauspie übernommen.30
Grammatik wurde von Reference Software entwickelt und zunächst als Bestandteil der Textverarbeitung WordPerfect verkauft. 1993 übernahm WordPerfect Reference Software. 31
WordPerfect selber ging zwischenzeitlich an Novell und schließlich an Corel.32 Von Novell hat
wiederum Lernout&Hauspie 1998 den Sprachtechnologiebereich übernommen.30 Inzwischen
wird Grammatik zusammen mit WordPerfect und Word vertrieben.
Leider hat Lernout&Hauspie trotz eines persönlichen Kontakts in der für Grammatikkorrektur
zuständigen Abteilung innerhalb mehrerer Monate meine Anfragen zu den Systemen nicht beantwortet, so dass die Systeme nicht in die Beschreibung existenter Systeme aufgenommen
werden konnten. Die aktuelle deutsche Version von Grammatik wurde allerdings zu einem
Vergleichstest mit dem beschriebenen System herangezogen (vgl. 6.6).
3.5.5 Systeme mit Fehlerantizipation
In diesem Unterkapitel werden einige wichtige Systeme zur Grammatikprüfung vorgestellt, die
Fehlerantizipation zur Erkennung von Grammatikfehlern verwenden.
28
Produktinformation der Multilingual Information Society. Im Internet:
http://158.169.50.95:10080/mlis/en/direct/products/0629-13.html, 2. April 2001
29
Seybold Report on Publishing Systems, Vol. 25, No. 20. Im Internet:
http://www.seyboldseminars.com/seybold_report/reports/P252007.HTM, 2. April 2001
30
Pressemitteilung von Lernout&Hauspie vom 31. März 1998, im Internet:
http://www.lhsl.com/news/releases/19980331_NovellAndInso.asp, 2. April 2001
31
Language Industry Monitor
grammatik.html, 2. April 2001
März/April
1993.
32
Im
Internet:
http://www.lim.nl/monitor/wp-
PC Magazine online vom 26.6.1996. Im Internet: http://www.zdnet.com/pcmag/issues/1506/pcmg0013.htm,
2. April 2001
54
3 Forschungsstand
3.5.5.1 FLAG
Systemname:
FLAG (Flexible Language and Grammar Checking)
Entwickler:
Andrew Bredenkamp, Berthold Crysmann, Mirela Petrea
Organisation:
Deutsches Forschungszentrum für Künstliche Intelligenz (DFKI), Saarbrücken
Entwicklungszeit:
1997–2000
Sprache:
Deutsch
Bei FLAG handelt es sich um ein Framework zur Sprach- und Grammatikprüfung. Das System
ist in Bredenkamp, Crysmann und Petrea 2000 angegeben. In dem Artikel sind Fehlerbeschreibungen für das Deutsche beschrieben, die vor allem zu Testzwecken in das System integriert
wurden.33
Als linguistische Ressourcen stehen in diesem System zurzeit eine Morphologie, ein probabilistischer Wortart-Tagger, ein statistischer Chunkparser und ein ¸ acher topologischer Parser
für das Deutsche zur Verfügung. Das System bietet die Möglichkeit, über den Ergebnissen
dieser Komponenten, die in Featurestrukturen zusammengefasst werden, einheitliche Fehlerbeschreibungen zu formulieren. Zur Beschreibung von Fehlern stehen Verfahren zum Patternmatching zur Verfügung, die zusätzlich Constraints zur einfachen Beschreibung von Beziehungen
in Bäumen verwenden können (z. B. Dominanz).
Fehlerregeln sind in Trigger-Regeln und Regeln mit positiver und negativer Evidenz unterteilt:
Wenn eine Trigger-Regel matcht und die Summe der positiven und negativen Evidenz der zugehörigen matchenden Regeln eine bestimmte Schwelle überschreitet, wird ein Fehler angezeigt. Die Triggerregeln verwenden i. A. zunächst nur die Ergebnisse besonders schneller Teilkomponenten, erst die Evidenzregeln fordern zusätzliche Analysen an. Dadurch müssen für
viele Eingaben nicht alle Analysen durchgeführt werden.
3.5.5.2 Grammatikkorrekturkomponente des Multilint-Systems
Systemname:
Multilint
Entwickler:
Michael Carl, Ursula Reuther, Antje Schmidt-Wigger
Organisation:
Institut des der Gesellschaft für angewandte Informationsforschung (IAI),
Saarbrücken
Entwicklungszeit:
1996–1999
Sprache:
Kontrolliertes Deutsch (Pease [u.a.] 2000)
33
In Laufe der letzten Monate ist eine umfangreiche Grammatik mit mehreren hundert Fehlerregeln implementiert worden. Zu dieser Fehlergrammatik liegt allerdings bisher noch keine Beschreibung vor. (Persönliche
Information von Melanie Siegel, März 2001)
55
Gerhard Fliedner
Beim Multilint-System handelt es sich um eine integrierte Arbeitsumgebung zur Erstellung
mehrsprachiger technischer Dokumentationen. In dieser Umgebung sollen neben Übersetzungshilfen (u. a. Übersetzungsdatenbank) auch verschiedene Korrekturhilfen kombiniert werden (u. a. Rechtschreib-, Grammatik- und Stilprüfung).
Die Grammatik- und Stilkorrektur basiert auf Fehlermustern (reguläre Ausdrücke mit einigen
Erweiterungen), die über dem Ergebnis einer morphologischen Analyse für das Deutsche gematcht werden (Carl und Schmidt-Wigger 98). Ein Teil der Regeln dient zur Disambiguierung
mehrdeutiger Formen, der andere Teil zur eigentlichen Erkennung von Fehlern.
Mithilfe dieser Fehlermuster können u. a. bestimmte Fälle von Kongruenz- und Zeichensetzungsfehlern sowie Fehler bei der Groß- und Kleinschreibung behandelt werden. Auf der Stilebene wird der Benutzer insbesondere vor zu kompl exen Konstruktionen gewarnt.
3.5.5.3 Con-Text
Systemname:
Con-Text
Entwickler:
Thierry Declerck, Flora Ramírez Bustamente, Fernando Sánchez[-]León
Organisationen:
Universidad Autónoma de Madrid und Deutsches Forschungszentrum für
Künstliche Intelligenz (DFKI), Saarbrücken
Entwicklungszeit: 1997–1999
Sprache:
Spanisch
Con-Text wurde als Bestandteil einer ¸>½¾6;GÀo¡6,;C;,¹v¬A¶®h´6#v´*ºJ5½;¾*Å6½;¾AºJ¯½;¾6GÄAÆ, eme entwickelt. Es erkennt und korrigiert einige eindeutige Fehler. Damit soll eine verbesserte
Erkennungsrate der folgenden Verarbeitungsstufe erreicht werden: Eigentlich unwesentliche
Fehler, die zu einem Scheitern des folgenden tiefen Parsings führen würden, können so korrigiert werden. Das System soll insbesondere als Vorverarbeitungsstufe zu GramCheck, einem
Grammatikkorrektursystem mit tiefer syntaktischer Verarbeitung, verwendet werden (vgl.
3.5.6.1). Con-Text ist in Sánchez-León, Ramírez und Declerck 99 beschrieben.
Das System verwendet eine einfache morphologische Analyse, deren Ergebnisse mithilfe einer
Constraint Grammar (Karlsson [u.a.] 95) disambiguiert werden. Über den disambiguierten Ergebnissen wird ein Pattern-Matching angewendet, das anhand von Wörtern und Wortarten
versucht, Fehlermuster zu '66;¼¤ÈÇ^¯¡6£ÉÄAÆ,.£Ê;*AQ.ÌË> hler umfassen Kongruenz-,
lexikalische Fehler (insb. fehlende Akzente, z. B. el [Artikel] statt él [Pronomen]) und
bestimmte Valenzfehler (falsche Präpositionen nach bestimmten Verben).
3.5.5.4 Scarrie (Schwedisch)
Systemname:
Scarrie (Schwedisch)
56
3 Forschungsstand
Entwickler:
Anna Sågvall Hein
Organisation:
Uppsalas Universitet
Sprache:
Schwedisch
Für die drei skandinavischen Sprachen wurden in einer Kooperation verschiedener Universitäten und Firmen in den späten Neunzigerjahren des 20. Jahrhunderts für jede der Sprachen ein
Rechtschreib- und Grammatikkorrektursysteme entwickelt (Povlsen, Sågvall Hein und de
Smedt 99).
Dazu wurden auf Basis von umfangreichen Korpusuntersuchungen (im Wesentlichen Texte
von am Projekt beteiligten Zeitungsverlagen) zunächst typische Fehler der jeweiligen Sprachen
ermittelt.
Mithilfe dieser Fehlerkorpora wurde für das schwedische System eine Fehlergrammatik entworfen. Das System behandelt eine Reihe von Grammatikfehlern, u. a. Kongruenz-, Wortstellungs-, Valenz- und Zeichensetzungsfehler. Zum Parsen wird der Uppsala Chart Parser (UCP,
Sågvall Hein 87) verwendet, ein auf Featurestrukturen basierender Bottomup-Parser mit prozeduralen Grammatikregeln. Mit diesen Regeln ähnelt der Grammatikformalismus einer Programmiersprache, in der Grammatikregeln als Prozeduren implementiert werden, die sich gegenseitig aufrufen.
In diesem Framework werden Fehlerregeln verwendet, um fehlerhafte Eingaben zu analysieren.
Solche Fehlerregeln fügen in die grammatische Repräsentation Fehlerbeschreibungen ein, die
von anderen Grammatikregeln perkoliert werden. Eine spezielle Systemkomponente sammelt
die Fehlermeldungen am Ende des Parses auf. Es muss dabei keine überspannende Analyse
gefunden werden. (Sågvall Hein 99)
3.5.5.5 GrammatiÍÏÎ
Systemname:
¨
Grammati¦
Entwickler:
Antti Arppe, Juhani Birn
Organisation:
Lingsoft, Helsinki
Entwicklungszeit: –1999
Sprache:
Schwedisch
p
¨ Q v o 5 ;½ ; º . >Ñ ; J
6¡ ^£ 8£ ; . 5 ; Jº ¯º ; Y ·¢ mmaBei der 'A2h½;¾E;Ë'J.£8$Ð§JA¦C¡d®h§$¬C6³¢;£o£ ati¦
tikchecker für Schwedisch, der inzwischen als Bestandteil der schwedischen Version von
Microsoft Word 2000 vertrieben wird (Arppe 99).
In Birn 99 ist die verwendete Technik kurz beschrieben: Das System analysiert Eingaben zunächst morphologisch. Danach wird eine Constraint-Grammatik zur Disambiguierung der Ana57
Gerhard Fliedner
lysen verwendet (vgl. Karlsson [u.a.] 95). Auf Basis der disambiguierten morphologischen Analyse versucht das System dann, Fehlerpattern zu matchen. Diese Pattern Patterns enthalten
Kontextbedingungen, unter denen sie matchen. Durch diese Kontextbedingungen werden im
Wesentlichen Präzisionsfehler ausgeschlossen, indem der Kontext eingeschränkt wird, in dem
die Regel angewendet werden darf.
3.5.5.6 Granska
Systemname:
Granska
Entwickler:
Johan Carlberger, Rickard Domeij, Viggo Kann, Ola Knutsson
Organisation:
Kungliga Tekniska Högskolan, Stockholm
Sprache:
Schwedisch
Dieses System erkennt und korrigiert bestimmte Grammatikfehler im Schwedischen (Kongruenzfehler, fehlerhafte Getrenntschreibung von Zusammensetzungen, Fehler in Verbclustern). Dazu ermittelt zunächst ein Tagger auf Basis von Hidden-Markov-Modellen für die
Worte der Eingabe die im Kontext wahrscheinlichste Wortart und Kongruenzinformation. Über dem Ergebnis dieser Disambiguierung versucht das System dann, ca. 250 Fehlerregeln zu
matchen. Die Fehlerregeln sind zweigeteilt: Der linke Teil besteht aus einem regulären Ausdruck, der gegen die Wortart- und Kongruenzinformation matchen muss, der rechte Teil aus
der Beschreibung von Aktionen, die für matchende Regeln ausgeführt werden. Diese enthalten
z. B. Hilfetexte und Korrekturvorschläge. Diese Regeln können verschachtelt werden, d. h. das
eine Regel andere Regeln aufrufen kann. Ein Beispiel für eine solche Fehlerregel zeigt
Abbildung 3 (S. 51).
Die Regeln werden von einem Hilfsprogramm aufgrund der Informationen aus dem Tagger
automatisch so indexiert, dass nur Regeln, die zur Eingabe passen können, überhaupt gematcht
werden. Darüber hinaus beginnt der Match-Prozess immer zunächst mit der global unwahrscheinlichsten in der Regel beschriebenen Kombination von Wörtern, so dass die Untersuchung
nicht passender Regeln i. A. frühzeitig abgebrochen werden kann. Das beschleunigt den ohnehin schnellen Prozess des Pattern Matching weiter, so dass das System durchschnittlich 3 500
Wörter pro Sekunde verarbeitet (SUN Sparc Ultra 5). (Carlberger [u.a.] (in Vorbereitung))
3.5.5.7 Das Grammatikkorrektursystem der Universität Göteborg
Systemname:
—
Entwickler:
Robert Anderson, Robin Cooper, Sylvana Sofkova Hashemi
Organisation:
Göteborgs Universitet
58
3 Forschungsstand
Sprache:
Schwedisch
Das an der Universität Göteborg entwickelte Grammatikprüfsystem erkennt Fehler in schwedischen Texten, insbesondere Kongruenz-, Verbcluster- und Wortstellungsfehler. Es verwendet
dazu reguläre Ausdrücke als Fehlergrammatik, also ausschließlich eine Beschreibung ungrammatischer Eingaben. Diese wird automatisch aus zwei Grammatiken erzeugt: einer „breiten“
Grammatik, die nur wenige Constraints enthält und einer zweiten „exakten“ Grammatik, die
alle Constraints enthält. Da bei der Subtraktion von regulären Ausdrücken wieder reguläre
Ausdrücke entstehen (vgl. Karttunen [u.a.] 96), kann man aus diesen Grammatiken einfach
durch Subtraktion eine Fehlergrammatik erzeugen, die genau alle Eingaben akzeptiert, die von
der „breiten“ Grammatik, aber nicht von der „exakten“ Grammatik akzeptiert würden. Dabei
handelt es sich dann um Eingaben, die einen Grammatikfehler enthalten. ( Sofkova 2000)
3.5.5.8 WinVirkku
Systemname:
WinVirkku
Entwickler:
Esa Koskinen, Jukka-Pekka Juntunen
Organisation:
Kielikone, Helsinki
Sprache:
Finnisch
WinVirkku ist ein System, das Fehler in '
A 2 h ;½ E¾ ; p
ÈÒ 2¨ . ; p
ÔÂ Ó ;½ Q¾ C ;½ A¾ C ; A¹ ¬ 2 ÏÑ TÕ ; 5 ;½ E¾ ; D C tzung,
fehlerhafte Komposition, Rektion) 'E6 ¬6G6¤ T. korrigiert. Dazu wird der Text morphologisch analysiert und mithilfe einer Constraint Grammar geparst und disambiguiert. Dabei wird
eine Dependenzgrammatik verwendet. Über dem Ergebnis der Analyse werden Fehlerregeln
verwendet, um die beschriebenen Fehler zu '66¦¤Â,ºJº5Ö*A®)¡6*£8 )¯¡d¿ ¬';j6;kÅ rsönlichen EMail von Jukka-Pekka Juntunen vom 29. Januar 2001)
3.5.6 Systeme mit Constraint Relaxation
3.5.6.1 The Editor’s Assistant
Systemname:
The Editor’s Assistant
Entwickler:
Robert Dale, Shona Douglas
Organisation:
University of Edinburgh
Sprache:
Englisch
59
Gerhard Fliedner
Das System Editor’s Assistant wurde an der Universität Edinburgh Anfang der Neunzigerjahre
des vorigen Jahrhunderts entwickelt. Es sollte Lektoren helfen, Textmanuskripte zu korrigieren
und an Regeln de'
2 5 ; , d¹ ; Ø [× '¬ ± C ;½ A¾ A¹ [ ; h C ; 8 ; 2 ; ¬ Å Q ± C ; 8 Â Douglas und Dale 92).
Die verwendete uni`
) 5 6¡ D , d¹ Q * ¯ ; , . ¢ ; ^£ 8£ # ) J 8 h , > J g
£ >° =Ò Ó -Format geschrieben (vgl. Shieber
86). In diesem Formalismus besteht eine Grammatikregel aus einem kontextfreien Teil und
einer Liste von Constraintgleichungen. Diese Constraintgleichungen bestimmen entweder die
atomaren Werte einzelner Features oder geben Pfadgleichungen an (das entspricht Koreferenz
in anderen uni'
) ¯ d¡ , ¹ a ierten Formalismen).
Douglas und Dale nummerieren in einem ersten Schritt diese Constraintgleichungen. Dann
werden zusammengehörige Constraints zu Constraint Packages zusammengefasst (z. B. zwei
Constraints, um Kongruenz zwischen Schwestern durch Uni'
# ) 5 d¡ o ; µ¬ 6Å , ´ )® ; $ ¬ E ³ 6 A ^ ; ¬
Mutter zu perkolieren). Diese Packages werden dann Relaxation Levels zugewiesen. Der Parser ist so modi ziert, dass Eingaben, für die keine Analyse gefunden werden kann, mehrfach
geparst werden. Die Relaxation Levels entsprechen dabei der Nummer des Parses, in dem sie
zuerst nicht angewendet (=relaxiert) werden dürfen. Dazu werden in jedem Parse für die Regel
zuerst die in diesem Parse obligatorischen Constraints angewandt. Wenn sie alle erfolgreich
sind, werden nacheinander die Relaxation Packages getestet. Packages, bei denen mindestens
ein Constraint fehlschlägt, werden in einer Liste von Fehlerconstraints gesammelt, mit deren
Hilfe nach Ende des Parses Fehlermeldungen generiert werden können. Ein Beispiel für eine
solche Grammatikregel mit zwei Relaxation Packages zeigt Abbildung 4 (S. 52).
3.5.6.2 LaTeSlav
Systemname:
LaTeSlav (Language Processing Technologies for Slavic Languages)
Entwickler:
Rafael Marín Gálvez, Karel Oliva, Yolanda Rodríguez Sellés
Organisationen:
Universität des Saarlandes, Universidad Autónoma de Barcelona
Sprache:
Bulgarisch, Tschechisch
Im Rahmen des LaTeSlav-Projekts wurde je ein Prototyp eines Grammatikprüfsystems für das
Bulgarische und Tschechische entwickelt. Die behandelten Fehler umfassen Kongruenz-, Valenz-, Wortstellungs- und Zeichensetzungsfehler. Beide basieren auf HPSG-basierten Grammatiken (Oliva 97). Constraints werden als externe Funktionen implementiert, die als Parameter
Werte aus den Grammatikregeln (z. B. die Kongruenzmerkmale zweier Schwestern) akzeptieren und im Falle von Fehlern entsprechende Werte für Fehlerattribute setzen, die bis zum Toplevel weitergereicht werden.
Interessant ist dabei, dass auch strukturelle Constraints (Wortstellung, (Nicht-)Vorhandensein
bestimmter Wörter, z. B. Artikel) auf diese Weise ausgedrückt werden. Dazu werden Wortstel60
3 Forschungsstand
lungsfeatures verwendet (z. B. Artikel: ∅), die genau wie andere Constraints relaxiert werden
können. (Rodríguez, Marín und Oliva 96)
3.5.6.3 JD II
Systemname:
JD II (James Dean the Second)
Entwickler:
Andrea Bolioli, Luca Dini, Giovanni Malnati
Organisation:
Dima Logic, Torino
Entwicklungszeit: 1992
Sprache:
Italienisch
JD II erkennt Rechtschreib-, Kongruenz-, Tempus- und Wortstellungsfehler. Das System ver ) 5 6¡ D , d¹ Q * ¯ ; , . 8 ·¢ C ; ^£ 8£ ) j S
^£ Á ; j 6 ; Ù
£ * Å 5 ; Jº ¯º ; ° ; ± . Dieser Parser erlaubt
wendet eine uni`
zu jeder Regel die Spezi'
) 5 6¡ Ú
6¡ Û
6¡ D , ) C ; J Q z 8¤ d¡ , ) ; j Q Ü
d² 2 6 ; Ý
6 ¹
; hº ¶
>Ë ature(Un-)Gleichungen oder als externe benutzerde'
2 5 ; , . ³ ¼Ë ¬ A A ) 5 6¡ 6 ; dargestellt werden (Bolioli,
Dini und Malnati 92).
Die Constraints sind in „starke“ und „schwache“ Constraints unterteilt. Schwache Constraints
dürfen verletzt werden, verletzte Constraints werden in eine Fehlerliste der Analyse aufgenommen. Schwache Constraints werden erst evaluiert, wenn die mit ihnen verbundenen Variablen gebunden werden, oft erst nach Ende des Parsens. Ein spezieller Constraint Solver wird
dabei verwendet, um die Zahl der verletzten Constraints minimal zu halten. Erst wenn sämtliche möglichen Analysen (auch solche mit relaxierten Constraints) gefunden worden sind, wird
diejenige Analyse, die global die geringste Zahl von Constraints verletzt, ausgewählt. Aus der
Liste der verletzten Constraints wird eine Fehlermeldung generiert und dem Benutzer angezeigt.
3.5.6.4 Das französische Kongruenzkorrektursystem von Genthial, Courtin und Ménézo
Systemname:
—
Entwickler:
Jacques Courtin, Damien Genthial, Jacques Ménézo
Organisation:
Trilan, Grenoble
Sprache:
Französisch
Bei diesem System für Französisch handelt es sich um einen Forschungsprototyp, der Kongruenzfehler in einfachen Sätzen erkennt. In einem dependenzgrammatischen Framework wird
hier zunächst ohne Berücksichtigung von Kongruenz-Constraints ausschließlich anhand der
syntaktischen Kategorien der Wörter ein Dependenzbaum aufgebaut. Dabei werden zwischen
den Knoten, zwischen denen Kongruenz bestehen muss, entsprechende Relationen eingefügt,
aber noch nicht ausgewertet.
61
Gerhard Fliedner
Dieser Parsebaum wird dann in Teilbäume zerlegt. Die Teilbäume werden so gewählt, dass
jeweils genau alle durch Kongruenzrelationen verbundenen Knoten einen Teilbaum bilden.
Falls die durch Kongruenzrelationen verbundenen Knoten unvereinbare Kongruenzmerkmale
aufweisen, wird der Teilbaum noch einmal in Teilbäume zerlegt, diesmal anhand der unterschiedlichen Kongruenzrelationen (Nominalkongruenz, Subjekt-Verb-Kongruenz usw.). Dann
werden die Kosten für die verschiedenen möglichen Werte eines Attributes ermittelt (z. B. Singular und Plural für Numerus). Diese Kosten werden mithilfe einer Kostenfunktion ermittelt,
die u. a. die Zahl der zu ändernden Wörter und die Zahl der Wörter berücksichtigt, deren Aussprache sich durch die Änderung ändern würde (wichtig für das Französische). Diese Kosten
der Teilbäume werden dann zu den Gesamtkosten der jeweiligen Änderung verknüpft und die
günstigste Änderung ausgewählt. (Genthial, Courtin und Ménézo 94)
3.5.6.5 Scarrie (Norwegisch)
Systemname:
Scarrie (Norwegisch)
Entwickler:
Koenraad de Smedt, Victoria Rosén
Organisationen:
Universitetet i Bergen und HIT-senteret, Bergen
Sprache:
Norwegisch
Der norwegische Prototyp von Scarrie (vgl. auch 3.5.5.4) erkennt und korrigiert Kongruenzfehler, Fehler in Verbclustern und bestimmte Fehler in der Pronominaldeklination. Dazu ver ) 5 6¡ ^ ^£ Á N 6¡ D ) ) ; J a
wendet das System eine kontextfreie Grammatik mit Features und Uni'
Relaxation (de Smedt und Rosén 99). In der Grammatik können für Attribute Gewichte vergeben werden. Der Parser versucht, den „leichtesten“ Parse zu 'E6;6Ñ;ºhC¡6;Þß;2J;86;§£
wenigsten bzw. die am wenigsten wichtigen Constraints verletzt.
Eine interessante Besonderheit ist die besondere Kombination von Grammatik- und Stilkorrektur für das Norwegische: Die norwegische Schriftsprache Bokmål enthält nicht nur für viele
Worte verschiedene mögliche Stämme (konservativ, neutral und progressiv, z. B. melk/mjölk
für Milch), sondern auch verschiedene Flexionsendungen. Das System erlaubt die Auswahl
einer Sprachnorm und korrigiert inkonsistente Verwendungen (z. B. konservativer Stamm mit
progressiver Flexionsendung). Dazu werden die Kongruenzmerkmale der Lexikoneinträge je
nach eingestellter Sprachnorm unterschiedlich instanziiert. Solche Kor
rekturen werden dadurch
erschwert, dass sie z. T. weitere Korrekturen nach sich ziehen (z. B. Korrektur kongruierender
Personalpronomen nach der Korrektur einer Nominalendung).
3.5.6.6 Das Sprachlernsystem Scripsi
Systemname:
Scripsi
62
3 Forschungsstand
Entwickler:
Mark Edward Catt
Organisation:
University of Toronto
Sprache:
Englisch (für Französisch- und Chinesischmuttersprachler)
Dieses Sprachlernsystem soll Französisch- und Chinesischmuttersprachler beim Erlernen der
englischen Sprache unterstützen. Dazu erlaubt das System dem Benutzer, englische Sätze einzugeben. Mithilfe einer syntaktischen Analyse sollen eventuell im Satz vorhandene Fehler erkannt werden (Flexions-, Kongruenz-, Wortstellungs- und Valenzfehler), und dem Benutzer
soll eine detaillierte und verständliche Beschreibung seines Fehlers präsentiert werden (allerdings kein Korrekturvorschlag).
Die syntaktische Analyse basiert auf einer Transformationsgrammatik mit einem kontextfreien
Rückgrat mit einfachen Featurestrukturen und Transformationsregeln. Zur Erkennung von
Fehlern werden verschiedene Techniken angewendet: Für Kongruenz- und ähnliche Fehler
wird eine Constraint Relaxation verwendet, die es erlaubt, eine Grammatikregel trotz einer
nicht erfüllten Featuregleichung anzuwenden. Für diese Constraint Relaxation enthält der verwendete Shift-Reduce-Parser modi'
5 , . Ø ° ; ± d¡ Å ; C ) 5 6¡ 6 ; ¼ ¤
Besonders interessant an diesem System ist, dass es besonders darauf vorbereitet ist, falsche
Übertragungen von Strukturen (Transfers) aus der Muttersprache des Benutzers zu erkennen.
Zu diesem Zweck ist neben einer englischen Grammatik auch eine Grammatik der Muttersprache implementiert. Wenn für einen Parse keine Lösung gefunden werden kann, versucht das
System grammatische Strukturen aus der Muttersprachgrammatik zu übertragen und anzuwenden. Dadurch sollen Fehler wie *to disobey to sb. statt to disobey sb. (von frz. désobéir à
qn.) erkannt und korrekt diagnostiziert werden. (Catt 88)
3.5.7 Hybridsysteme
3.5.7.1 Critique
Systemname:
Critique (Epistle34)
Entwickler:
George E. Heidorn, Karen Jensen, Yael Ravin
Organisation:
IBM (Thomas J. Watts Research Center), Yorktown Heights, NY
Entwicklungszeit:
1980–1993
Sprache:
Englisch
34
Das System hieß zunächst Epistle, 1988 wurde der Name dann in Critique geändert, vgl. Heidorn 93, 47.
63
Gerhard Fliedner
Das System Critique ist eines der ersten Systeme zur Grammatik- und Stilkorrektur. Es wurde
in den IBM-Forschungslabors im Laufe der Achtzigerjahre des 20. Jahrhunderts als kommerzielles System entwickelt (Richardson und Braden-Harder 93, Heidorn [u.a.] 82). Das System
erkennt u. a. Kongruenz-, Flexions- und Zeichensetzungsfehler sowie Verwechselungen bestimmter Homophone. Auf der Stilebene werden zu formale oder zu informelle Wörter oder
Wortverwendungen angezeigt sowie zu komplizierte Strukturen.
Critique verwendet eine Augmented Phrase Structure Grammatik (APSG, Heidorn 75, im Wesentlichen eine Phrasenstrukturgrammatik mit Featurestrukturen und Funktionen). Während
des Parsens können Grammatikfehler durch Constraint Relaxation erkannt werden (vgl. unten).
Das Parseergebnis ist ein Parsebaum, dessen Knoten mit Features annotiert sind.
Neben Grammatikfehlern sucht das System auch nach Stilschwächen, z. B. zu komplexen Konstruktionen oder Benutzung von nicht zur stilistischen Ebene passenden Wörtern. Zur Stilprüfung stehen 300 Fehlerregeln im APSG-Format zur Verfügung. Diese werden gegen die vom
Parser aufgebauten Strukturen gemacht. Matchende Fehlerregeln geben eine entsprechende
Warnung aus. (Ravin 93)
Während Stilschwächen im Critique-System mithilfe von Fehlerantizipation diagnostiziert werden, wird zur Erkennung von Grammatikfehlern Constraint Relaxation verwendet.
Dazu wird jede Eingabe zunächst mit der Grammatik mit allen Constraints geparst. Nur wenn
so keine überspannende Analyse gefunden werden kann, werden die Grammatikregeln modià
ziert, indem bestimmte Constraints gelockert werden (u. a. Kongruenz, vgl. Ravin 93, 72 f.).
Falls dieser zweite Parse gelingt, so liegt wahrscheinlich ein Fehler vor:
When a parse is successfully formed with the relaxed condition, it indicates a likely disagreement error
in the sentence. (Ravin 93, 73)
3.5.7.2 GramCheck
Systemname:
GramCheck (A Grammar and Style Checker)
Entwickler:
Flora Ramírez Bustamente, Fernando Sánchez[-]León
Organisationen:
Universidad Carlos III de Madrid, Universidad Autónoma de Madrid
Sprache:
Spanisch
GramCheck für das Spanische verwendet zur grammatischen Beschreibung eine uni'
à á â )ã 5ä 6å æ sbasierte Grammatik im ALEP-Framework (Advanced Language Engineering Platform, vgl.
Simpkins o.J.). Das System behandelt Fehler vor allem in den Bereichen Kongruenz und Präpositionen (falsche, fehlende oder überç¦è'é±é.äJêëíì=îCï;ðå`é.äã)ä5å6æ6ë;æ ) sowie verschiedene Stilfehler
(Wortwahl, nicht-standardsprachliche grammatische Konstruktionen).
64
3 Forschungsstand
Constraintprüfung erfolgt mithilfe externer, Constraint Solver (CS) genannter PrologFunktionen. Diese Funktionen werden von Grammatikregeln aufgerufen, als Parameter werden
z. B. Kongruenzmerkmale zweier Konstituenten übergeben. Wenn diese vom CS nicht unià
ziert werden können, dann wird für eine ein besonderes Fehlerattribut der entsprechende Fehlerwert gesetzt. Andere Grammatikregeln können diesen Fehler dann weiterreichen oder mit
anderen Fehlermeldungen „verschmelzen“.
Fehlerantizipation wird anscheinend zur Behandlung von bestimmten Wortstellungsfehlern
verwendet, die Trennung zwischen den beiden Ansätzen bleibt aber unklar. (Ramírez [u.a.] 95)
3.5.7.3 Der holländische Grammatikchecker von Vosse
Systemname:
—
Entwickler:
Theo Vosse
Organisation:
Universität Nijmegen
Sprache:
Holländisch
Vosse verwendet in seinem System eine Kombination von Techniken im Rahmen einer Augmented Context Free Grammar (ACFG, kontextfreie Grammatik mit Feature-Strukturen) zur
Behandlung von Grammatikfehlern. Zum einen ist der verwendete Shift-Reduce-Parser so moà ñ 5ä ;ë )î .ã Dò 6 Qâ Lé §é ;ë =î dó ;ë ä ;ë Jä Eæ ;ë =î ô ë Q õ Aá )ã 5ä 6å $æ ö 6å
æ A÷ 2ø $ù ó 6å 5ú ;ë 8æ #â õ =û 6 ë ü
ù E÷ .ã â ;ý 8á 6ñ þ B. Kongruenz-Constraints
di'
der entsprechenden Regel relaxieren kann, wenn eine Reduktion sonst nicht möglich wäre.
Darüber hinaus werden einige wenige Fehlerregeln für Wortstellungs- und Zeichensetzungsfehler verwendet. Neben diesen Fehlern werden auch Tippfehler, bestimmte Verwechselungen von
Homophonen und Fehler in festen Wendungen erkannt. (Vosse 92)
3.5.7.4 ReGra
Systemname:
ReGra
Entwickler:
Ricardo Hasegawa, Ronaldo Teixeira Martins, Gisele Montilha, Osvaldo
Novais de Oliviera Jr., Maria das Graças Volpe Nunes
Organisationen:
Universidade Estadual de Campinas, Universidade Estadual Paulista, Araraquara, und Universidade de São Paulo
Entwicklungszeit: 1995(?)–1998
Sprache:
Brasilianisch
Bei ReGra, einem Rechtschreib- und Grammatikkorrektursystem für brasilianisches Portugiesisch, werden verschiedene Techniken in aufeinander folgenden Verarbeitungsschritten eingesetzt, um eine Bandbreite von Fehlern in geschriebenen Texten abzudecken (u. a. Recht-
65
Gerhard Fliedner
schreib-, Kongruenz-, Wortwahl-, bestimmte Valenz- und Wortstellungs- sowie Zeichensetzungsfehler).
Nach einer morphologischen Analyse werden zunächst lokale Heuristiken zur Disambiguierung
mehrdeutiger Wörter angewendet. Mithilfe der disambiguierten Wortartinformation wird dann
ein erster Parse vorgenommen (kontextfreie Grammatik, top-down). Die Grammatikregeln sind
durch einzelne Fehlerregeln ergänzt. Diese Fehlerregeln erlauben z. B. die Analyse einer Eingabe mit intransitivem Verb und (scheinbar) direktem Objekt, für den sonst kein überspannender
Parse gefunden werden könnte.
Wenn kein Parse gefunden werden kann, dann versucht das System, mithilfe einer weiteren
Liste häuà'êpêë;ù8âý;ÿaã.ë;îÏë;ÿAú5ëîØãvø2ð6ähéýÿ6ë³û)ëÿAú5ë;î.ÿ6â;ûhã.ëoådæé,ã)î,õáAã)ä5å6æ6ëæSñ;õ ë;î±éë#ã)ñaë;æ¦þ[â;ñ;õêë;ÿ ören
z. B. die Verwendung unpassender Präpositionen bei Verben. Dann wird erneut versucht, die
korrigierte Eingabe zu parsen.
Wenn eine überspannende Analyse gefunden werden kann, dann wird sie in einem letzten
Schritt auf Kongruenz- und bestimmte Zeichensetzungsfehler geprüft (Constraint Relaxation).
3.5.7.5 Scarrie (Dänisch)
Systemname:
Scarrie (Dänisch)
Entwickler:
Patrizia Paggio, Bradley Music
Organisation:
Center for Sprogteknologi, Københav n
Sprache:
Dänisch
Im EU-Projekt Scarrie wurden Rechtschreib- und Grammatikkorrektursysteme für die skandinavischen Sprachen entwickelt. Der dänische Prototyp (Paggio 99, Paggio 2000) verwendet
sowohl Fehlerantizipation als auch Constraint Relaxation in einer kontextfreien Grammatik mit
Features und Uni'
à á â )ã 5ä 6å ^æ ;ñ õ î T *î á ;ë 2æ Qæ õ Aæ ^ê dö då æ Ïë;Aÿ 5ú ë *î ^æ Jä 8æ 6 ï Aæ hä Cé ;ý 6ÿ ;ë ù § ë 2 ã ) Jä Dæ )é 'ó þ o då 2æ 6ê ,î ¼õ ;ë Aæ ñ õ Eæ
Fehler in Verbclustern). Zentral ist in beiden Fällen das Konzept der Kosten von Fehlern: Den
in der Grammatik beschriebenen Fehlern sind neben Fehlermeldungen auch Kosten zugeordnet,
die beim Parsen summiert werden. Die Analyse mit den geringsten Gesamtkosten wird ausgewählt und eventuell gefundene Fehler angezeigt. Dabei muss es sich nicht um vollständige, also
die gesamte Eingabe überspannende, Analysen handeln.
à ñ ¯ä ;ë î ;ë S
æ dö då æ >ë;Aÿ ¯ú ;ë *î æ [ ;ë î 6 ;ë p
æ ;ñ õ ù ;ë Jä Eæ ;ë æ >ë;2ÿ 5ú ;ë *î Cî ;ë ê ;ë Jú S
æ dö ;ë î [ ;ë 6æ 6 #ë .ã Èò A 5ä ë Që Cé ;â $ù )ã á å sten
Zum Identi'
haben, d. h. jede Anwendung einer solchen Regel erhöht die Kosten der Analyse. Diese Regeln
à ñ 5ä ;ë Cî ;ë 6æ 8ò A 5ä ë ñ 8 ;ë ä 'à Aæ ä .ã ë
werden zurzeit ausschließlich verwendet, um Verbcluster zu identi'
Verbformen enthalten.
66
3 Forschungsstand
Constraint Relaxation wird für alle anderen Fehler (z. B. Kongruenzfehler, Fehler bei de`
à æ ià 2æ ä .ã ;ë æ ,î )ã Jä á ë Jú æ ö ;ë î 8 ;ë Eæ 6 ë Lã þ o 5ä ë · î â ^ù 8ù â )ã Jä Ü
á hä ,é oã é å ;â 2æ ê ;ë 5ú ;ë Aê .ã Tò 6 Qâ ±é 8é *é ¯ä ¿
ë dó ;ë kä 6 ë î æ 8 ë nten/inde'
à á â ã ionen durchzuführen. Falls
dung einer kontextfreien Regel zunächst versucht, sämtliche Uni`
Uni'
à á â )ã 5ä 6å 6æ ;ë oæ )û ;ë Aÿ hú Cé ;ý Aÿ ¯ú ;â ê ;ë 6æ ò o Jä î 8 A 5ä Øë ô ;ë ê ;ë ú 6 ;ë 2æ 6æ å ;ý 8ÿ ;â 2æ ê ë [ ;ë 6æ 6 ë .ã ò ;â Jú ¯ú ;ë î A Jä 2æ ¦ê §é ;ë *î Eÿ ;ï ú §ã *é 5ä ë 6 â Aæ 8æ A 5ä ë
Kosten, die mit dem Attribut verbunden sind, für das die Unià kation gescheitert ist.
3.5.7.6 Das tschechische Grammatikkorrektursystem von "!$#&%(')&*&$+)#&,-"./102
Systemname:
—
Entwickler:
Tomáš Holan(
36
4 85 7 9 <: =; 85 7 > A
? $@ (B (C D , Martin Plátek
Organisation:
Universita Karlovy, Praha
Sprache:
Tschechisch
E (C G5 I7 $H 3 A
? $@ JB $C D J@ $H 9 LK 85 M =N O P verwendet zur grammaDas tschechische Grammatikprüfsystem von F
tischen Repräsentation eine Dependenzgrammatik. Diese Grammatik enthält sowohl Mechanismen zur Constraint Relaxation als auch explizite Fehlerregeln. Der Parsemechanismus ist so
modiQ ziert, dass er bei fehlerhaften Eingaben bis zu drei Parses benötigt: Zunächst wird ein
erster Parse mit allen Constraints und ohne Fehlerregeln vorgenommen. Im zweiten Parse sind
zusätzlich Analysen zugelassen, die entweder Constraint Relaxation und Fehlerregeln oder
„nicht projektive“ Regeln verwenden. Nicht projektive Regeln erlauben es, nicht benachbarte
Elemente zu verbinden und so Wortstellungsfehler zu identi&
Q R G: IO 1S IO UH T XV Y
W 9 XS Z: [N =N O \
H K 7 rse sind dürfen Analysen dann auch sowohl fehlerhafte als auch nicht projektive Anteile enthalten. Welche
Arten von Fehlern durch Fehlerregeln und welche durch Constraint Relaxation behandelt werden, bleibt allerdings unklar. (EFC$587IH$3?A@$BJC$D@JH]9^KL58M_N=OIPa`$b )
3.5.7.7 Das deutsche Sprachlernsystem von Schwind
Systemname:
–
Entwickler:
Camilla Schwind
Organisation:
Centre Nationale de la Recherche ScientiQ que, Marseille
Sprache:
Deutsch
In diesem in Schwind 88 beschriebenen Sprachlernsystem für die deutsche Sprache werden
Benutzereingaben auf ihre Grammatikalität geprüft. Dazu wird eine in Prolog implementierte,
uni&
Q JP 7 N G: (C JH ; JB 7 X; 8: IO S =N A
O d
c 1S 7 W e
W 7 N f: e
P W g: N JP $C hH =N _O i N [j 1S IO G: IO l
W nk Um Io $P $p 1S 7 &N J@ $H 9 Lq rO 7 [N J@ S estrukturen verwendet.
Das System behandelt drei Arten von Fehlern: Kongruenzfehler, Wortstellungsfehler und einfache Verstöße gegen semantische Restriktionen bei Verbenkomplementen.
67
Gerhard Fliedner
Zur Behandlung von Kongruenzfehlern und semantischen Restriktionsfehlern wird eine modiQ
Q JP 7 N 8: $C s
H J> IO S F
t IO ]H $9 O =N u3 9 8: O f: W e
W O 1S v3 F
t IO H w
H IO f: ]H y
O x =N I7 ]H $9 I7 1S h9 J@ zH Z: &Q JP 7 N 8: $C {
H 1; Io ]| O itern würde, mizierte Uni&
nimale Reparaturen ermittelt und perkoliert (Constraint Relaxation).
Wortstellungsfehler werden über spezielle Fehlerregeln behandelt, die zum Beispiel Eingaben
mit fälschlich nachgestelltem attributivem Adjektiv (im Französischen meistens die korrekte
Stellung) analysiert werden können, aber eine entsprechende Fehlerbeschreibung erhalten (Fehlerantizipation).
3.5.7.8 Das Sprachlernsystem Eigo-CAI
~z<
Systemname:
}
Entwickler:
Moonkyung Chung, Hideya Koshino, Ikuo Kudo, Tsuyosi Morimoto
Organisation:
-CAI (Eigo-CAI, Computer Assisted Instruction für Englisch)
6hJ$I8r(^J8r8$hI1lXJZ[$=e1IJrn$$=I
(Computer Services Kaisha, CSK) Research Institute, T ¡
Services l
¢]¡
Sprache:
Englisch (für Japanischmuttersprachler)
In Kudo [u.a.] 88 wird
£¤
-CAI (Eigo-CAI) beschrieben, ein Sprachlernsystem, bei dem
japanische Mittelstufenschüler englische Sätze eingeben und auf ihre Korrektheit prüfen können. Falls die Eingabe Grammatikfehler enthält, soll das System die Fehler melden und eine
Korrektur vorschlagen. Dabei wurde besonderer Wert darauf gelegt, Fehler zu behandeln, die
bei japanischen Englischschülern häu¥&¦((=J(FI¨§©FIªI¦J$«$1I¬^(z¦$UIªrI8 , Artikelfehler (falsche Verwendung von bestimmten, unbestimmten und Nullartikeln), Valenzfehler und
Fehler bei der Verwendung von Auxiliarverben. Alle diese grammatischen Konstruktionen
kommen im Japanischen nicht vor bzw. werden anders verwendet.
Das System basiert auf einer Grammatik, die an den LFG-Formalismus (Lexical Functional
Grammar, Kaplan und Bresnan 82) angelehnt ist. Das System verwendet eine besondere Art
von Constraint Relaxation: Zunächst wird die Eingabe mithilfe einer „schwachen“ Grammatik
geparst, die zunächst ausschließlich die Wortarten der Wörter der Eingabe berücksichtigt.
Falls eine Eingabe mit dieser schwachen Grammatik geparst werden kann, wird sie im nächsten
Schritt mit einer „starken“ Grammatik mit Constraint Relaxation geparst. Nach diesem Parse
¥ ª 8 I 1 $ $ I \
°
¯ I = $± J² X $ J± < ³ (§ F
© I Iª F
´ I 1 $ I zµ = I X ] ^
U¶ J 8 $ $ I · Interpretatiwerden die zu uni®
on Rule genannt) verwendet, die verschiedene Werte aus den ermittelten Strukturen als Einga¥ J 8 $ e
I = Z [ = I f U ¸§ ¶ I f < $ u¹ = J¦ bnis nicht
be nehmen und daraus das korrekte Ergebnis der Uni &
mit dem beobachteten Wert übereinstimmt, wird eine entsprechende Fehlermeldung ausgegeben. Für jedes Constraint muss also eine eigene Funktion erstellt werden.
68
3 Forschungsstand
Falls das Parsen mit der schwachen Grammatik misslingt, wird die Eingabe erneut mit einer
Grammatik geparst, die zusätzlich Fehlerregeln enthält, die z. B. auch Eingaben mit fehlenden
oder fälschlich eingefügten Auxiliarverben (z. B. *Where they live?) eine Analyse zuweist
(Fehlerantizipation).
3.5.8 Andere Systeme
Der Vollständigkeit halber sollen an dieser Stelle drei Grammatikkorrektur- bzw. Sprachlernsysteme erwähnt werden, die weder Constraint Relaxation noch Fehlerantizipation verwenden.
Die ersten beiden Systeme verwenden wissensbasierte Fehlerdiagnosesysteme, das dritte einen
der Constraint Relaxation ähnlichen Ansatz.
3.5.8.1 Das portugiesische Grammatikkorrektursystem von Balsa, Dahl und Pereira
Systemname:
—
Entwickler:
J. Balsa, V. Dahl und J. G. Pereira Lopes
Organisation:
Universidade de Lisboa, Simon Fraser University, Burnaby, Kanada, Universidade Nova de Lisboa
Sprache:
Portugiesisch
Das beschriebene System verwendet ein modellbasiertes Schlusssystem. Solche Schlusssysteme
werden vor allem zur minimalen Fehlerdiagnose in wissensbasierten Diagnosesystemen verwendet (vgl. z. B. Console und Torasso 91). Die Grammatik wird hier als Teil eines Modells
betrachtet, das das Verhalten des Systems (hier: Sätze einer Sprache) beschreibt. Verhalten
sich die Systemkomponenten (Wörter der Eingabe in natürlicher Sprache) nicht so, wie das
Modell das vorsieht, dann liegt ein Fehler vor. Mithilfe eines Fehlerdiagnosesystems werden
dann die fehlerhaften Systemkomponenten (also falsche Wörter) ermittelt. Dabei soll die Diagnose gefunden werden, bei der die wenigsten Systemkomponenten fehlerhaft sind (also am
wenigsten Wörter korrigiert werden müssen).
Zum Parsen wird eine DCG-ähnliche35 logische Grammatik verwendet. Zu jedem Wort werden neben der korrekten Analyse auch mögliche Fehlerdiagnosen eingefügt (z. B. „Singular
statt Plural verwendet, aber Änderung in Plural möglich“). Um den globalen Fehler zu diagnostizieren werden dann die globalen Diagnosen ausgewählt, die am wenigsten lokale Fehlerdiagnosen, d. h. nötige Korrekturen, verwenden. (Balsa, Dahl und Pereira 95)
DCG: Deº¸»¼¾½f¿6À¨ÁfÂIÃ_Ä=¿6ÅÆXÂ_ÇÇÂÆ . Dieser Grammatikformalismus ist in die Programmiersprache PROLOG
direkt integriert.
35
69
Gerhard Fliedner
3.5.8.2 Das Sprachlernsystem von Menzel
Systemname:
—
Entwickler:
Wolfgang Menzel
Organisation:
Akademie der Wissenschaften der DDR
Sprache:
Deutsch
Auf einer ähnlichen Grundlage wie das in 3.5.8.1 beschriebene System beruht auch Menzels
Sprachlernsystem. (Menzel 88)
Mithilfe dieses Systems sollen Nichtmuttersprachler bestimmte grammatische Strukturen des
Deutschen einüben. Dazu werden ihnen Sätze mit Lücken präsentiert. In diese Lücke müssen
sie ein passendes Wort einsetzen (z. B. die passende Form eines Possessivpronomens).
Um die Suche und Korrektur von Fehlern möglichst generell zu halten, werden zu den Übungen nicht direkt die korrekten Lösungen abgelegt, sondern entsprechende Grammatikalitätsconstraints.
Diese Constraints bilden ein Constraint-Netzwerk. In diesem Netzwerk sind Variablen (hier die
Kongruenzmerkmale der Wörter in der Eingabe) durch Constraints verbunden. Die Variablen
werden entsprechend der Antwort des Lernenden instanziiert und anhand der Constraints propagiert. Falls dabei ein Fehler entdeckt wird, wird ein Diagnoseprozess verwendet, der nacheinander die Constraints negiert und das Netzwerk entsprechend aktualisiert. Wenn das neue
Netzwerk keinen Fehler mehr enthält, steht fest, dass das gerade negierte Constraint ursprünglich verletzt war. Daraus kann eine geeignete Fehlerkorrektur abgeleitet werden.
3.5.8.3 Die Grammatikprüfung in Smysl È
Systemname:
Entwickler:
Organisation:
ÉnÊIËzÌ
ÍnÎuÏÑÐÒ Ó ÔÕÖÐ_× (Smysl Ó ØÙÚÛ=ÜÝÙÞ$Ù utung Ó ØÙÚÛ )
ßAÕràá¨âJã ä . åæâ(×çeèaâ¨á (Leonid G. Mitûšin)
é&ê]ÐÐÖë_ì í6ÖzëIãJÕÎuâ(ì îFëê]Ö (Ruskaâ Akademiâ Nauk, Russische Akademie
der Wissenschaften), Moskau
Sprache:
Russisch
In Mitjushin 96 wird ein Kongruenzprüf- und -korrektursystem für Russisch vorgestellt. Es
handelt sich dabei um ein Programmmodul in einem umfangreichen natürlichsprachlichen System, das vor allem zur maschinellen Übersetzung verwendet wird. Das System benutzt eine
Morphologie und eine Dependenzgrammatik zum Parsen. Falls beim Parsen keine Analyse gefunden wird, die alle Wörter einbezieht, sondern die aus mehreren Fragmenten besteht, für die
70
3 Forschungsstand
Dependenzstrukturen ermittelt werden konnten, wird versucht, eine mögliche Fehlerkorrektur
zu ï®ð$Þ$ÙIðUñ
ï ò 8ó IÙ ô =Û Ü ¾ó $ð $Þ IÙ Y
õ ò usätzliche Analysen hinzuDazu werden die Ergebnisse der Morphologie modi®
gefügt werden (z. B. für Substantive alle Kasus, aber nur der ursprüngliche Numerus36). Daï ò Gó IÙ ô =Û IÙ ÷
ð øö Xô Jù Ù ]ú ð <ó ³û û en der Morphologie erneut geparst. Wenn dieser
nach wird mit den modi&
Parse eine bessere Analyse (weniger Fragmente) liefert, geht das System davon aus, dass der
intendierte Satz gefunden wurde und gibt ihn als Korrekturvorschlag aus, indem die Wörter
verändert werden, deren in der Analyse verwendeten morphologischen Merkmale nicht mit
denen in der Originalanalyse übereinstimmen. Dabei werden Analysen bevorzugt, bei denen
eine kleinere Zahl von Wörtern geändert werden muss.
Dieser Ansatz hat eine gewisse Ähnlichkeit mit der Constraint Relaxation, da im zweiten Parse
auch Deklinationsmerkmale angewendet werden können, die nicht der eigentlichen Analyse
entsprechen; der Effekt ähnelt der Relaxation der Constraints. Trotz dieser stark vermehrten
Zahl möglicher Ambiguitäten scheint der zweite Parse im Allgemeinen nicht wesentlich langsamer zu sein als der erste (vgl. Mitjushin 96, 781).
3.6 Fehlerklassi üýAþ ÿ
Dieses Unterkapitel beschäftigt sich mit der Frage, wie Fehler in einem System zur Grammatikkorrektur sinnvoll klassi®
ï ò 8ó IÙ ô Û F
I
Ù 1ô $Þ IÙ ð $
ð ]ð IÙ ¨ð ñ 8ó Ù ssi&
ï ò 8ó IÙ ô J ð ù $ ð L Ù 8 IÙ Xô ^
ð <ó û Û IÙ fó ]ð Ù
grundlegende Voraussetzung zu ihrer systematischen Behandlung. Eine systematische Behandlung von Fehlern ist natürlich besonders wichtig, wenn ein System mit Fehlerantizipation verwendet werden soll, da nur solche Fehler, die explizit vorgesehen sind, erkannt werden können.
Aber auch bei Systemen mit Constraint Relaxation ist es notwendig, die Constraints, die verletzt werden können, richtig zu identi&
ï ò 8ó Ù 1ô IÙ ð J ]ð
Þ Ù ð tsprechende Fehlermeldungen vorzusehen.
Ein wichtiger Gesichtspunkt ist dabei auch, dass vom Benutzer als ähnlich empfundene Fehler
gleich behandelt werden müssen (System erkennt ähnliche Fehler zuverlässig, gibt jeweils die
gleiche Fehlermeldung aus usw., vgl. auch 6.3).
Nach Rodríguez, Marín und Oliva können Fehler grundsätzlich nach drei Dimensionen unterschieden werden: Quelle, Ursache und Auswirkung (Source, Cause und Effect, Rodríguez,
Marín und Oliva 96).
Als Quelle eines Fehlers wird dort das Constraint einer Sprache bezeichnet, das durch den jeweiligen Fehler verletzt wird. In *die Kinder spielt wäre die Fehlerquelle z. B. die Verletzung
Der Korrekturvorgang ist in Mitûšin 93 ausführlicher beschrieben. Dort !#"%$'&)(+*-,.0/1*0,"-(+!"32(4&5$"768#(+":9 eschreibt, welche Formen für welche Wörter zugefügt werden.
36
71
Gerhard Fliedner
des Constraints „Subjekt und Prädikat kongruieren bezüglich Numerus“. Die Fehlerquelle ist
; -< #
= @
> B
? D
A +C F
E ? G %< C @
H G I J M
K N
L #
? 8
> O ? QK @
P O S
R T< Q< UC '
; !
I 4C ? VK J 8
G '
W X
damit eine stark sprachspezi:
Die Fehlerursache gibt an, wie der Fehler zustande gekommen ist. Mögliche Fehlerursachen
sind z. B. unzureichende Sprachbeherrschung des Autors, Tippfehler oder technische Fehler bei
der Texteingabe.
Die letzte Dimension betrifft die Auswirkungen der Fehler. Hier werden die Fehler danach eingeteilt, welche Auswirkungen sie an der sprachlichen OberYNZ!=>[?\>@R]^?G@_8`DC?ROa<bHdc8C?\e\Jf erung
durch die Anwesenheit des Fehlers verändert wird. Eine Fehlerauswirkung kann z. B. das Fehlen eines grammatisch nötigen Elements (z. B. ein Wort) sein.
Im Folgenden sollen einige Punkte im Zusammenhang mit diesen drei Dimensionen der Fehlerklassi'
; P R g C @
H F
G R J )h W ? @
W QK +C )h h ? G i
` ? -K @
c ? j
G X
3.6.1 Fehlerquelle
Die Fehlerquelle ist vor allem bei der konkreten Implementation eines Systems von Interesse:
Eine genaue Analyse der Fehlerquelle erlaubt den Rückschluss auf die folgenden wichtigen
Punkte:
• Welche Analysekomponenten benötigt ein System, um Fehler dieser Art zu erkennen?37
• Auf welche Weise manifestiert sich der Fehler während der Verarbeitung innerhalb des Systems?
• Welche Mechanismen können zur Erkennung des Fehlers verwendet werden (z. B. Welche
Constraints müssen relaxierbar vorgesehen werden? Welche Fehlerregeln müssen in die
Grammatik aufgenommen werden?)
Darüber hinaus hilft eine genaue Analyse der Fehlerquelle beim Entwerfen hilfreicher Meldungen für ein Benutzerinterface: Wenn das System die Fehlerquelle eindeutig feststellen kann,
fällt es leichter, eine verständliche Ausgabe zu formulieren.
3.6.2 Fehlerursache
Eine wichtige Unterscheidung bei der Fehlerursache, die sich durch die Literatur zieht, ist die
Unterscheidung von Fehlern in Kompetenz- und Performanzfehler38. Die wesentliche Frage ist,
ob der Verursacher des Fehlers die verletzte Wohlgeformtheitsbedingung grundsätzlich kennt
37
Vgl. auch 3.6.4 unten.
Die Begriffe Kompetenz und Performanz und ihre De
!
U( 4$ +( lk m
n& +( 1
"-
o$ )& 0* 1
, 0" p( "-!
q!lk Chomsky mitgeprägt
worden, vgl. Chomsky 65, insb. 10 ff.
38
72
3 Forschungsstand
und richtig anwenden kann. Performanzfehler entstehen, wenn ein Sprachbenutzer diese Wohlgeformtheitsbedingung (auch bestimmte Eigenschaften eines Wortes, z. B. Genus) zwar kennt,
diese aber in einer bestimmten Äußerung verletzt. Diese Fehler entstehen häu;'WrcSJK-=>sEF?!=#> anische oder neuromotorische Probleme. Typische Fehler dieser Art sind Versprecher (slips of
the tongue) oder Schreibfehler(slips of the pen) (vgl. Véronis 88).
Kompetenzfehler entstehen dagegen, wenn der Sprachbenutzer eine bestimmte Regel der Sprache nicht kennt. In diese Klasse fallen m. E. auch Fehler, die durch die falsche Einordnung von
Wörtern bezüglich bestimmter grammatischer Eigenschaften (z. B. falsches Genus bei Substantiven). Mit Kompetenz ist also die „grundsätzliche“ Kenntnis gemeint, die der Sprecher von der
Sprache hat, mit Performanz die Sprachbenutzung in einer konkreten Situation.
Im allgemeinen Fall spielt es für ein Korrektursystem zunächst keine Rolle, ob es sich bei einem
Fehler um einen Kompetenz- oder Performanzfehler handelt. Die Erkennung von Kompetenzfehlern könnte aber bei der Generierung von Fehlermeldungen im Benutzerinterface hilfreich
sein:
[I]t may be desirable that the types of error messages associated with the former [Kompetenzfehler] be
different from the ones associated with the latter [Performanzfehler]: whereas error messages triggered
by a competence error should include a detailed explanation of the linguistic phenomena unknown to
the user, those triggered by performance errors could be less specitSuTv (Rodríguez, Marín und Oliva 96,
22, meine Anmerkungen)
Kompetenz- und Performanzfehler sind allerdings sehr oft nicht sicher zu unterscheiden, wenn
nur der resultierende fehlerhafte Text vorliegt.39 Systematische Untersuchungen müssten früher ansetzen, möglichst direkt bei der Textverfassung (z. B. Interviews mit den Autoren, Überwachung der gesamten Texteingabe). Diese Daten wären besonders relevant für die Erstellung eines Systems, das Benutzereingaben online korrigiert (vgl. auch 2.1.4.2).
Auch weitere detaillierte Untersuchungen der Fehlerursachen im Zusammenhang mit der
Grammatikprüfung stehen noch aus. Sie müssten neben der groben Unterscheidung zwischen
Kompetenz- und Performanzfehlern auch durch das Eingabemedium erzeugte bzw. begünstigte
Fehler unterscheiden. Einige Beispiele hierfür wären OCR-Fehler bei der Schrifterkennung
(z. B. Erfassung von zwei Buchstaben als einem, m statt nn), Vertauschung zweier nebeneinander liegender Tasten bei der Eingabe mit Tastatur (vgl. Kukich 92) oder Fehler aus „Nachlässigkeit“ bei der Texterstellung mit dem Computer (insbesondere Textänderungen oder -umstellungen ohne Anpassung des Textes).
Umfassende Arbeiten dazu, welche Fehlersorten auftreten, wenn Texte ausschließlich am Bildschirm verfasst werden, fehlen bisher. Einige allgemeine Forschungsergebnisse zum Verfassen
39
Sowohl in Rodríguez, Marín und Oliva 96 als auch in Rosén und de Smedt 98 werden Beispiele angegeben,
die belegen, dass auch Muttersprachler Fehler machen (vermutlich Performanzfehler), die äußerlich nicht von
Kompetenzfehlern von Nichtmuttersprachlern zu unterscheiden sind, vgl. auch 6.4.2.
73
Gerhard Fliedner
von Texten mit dem Computer legen aber nahe, dass verschiedene Fehler häu;'W?KFRlJ ftreten
bzw. dass Fehler auftreten, die bei der Verfassung von Texten „auf dem Papier“ nicht oder
zumindest seltener vorkommen. Dazu zählen unter anderem:
• Texte sind z. T. am Bildschirm schwerer zu lesen als auf dem Papier, insbesondere auf kleinen Bildschirmen, auch wenn die Unterschiede bei höheren Bildschirmauflösungen und verbesserter Zeichensatzdarstellung geringer werden (vgl. Frenckner 90). Daher ist anzunehmen, dass beim Korrekturlesen am Bildschirm mehr Fehler übersehen werden.
• Texte werden am Computer mehreren Studien zufolge häu;wW?K:K-?x[Cc8C?KVgyROo<zRJhNc@?E|{yR}@C?K
und die geänderten Textteile sind kleiner (oft nur einzelne Wörter oder Phrasen, vgl.
Severinsson-Eklundh 93). Man kann davon ausgehen, dass die Wahrscheinlichkeit, dass sich
Fehler einschleichen, durch häu;'W?K-?~?x@Ca<QC onen steigt. Durch die Änderung kleiner
Textteile steigt außerdem die Wahrscheinlichkeit, dass nicht alle nötigen Änderungen
durchgeführt werden, also nicht zusammenpassende Textbruchstücke stehen bleiben.
• Es liegt insbesondere nahe, dass bei computerspezi:
; -< #
= @
> ? F
G 1
? R VK ] #
? UC )g J 8
G
W < Qg !
? = 8
> G +C P ?
G n D
^
H @
} C eren
von Textblöcken) nicht zusammenpassende Fragmente übrig bleiben (vgl. Kukich 92).
Die systematische Untersuchung dieser und anderer relevanter Fehlerursachen könnte wichtige
Hinweise für die Entwicklung von Grammatikkorrektursystemen geben. Das betrifft insbesondere die Fragen, welche Fehler besonders relevant sind und ob es bestimmte allgemeine Fehler„Muster“ gibt, die bei der Fehlererkennung ausgenutzt werden können (z. B. bestimmte typische Fehler bei Textänderungen).
3.6.3 Fehlerauswirkungen
Da sowohl die Quelle als auch die Ursache von Fehlern, wie in den vorigen beiden Abschnitten
beschrieben, nur zusätzlich zur Verbesserung der Grammatikprüfung herangezogen werden
können, muss die Auswirkung der Fehler an der sprachlichen Ober YZ!=>@?\I#JE|L'C+G@c@?#GJG@cFRJj=>
zur Korrektur von Fehlern als zentrales Fehlermerkmal verwendet werden.
Rodríguez, Marín und Oliva teilen die Fehlerauswirkungen in ihrer Arbeit in fünf übergreifende
Klassen ein:
1. Ein unpassendes Wort wurde eingefügt.
2. Ein benötigtes Wort fehlt.
3. Ein Wort wurde statt eines anderen eingefügt.
4. Zwei Worte sind in der Reihenfolge vertauscht.
5. Ein Constraint ist verletzt.
74
3 Forschungsstand
Die ersten vier Klassen entsprechen den Fehlerklassen in einer der ersten Arbeiten zur Rechtschreibprüfung mit dem Computer zurück (Damerau 64). Hier werden sie verwendet, um Wörter, die im Lexikon nicht gefunden werden, einem Wort im Lexikon zuzuordnen, von dem sie
sich nur durch einen Buchstaben (eingefügt, gelöscht oder falsch) bzw. zwei vertauschte Buchstaben unterscheiden.
Diese Fehlerklassen umfassen nicht alle möglichen Fehlerauswirkungen, stellen aber systematische Verfahren dar, um eine fehlerhafte Eingabe mit der intendierten Eingabe in Beziehung zu
setzen. Beispielsweise kann man in einer fehlerhaften Eingabe systematisch alle benachbarten
Wörter in einem Satz (oder Buchstaben in einem Wort) vertauschen und untersuchen, ob die
so erzeugte Eingabe vom System akzeptiert wird. Daher wird dieses Verfahren häu;'WR#G8W ewendet, um fehlerhafte Eingaben zu korrigieren.
Auch im Rahmen eines Grammatikkorrektursystem Grammatikkorrektursystems können sie,
wie bei Rodríguez, Marín und Oliva, als Grundlage für die systematische Beschreibung der
Form fehlerhafter Eingaben auf Basis einer existenten Grammatik verwendet werden.
; 8
G UC g C @
H
G x @
H G Semi-Sentences zurück, die die Menge der
Dieses Verfahren geht auf Katz’ Dew
Semi-Sentences zu einer gegebenen Grammatik G genau als die Zeichenketten dew
; 8
G C ? K Qg
_ 8
c C ?
durch eine Menge von Transferregeln aus Sätzen von L(G) erzeugt werden kann (vgl. Katz 64,
insb. S. 412 ff.).
Man kann Katz’ „Transferregeln“ allgemein als Relation zwischen Sätzen der Sprache L(G)
; 8
G C g C ^
H
G @
c ? K
~ ? O R g 4C ^
H
G V @
I X B. eine
und einer Teilmenge von L(N') auffassen. Auf Basis einer De'
Formalisierung der oben angegebenen fünf Klassen von Fehlerauswirkungen) lässt sich dann
; 8
G C #
? -K ?
G X
eine Grammatik der vom System akzeptierten zu korrigierenden Eingaben genau de'
Das löst nicht das grundsätzliche Problem der fehlenden Abdeckung, stellt aber eine mögliche
Grundlage dafür dar, wie man durch systematisch systematische Erweiterungen von L(G) Feh; !
I C #
? -K ? G P R G
G X
ler anhand ihrer Auswirkungen klassi'
Diese allgemeine Klassiw
; P R g C @
H s
G P R 8
G
G b< ? UO
] < )g x ? 7K V< Qg Z [
G 8
c +O C = s
>
G J \
K VK J [
G 8
c O R W F
? ? +C [
G ?
K J E h S
R T< b< ? @
G @
c #
? d
G N
L ? hlertypologie für Einzelsprachen sein.
3.6.4 Fehlerklassen und Verarbeitungslevel
In verschiedenen Arbeiten zur Grammatikkorrektur und robusten Verarbeitung wird die Frage
; !
I 4C ? VK
g F
` ? rden können, dass man anhand der
diskutiert, ob und wie Fehler allgemein so klassi'
Fehlerklassi'
; P lR g C ^
H i
G ? S
G -g b< = @
> ? 4C @
c ? G P R G @
G _ R J
h F
` ? 4O = @
> ? M
K z
] ene der Verarbeitung (Morphologie, Syntax, Semantik, usw.) der Fehler von einem System erkannt werden kann.
75
Gerhard Fliedner
Die naive Antwort dazu wäre, dass ein Fehler auf der Ebene erkannt werden kann, auf der die
Constraints ausgewertet werden, deren Verletzung die Fehlerquelle darstellen. Ein Kongruenzfehler sollte also beispielsweise auf der Ebene der syntakt ischen Verarbeitung erkannt werden.
Es lassen sich jedoch einfach Beispiele von Fehlern w
; @
G @
c ? [
G
_ 8
c 4C ? S
G J
K D
E UC :
g
oC T< -< #
?
G x @
H s
G #
? +C @
G ?
K R nderen, höheren Ebene erkannt werden können. Beispielsweise kann durch einen Tippfehler zufällig ein sinnvolles Wort entstehen, so dass der Fehler erst mit Einsatz von Pragmatik und Weltwissen erkannt werden kann. Durch einen Tippfehler könnte z. B. das intendierte Can I leave a
message? zu #Can I lave a message? (engl. lave „waschen“) werden. Obwohl es sich um einen
Tippfehler handelt, kann erst mit semantischer Information aufgrund der Verletzung sortaler
Restriktionen entschieden werden, dass die Eingabe einen Fehler enthält40.
Weischedel und Ramshaw 87 stellt verschiedene Beispiele für Fälle vor, die für robuste natürlichsprachliche Verarbeitung ein Problem darstellen, und versucht die jeweils benötigten Verfahren zu erschließen. Die Schlussfolgerung der Autoren ist, dass nur ein voll integrierter Ansatz, der auch Pragmatik und Weltwissen umfasst, wirklich alle Fehler erkennen könnte.
Ramírez, Declerck und Sánchez[-]León 2000 kommt zu einer ähnlichen Schlussfolgerung.
Dort wird die Aufstellung einer Fehlerhierarchie gefordert, die es ermöglichen soll, kooperierende Agenten zum Erkennen von Fehlern zu verwenden. Wie eine solche Kooperation der
verschiedenen Verarbeitungsebenen aussehen könnte, bleibt jedoch weitgehend unklar.
Miller versucht eine Einordnung verschiedener Fehlertypen und möglicher Korrektursysteme
und teilt sie in mit den damaligen (1986) Mitteln realisierbare und noch nicht realisierbare Aufgaben ein (Miller 86). In den meisten Fällen stimmt diese Einteilung noch mit dem heutigen
State-of-the-Art überein.
Die Diskussion dieses Problems ist auf jeden Fall wichtig und kann zu grundlegenden Einsichten darüber führen, wie ein System zur Fehlererkennung genau konzipiert werden muss. Bei
der tatsächlichen Implementation eines Systems muss man aber zurzeit i. A. inkauf nehmen,
dass mit heutigen computerlinguistischen Verfahren noch nicht alle Fehler gefunden werden
können. Douglas und Dale meinen z. B., dass man durchaus auch ohne voll integrierte Verar; @
G @
c ? G
beitung für die Mehrzahl der Grammatikfehler aus bestimmten Klassen gute Lösungen w
kann:
Many of the corrections made routinely in the course of human proofreading require subtleties of semantic and pragmatic expertise that are simply beyond current resources to emulate. However, examination of common syntactic errors and infelicities, both as described in the literature … and as appearing in the data we have analysed, has led us to distinguish a number of tractable error
types… (Douglas und Dale 92, 468)
40
Das Beispiel basiert auf einem Beispiel in Kukich 92, S. 415 f.
76
3 Forschungsstand
Neuere Ansätze, die robuste Ansätze auf verschiedenen Ebenen der Sprachverarbeitung kombinieren (vgl. z. B. Worm 99), lassen außerdem erwarten, dass sich die Frage durch eine stärkere Integration der Komponenten bzw. eine verbesserte bidirektionale Kommunikation zwischen
den Modulen eines Systems tatsächlich schrittweise immer weiter lösen lässt.
77
4 Konzeption eines Systems zur Kongruenzprüfung
In diesem Kapitel wird die Konzeption eines Systems zur Kongruenzprüfung in deutschen Texten beschrieben. Dazu werden zum einen aus den im vorigen Kapitel dargestellten Techniken
und Verfahren einige ausgewählt und näher erläutert, zum anderen werden ergänzend noch
weitere Verfahren vorgestellt.
Die Grundlage einer Kongruenzanalyse für das Deutsche muss eine Morphologie bilden. Wegen der reichen Flexion des Deutschen müssen die Kongruenzmerkmale (Kasus, Numerus,
Genus usw.) der Wörter bekannt sein, auch für Derivationen und Komposita. Diese Aufgabe
wird von einer morphologischen Analyse am besten erfüllt.
Wie in 3.4 und 3.5 gezeigt wurde, reichen die Standardverfahren zur Verarbeitung natürlicher
Sprache zur Verarbeitung von ungrammatischen Eingaben i. A. nicht aus. In Systemen zur
Grammatikkorrektur sind vor allem Fehlerantizipation und Constraint Relaxation verwendet
worden, um Eingaben mit Grammatikfehlern adäquat beschreiben zu können. In 4.1 werden
diese Verfahren noch einmal aufgegriffen. Im hier beschriebenen System wurde Constraint
Relaxation eingesetzt. Dazu wird die Eingabe ohne Berücksichtigung der Kongruenzconstraints, d. h. nur anhand der Wortartinformation geparst. Die dabei verwendete Technik
wird in 4.1.2 detailliert beschrieben.
In 2.2 wurde bereits beschrieben, dass Nominal- und Präpositionalphrasen im Deutschen eine
z. T. komplexe Struktur aufweisen; in diesen Phrasen können z. B. in Form von Modi'
; P R Qg @
H -K ? G
(pränominalen mit Adjektiven oder postnominal) wieder Nominal- oder Präpositionalphrasen
eingebettet sein.
Daher muss für eine vollständige Kongruenzprüfung die genaue Struktur der Phrasen bekannt
sein. Ein System zur Kongruenzprüfung muss eine syntaktische Analyse der Eingabe vornehmen, zumindest eine Teilanalyse der Nominal- und Präpositionalphrasen. In 4.2 wird die Auswahl eines Formalismus beschrieben, mit dem diese Strukturen adäquat beschrieben werden
können. Als Formalismus wurden endliche Automaten mit Rekursion ausgewählt. Dieser For-
79
Gerhard Fliedner
malismus ist meines Wissens noch nicht beschrieben wurden. Er erlaubt die Beschreibung regulärer Ausdrücke und bestimmter, aber nicht aller kontextfreier kontextfreien Sprachen.
Der Parser liefert für viele Eingaben verschiedene Analysen, außerdem sind für Eingaben, die
Kongruenzfehler enthalten, Constraints verletzt. Aus den verschiedenen möglichen Analysen
muss eine passende ausgewählt werden. Zur Auswahl der Analyse wird ein Verfahren verwendet, dass an die Optimalitätstheorie angelehnt ist. Diese Theorie erlaubt die Auswahl der besten
Analyse in Fällen, in denen Constraints verletzt sind. In 4.3 wird zunächst die Optimalitätstheorie kurz eingeführt, danach wird das im Rahmen dieser Arbeit verwendete Verfahren erläutert.
Das folgende Kapitel beschreibt die eigentliche Implementation des Systems.
4.1 Constraint Relaxation und Fehlerantizipation
Wie bereits in Kapitel 3 ausführlich dargestellt, müssen Systeme für die Grammatikkorrektur
gegenüber anderen Systemen zur Sprachverarbeitung um Techniken erweitert werden, die die
Verarbeitung von fehlerhaften Texten überhaupt erlauben. In 3.5 wurden verschiedene Systeme zur Grammatikkorrektur vorgestellt. Die meisten von ihnen verwenden entweder Fehlerantizipation oder Constraint Relaxation um die Grammatikfehler zu ;'G@c@?#GnJG@csW@W@h-XIJrPH@K%K%C+W@C eren).
In diesem Kapitel soll die im Korrekt-System verwendete Methode vorgestellt werden. Zunächst werden dazu einige allgemeine Tendenzen der beiden Methoden dargestellt.
4.1.1 Constraint Relaxation und Fehlerantizipation im Vergleich
Die Auswahl von Constraint Relaxation oder Fehlerantizipation sagt zunächst nichts über die
Art der verwendeten syntaktischen Verarbeitung aus (volle Analyse oder YNR!=>[?D?K-RKV]^? itung).
Diese Entscheidungen sind voneinander grundsätzlich unabhängig. In der Praxis wird allerdings
Constraint Relaxation eher in Systemen mit vollständiger grammatischer Verarbeitung und
Fehlerantizipation in Systemen mit YNR!=>[?K:D?K-R rbeitung eingesetzt.
Constraint Relaxation wird vor allem in Systemen angewendet, die die syntaktische Struktur
für jede Eingabe ermitteln, da Fehler als Abweichungen (nämlich die Inkompatibilität bestimmter Constraints) von der Systemgrammatik ermittelt werden. Daher muss möglichst viel über
die Struktur der Eingabe bekannt sein, damit das Relaxieren von Constraints eine genaue Lokalisierung des Fehlers möglich macht. Um eine Kongruenzprüfung mit Constraint Relaxation
zu erlauben, muss beispielsweise zunächst einmal überhaupt bekannt sein, welche Worte in der
Eingabe kongruieren müssen, d. h. zumindest die Phrasengrenzen müssen ermittelt werden.
80
Fehlerantizipation kann dagegen grundsätzlich auf allen Ebenen der Sprachverarbeitung angewandt werden (an der OberYNZ!=>[?!_\RlJhc@?GK%W?][G8Ca<7<-?G?#C+G@?KFEFH@K%}@>[H^OH@W@C schen Analyse, auf
den Ergebnissen einer vollen syntaktischen Analyse usw.). Tendenziell wird sie aber vor allem
bei „N
Y !
R = [
> ?
G ? QK h R 8
> -K #
? @
G _ 8
c C \
? P ? +C [
G B
? x @
H +O O ? V<
G Qg R 8
P g aC -< #
= @
> \
? @
G #
R UO -< B
? x #
? VK F
` #
? @
G @
c ? [
G [
_ ] enutzt, z. B. als Patternmatching über den Ergebnissen einer morphologischen Analyse. (Vergleiche auch Ramírez,
Declerck und Sánchez[-]León 2000, S. 25)
Damit ergeben sich die folgenden Vor- und Nachteile für die beiden Methoden (tiefe Verarbeitung mit Constraint Relaxation und YNR!=#>@?\D?K-RK beitung mit Fehlerantizipation):
• Geschwindigkeit
Ansätze mit Constraint Relaxation benötigen i. A. mehr Zeit für die Analyse: Zum einen
wird i. A. zunächst eine volle syntaktische Analyse vorgenommen werden:
[G]iven the scarce distribution of grammar errors in real-world texts, most effort goes on the parsing of
perfectly well-formed sentences, resulting in an overall slow performance. (Bredenkamp, Crysmann
und Petrea 2000, o. S.)
Zum anderen besteht die Gefahr, dass der Suchraum für die Analyse dadurch wesentlich
vergrößert wird, dass Constraints relaxiert werden, die i. A. beim Parsen dabei helfen, falsche Analysen frühzeitig auszuschließen. Dadurch müssen evtl. sehr viele wenig aussichtsreiche Analysen verfolgt werden. Ein wichtiges Problem der Constraint Relaxation ist daher
die Kontrolle der Suche.41 Vergleiche dazu auch 4.1.2.
• Fehlermuster
Da Fehlerantizipation Fehler „positiv“ beschreibt (ein Fehler muss zu einem gegebenen Fehlermuster passen), müssen die Fehlermuster genau bekannt sein. Bei Constraint Relaxation
werden die Fehler dagegen „negativ“ beschrieben (Eingaben, die nicht zur grammatischen
Beschreibung passen, enthalten einen Fehler), so dass z. T. auch Fehler, die nicht genau mit
den vorhergesehenen Fehlermustern übereinstimmen, gefunden werden können. Genthial,
Courtin und Ménézo zweifeln sogar an, dass Fehlerantizipation überhaupt zur allgemeinen
Beschreibung der Fehler geeignet ist:
[T]he richness of natural language makes it very diftSuT#++ #¡0¢Qu0£Q¤+¥¡:¦#+uTl££%¡7uTp+¡0£Q¦§1uT¡-¢%v©¨1ª1¡0£Q¡-«£Q¡0¬
it is in our opinion, impossible to enumerate exhaustively all possible errors… (Genthial, Courtin und
Ménézo 94, 1084)
41
Sowohl in Oliva 97 als auch in Ramírez [u.a.] 95 wird darauf hingewiesen, dass der in beiden Systemen
(LaTeSlav und GramCheck) verwendete Ansatz, der auf Constraint Relaxation im Rahmen von HPSGähnlichen Grammatiken basiert, von den jeweils beteiligten Industriepartnern der Projekte in der Evaluation als
zu langsam kritisiert wurde. In beiden Systemen wurden daher Techniken zur achen Verarbeitung bzw. zur
ef
T® +( -" 4$ 0" M
¯ )° 7. B
±
± -. $ U( ³² !
q 0" )° 7. ° !
9 -" U( +$ 1
/ !

´ +( 4$ 0" #
´ )° +( -" a° )$ µ
Gerade in den letzten Jahren hat es allerdings im Bereich der ef8
7® +( -" $ -" d
:
¶ -" )° 7. ° !
9 0" ( +$ !
/ 1
i
´ 1
/ !
U(
1
² 0. $ p( lk
·& !
9 ³. n& p( " rter
Grammatiken erhebliche Fortschritte gegeben, so dass diese Bedenken für aktuelle Systeme weniger relevant
sind. Vergleiche hierzu z. B. Brawer 98 (Kompilation von Merkmalsstrukturen auf Maschinenebene).
81
Gerhard Fliedner
Auf der anderen Seite vermuten Bredenkamp, Crysmann und Petrea, dass Constraint Relaxation nicht die richtige Technik ist, um Grammatikfehler in Texten zu ;'G@c@?#G 42:
[W]ithout an explicit error model, it will not be straightforward to track down the offending input token(s) within an erroneous sentence. Furthermore, failure during parsing cannot be reliably identit¡7 with erroneous input, because it may equally well be related to the coverage of the underlying grammar. (Bredenkamp, Crysmann und Petrea 2000, o. S.)
Fehlerantizipation ist also i. A. die speziellere und Constraint Relaxation die allgemeinere
Technik.
• Fehlerkorrektur
Im Allgemeinen kann dadurch, dass bei der Fehlerantizipation direkt nach dem Fehler gesucht wird, eine genauere Diagnose und auch eine bessere Korrektur des Fehlers durchgeführt werden. Bei der Constraint Relaxation kann das System nur indirekt von der Fehlerauswirkung auf die Fehlerquelle schließen, so dass es schwierig sein kann, eine adäquate
Korrektur vorzuschlagen.
Beispielsweise kann eine Fehlerregel, die genau die Phrase *meines Wissens nach erkennt,
sowohl meinem Wissen nach als auch das gängigere meines Wissens als Korrekturen vorschlagen. Ein Ansatz mit Constraint Relaxation wird wahrscheinlich nur die Korrektur meinem Wissen nach vorschlagen.43
• Wortstellungsphänomene
In Hybridansätzen mit Constraint Relaxation und Fehlerantizipation wird für Wortstellungsphänomene (fehlende, „überY¸'<7<%C+W?¹Hc@?Kx?#KT<VgQ?OpOUgQ?»º@KVgQ?K%¼DH^hag½RJ'<-c8K¸j=P@O+C=>LN?#>8O? rantizipation verwendet (vgl. ¾FH@ORG[_jJ@]^H^¿FJG@c{NOÀgQ?#PÁ@Â , Vosse 92). Das hängt vor allem damit
zusammen, dass die meisten Grammatiken Wortstellungsphänomene nicht über Constraints
beschreiben.44
Im Korrekt-System wird Constraint Relaxation als Technik zum Finden und Korrigieren von
Fehlern verwendet. Constraint Relaxation bietet sich hier an, da es sich bei Kongruenz innerhalb einer deutschen Grammatik um ein natürliches und damit gut isolierbares und darstellbares
Die Autoren sprechen nicht explizit von Constraint Relaxation, sondern vielmehr von „positively det©§1¡T grammar using standard ‘parsing technologies’ to detect ill-formed input“ (Bredenkamp, Crysmann und Petrea
2000, o. S.). Da diese Technik mit ihrem eigenen Ansatz (Fehlerantizipation, vgl. 3.5.5.1) kontrastiert wird und
die dort als Beleg zitierten Arbeiten alle Constraint Relaxation verwenden, gehe ich davon aus, dass Constraint
Relaxation gemeint ist.
42
43
Die Phrase meines Wissens nach wird in verschiedenen Arbeiten zum Flag-Projekt zur Veranschaulichung
der Fehlerregeln verwendet, vgl. z. B. Bredenkamp, Crysmann und Petrea 2000.
44
Vergleiche aber Rodríguez, Marín und Oliva 96, wo auch Wortstellungsphänomene über Constraints beschrieben werden, vgl. auch 3.5.6.2. Ein Ansatz zur allgemeinen Beschreibung von Wortstellung über
Constraints in Uni²1.0$(pkl&n´#°). mmatiken (insb. HPSG) 81"%$[&n(p*0,(+ Engelkamp, Erbach und Uszkoreit 92.
82
Constraint handelt. Dieses Constraint erlaubt daher eine einheitliche Beschreibung der Fehlerquelle (vgl. 3.6.1).
Darüber hinaus erlaubt die Beschreibung von Kongruenzfehlern durch Constraint Relaxation
eine einheitliche Behandlung verschiedenster vorstellbarer Kongruenzfehler. Bei einem Ansatz
mit Fehlerantizipation wäre eine größere Zahl von Regeln notwendig.
Bei dem gewählten Ansatz werden die relevanten Constraints Kongruenz in der Nominalphrase, starke, schwache bzw. gemischte Deklination der Adjektive und Präpositionalrektion relaxiert und erst nach dem Parsen für überspannende Analysen überprüft (Parsen ohne
Constraints). Das folgende Unterkapitel beschreibt verschiedene in anderen Systemen verwendete Techniken zur Constraint Relaxation und erklärt die Entscheidung für das Parsen ohne
Constraints.
4.1.2 Techniken zur Constraint Relaxation
Wie bereits im vorigen Unterkapitel angesprochen, ist bei der Verwendung von Constraint
Relaxation die Steuerung besonders wichtig, da beim Parsen mit Constraint Relaxation der
Suchraum sehr groß werden kann (Constraints helfen ja gerade dabei, ungrammatische Analysen frühzeitig auszuschließen). Daher erlauben Systeme mit Constraint Relaxation i. A. nur die
Relaxation bestimmter Constraints. Andere Constraints, deren Verletzung zu im Rahmen der
Grammatik nicht mehr interpretierbaren Sätzen führt, dürfen dagegen nicht relaxiert werden
(vgl. z. B. Ravin 93, 74 f. und Bolioli, Dini und Malnati 92, 1005). Weischedel und Sondheimer
formulieren das Problem der Aufgabe eines Teils der Kontrolle sogar so:
One of the most critical problems is control. The need to relax the very rules that constrain the search
for an interpretation is like opening Pandora’s box. This affects not only the time required to understand an ill-formed input, but also ambiguity through the additional alternatives the system is prepared
to accept. (Weischedel und Sondheimer 83, 175)
Daneben möchte man normalerweise als Parsingergebnis nur eine geringe Zahl von Analysen
erhalten. Daher ist es sinnvoll, die gefundenen Analysen zu bewerten, um möglichst schon
während des Parsens wenig vielversprechende Teilanalysen ausschließen zu können. Besonders
wichtig ist das natürlich für Eingaben, für die eine grammatische Analyse existiert: Hier soll
diese Analyse so schnell wie möglich gefunden werden.
Es werden daher verschiedene Techniken der Constraint Relaxation angewendet. Diese lassen
sich in drei grundsätzlichen Vorgehensweisen unterteilen: Wiederholtes Parsen, Parsen mit
relaxierbaren Constraints und Parsen ohne Constraints.
Diese Vorgehensweisen sollen anhand einzelner Verfahren und Beispiele im Folgenden genauer
beschrieben werden.
83
Gerhard Fliedner
• Wiederholtes Parsen
Bei dieser Vorgehensweise werden Eingaben zunächst mit einer „strikten“ Grammatik mit
allen Constraints geparst. Nur wenn keine Analyse gefunden werden kann, wird die Gram; !
I C #
? VK Qg ½
_ pC @
G @
c ? Ã
E ^
] S
? V< g +C D
E E Qg
?
Ä ^
H G V< g -K R pC S
G -g s
< W ? 4O
H = P #
? VK F
g F
` ? bK @
c ?
G
X
Å UC
g @
c ? s
K i
E
H 8
c C ; zierten
matik modi'
Grammatik wird die Eingabe erneut geparst. Das hat den Vorteil, dass für korrekte Eingaben, die von der Grammatik akzeptiert werden, auf jeden Fall zunächst die entsprechende
Analyse gefunden wird. Die Eingabe wird nur mit relaxierten Constraints untersucht, wenn
keine grammatische Analyse möglich ist.
Dieses Verfahren wird im Critique-System verwendet (ein Parse mit relaxierten Constraints,
vgl. Ravin 93, 75, vgl. auch 3.5.7.1). In Douglas und Dale 92 wird ein Verfahren beschrieben, in dem nacheinander Gruppen von Constraints gelockert werden und die Eingabe
mehrfach geparst wird, bis ein Ergebnis gefunden werden kann (vgl. 3.5.6.1).
In Uszkoreit 91 wird beschrieben, wie das Parsingverfahren bei der Constraint Relaxation
; !
I C #
? VK '
g F
` ? bK @
c ? G P R G @
G _ @
c S
R T< :
< G C =
>
g Qg lR -g -< !
Z = > +O C = > ` C 1
? @
c ? %K @
> @
H UO N
g W ? } R 7K V< '
g F
` #
? -K @
c ? G E '
J 7< l< !
X F
A #
R I J
so modi'
wird jedes relaxierbare Constraint mit einer Menge von geordneten Paaren von RelaxationsLevel und relaxiertem Constraint markiert. Diese Paare geben jeweils an, wie die relaxierte
Version des Constraints auf dem jeweiligen Relaxations-Level aussieht.
Parsen beginnt zunächst auf dem niedrigsten Relaxations-Level. Für verletzte Constraints
wird beim Parsen ein Backtrack-Punkt generiert und die weitere Verarbeitung zunächst abgebrochen. Wenn keine Analyse gefunden werden kann, werden Teilanalysen beibehalten
und nacheinander die Backtrack-Punkte abgearbeitet. Dazu wird statt des gescheiterten
nicht-relaxierten Constraints die relaxierte Version für den jeweiligen Relaxations-Level
verwendet. Dadurch können Analysen mit relaxierten Constraints gefunden werden, ohne
dass Teilergebnisse vom Parsen vollständig verworfen werden müssen.
• Parsen mit relaxierbaren Constraints
Bei diesem Verfahren wird bereits im ersten Parse das Aufbauen von Teilparses mit relaxierten Constraints erlaubt. Normalerweise arbeiten Systeme, die dieses Verfahren anwenden,
mit an die Verletzung von Constraints gebundenen spezi:
; -< = [
> ? d
G D

H V< Qg ? j
G ^
X
? i
` ? VK )g J 8
G W sfunktionen wählen die „billigsten“ Analysen aus und bevorzugen dadurch fehlerfreie Analysen
(Kosten 0).
Zwei Systeme (LaTeSlav, vgl. 3.5.6.2 und Rodríguez, Marín und Oliva 96, und GramCheck, 3.5.7.2 und Ramírez [u.a.] 95), die HPSG-ähnliche Grammatiken verwenden, implementieren Constraints als mit den jeweiligen Grammatikregeln verbundene externe Relati-
84
CAT s



 AGR 3



 FEHLER 4





CAT n    ∧ AGREE( 1 , 2 , 3 , 4 )
HEAD − DTR 

 


AGR 1   

 DTRS
CAT v   


 
COMP − DTR 

 AGR 2   



AGREE(X, X, X, kein_fehler).
AGREE(X, Y, X, kongruenz_fehler):- X\=Y.
Abbildung 5: Externe Relation zur Constraint Relaxation (nach Rodríguez, Marín und
Oliva 96, 42)
onen.45 Abbildung 5 zeigt eine vereinfachte Version eines Teils einer Grammatikregel aus
dem LaTeSlav-System, die Subjekt und Prädikat zu einem Satz verbindet. Man kann hier
; P R g 4C ^
H G %< @
W -K R D
E F
E R g +C P ?
G @
¸ ] ? d
K D
@
H -K ? h ? bK ? nz
sehen, dass die Kongruenz nicht wie sonst in Uni'
zwischen den Kongruenzmerkmalen der Töchter und der Mutter erzwungen wird, sondern
vielmehr der externen Relation AGREE übergeben wird, die eine entsprechende Fehlermeldung als Wert in das Attribut FEHLER einträgt, wenn Subjekt und Prädikat nicht kongruieren.
; 8
G C ? K Qg
_ @
c S
R 7<
< %< 4C ? 8
c C \
? @
W O ? C #
= @
> ? G
%K W ? [
] 8
G aC 7< -< \
? +O 4C ? h ? %K G D
` C ? 8
c C ? 8
Æ Qg R nDiese Relationen sind also so de w
darduni'
; P R g C @
H @
G _ i
` ? 8
G Ç
G P ? +C [
G
?
Ä ^
H G V< g -K R pC S
G -g È
< ^
x ? %K O l? g I s
g F
` #
? -K @
c ?
G \
X N
L #
R +O aO É
< lR ] ? È
K »
? VK Qg
? +C 8
G P @
H E } R g ibel
sind, d. h. ein Constraint verletzt wird, liefern sie als Ergebnis eine passende Fehlermeldung,
die als Wert in die erzeugte Feature-Struktur eingefügt wird und dann bis zum Toplevel explizit weiterpropagiert und dort ausgewertet werden kann.
Andere Ansätze modi'
; !
I 4C ? -K ? F
G lR j
J = F
> 8
c +C -K #
? 8
P :
g 8
c 4C \
? +C Ê
E 8
Æ
< Qg ? |
E x #
? VK F
` #
? @
G @
c ? Qg B
? D
Ë 8
G +C )h P lR g ion. Das Ergebnis der Uni'
; P R g C @
H G I F
` #
? C ? \
K G C =
>
g J 8
G UC w
; !
I C ? VK ^
] R -K ?
K Ì
#
? VK Qg
? aC <
g +C É
G -< @
H O = [
> ?
G 8
Æ V< Qg #
? F
E ? G 8
G C =
> g ⊥ (Bot; P R g C @
H Í
G b< = 8
> O #
Z 8
W
g 8
G C #
= S
>
g h ? > +O -¼ 3
_ b< ^
H [
G @
c ? %K G @
I X B. eine Disjunktion der Werte. Als
tom, d. h. die Uniw
Kostenfunktion kann hier einfach die Zahl der Disjunkte verwendet werden.
Ein solcher Ansatz für eine Grammatik im Japanese-Phrase-Structure-Grammar-Framework
(JPSG, ähnlich HPSG) ;'G[c@?g<%C=>sCpG Imaichi und Matsumoto 95 im Rahmen einer Arbeit
zum robusten Parsen japanischer Eingaben.
45
Pollard und Sag verwenden in ihrer HPSG-Beschreibung ebenfalls Relationen und Funktionen, z. B. die
Mengenvereinigung, vgl. Pollard und Sag 94, 21.
85
Gerhard Fliedner
Ähnlich ist auch das in Rager 94 vorgeschlagene Verfahren. Rager verwendet eine ZweiEbenen-Grammatik (Two-Level Grammar, nicht zu verwechseln mit Zwei-EbenenMorphologie, vgl. 3.2). Diese Grammatik hat ein kontextfreies Rückgrat, zusätzlich können
in den Regeln Variablen verwendet werden. Bei der Anwendung der Regeln werden Werte
Y +C 8
P Qg #
? s
G P ^
H E E Qg w
_ D
` +C -K c 8
c C ? R QK C R @
] 4O ? nbindung
an die Variablen gebunden. Falls es dabei zu Kon'
aufgehoben und der Konw
Y +C 8
P g +C
G #
? +C @
G ? K z
Î aC V< Qg È
? W
? %< } ? C #
= @
> ? VK 7g :
X Ï
E
@
G @
c r
? @
c S
? < y
{ R TK b< S
? < P º nnen aus
Y +C 8
P g pO aC V< Qg B
?
~ j
¸ =
P b< = 8
> UO '
¸ 7< -< ? R J N
h 8
c C B
? ^
x ? %K O l? g I Qg ? F
G
Ä @
H
G V< g bK R +C S
G -g y
< W ?
I @
H W ? G werden.
dieser Kon'
Eine Zwischenstellung nimmt Erbachs Ansatz (93) ein, bei dem die Constraint Relaxation
über besondere, mit Kosten kombinierte externe Relationen sowie eine zusätzliche, ebenfalls
mit Kosten versehene relaxierte Version der Gleichheitsrelation zwischen Werten erzielt
wird.
• Parsen ohne Constraints
Bei dieser Vorgehensweise werden die Constraints nicht während des Parsens, sondern erst
in einem gesonderten Schritt nach Ende des Parsens für die vollständigen Analysen durchgeführt. Während des Parsens müssen die Constraints also in geeigneter Form in die Analysen
integriert werden, sie werden jedoch während des Parsens noch nicht ausgewertet.
Ein Beispiel für diese Vorgehensweise ist das in Kudo [u.a.] 88 beschriebene Englischtutorsystem (vgl. 3.5.7.8). In dem beschriebenen Lexical-Functional-Grammar-Framework
(LFG) werden die Gleichungen der f-Struktur nicht beim Parsen ausgewertet, sondern erst
nach Ende des Parsevorgangs. Falls dabei Fehler auftreten, wird mithilfe spezieller Relationen der gewünschte Wert ermittelt und ggf. eine Korrektur für die Eingabe erzeugt. Um den
möglichen Suchraum zu beschränken, wird im beschriebenen System die Eingabe allerdings
zunächst mit einer „schwachen“ kontextfreien Grammatik ohne Constraints geparst. Nur für
Eingaben, die von dieser Grammatik akzeptiert werden, wird die Eingabe mit der zweiten,
aufwendigeren Grammatik mit Constraint Relaxation geparst.
Im Grammatikkorrektursystem von Genthial, Courtin und Ménézo wird die Eingabe morphologisch analysiert, aber zunächst nur anhand der Wortarten mit einer Dependenzgrammatik geparst (vgl. auch 3.5.6.4). Vollständige Analysen werden dann an einen als „Checker“ bezeichnetes Modul weitergereicht, das anhand der Kongruenzmerkmale die
Constraints prüft und, falls diese nicht erfüllt sind, Korrekturen vorschlägt. (Genthial,
Courtin und Ménézo 94)
Im Grammatikkorrektursystem von Bolioli, Dini und Malnati (vgl. 3.5.6.3) sind die
Constraints in starke Constraints, die nicht relaxiert werden dürfen, und schwache, relaxierbare Constraints unterteilt. Das System wertet beim Parsen Constraints erst aus, sobald alle
zugehörigen Variablen instanziiert sind. Jede Analyse bekommt einen Zähler für Constraintverletzungen. Für jedes schwache Constraint, das verletzt wird, wird dieser Zähler erhöht.
86
Erst nach Ende des Parsens werden alle Analysen global verglichen. Es werden also auch
Analysen mit hohen Kosten bis zum Ende weiterverfolgt. Das entspricht einem Parsen ohne
die relaxierbaren Constraints. (Bolioli, Dini und Malnati 92)
Im Korrekt-System wird das Vorgehen „Parsen ohne Constraints“ angewandt. Dazu wird die
Eingabe zunächst morphologisch analysiert. Danach werden mithilfe einer auf endlichen Automaten basierenden Grammatik die Nominal- und Präpositionalphrasen geparst. Dabei werden
die Kongruenzconstraints zunächst nicht beachtet. Das System parst also zunächst ausschließlich auf Basis der Wortartinformation. Die weiteren morphologischen Informationen werden
allerdings zusammen mit den Constraints in den Analysen gespeichert. Erst bei der Bewertung
der Analysen werden dann die Constraints ausgewertet (vgl. 4.3). Damit entspricht das Vorgehen weitgehend dem von Genthial, Courtin und Ménézo (94).
Dieses Verfahren konnte gewählt werden, da der Suchraum auch ohne Constraints i. A. nicht
; -< = [
> ? 3
Ð lR -g -< !
R = [
> ? G ^
] ? C _ 8
c C ? 8
c C \
? 8
G ©
I R 8
> O @
c ? :
K [
G R O ysen
zu groß wird. Dazu tragen zwei problemspezi :
gering halten: Zum einen ist die Zahl der möglichen unterschiedlichen Lesarten pro Wort (bezogen auf die Wortart) gering, u. a. weil innerhalb der Nominalphrasen keine Verben vorkommen, so dass Verblesarten ignoriert werden können. Zum anderen werden vom Parser nur
Nominalchunks aufgebaut, so dass die zusammenhängenden Analysen i. A. nur wenige Wörter
umfassen (zur Parsinggeschwindigkeit des Systems vgl. 6.8). Dadurch kommt es nicht zur
kombinatorischen Explosion, die entsteht, wenn für aufeinander folgende Wörter mehrere An alysen möglich sind, so dass sich die Zahl der insgesamt möglichen Anal ysen ausmultipliziert.
4.2 Grammatikformalismus
In 3.3 wurde beschrieben, dass zur syntaktischen Analyse von Eingaben Parser verwendet
werden. Dort sind ebenfalls Grammatikformalismen, formale Sprachen und Grammatiken und
deren Einordnung in die Chomsky Hierarchie kurz beschrieben. 46
In früheren Kapiteln (insb. 2.2, 4.1) wurde gezeigt, dass zur allgemeinen Kongruenzprüfung in
deutschen Nominalphrasen eine syntaktische Analyse der Eingaben benötigt wird, da nur so
mit ausreichender Sicherheit bestimmt werden kann, welche Worte miteinander auf welche
Weise kongruieren (müssten). Dieses Kapitel stellt die Auswahl des Grammatikformalismus für
das System vor.
Bei der Wahl des Grammatikformalismus für Systeme zur Verarbeitung natürlicher Sprache
gibt es i. A. zwei gegensätzliche Bestrebungen: Zum einen möchte man einen Formalismus mit
46
Dieses Kapitel ist „Grammatikformalismus“ überschrieben, auch wenn z. T. formale Sprach- bzw. Grammatikklassen der Chomsky-Hierarchie beschrieben werden. Vergleiche dazu auch 3.3 und Uszkoreit 97
87
Gerhard Fliedner
möglichst großer Beschreibungsmächtigkeit verwenden, um alle vorkommenden Phänomene
der natürlichen Sprache adäquat beschreiben zu können. Zum anderen soll das System Eingaben i. A. schnell verarbeiten (z. B. bei Verarbeitung gesprochener Sprache möglichst nah an
Echtzeit; Verarbeitung von Texten möglichst so schnell, dass keine Wartezeiten für den Benutzer entstehen).
Da jedoch mit der Mächtigkeit des Formalismus auch die Verarbeitungskomplexität und damit
die Parsingzeit (zumindest die Worst-Case-Komplexität) steigt, stehen diese zwei Bestrebungen im Widerspruch zueinander. Üblicherweise wählt man daher einen Formalismus, der gerade mächtig genug ist, um die zu erwartenden natürlichsprachlichen Phänomene noch abzudecken. In Kapitel 3.3 wurde die Chomsky-Hierarchie eingeführt, in der Sprachklassen nach ihrer
Mächtigkeit und damit zugleich nach ihrer Verarbeitungskomplexität angeordnet sind.
Daher stellte sich bei der Konzeption des Korrekt-Systems die Frage, welche sprachlichen
Phänomene bei der Verarbeitung von deutschen Nominalphrasen auftreten und welche Art von
Formalismus geeignet ist, um sie zu verarbeiten.
In 2.2 wurde bereits der Umfang der Nominal- und Präpositionalchunks grundsätzlich beschrieben. Im Folgenden soll geklärt werden, welche Anforderungen ein Formalismus zu ihrer
Beschreibung mindestens erfüllen muss.
4.2.1 Reguläre Ausdrücke
Auf den ersten Blick bieten sich reguläre Ausdrücke für die Beschreibung deutscher Nominalphrasen an. Es handelt sich dabei um eine besonders einfache Form von formalen Sprachen. Sie
erlauben die Beschreibung der „einfachsten“ Klasse der rekursiv aufzählbaren Sprachen der
Chomsky-Hierarchie. Eine gute allgemeine Einführung ;'G[c@?gs<QC=>C+G Hopcroft und Ullmans
Standardwerk (79, Kapitel 2 und 3).
Vom Standpunkt der Verarbeitung auf dem Computer haben reguläre Ausdrücke sehr angenehme Eigenschaften: Sie lassen sich mit endlichen Automaten verarbeiten, das Wortproblem
(also die Frage, ob eine gegebene Eingabe Bestandteil einer durch einen regulären Ausdruck
beschriebenen Sprache ist), ist in linearer Zeit bezüglich der Eingabelänge entscheidbar, also im
Vergleich zu anderen Formalismen, die in der Sprachverarbeitung eingesetzt werden, sehr
schnell, usw.
Abbildung 6 zeigt beispielhaft einige reguläre Ausdrücke über Wortarten zusammen mit Beispielen für deutsche Eingaben, die sie beschreiben. Im Folgenden Unterkapitel werden allerdings verschiedene Phänomene in deutschen Nominalphrasen aufgelistet, die mit regulären
Ausdrücken nicht adäquat beschrieben werden können.
88
Regulärer Ausdruck
N
Det N
Det A* N
Det (Adv* A)* N
Beispiel einer akzeptierten Eingabe
Wasser
der Computer
der schnelle Computer, der schnelle leistungsfähige Computer
der äußerst schnelle ganz besonders leistungsfähige Computer
Abbildung 6: Einige reguläre Ausdrücke über Wortarten und Beispiele für akzeptierte deutsche Eingaben
4.2.2 Rekursive Strukturen in deutschen Nominalphrasen
Reguläre Ausdrücke sind nicht geeignet, um klammerartige Strukturen (zumindest nicht unendlicher Tiefe) auszudrücken, d. h. Ausdrücke, bei denen für jede öffnende Klammer auch
eine entsprechende schließende Klammer vorkommen muss. Die Sprache, die von anbn beschrieben wird, also die Sprache, die aus Wörtern besteht, bei denen auf eine Anzahl von as
genau die gleiche Zahl von bs folgt, ist z. B. keine reguläre Sprache, sondern kontextfrei. 47
Es gibt aber deutsche Nominalphrasen mit verschachtelten Ausdrücke Ausdrücken dieser Art,
d. h. eine Nominalphrase enthält wieder eine Nominalphrase. 48 Man spricht von SelfEmbedding, wenn eine Struktur sich wieder selber enthält und auf beiden Seiten des eingebet; [
G @
c ? G
teten Elements Wörter der einbettenden Phrase stehen. In deutschen Nominalphrasen '
sich verschachtelte Strukturen zum einen bei pränominalen Adjektiv- bzw. Partizipialphrasen
; P R Qg ^
H bK ?
G @
I X B. das in dieser
mit nominalen oder präpositionalen Komplementen oder Modiw
Arbeit beschriebene System), zum anderen bei postnominalen Modi'
; P R Qg @
H -K ?
G V @
I X B. ein Programm zur Erkennung der Kongruenzfehler).
In Fällen wie diesen muss die strukturelle Analyse die verschiedenen Strukturen erkennen, damit die Kongruenz aller Nominalphrasen vollständig geprüft werden kann (z. B. sowohl das …
beschriebene System als auch in dieser Arbeit).
Für postnominale Modi'
; P lR Qg ^
H -K #
? d
G -< = [
> ? +C
G 3
g Q< C = > #
I J @
G !
Z = > V< y
g ? +C [
G ? ? +C G h !
R = @
> B
?
Î
º V< J G m
W R 8
G I @
J [
] C ? Qg ? G i
A \
R +C E
KORREKT-System ausschließlich die Kongruenz der Nominalphrasen geprüft werden soll, spielt
die strukturelle Abhängigkeit der Phrasen voneinander zunächst keine Rolle – sie können unabhängig voneinander analysiert werden.49 In einem Fall ist dies allerdings nicht möglich:
Wenn mehrere Nominalphrasen koordiniert werden, von denen eine oder mehrere postnominaDiese Sprache wird häu´.TÑ&Ò'"-(&5Ó1(+"-Ñ8ÔÕ!°²1kl$"-Öl$+Ôo°)"0(p"B×lÓ1°).T*-,!"-.T!´#"%ÔÕ!,!°a$5µ!Øa Lewis und Papadimitriou 81
wird gezeigt, dass die Sprache nicht regulär (S. 75) aber kontextfrei (S. 98) ist.
47
48
In diesem Kapitel wird nicht zwischen eingeschachtelten Nominal- und Präpositionalphrasen unterschieden,
da im Rahmen des Systems keine Rektionsprüfung außer für Präpositionen behandelt wird.
Dabei wird nicht berücksichtigt, dass postnominale ModiS²1.0$4kl°)"09!"7&5$4(+±±$4"3Ùk rmen (postnominales Genitivattribut oder postnominale Präpositionalphrase) annehmen müssen. Verletzungen dieser Form werden vom
System in seiner aktuellen Form nicht gefunden. Erste Versuche hatten ergeben, dass die Präzision für diese
Art von Überprüfung ohne volle syntaktische Analyse zu schlecht aus
-" +Ñ -" 8
µ
49
89
Gerhard Fliedner
le Modi'
; P R Qg @
H -K ? s
G lR J ah F
` ? oC -< ?
G i
A S
R < 8
Æ V< Qg ? Ú
E -< @
H +O
O 8
> 4C ?
K 8
c C ½
? D

R V< '
J V< @
¸ ^
] ? -K ? C nstimmung der koordinierten
50
Phrasen prüfen. Dazu muss aber die genaue Struktur der Schachtelung bekannt sein. Beispielsweise müssen bei den beiden folgenden Eingaben jeweils die unterstrichenen Phrasen auf
Kasuskongruenz geprüft werden:
• Ein Programm zur Erkennung von Kongruenzfehlern und ein leistungsfähiges System zur
Rechtschreibprüfung, Struktur [NP [NP NP [PP PP PP]] Konj [NP NP PP]]
• Ein Programm zur Erkennung von Kongruenzfehlern und Stilschwächen, Struktur [NP NP
[PP P [NP NP Konj NP]]]
Diese Beispiele zeigen, dass die genaue Struktur der Schachtelung tatsächlich ermittelt werden
können muss, um auch in Fällen von Koordination eine volle Kongruenzprüfung vornehmen zu
können.
Wie oben bereits erwähnt, können reguläre Ausdrücke nicht verwendet werden, um unendlich
tiefe Schachtelungen auszudrücken. Schachtelungen mit endlicher Tiefe können dagegen beschrieben werden. Die beiden beschriebenen Schachtelungen in deutschen Nominalphrasen
können theoretisch beliebige Tiefe erreichen. Um Nominalphrasen adäquat beschreiben zu
können, können daher keine regulären Ausdrücke verwendet werden.
4.2.3 Deterministische kontextfreie Grammatiken
Da deutsche Nominalphrasen selbsteingebettete Strukturen enthalten können (vgl. 4.2.2), sind
reguläre Ausdrücke bzw. endliche Automaten zur adäquaten Beschreibung deutscher Nominalphrasen im Allgemeinen nicht mächtig genug. Es muss daher eine Sprachklasse verwendet
werden, die echt mächtiger als reguläre Ausdrücke ist. Der nächsthöhere Sprachtyp innerhalb
der Chomsky-Hierarchie sind die kontextfreien Sprachen. Sie sind allerdings bereits i. A. nicht
in linearen, sondern nur in polynomieller Zeit bezüglich der Eingabelänge zu verarbeiten (vgl.
Hopcroft und Ullman 79, insb. S. 145). Daher sollte möglichst eine einfach zu verarbeitende
Unterklasse der kontextfreien Sprachen verwendet werden.
Gerade zur Beschreibung von Grammatiken, die Klammerstrukturen enthalten, werden in
Compilern für Programmiersprachen sehr häuÛ'ÜmÝ@ÞßQÞà%áDâ+ã8âaäßâaä-å#æ@Þ\çè@ãSßQÞéßê)à-ÞâÞëà-ìááiìßâ+çÞã
eingesetzt (Hopcroft und Ullman 79, 233). Diese haben den Vorteil, dass sie zwar Klammer-
50
Man könnte auf diese Überprüfung auch verzichten, würde dadurch aber Recallfehler inkauf nehmen. In den
untersuchten Korpora war allerdings die beobachtete Zahl von Fehlern bei dieser Art von Konstruktionen klein,
so dass es evtl. sinnvoll sein könnte, auf die aufwendige Überprüfung dieser Fehler zu verzichten. Zur Prüfung
von Adjektivphrasen mit ModiíS²1î0ï4ð+ñlòó!®0ôµõzñl±Ó1Ñ+ö-±ö-òïö-òm÷aø%µ o.) wird die Analyse verschachtelter Phrasenstrukturen jedoch auf jeden Fall benötigt, vgl. auch den Vergleich mit dem „Grammatik“-System, das diese
Strukturen anscheinend nicht erkennt (6.6.2.1).
90
strukturen adäquat behandeln können, aber trotzdem nicht die volle Mächtigkeit der kontextfreien Sprachen besitzen.
Deterministische kontextfreie Sprachen werden genau von deterministischen Kellerautomaten
akzeptiert. Diese Kellerautomaten sind dadurch gekennzeichnet, dass sie keinen Nichtdeterminismus zulassen und damit auch keine ambigen Strukturen: Für einen bestimmten Zustand, eine
bestimmte Eingabe und ein bestimmtes oberstes Symbol auf dem Keller darf es höchstens einen
Übergang geben (insbesondere auch für die leere Eingabe ε). Deterministische kontextfreie
Sprachen sind in Hopcroft und Ullman 79, 233 ff. beschrieben.
Bei der Analyse deutscher Nominalphrasen sind aber, wie oben bereits angedeutet, häuÛ'Üúù^Þ rschiedene syntaktische Analysen (insbesondere der Art der Schachtelung) möglich. In solchen
Fällen sollen alle Analysen ermittelt werden, da nur so sichergestellt werden kann, dass sich die
korrekte Analyse (also eine, die keine Kongruenzfehler enthält) unter den Analysen '
Û ã det. Die
folgenden zwei Beispiele sollen das verdeutlichen:
1. eines Systems mit Benutzerober@û ü ý þ ÿ und Hilfetexten
2. ein System zur Grammatikkorrektur und Editoren
Beide Sätze enthalten die gleiche Folge von Wortarten. Während aber bei 1. eine Präpositionalphrase mit zwei koordinierten Nominalphrasen eine Nominalphrase (eines Systems) modi
ziert, sind bei 2. zwei Nominalphrasen koordiniert, von denen die erste von einem postnominalen Modi Für beide Sätze sollen jedoch zunächst beide Analysen erzeugt werden und erst später, bei der
Auswahl der besten Analyse (vgl. 4.3), die für den jeweiligen Satz richtige ermittelt werden.
Das ist wichtig, da man sich beim Parsen auf der Suche nach Kongruenzfehler gerade nicht auf
die Kongruenzmerkmale der Phrasen verlassen kann, um falsche Analysen aufgrund verletzter
Constraints ausschließen zu können.
Dies zeigt jedoch, dass es nötig ist, einen Formalismus zu verwenden, der auch nichtdeterministische, ambige Strukturen beschreiben kann. Daher kamen deterministische Grammatiken
hier nicht infrage.
4.2.4 Endliche Automaten mit Rekursion
Im System wurde ein Grammatikformalismus verwendet, der zusätzlich zu regulären Ausdrücken genau Schachtelungsphänomene (Rekursion) erlaubt. Dieser Formalismus ist meines Wissens bisher in der Literatur noch nicht beschrieben worden.
Als Basisformalismus wurden endliche Automaten verwendet, die jedoch um einen zusätzlichen Rekursionsübergang erweitert wurden. Sobald das System beim Parsen einen solchen
91
Gerhard Fliedner
Übergang erreicht, wird die aktuelle Position im Automaten auf einem Stack abgelegt und der
Automat in den Startzustand versetzt. Sobald dieser „eingebettete“ Automat einen Endzustand
erreicht, wird der gespeicherte Zustand vom Stack geholt und die Verarbeitung des „übergeordneten“ Automaten an dieser Stelle fortgesetzt. Erst wenn ein Endzustand mit leerem Stack
erreicht wird, wird die Eingabe akzeptiert.
Dieser Formalismus entspricht weitgehend in den Siebzigerjahren des vorigen Jahrhunderts
weit verbreiteten Recursive Transition Networks (RTN), z. T. auch als Basic Transition Networks bezeichnet (vgl. Woods 70). Bei RTNs besteht eine Grammatik aus mehreren, mit Namen versehenen Automaten. Übergänge können hier mit dem Namen eines beliebigen dieser
Automaten gelabelt werden. Beim Parsen des Übergangs wird, ähnlich dem oben beschriebenen Vorgang, der aktuelle Zustand auf dem Stack gesichert und die Verarbeitung des neuen
Automaten mit dessen Startzustand begonnen.
Die RTNs entsprechen damit in der Beschreibungsmächtigkeit genau den kontextfreien Grammatiken. In Woods 70 !#"$%'&( ) )+*,!-."/"$ 0132 4"65,798:.";=<>4"?4A@B%& ein Kellerautomat und jeder Kellerautomat kann in ein äquivalentes RTN übersetzt werden. Da
die Äquivalenz von kontextfreien Grammatiken und Kellerautomaten etabliert ist (vgl.
Hopcroft und Ullman 79, 107 ff.), sind RTNs damit äquivalent mit kontextfreien Grammatiken.
Der hier verwendete Formalismus ist allerdings gegenüber den RTNs eingeschränkt. Er erlaubt
nur die Verwendung genau eines Automaten, der nur sich selber aufrufen darf. Dadurch ist der
Formalismus echt weniger mächtig als kontextfreie Grammatiken. Das soll im Folgenden genauer gezeigt werden. Alle DeC A E
D F
,
* ! . ?" E
$" G
C I
H ' Hopcroft und Ullman 79
angelehnt.
J K NL ?M .L O K 1: Endlicher Automat mit Rekursion
De;
Ein endlicher Automat mit Rekursion (EAR) ist ein Quintupel (Q,Σ,δ,q0,F), mit
Q: Zustände
Σ: Eingabealphabet
δ: Übergänge, δ: Q×Σ∪{S}→2Q, S∉Σ
q0: Startzustand, q0∈Q
F: Endzustände, F∈Q
J K NL ?M .L O K 2: Berechnung
De;
M ist ein EAR M=(Q,Σ,δ,q0,F). Eine Folge von Zuständen und Übergangslabeln
(q0,a1,q1,a2,…,ar,qr) mit qi∈Q, ai∈Σ∪{S} heißt Berechnung, wenn
1. ∀i, 0≤i<r: qi+1∈δ(qi,ai+1)
92
a
b
Abbildung 7: Endlicher Automat mit Rekursion51 für die kontextfreie Sprache anbn
2. qr∈F
Ein w∈Σ* wird von einer Berechnung akzeptiert, gdw.
1. a1∈Σ und w=a1w' und (q1,a2,…,ar,qr) akzeptiert w’
oder 2. a1=S und ∃v, v∈L(M) mit w=vw'
außerdem (qr) akzeptiert ε.
L(M) ist die Sprache, die von M akzeptiert wird. L(M)={w|es gibt eine Berechnung, die w akzeptiert, die in q0 anfängt}. Eine solche Sprache wird im Folgenden als reguläre Sprache mit
Rekursion (RSR) bezeichnet.
4 " ) $ % Q& ' #
Q " '% 4& ! R
S " A . ?" % & @ B % & (
T D V
U S #
" ! D ;
W Die DeP A besondere Klasse von Übergängen, die mit dem Symbol S (nicht in Σ) gelabelt sind. Ein solcher
Übergang wird genau dann angewendet, wenn als Eingabe an dieser Position ein Wort in L(M)
gelesen werden kann. Das entspricht genau der informellen Beschreibung oben.
Im Folgenden soll die Position der Sprachklasse RSR innerhalb der Chomsky-Hierarchie
angegeben werden.
4.2.4.1 Einordnung in die Chomsky-Hierarchie
Da die DeC A 4 6
" Y
X (
T Z
5 D 6
W ' #
Q " '% 4& ! R
S " A . ?" % & @ B % & (
T D .[ R
8 \
X ^
T ]
aufbaut, ergibt sich, dass jeder EAR ohne S-Übergänge ein NEA ist und daher die gleiche
Sprache wie dieser akzeptiert. Die Äquivalenz von regulären Ausdrücken und endlichen Automaten (auch mit NEAs) ist wohlbekannt (vgl. Hopcroft und Ullman 79, 30 ff.). Daher folgt
direkt, dass zu jedem regulären Ausdruck ein EAR angegegeben werden kann, der genau die
gleiche Sprache akzeptiert.
Es soll darüber hinaus gezeigt werden, dass die endlichen Automaten mit Rekursion geeignet
sind, um bestimmte kontextfreie Sprachen zu beschreiben. Dazu sind hier beispielhaft zwei
endliche Automaten mit Rekursion für zwei kontextfreie Sprachen angegeben.
Abbildung 7 zeigt den EAR für die oben bereits erwähnte kontextfreie Sprache anbn.
51
Die Darstellung ist wie folgt zu lesen: Kreise bedeuten Zustände, „dicke“ Kreise Endzustände. Die Pfeile
bedeuten Übergänge und sind mit dem zu lesenden Eingabesymbol beschriftet. Der stark und gestrichelt eingezeichnete Übergang ist ein Rekursionsübergang, d. h. dass der Automat sich beim Passieren dieses Übergangs
selber aufruft. Der Startzustand (links) ist durch einen hineinführenden Pfeil gekennzeichnet.
93
Gerhard Fliedner
[1
]1
S
[2
[n
S
…
]2
S
]n
S
S
Abbildung 8: Endlicher Automat mit Rekursion für die allgemeine Dyck-Sprache mit n
Klammerpaaren
Eine weitere interessante Sprachklasse innerhalb der kontextfreien Sprachen, die sich mit den
angegebenen Automaten beschreiben lassen, sind die allgemeinen Dyck-Sprachen. Dabei handelt es sich um die Sprachen, die genau die korrekt geklammerten Ausdrücke beschreiben, die
sich erzeugen lassen, wenn man n verschiedene, eindeutige Klammerpaare (öffnend und schließend) verwendet (vgl. Hopcroft und Ullman 79, 142). Eine kontextfreie Grammatik für die
Dycksprache mit n Klammerpaaren Dn ist z. B. die Folgende ([i, ]i bezeichnet das i-te Klammerpaar) :
S _a``
b 1S]1 | [2S]2 | … | [nS]n | ε
Abbildung 8 zeigt schematisch den endlichen Automaten mit Rekursion, der genau diese Sprache erzeugt.
Damit ist gezeigt, dass die EAR Sprachen akzeptieren, die kontextfrei und nicht regulär sind.
Es soll weiter gezeigt werden, dass die Klasse der Sprachen, die von EARs akzeptiert werden,
echt eingeschlossen ist in der Klasse der kontextfreien Sprachen. Dazu muss gezeigt werden,
dass es mindestens eine kontextfreie Sprache gibt, für die kein EAR angegeben werden kann.
Dazu wird zunächst ein Pumping-Lemma für EAR-Sprachen angegeben und der Beweis dafür
skizziert. Danach wird für eine kontextfreie Sprache mithilfe des Lemmas gezeigt, dass sie
nicht von einem EAR beschrieben werden kann.52 Der erste Teil entspricht dem bekannten
Pumping-Lemma für reguläre Sprachen, der zweite Teil ähnelt dem Pumping-Lemma für kontextfreie Sprachen.
Lemma 1: Pumping-Lemma für endliche Automaten mit Rekursion
Sei L eine reguläre Sprache mit Rekursion. Dann gibt es ein n, abhängig von L, so dass für alle
Wörter z∈L mit |z|≥n gilt: Es gibt eine Zerlegung z=uvw, für die gilt:
52
[Für den folgenden Abschnitt möchte ich Alexander Koller herzlich für seine Unterstützung danken. Ohne
die langen Gespräche über die EARs mit ihm und verschiedene grundlegende Ideen von ihm (insb. zum Beweis
des Pumping-Lemmas und die Theoreme) wäre dieser Teil der Arbeit wohl kaum zustande gekommen. Vielen
Dank! Die Fehler sind natürlich meine eigenen.]
94
1) |u|≤n
2) |v|≥1
3) ∀i, i≥0: uviw∈L
oder
1) |u|≤n
2) |uw|≥1
3) ∀i, i≥0: uivwi∈L
Beweis: Sei M ein EAR, so dass L=L(M). Sei n=|Q| die Anzahl der Zustände in M.
Wir betrachten nun eine akzeptierende Ableitung von z (q0,a1,q1,a2,…,ar,qr). Es können zwei
Fälle unterschieden werden:
Fall I: Die Ableitung enthält einen Zykel innerhalb der ersten n Zustände
In diesem Fall wird während der Ableitung ein Zustand mehrfach durchlaufen. Sei qj=qk dieser
Zustand. Es gilt 0≤j<k, j≤n. Wir setzen u=ai…aj, v=aj+1…ak, w=ak+1…ar. Dann gilt, dass |u|≤n,
|v|≥1.
Da qj=qk und z=uvw∈L, muss es auch eine akzeptierende Ableitung geben, die nicht durch den
Zykel qj+1…qk läuft, daher muss auch uw∈L sein. Man kann den Zykel andererseits beliebig oft
durchlaufen, daher auch uviw∈L. Damit ist der erste Teil gezeigt (vgl. auch Hopcroft und
Ullman 79, 55 f.).
Fall II: Die Ableitung enthält einen S-Übergang innerhalb der ersten n Zustände
Wenn die Berechnung keinen Zykel innerhalb der ersten n Zustände enthält, muss sie einen SÜbergang enthalten. Da |z|≥n, muss für die akzeptierende Berechnung (q0,a1,q1,a2,…,ar,qr)
entweder gelten, dass r>n oder dass die Berechnung einen S-Übergang enthält, da nur SÜbergänge Eingaben mit einer Länge größer als eins lesen. Für r>n muss die Berechnung einen
Zykel enthalten, da |Q|=n, d.h. es gibt nur n Zustände im Automaten.
Sei dann qj Quelle und qj+1 das Ziel dieses S-Übergangs mit 0≤j≤n.
Sei u das von q0…qj gelesene Teilwort von z, v das von qj…qj+1 gelesene Teilwort und w das
von qj+1…qr gelesene Teilwort. Es soll Folgendes gelten: |uw|≥1, d. h. es sollen nicht sowohl u
als auch w leer sein. Das ist der Fall sein, wenn entweder j=0 und j+1=r oder es gibt weitere SÜbergänge, an denen eine leere Eingabe gelesen wird. In diesen Fällen wird an einem SÜbergang ein Wort mit Länge > n akzeptiert. Wir wählen in diesem Fall dieses Wort neu als z
und zeigen das Lemma für dieses Wort.
Wir zeigen nun, dass ∀i,i≥0: uivwi∈L durch Induktion:
95
Gerhard Fliedner
Für i=0 ergibt sich direkt aus der Dec A 4 ;
" ^
5 ' D d $" e A" f U H H g 4 d" " v∈L, also u0vw0∈L.
Für i=1 ist uvw=z∈L (s.o.).
Wenn uivwi∈L, dann muss gelten, dass am S-Übergang uivwi gelesen werden kann, da es in L
ist. Daher muss auch u(uivwi)w∈L sein, also ui+1vwi+1. Damit ist auch der zweite Teil des Lemh
mas gezeigt.
Das eben gezeigte Pumping-Lemma soll verwendet werden, um für eine kontextfreie Sprache
zu zeigen, dass sie keine Sprache in RSR ist, d. h., dass es keinen EAR gibt, der sie akzeptiert.
Wir verwenden die Sprache L=anbncmdm (n≥0, m≥0), für die eine kontextfreie Grammatik angegeben werden kann (S→AB, A→aAb, A→ε, B→cBd, B→ε).
Der Beweis, dass L keine RSR ist, erfolgt über das Pumping-Lemma für RSRs durch Widerspruch. Wir nehmen an, dass L eine RSR sei. Dann sei n die Konstante aus dem Lemma.
Wir wählen z=a2nb2nanbn. Für dieses z gibt es nun eine Zerlegung z=uvw.
Für das erste Disjunkt des Lemmas gilt: Da |u|≤n, |v|≥1 folgt direkt, dass u=ak, k≤n. v muss
also mit as beginnen. Da ∀i, i≥0 uviw∈L, erhält man, wenn man v so wählt, dass es nur as enthält, für uv2w ein Wort, das mehr as als bs enthält, und damit nicht in L sein kann. Wählt man v
so, dass v eine Folge von as und bs enthält, dann erhält man für uv2w ein Wort, dass mehr als
zwei Folgen und as und bs enthält und damit nicht in L sein kann. Ebenso, wenn v as, bs und
as und wenn v as, bs, as und bs enthält – Widerspruch.
Für das zweite Disjunkt gilt |u|≤n, |uw|≥1. Da |u|≤n ist, folgt, dass u=al mit 0≤l≤n. Daher
vw=a2n-lb2nanbn. Wir wählen zunächst v=ε. Dann ist w=a2n-lb2nanbn. Da uivwi für alle i≥0, müsste
für i=2 (al)2(a2n-lb2nanbn)2 in L sein. Da dies Wort vier Folgen von as und bs enthielte, kann es
nicht in L sein – Widerspruch.
Wie wählen also v≥1. Da auch u0vw0∈L muss v so gewählt werden, dass v∈L. Da jedes Wort
in L außer dem leeren Wort as und bs enthalten muss, muss v so gewählt werden, dass es as
und bs enthält. v beginnt also auf jeden Fall mit a2n-lbk, k≤2n. Das einzige Wort in L, das dieser
Bedingung genügt, ist a2n-lb2n-l. Dann ist w=blanbn. Dann müsste für i=2 die Sprache auch
a2la2n-lbk(blanbn)2 enthalten. Wegen der der doppelten Folge von bs, dann as, bs am Ende kann
dieses Wort jedoch nicht in L sein – Widerspruch.
Wählt man v größer, dann beginnt v mit a2n-lbk mit k>2n-l. Das hieße aber, dass v mit einer
größeren Zahl von bs als von as beginnen würde und damit kein Wort von L sein kann – Widerspruch.
Damit ist gezeigt, dass L=anbncmdm keine RSR ist.
96
h
Das zeigt wiederum, dass RSR echt enthalten sind in den kontextfreien Sprachen, und damit,
dass es nicht für jede kontextfreie Sprache einen EAR gibt, der sie akzeptiert.
Daraus, dass L=anbncmdm keine RSR ist, folgen zwei weitere interess ante Resultate:
Theorem 1: RSR ist nicht abgeschlossen unter Konkatenation mit RSR
Beweis: Es wurde gezeigt, dass L1=anbn eine RSR ist. Eben wurde aber gezeigt, dass L1L1=
anbncmdm keine RSR ist.
h
Theorem 2: RSR sind nicht abgeschlossen unter Schnitt mit regulären Sprachen
Beweis: Die Sprache D1, die Dycksprache mit einem Klammersymbol, ist RSR. Oben wurde
gezeigt, dass die allgemeinen Dyck-Sprachen RSR sind. Die Sprache L2=[1*]1*[1*]1* ist eine
reguläre Sprache. Der Schnitt D1∩L2=[1n]1n[1m]1m ist nicht RSR (entspricht anbncmdm).
h
Offen ist bisher noch die Frage der Komplexität des Wortproblems. Da die Klasse der Sprachen, die endliche Automaten mit Rekursion beschreiben, echt in der Klasse der kontextfreien
Sprachen enthalten sind, können auf jeden Fall Parsingalgorithmen mit einer Worst-CaseKomplexität von O(n3) angegeben werden. Ob noch günstigere Verfahren gefunden werden
können, ist zurzeit noch offen. Diese Frage soll allerdings weiter untersucht werden. Da die
verwendeten Automaten anscheinend genau geeignet sind um bestimmte Phänomene des Deutschen zu beschreiben, wäre es interessant, mehr über die genaue Komplexität und Verarbeitungsgeschwindigkeit zu erfahren.
In 6.8 sind empirische Laufzeitergebnisse für die vorliegende Implementation angegeben, die
jedoch keinen direkten Rückschluss auf die Komplexität erlauben (vgl. dort).
Eine bessere Intuition von der Sprachklasse erhält man durch die folgende Entsprechung: Die
Sprachklasse entspricht einer kontextfreien Grammatik mit genau einem Nichtterminalsymbol
(zugleich das Startsymbol), die auf der rechten Seite der Produktionsregeln reguläre Ausdrücke zulässt. Im Folgenden ist skizziert (ohne Beweis), wie man die beiden ineinander übersetzen kann.
Um einen EAR in eine solche kontextfreie Grammatik mit regulären Ausdrücken zu übersetzen, verwendet man eine kontextfreie Grammatik mit genau einer Regel: Die linke Seite der
Regel ist das Startsymbol, auf der rechten Seite der reguläre Ausdruck, der den Automaten
beschreibt, wobei die Rekursionsübergänge genau in das eine Nichtterminalsymbol übersetzt
werden.
Zur Übersetzung einer kontextfreien Grammatik mit regulären Ausdrücken und einem Nichtterminalsymbol in EARs übersetzt man die rechte Seite jeder Grammatikregel in einen endlichen Automaten (nach der Konstruktion von endlichen Automaten aus regulären Ausdrücken,
97
Gerhard Fliedner
Hopcroft und Ullman 79). Dabei wird für das Nichtterminalsymbol jeweils ein S-Übergang
eingefügt. Anschließend bildet man die Vereinigung der so konstruierten Automaten.
Es gibt eine Klasse von Automaten, die dem beschriebenen Formalismus auf den ersten Blick
ähneln: die Ein-Zähler-Maschinen (vgl. Autebert, Berstel und Boasson 97, 164 f.). Bei diesen
Automaten handelt es sich um Kellerautomaten, die dadurch eingeschränkt sind, dass das Kelleralphabet nur aus genau einem Symbol besteht. Bei der entsprechenden Sprachklasse handelt
es sich um eine echte Teilmenge der kontextfreien Sprachen, d. h. dass nicht jede kontextfreie
Sprache sich mit einer Ein-Zähler-Maschine beschreiben lässt.
Ein-Zähler-Maschinen und endliche Automaten mit Rekursion unterscheiden sich jedoch dadurch, dass die endlichen Automaten mit Rekursion den Keller verwenden, um Zustände im
Automaten als „Rücksprungadresse“ zu speichern. Das heißt aber, dass das Kelleralphabet i. A.
mehr als ein Element enthält: Für jeden Zustand, der in einem gegebenen Automaten auf einen
Rekursionsübergang folgt, muss ein eindeutiges Kellersymbol zur Verfügung stehen. Es gibt
also keine einfache Entsprechung zwischen den beiden. Das genaue Verhältnis ist aber noch
offen.
4.2.5 Approximative Darstellung von kontextfreien Sprachen durch endl iche Automaten
In den vorigen Unterkapiteln wurde beschrieben, warum reguläre Ausdrücke zur vollständigen
Beschreibung deutscher Nominalphrasen nicht geeignet sind, und der in dieser Arbeit entwickelte Formalismus vorgestellt.
Es gibt jedoch Verfahren, die verwendet werden können, um auch natürlichsprachliche Strukturen, die eigentlich nicht kontextfrei sind, mit endlichen Automaten darzustellen. Einige davon
sollen hier kurz vorgestellt werden. Da jedoch die Grammatiken entweder eingeschränkt oder
schwieriger zu kodieren sind, wurden diese Verfahren hier nicht angewendet.
• Begrenzung der Einbettungstiefe
Die Zahl der tatsächlich vorkommenden Schachtelungen ist dadurch begrenzt, dass eingebettete Strukturen schon bei relativ geringer Tiefe für menschliche Hörer bzw. Leser schwer
verständlich werden.53 Im Referenzkorpus (vgl. 5.1) 'i"$%&j*,S"$) @B-\ aximal vier
Schachtelungsebenen.
Es wäre daher möglich, eine feste Zahl von Schachtelungen als arbiträre Obergrenze anzusetzen (z. B. sechs, um auch sehr komplexe Eingaben beschreiben zu können) und entspre-
53
Zur Einbettung mehrerer Relativsätze vgl. z. B. Uszkoreit [u.a.] 98 und die dort angegebenen Literaturhinweise.
98
chende reguläre Ausdrücke zu entwerfen. Ein solcher Automat würde allerdings keine linguistisch intuitive und adäquate Beschreibung der beobachteten Phänomene darstellen.
Abney verwendet in seinem Chunkparser eine solche Einschränkung der Schachtelungstiefe
und kann so auch eingebettete Strukturen mit endlichen Transducern beschreiben. Die
Transducer werden wie die Regeln einer Grammatik verwendet, um einer Folge von Eingabesymbolen jeweils ein Ausgabesymbol zuzuordnen, z. B. den Eingabesymbolen P NP das
Ausgabesymbol PP. Diese Transducer werden kaskadiert: Die erste Ebene baut hier Nominalphrasen auf, die zweite Ebene fügt eine Präposition und eine Nominalphrase zu einer
Präpositionalphrase zusammen, die dritte Ebene schließlich erlaubt die Verbindung einer
Nominalphrase mit einer postnominalen Präpositionalphrase (Abney 96, 338). Da es sich
hier um die wiederholte Analyse der Eingabe mit endlichen Automaten handelt, bleibt die
Laufzeit größenordnungsmäßig linear.
In Roche 94 ist ein ähnlicher Ansatz beschrieben, allerdings ist hier die Schachtelungstiefe
grundsätzlich nicht beschränkt. Grammatikregeln werden in endlichen Transducern (Automaten mit Ausgabe) kodiert, indem einer bestimmten Folge von Eingabesymbolen als Ausgabe die gleichen Symbole mit einer zusätzlichen syntaktischen Klammerung zugeordnet
werden, z. B. wird der Eingabe Max die Ausgabe [N Max N] zugeordnet. Diese Transducer
werden vereinigt. Zum Parsen wird dann der Transducer auf die Eingabe angewandt. Die
Ausgabe enthält einige einfache Klammerungen. Auf diese Ausgabe wird der Transducer
erneut angewandt. Dieser Vorgang wird so lange wiederholt, bis sich die Ausgabe des
Transducers nicht mehr von der Eingabe unterscheidet (d. h. bis keine Regeln mehr anwendbar sind). Dadurch können auch beliebig tief geschachtelte Strukturen analysiert werden.
• Systematische Approximation kontextfreier Grammatiken durch endliche Automaten
Oben wurde bereits beschrieben, dass reguläre Ausdrücke i. A. für die Verarbeitung natürlicher Sprache nicht mächtig genug sind. Man kann aber zu jeder kontextfreien Sprache K reguläre Sprachen R angeben, die eine Obermenge der kontextfreien Sprache darstellen, also
K⊆R. Teilweise reicht es aus, Eingaben zunächst mit einer regulären Sprache R zu parsen,
die neben den Wörtern aus K noch zusätzliche Wörter akzeptiert. Als reguläre Sprache kann
R mit endlichen Automaten sehr schnell geparst werden.
Ein Beispiel für dieses Verfahren wäre, für die kontextfreie Sprache anbn Eingaben zunächst
mit dem regulären Ausdruck a*b* zu parsen. Eine Eingabe, die von diesem Ausdruck nicht
akzeptiert wird, ist auf keinen Fall in der kontextfreien Sprache enthalten.
Pereira und Wright geben einen Algorithmus an, um kontextfreie Grammatiken in endliche
Automaten zu übersetzen (Pereira und Wright 91). Sie zeigen, dass der Algorithmus für
Grammatiken, die reguläre Ausdrücke beschreiben, und für einige andere Unterklassen der
99
Gerhard Fliedner
kontextfreien Grammatiken gute Ergebnisse liefert, auch wenn die Worst-Case-Ergebnisse
in der Praxis nicht anwendbar sind. Grundsätzlich kann ein solcher endlicher Automat als
Filter verwendet werden: Eingaben, die dieser Automat nicht akzeptiert müssen nicht mit
der langsameren eigentlichen kontextfreien Grammatik gar nicht analysiert werden.
Grimley Evans gibt ein etwas anderes Verfahren an, dass zu einer kompakteren Übersetzung in endliche Automaten führt (Grimley Evans 97).
In Nederhof 98 ist ein weiteres Verfahren beschrieben. Hier wird aus einer gegebenen kontextfreien Grammatik zunächst ein endlicher Transducer erzeugt. Die Sprache, die der
Transducer akzeptiert, ist eine Obermenge der ursprünglichen kontextfreien Sprache (bei
der „Übersetzung“ werden Selbsteinbettungen in der Grammatik in Links- und Rechtseinbettungen aufgelöst). Die Ausgabe des Transducers kodieren neben den Transducerzuständen und –übergängen auch Informationen aus der ursprünglichen Grammatik. Aus diesen
können dann, wenn der Transducer die Eingabe akzeptiert, die verschiedenen Analysen, die
die ursprüngliche Grammatik geliefert hätte, rekonstruiert werden. Dieser zweite Teil des
Parsing-Vorganges hat i. A. eine kubische Laufzeit, allerdings kann auch hier die erste Analyse mit dem Transducer als schneller Filter verwendet werden.
• Strukturen nicht beschreiben
Bei diesem Vorgehen werden die eingeschachtelten Ausdrücke nicht vollständig, sondern
Q #
" C H 4 " % & 0 % Q& @ nur approximativ beschrieben (z. B. über eine einfache Identi! A B Nomens). Carl, Schmidt-Wigger und Hong, in deren MULTILINT-System ausschließlich reguläre Ausdrücke zur Fehlerantizipation verwendet werden (vgl. 3.5.5.2), versuchen die
Grammatik so zu kodieren, dass sie eingeschachtelte Phrasen mit hoher Wahrscheinlichkeit
erkennt, aber keine eingebettete Struktur der Einbettung erzeugt. Sie erwähnen allerdings
genau das Problem der Beschreibung pränominaler Adjektivphrasen mit Komplementen
durch reguläre Ausdrücke und merken zu einer approximativen Beschreibung Folgendes an:
To handle such problems [nämlich die Zuweisung korrekter Strukturen bei der ModikQlmonpqrts0uwv/r0qx inaler Adjektive], one can try to enumerate the elements which can be contained between the two borders of a pattern to be recognized. But this approach mostly yields only approximate results because it
does not respect the generative capacity of language. (Carl, Schmidt-Wigger und Hong 97, Kapitel 5,
meine Anmerkung)
4.3 Bewertung von Analysen
In 4.1 wurde darauf hingewiesen, dass die Zahl von Analysen i. A. größer wird, wenn durch
Constraint Relaxation einige oder mehrere Constraints außer Kraft gesetzt werden. Systeme,
die nicht die Vorgehensweise des mehrfachen Parsens verwenden, um bevorzugte Parses zuerst
100
zu ermitteln, verwenden daher häuyz|{,}!~-}w ngs- oder Kostenfunktionen für Analysen, um
die günstigste Analyse zu ermitteln.
Dieses Verfahren sollte im Korrekt-System ebenfalls angewandt werden. Bevor das gewählte
Verfahren zur Bewertung von verschiedenen Analysen beschrieben wird, sollen zunächst einige
verschiedene in anderen Systemen angewandte Verfahren beschrieben werden.
4.3.1 Kostenfunktionen in anderen Systemen
Im Critique-System wird eine Funktion verwendet (dort als „Metrik“ bezeichnet), die sämtliche
Parsebäume nach ihrer Struktur bewertet. Das Ziel ist es, immer möglichst nur eine einzige
Analyse nach dem Parsen übrig zu behalten:
We strive for what we call a unique approximate parse for each sentence, a parse that is not necessa rily
semantically accurate (e.g., prepositional phrase attachments are not always done right) but one which
is adequate for the text critiquing tasks, nevertheless. (Heidorn 93, 48 f.)
y ! }
B. Präpositionalphrasen) vorDazu bewertet die Metrik Parses, in denen Modi
kommen, um so höher, je höher sie im Parsebaum positioniert sind. Dadurch „gewinnt“ z. B.
y } } } j
;
$ A B ? 4 } gegen eine, wo sie eine Nomieine Analyse mit einer satzmodi
y 0 } A / 1 } ! 6
y !}
e ? '} } R
} +
} ,
{ !} ~ } w C R
z R
^
P e ? } j
A ! w
nalphrase modi
durch die Strategie des mehrfachen Parsens werden allerdings Analysen ohne Constraint Relaxation stets zuerst gefunden und verwendet.
Jean Véronis beschreibt in seiner Arbeit über ein experimentelles System, das Rechtschreibund Kongruenzfehler in französischen Texten korrigiert, eine Funktion, die für verschiedene
Arten von Korrekturen unterschiedliche Kosten vergibt (vgl. Véronis 88, S. 711): Am „billigsten“ sind Korrekturen, die Endungen entfernen, die Aussprache von Wörtern aber nicht ändern
(z. B. trianglesPl→triangleSg, franz. Dreieck), dann kommen solche, die Endungen zufügen,
aber ebenfalls die Aussprache nicht verändern (z. B. triangleSg→trianglesPl) und am „teuersten“ sind Korrekturen, die die Aussprache des Wortes ändern (z. B. lemask sg→lafem sg, franz.
best. Artikel).
Ausgehend von diesem Vorschlag wurde für eine Arbeit zur Korrektur von Kongruenzfehlern
eine Weiterentwicklung dieser Funktion vorgeschlagen (vgl. Genthial, Courtin und Ménézo
94). Die Funktion ist hier so ausgelegt, dass Korrekturen mit hohen Werten bevorzugt werden.
Für jede Korrektur werden vier Parameter ermittelt und mit variablen Gewichten bewertet:
Zahl der nicht geänderten Wörter, Zahl der nicht phonetischen Änderungen, Zahl der Endungen, die zugefügt werden, Zahl der phrasalen Köpfe, die nicht geändert werden müssen. Falls
mehrere Änderungen in einem Satz voneinander abhängen (z. B. Fehler in der Subjekt-VerbKongruenz und gleichzeitig Kongruenzfehler in der Nominalphrase des Subjekts) können die
jeweiligen Ergebnisse nach verschiedenen Verfahren verknüpft werden.
101
Gerhard Fliedner
Die Gewichte für die einzelnen Parameter werden zunächst auf Standardwerte gesetzt, könnten
y
z 0} }
~ } ? }
} m jedes Mal, wenn der Benutzer einen
aber einfach benutzerspezi
Korrekturvorschlag wählt, die Gewichte, die zu diesem Vorschlag geführt haben, ve rstärkt und
die anderen geschwächt werden.
Beide Vorschläge scheinen noch nicht auf einem größeren Korpus getestet zu sein. Außerdem
legen sie starkes Gewicht darauf zu unterscheiden, ob eine Änderung die Aussprache verändert
(ausgehend von der Annahme, dass auch beim Schreiben für den Schreibenden die Aussprache
der Wörter eine Rolle spielt). Das ist für das Französische sicherlich sinnvoll, im Deutschen
wegen der eher engeren Verbindung zwischen Schrift und Aussprache wohl weniger.
Bereits erwähnt wurde das in der dänischen und in der norwegischen Version von Scarrie verwendete System, das es zum einen erlaubt, für Fehlerregeln (Fehlerantizipation) und auch für
einzelne Constraintverletzungen (bei der Constraint Relaxation) in der Grammatik Kosten festzulegen (vgl. 3.5.6.5 und 3.5.7.5). Die Kosten werden für die einzelnen Analysen aufaddiert
und die „billigste“ gewählt.
Durch diese detaillierte Festlegung der Kosten können Analysen differenziert bevorzugt werden. Beispielsweise beschreibt Paggio eine Fehlerregel, die einen Fehler meldet, wenn zwei
!} e ? } 4 C ¡
z ! '} e ¢ £
4} '} ¥
,
¤ } z '} 9
S ¥
V
} ^
{ } nVerben in einem Verbcluster eine Tempus9
gung „Tempus9
!} e ? } 4 C z ' . §
¦ e A ? 4 t
¨ y C ª
.© t
} £
} R
« } rben formuliert und jeweils
mit hohen Kosten versehen. So könnte die Regel durch Constraint Relaxation zwar auch für
y C } £
R
« } A } ¬
z } ~ 4 \
~ } } e Z
® } z '} i
}
} °
¯ } °
V
~ ? } ± eein Cluster aus zwei in
doch eine andere, passende Analyse mit geringeren Kosten bevo rzugt. (Paggio 2000)
Im Korrekt-System wird zur Bewertung verschiedener Analysen ein an die Optimalitätstheorie
angelehntes Verfahren verwendet. Im folgenden Kapitel werden dazu zunächst die wichtigsten
Grundlagen der Optimalitätstheorie, soweit sie im Rahmen dieser Arbeit relevant sind, kurz
geschildert.
4.3.2 Grundlagen der Optimalitätstheorie
Optimalitätstheorie ist eine noch recht neue Theorie im Rahmen der Generativen Grammatik.
Die Grundzüge der Theorie werden in einer Arbeit von Prince und Smolensky von 1993 vorgestellt54. Ich stütze mich bei der Beschreibung in diesem Kapitel im Wesentlichen auf Kager
99.
54
Zurzeit liegt diese Arbeit nur als Manuskript vor. Sie soll in naher Zukunft unter folgendem Titel erscheinen: Alan Prince und Paul Smolensky. Optimality Theory: Constraint Interaction in Generative Grammar.
Technical Report No. 2. Rutgers University Center for Cognitive Science, Cambridge, Mass.
102
Optimalitätstheorie postuliert die Existenz von universellen, hierarchisch organisierten Grammatikalitätsbedingungen (Constraints), die allen natürlichen Sprachen zugrunde liegen. Die
Unterschiede zwischen den natürlichen Sprachen lassen sich darauf zurückführen, dass sich die
Constrainthierarchien für unterschiedliche Sprachen charakteristisch unterscheiden. Dies macht
genau den Unterschied zwischen den Grammatiken verschiedener Sprachen aus.
Diese Grammatikalitätsbedingungen können grundsätzlich verletzt werden. Die Verletzung
eines oder mehrerer Constraints führt nicht direkt dazu, dass eine Äußerung ungrammatisch ist,
sondern zu einer zunehmenden Markiertheit (markedness). In jeder Sprache werden die jeweils
am wenigsten markierten Ober;0}©A $²}'V}A~} }!/0!
} z}QB}^³V´µ ! !?e 4/
die Verletzung von Constraints, die in der Hierarchie hoch stehen, zu einer stärkeren Markiertheit führen als die von niedriger stehenden Constraints.
Auf der anderen Seite wird eine grundsätzliche Tendenz angenommen, dass Sprachen in der
Ober;0}eAAw B. Aussprache eines Wortes) möglichst genau die zugrunde liegende
Struktur (z. B. Lexikoneintrag) wiederspiegeln sollen. Diese Eigenschaft wird als Strukturtreue
(faithfulness) bezeichnet.
In der OT ist eine Grammatik ein System mit drei Einzelkomponenten: einem Lexikon, einem
Generator und einem Evaluator. Eine Grammatik erlaubt für jede Eingabe (z. B. semantische
Repräsentation) genau eine Ausgabe (Ober ;0}©A $²R¶·1}4?} wird ermittelt, indem der Generator auf Basis von Eingabe und Lexikon sämtliche zur Eingabe passenden Ober; }C©A
²}
generiert. Im Evaluator wird aus diesen die am wenigsten markierte Ober; }C©A
²¸'.§( sgabe ausgewählt.
Bei dieser Evaluation wird die bereits beschriebene Constrainthierarchie verwendet. Dazu wird
zunächst für alle generierten Kandidaten ermittelt, ob sie einen oder mehrere Constraints auf
der höchsten Hierarchieebene verletzen. Auf diese Weise können diejenigen Kandidaten ermittelt werden, die am wenigsten Constraints auf dieser Ebene verletzen. Alle anderen Kandidaten
werden ausgeschlossen, da sie auf jeden Fall markierter sind. Für die verbliebenen Kandidaten
wird die Zahl der Constraintverletzungen auf der nächstniedrigeren Hierarchieebene ermittelt.
Dieser Prozess wird so lange fortgesetzt, bis genau ein Kandidat übrig bleibt. Dieser verbleibende Kandidat ist die Ausgabe der Grammatik für die Eingabe.
Obwohl OT grundsätzlich den Anspruch hat, Sprache auf allen Ebenen beschreiben zu können,
ist sie bisher vor allem im Bereich der Phonetik und Phonologie angewendet worden. Es gibt
allerdings auch Arbeiten, die OT in der Syntax verwenden: Kager 99, Kapitel 8, beschreibt den
Einsatz von OT im Rahmen einer Generativen Grammatik zur Beschreibung verschiedener
grammatischer Phänomene im Zusammenhang mit Fragen im Englischen (wh-Movement,
Auxiliarverb usw.).
103
Gerhard Fliedner
Frank [u.a.] 98 beschreibt eine Möglichkeit, eine OT-Komponente in Lexical Functional
Grammar (LFG, Kaplan und Bresnan 82) zu integrieren. Dazu wird neben den bekannten Beschreibungsebenen der LFG, Lexikoneintrag, c-structure (Constituent Structure, kontextfreies
Rückgrat der Grammatik) und f-structure (Functional Structure, zugehörige Attribut-WertMatrizen), wird als weitere Ebene die Optimalitätsstruktur (o-structure) eingeführt. Auf dieser
Ebene werden, wenn es während des Parsens zu Constraintverletzungen kommt, entsprechende
Konstanten „aufgesammelt“. Diese Konstanten sind hierarchisch geordnet. Nach dem Parsen
werden alternative Analysen wie beschrieben mithilfe der Optimalitätstheorie bewertet, d. h. es
werden so lange die Analysen ausgeschlossen, die die schwersten Verletzungen auf der höchsten Hierarchieebene aufweisen, bis nur noch eine Analyse übrig bleibt. Dieses Verfahren ist mit
großen Grammatiken für Englisch, Französisch und Deutsch erprobt worden.
4.3.3 Bewertung von Analysen mit Optimalitätstheorie
Wie das vorige Kapitel gezeigt hat, ist die Grundidee der Optimalitätstheorie, Analysen anhand
der Verletzungen einer Sprache zugrunde liegenden Constraints zu bewerten. Constraints werden hier also als verletzbar betrachtet.55
Damit bietet sich diese Theorie besonders zur Bewertung von Analysen an, bei denen man gerade davon ausgeht, dass Constraints verletzt wurden (hier Kongruenzconstraints).
Neben dem in diesem Zusammenhang wichtigsten Constraint, nämlich der Kongruenz innerhalb
der Nominalphrase und der Präpositionalrektion, stellten sich noch zwei weitere Constraints als
relevant heraus. Diese Constraints werden zusammen zur Bewertung der Analysen verwendet.
Dabei handelt es sich zuerst um ein Constraint, das ich als „Verwende Substantivierungen nicht
als Kopf von Nominalphrasen“ umschreiben möchte. Dieses Constraint wurde eingeführt, um
die Großschreibung von Adjektiven und Partizipien in Wendungen zu ermöglichen (z. B.
Künstliche Intelligenz). Durch die Großschreibung des Adjektivs entsteht ohne volle syntaktische Analyse eine Ambiguität: Es könnte sich auch um ein substantiviertes Adjektiv und damit
um zwei Nominalphrasen handeln. Das genannte Constraint bevorzugt in diesen Fällen eine
Analyse, die nur eine Nominalphrase mit großgeschriebenem Adjektiv enthält (vgl. aber
6.4.3.1).
55
Theoretisch geht Optimalitätstheorie sogar davon aus, dass bei jeder Analyse Constraints verletzt werden, da
Sprache als ein System von einander widersprechenden Constraints aufgefasst wird (vgl. Kager 99). Diese für
die vollständige Beschreibung von Sprachen interessante Annahme ist jedoch hier nicht von Bedeutung, da nur
einige wenige Constraints angewendet werden.
104
Struktur der Analyse
Constraint 2:
1: Kongruenz
Keine Sub- Constraint 2: Chunkzahl
Kongruenz
stantivierungen
[des
System] und[Intelligenz]
[seine Evalua[der Künstliche]
tion]
¹
[[desKünstliche
[der
System] und
Intelligenz]
[seine Evaluation]]
*
!*
!**
*
*
Abbildung
Zusammenspiel
von
Constraint
1 und
2, 3,
Beispiel:
*der
IntelliAbbildung9:
10:
Zusammenspiel
von
Constraint
2 und
Beispiel:
*dieKünstliche
Performanz
des
genz
System und seine Leistung
Abbildung 9 zeigt ein Beispiel für dieses Constraint. Für die fehlerhafte Eingabe *der Künstliche Intelligenz (statt der Künstlichen Intelligenz) liefert der Parser zwei Analysen: Eine besteht aus zwei Nominalphrasen der Künstliche und Intelligenz und enthält keine Kongruenzfehler. Die andere besteht aus einer Nominalphrase der Künstliche Intelligenz und enthält einen
Kongruenzfehler. Da das Constraint „Keine Substantivierungen“ in der Hierarchie höher in der
Hierarchie angesiedelt ist als das Kongruenzconstraint, wird trotz des Kongruenzfehlers die
zweite Analyse bevorzugt. Dadurch wird für diese Eingabe eine Fehlermeldung ausgegeben,
die sonst unterdrückt würde, da eine zweite, fehlerfreie Analyse existiert.
Diese Einschränkung ist aber nicht absolut: Für Eingaben, in denen ein substantiviertes Adjektiv eindeutig Kopf einer Nominalphrase ist, wird das Constraint von allen Analysen verletzt und
spielt daher für die Auswahl keine Rolle.
Das zweite Constraint betrifft die Präpositionalrektion und Nominalkongruenz. Die Constraints
„Rektion“, „Kasuskongruenz“, „Numeruskongruenz“, „Genuskongruenz“ und „Verwendung
der korrekten Adjektivdeklination (stark, schwach, gemischt)“ werden zurzeit als gleichberechtigte Constraints behandelt, also parallel evaluiert. Dadurch sind zwei Analysen gleichwertig,
bei denen z. B. in einem Fall der Kasus, im anderen Fall der Numerus eines Wortes geändert
werden muss. Zusätzlich wird hier für jedes Wort, das das Constraint verletzt (d. h. dessen
Form korrigiert werden muss) eine Verletzung des Constraints gerechnet, so dass Analysen, in
denen weniger Wörter geändert werden müssen, bevorzugt werden (vgl. aber 7.1.2).
Das dritte Constraint bevorzugt schließlich Analysen, die größere Teile der Eingabe überspannen, da die Grammatik, wie erwähnt, keine überspannenden Satzanalysen vornimmt, sondern
nur für Nominal- und Präpositionalphrasen Chunkanalysen liefert. Hier ist die Annahme, dass
eine längere Analyse die Struktur des Eingabeteils besser erfasst. Das spielt dann eine Rolle,
wenn alle verbliebenen Analysen Kongruenzfehler enthalten.
Abbildung 10 zeigt einen Fall, in dem die überspannende Analyse zu einer besseren Lösung
führt: Für die Eingabe *des System und seine Evaluation werden die gezeigten zwei Analysen
generiert: Die eine Analyse besteht aus zwei Nominalphrasen, die zweite aus einer überspan105
Gerhard Fliedner
nenden Nominalphrase mit einer Koordination. Beide Analysen enthalten einen Kongruenzfehler (*des System) und damit eine Verletzung des Kongruenzconstraints. Da die erste Analyse
zwei Chunks enthält (zwei Verletzungen des Constraints 3), die zweite aber nur einen (eine
Verletzung des Constraints 3), wird die zweite Analyse ausgewählt.
º d» A» ;
¼ ½ ¾ ¿ ½ 4À ?» À =
² ;
Á Â Ã Ã ¿ ½ (
À Ä À ¾ 'À $Å ½ À Å ¼ 'À V
¾ ¯ Æ Å Å À Ç w¼ º Å È Æ dÅ ?» É Ê BÃ Ë Ä >
À ,
Ì À ½ ¿ À #
Å 'À dÅ » ¼ À ¾
Diese Auswahl beein
Analyse kommen alle vier Kasus als Korrektur für *des System infrage, da jeweils nur eine
Änderung vorgenommen werden müsste (das System, des Systems, dem System, das System).
Im zweiten Fall ist dagegen die Auswahl eingeschränkt, da *des System und seine Evaluation
koordiniert sind und daher denselben Kasus haben müssen. Da seine Evaluation nur Nominativ
oder Akkusativ Singular sein kann und diese beiden Fälle bei das System zusammenfallen,
macht das System nur einen Korrekturvorschlag statt dreier.
Die letzten beiden Constraints wurden bereits bei der Konzeption des Systems formuliert und
implementiert, der erste hat sich während der Arbeit mit dem System als sinnvolle Ergänzung
herausgestellt. Auf die gleiche Weise könnten weitere Constraints zur Bewertung hinzugefügt
bzw. die vorhandenen Constraints weiter aufgeteilt und verfeinert werden, wenn dies sinnvoll
erscheint.
106
5 Systemimplementation
In diesem Kapitel wird die im Rahmen der Diplomarbeit vorgenommene Implementation des
KORREKT-Systems vorgestellt.
Zunächst wird in 5.1 der verwendete „Bootstrapping“-Ansatz, d. h. die Verwendung eines
Korpus zur wiederholten Evaluation und Verbesserung des Systems beschrieben.
5.2 enthält einige allgemeine technische Grundlagen der Implementation.
Das Programm liest Texte aus einer Datei, analysiert sie, markiert Kongruenzfehler und macht
Korrekturvorschläge. Den Programmablauf zeigt schematisch Abbildung 11.
Nach dem Einlesen der Texte werden diese in Wörter zerlegt (tokenisiert) und die Wörter mo rphologisch analysiert (5.3).
Text
Zerlegung in Wörter (Tokenisierung)
Morphologische Analyse
Satzstrukturanalyse durch endlichen Automaten
NP/PP-Parse durch endlichen Automaten mit Rekursion
Bewertung der Lösungen über Constraints
(Optimalitätstheorie)
Präsentation der Korrekturvorschläge
Abbildung 11: Programmablauf (schematisch)
107
Gerhard Fliedner
Auf Basis der Wortartinformation ermittelt ein endlicher Automat dann die grobe Satzstruktur.
Dabei werden Nebensätze, satzwertige Klauseln und Einschübe analysiert. Das verwendete
Verfahren ist in 5.4 beschrieben.
Danach erfolgt die eigentliche Analyse der Nominalphrasen mithilfe eines endlichen Automaten
mit Rekursion. Die Analyse erfolgt ebenfalls ausschließlich auf Basis der Wortartinformation
ohne Berücksichtigung der Kongruenzinformation. Dadurch können auch Phrasen mit Kongruenzfehlern zunächst erfolgreich geparst werden (5.5).
Da diese Analyse häuÍÄRÈ
ÀÅd»É'Ê½À0¿ À'¾ À+ÎYÅ$ÄÀ!Ï ¾C½.»d»?À(Ã½À©AÀ'Å¼Ð
²tÑ»d»À'¾Vº¾4¼ÀÅ#¿½BÀ4»À¾½²=Á;Æ ÃÄÀ nden die
besten ermittelt werden. Dazu werden Verfahren aus der Optimalitätstheorie verwendet, die
die Bewertung von Analysen über Constraints erlaubt (5.6).
Durch die Bewertung bleibt entweder eine Analyse oder mehrere Lösungen mit den gleichen
Kosten übrig. Wenn diese einen Kongruenzfehler enthält, wird dem Benutzer im Folgenden die
fragliche Stelle zusammen mit Korrekturvorschlägen präsentiert. Auf das Benutzerinterface des
Systems geht 5.7 ein.
Das implementierte System wurde mithilfe eines Evaluationskorpus getestet und bewertet. Die
Beschreibung der Evaluation Í ¾ ¿ !À #
¼ » ½ É R
Ê ½ Ò
² A© Æ Ã Ä À ¾ ¿ À j
¾ ?» 0À É eÊ A» ¼ À V
¾ ¯ Â Ó P½ ¼ À wÃ Ô
5.1 Referenzkorpus
Bei der Entwicklung von natürlichsprachlichen Systemen, die eine ausreichende Breitenabdeckung aufweisen sollen, um mit „echten“ Texten zurechtzukommen, ist es wichtig, dass bei der
Entwicklung solche Texte zugrunde gelegt werden (vgl. auch 3.4.2).
Man benötigt daher zum einen eine Sammlung von Fehlern (ein Fehlerkorpus), zum anderen
große Textmengen, anhand derer man sicherstellen kann, dass das System möglichst wenige
Präzisionsfehler über fehlerfreien Texten macht.
Leider fehlen solche Fehlerkorpora bisher. Die Erstellung und vor allem die breite Verfügbarkeit solcher Daten wäre ein wünschenswertes Ziel in der computerlinguistischen Forschung, da
zurzeit jedes Projekt im Bereich Fehlerkorrektur zunächst seine eigenen Daten sammeln muss:
Given the lack of existing annotated corpora of errors for German (or indeed for any language as far as
the authors know), the construction of such a corpus was a high priority task. (Becker [u.a.] 99)
Eine Methode, um ein Fehlerkorpus zumindest halbautomatisch und mit relativ geringem Aufwand zusammenzustellen, ist der automatische Vergleich von Texten, die sowohl in einer Rohversion als auch in einer von einem Redakteur oder Lektor korrigierten Version vorliegen.
Die Arbeiten am Scarrie-Projekt für die skandinavischen Sprachen basieren z. B. auf Korpora
von Zeitungs- und Zeitschriftentexten, die in einer Rohversion und der korrigierten Druckver108
Textsorte
Zeitungstexte
Textzahl
Wortzahl
Anteil
106
199 489
26 %
Magisterarbeiten
17
266 850
34 %
Literatur aus dem Internet
50
218 953
28 %
Hausaufgaben, Aufsätze
26
67 591
9%
E-Mail-Newsletter
6
18 844
2%
Nicht-Muttersprachler
3
9 088
1%
208
780 815
100 %
Gesamtkorpus
Tabelle 3: Verteilung der Textsorten im Referenzkorpus
sion vorlagen (Povlsen, Sågvall Hein und de Smedt 99). Diese Daten wurden dem Projekt von
den am Projekt beteiligten Verlagen zur Verfügung gestellt. Aus einem solchen „doppelten“
Korpus lassen sich die korrigierten Fehler relativ einfach extrahieren. Diese Fehler können als
Basis für die Entwicklung der Systemgrammatik verwendet werden.56
Für das Korrekt-Projekt stand kein Fehlerkorpus zur Verfügung. Daher wurde der „Bootstrapping“-Ansatz gewählt: Eine erste Version der Systemgrammatik wurde auf Basis von 2.2 und
der dort angegebenen Nachschlagewerke entwickelt und implementiert, dann anhand eines
Korpus getestet. Die bei diesem Test ermittelten Fehler der Grammatik wurden dann als
Grundlage für eine weitere Verbesserung der Grammatik verwendet.57 Dieser Vorgang wurde
mehrfach wiederholt, bis keine mit vertretbarem Aufwand durchführbare durchführbaren Verbesserungen der Grammatik mehr möglich waren.
Zur Zusammenstellung des Korpus wurden verschiedene Quellen verwendet. Haus- und Diplomarbeiten sowie die nicht-muttersprachlichen Texte wurden mir freundlicherweise von verschiedenen Datengebern (Studierende an der Universität des Saarlandes) zur Verfügung gestellt. Diese wurden ergänzt durch Texte aus dem Internet (Online-Ausgaben verschiedener
Zeitungen und Zeitschriften sowie Newsgroups).
Das Referenzkorpus hatte zu Ende des Projekts einen Umfang von knapp 800 000 Wörtern
laufendem Text. Tabelle 3 zeigt die Verteilung nach Textsorten. Im Kapitel 6 wird vor allem
56
Allerdings sind die im Scarrie-Projekt zur Verfügung stehenden Korpora anscheinend nicht sehr groß: Für
das Dänische steht z. B. nur ein Korpus von ca. 270 000 Wörtern zur Verfügung, in dem 1 019 Fehler (davon
etwa 30 % Grammatikfehler) identiÕCÖd×Ø u.ÙQÚ;Û0uwÜ ØÝ(Þ Paggio 2000). Zum Vergleich: Das Referenzkorpus des Korrekt-Projektes hat einen Umfang von ca. 800 000 Wörter Wörtern; es wurden 1 008 Fehler allein für die Bereiche Nominalkongruenz und Präpositionalrektion identiÕCÖd×Ø u.Ùàß
57
Vom System nicht gefundene Fehler (Recallfehler) konnten dabei nicht systematisch erfasst werden. Dazu
hätte das gesamte Korpus von mehreren Korrektoren korrekturgelesen werden müssen (vgl. 6.2), was zu aufwendig gewesen wäre. Allerdings wurden die jeweils bekannt gewordenen „echten“ Fehler gesammelt, so dass
spätere Grammatikentwicklungen daraufhin geprüft werden konnten, ob diese Fehler weiterhin erkannt wurden.
109
Gerhard Fliedner
die Evaluation des Systems mithilfe eines eigenen Evaluationskorpus beschrieben, zusätzlich
werden auch einige Ergebnisse aus der Arbeit mit dem Referenzkorpus berichtet.
5.2 Grundlagen
Das System wurde in C++ (Microsoft Visual C++, Version 6.0) mithilfe der Microsoft
Foundation Class Bibliotheken (MFC, Version 4.2, grundlegende Datenstrukturen und
Algorithmen, z. B. Listen, Hashtables und I/O-Funktionen) implementiert. Das erstellte
Programm ist auf den Microsoft 32-Bit-Windows-Betriebssytemen (Windows 95, 98, NT,
2000)
Die imlauffähig.
Programm benutzte morphologische Analyse für das Deutsche (vgl. 5.3) ist in Form
einer Dynamic Link Library (DLL) eingebunden und muss auf dem Computersystem installiert
sein.
Der Hauptspeicherbedarf ist abhängig von der Komplexität der verarbeiteten Eingabe, das Minimum liegt bei ca. 8 MByte, auch für komplexe Eingaben werden i. d. R. nicht mehr als ca. 12
MByte benötigt.
Der benötigte Festplattenplatz ist relativ gering: In der zurzeit verwendeten Stand-aloneVersion ist das Programm ca. 350 KByte groß, dazu kommen weitere ca. 300 KByte für Datendateien. Die Morphologie nimmt in der aktuellen Version zusätzlich ca. 60 KByte für die
Bibliothek und ca. 2,4 MByte für Datendateien (Lexikon) ein.
5.3 Morphologie
Bei der verwendeten morphologischen Analyse handelt es sich um die German Two-LevelMorphologie (GERTWOL) der Í¾C¾½.»?ÉÊ À¾IÁ½Å$²ÂEá#½¾Ä»?Æ
â.¼ã³,äÐæå-ÀÃ.»½ nki. Das System ist in
Haapalainen und Majorin 94 und Haapalainen und Majorin 95 beschrieben. Es basiert auf der
allgemeinen Zwei-Ebenen-Morphologie von Kimmo Koskenniemi (Koskenniemi 83, vgl. auch
3.2).
Das System verfügt nach Herstellerangaben über ein Lexikon von ca. 350 000 Einträgen
(Lemmata). Durch eine komplette deutsche Morphologie (Flexions-, Derivations- und Kompositionsmorphologie, nähere Details und Beispiele sind in Haapalainen und Majorin 94 beschrieben) werden insgesamt mehrere Millionen Wörter erkannt. Die verwendete Systemversion
verwendet noch die alte deutsche Rechtschreibung.
110
*liebe
"<*liebe>"
"*lieb~e" S FEM SG NOM
"*lieb~e" S FEM SG AKK
"*lieb~e" S FEM SG DAT
"*lieb~e" S FEM SGGEN
"*lieb" S(A) POS SG NOM MASK
"*lieb" S(A) POS SG NOM NEUTR
"*lieb" S(A) POS SG AKK NEUTR
"*lieb" S(A) POS SG NOM FEM
"*lieb" S(A) POS SG AKK FEM
"*lieb" S(A) POS PL NOM
"*lieb" S(A) POS PL AKK
"lieb" * A POS SG NOM FEM
STARK
"lieb" * A POS SG AKK FEM
STARK
"lieb" * A POS PL NOM STARK
"lieb" * A POS LP AKK STARK
"lieb" * A POS SG NOM MASK
SCHWACH
"lieb" * A POS SG NOM NEUTR
SCHWACH
"lieb" * A POS SG AKK NEUTR
SCHWACH
"lieb" * A POS SG NOM FEM
SCHWACH
"lieb" * A POS SG AKK FEM
SCHWACH
"lieb~en" * V IND PRÄS SG1
"lieb~en" * V KONJ PRÄS SG1
"lieb~en" * V KONJ PRÄS SG3
"lieb~en" * V IMP PRÄS SG2
Substantiv
Substantiviertes Adjektiv
Adjektiv (großgeschrieben)
Verb (großgeschrieben)
Abbildung 12: Morphologische Analyse für Liebe, generiert von GERTWOL
5.3.1 Analyse
Im für diese Arbeit besonders relevanten Bereich der Substantiv-, Adjektiv- und Determinerç;Àè ½Æ ¾°Ã½ÀâAÀ'Å¼§¿½BÀéêÆ
ÅÓ Ê Æ ÃÆ
Ä ½S»ÉÊÀ-ë^¾ÂÃä»À¿½ÀRÄÀ4»?Â²V¼À¾jÑ ÏÃ½ÉÊÀ¾jÁÃÀè ½Æ ¾ sangaben in Form
von Zeichenketten, wobei jede morphologische Analyse einem einzelnen String entspricht.
Abbildung 12 zeigt ein Beispiel einer solchen Analyse. Der Asterisk steht hier für Großschreibung, die Tilde zeigt die Trennstelle von Stamm und Af
Í è À ¾ Ô
Die Analysestrings werden von einer Funktion in geeignete C++-Datenstrukturen (Objekte in
einer Klassenhierarchie) umgewandelt und zur weiteren Verarbeitung bereitgestellt. Dabei
werden die Analyseergebnisse der Morphologie eventuell mithilfe einer im Laufe der Arbeiten
am System entstandenen Ausnahmeliste durch Löschen, Einfügen und Ändern einzelner Analy-
111
Gerhard Fliedner
sen manipuliert. Dieser Programmteil wird benötigt, da bei einigen Wörtern die Ergebnisse der
Morphologie z. T. unvollständig oder fehlerhaft sind.
Ein weiterer Verarbeitungsschritt erlaubt die Zusammenfassung von Mehrwortbegriffen (feste
Ausdrücke wie unter anderem, mehrteilige Artikel und Konjunktionen wie ein Paar bzw. als
ob) zu festen Wendungen, die im Folgenden sowohl zur Analyse als Einzelwörter als auch wie
ein einziges Wort analysiert werden. Die Wendungen sind in einer Datei zusammen mit den
gewünschten Analysen abgelegt.
Dieses Vorgehen zur Behandlung fester Wendungen entspricht weitgehend dem von Theo
Vosse beschriebenen: Vosse verwendet einen Präprozessor, um aus einer Eingabe Wortgitter
(Word Lattices) zu erzeugen. Feste Wendungen werden hier als mehrere Wörter überspannende Übergänge in das Gitter aufgenommen (vgl. Vosse 92, 115).
5.3.2 Tokenisierung
Das Programm akzeptiert als Eingabe unformatierte Texte (reines ASCII), als Umlautkodierung wird ANSI-Windows verwendet. Die Texte werden absatzweise verarbeitet. Innerhalb
eines Absatzes wird die Eingabe in Wörter zerlegt (tokenisiert). Dazu werden alphanumerische
Zeichen zu Wörtern bzw. Zahlen zusammengefasst. Satzzeichen werden ebenfalls wie Wörter
behandelt, alle anderen Zeichen werden ignoriert.
Zur Tokenisierung wird die morphologische Analyse herangezogen, um bestmögliche Ergebnisse zu erzielen.58 Abkürzungen, die Punkte enthalten (z. B.), Dezimalbrüche mit Kommata
(123,45) und Genitivformen von Eigennamen mit Apostroph (Markus’) werden dabei mithilfe
der morphologischen Analyse erkannt. Wenn es sich bei einem Punkt sowohl um das Satzendezeichen als auch um einen Abkürzungspunkt handeln kann, werden beide Möglichkeiten berücksichtigt; zur Erfassung der Abkürzung werden die oben beschriebenen Verfahren zur Behandlung fester Wendungen verwendet.
5.4 Satzstrukturanalyse
Erst nach der Entwicklung eines ersten Prototyps des Systems wurde deutlich, dass die erzielten Ergebnisse durch eine Satzstrukturanalyse erheblich verbessert werden könnten. Diese Analyse ermittelt die Satzstruktur, d. h. bei welchen Teilen eines Satzes Haupt- und Nebensätze
58
Vergleiche die Arbeit von Grefenstette und Tapanainen (94), in der nach einer Serie von Experimenten zur
Tokenisierung festgestellt wird, dass die besten Ergebnisse nur unter Einbeziehung einer morphologischen
Analyse erreicht werden können.
112
bzw. satzwertige Konstruktionen (erweiterter In
Í ¾ ½ A¼ P½ °
È R
² ½ ¼ zu59, Partizipialkonstruktionen) handelt.
Viele der einleitenden Konjunktionen bzw. Pronomen sind im Deutschen ambig bezüglich der
Wortart: Relativpronomen sind weitgehend formgleich mit Artikeln (der, dem usw.) und viele
Í ¾ ½ A¼ ½ È Ç Æ 0¾ ì º ¾ Ç A¼ B½ Æ ¾ À ¡
¾ Aâ Æ $Å R
² Ä BÃ À ½ É £
Ê R
² ½ \
¼ ;
í Å 'Ë Ó cÆ » ½ A¼ ½ Æ ¾ À ¾ (während, seit usw.;
subordinierende und Inc
um, ohne, (an)statt). Wenn es sich bei einem solchen Wort um einen Artikel handelt, muss die
Kongruenz, bei einer Präposition die Rektion geprüft werden. Bei statt eines Fehlers (Präposition) muss beispielsweise geprüft werden, ob die folgende Nominalphrase im Genitiv steht.
Andererseits sollte in einem Fall wie statt einen Fehler zu î ï ðñ'ï (In
ò Có ô Aõ ô ö ÷ ø 0ó ù ú ó ÷ Aõ ô ø ó û ÷ 'ü ô ó ü
Fehlermeldung ausgegeben werden, da es sich gerade nicht um eine Präpositionalphrase handelt.
Bei einer Untersuchung der Fehler im Referenzkorpus, die sich auf die genannten Ursachen
zurückführen lassen, ergab sich, dass in den meisten Fällen eine recht einfache Satzstruktur mit
nur einem Nebensatz bzw. einer In
ò ó ô Aõ Pô ö ÷ ø eó ý Aõ Aþ ú ÷ Aõ ô ø t
ó ö ø $þ ÿ ü þ t
ú þ ü ú þ ^
ó ÿ ý ü ü þ
Satzstruktur eine zweite Grammatik auf Basis endlicher Automaten entworfen, die dazu dient,
Anfang und Ende der jeweiligen Struktur zu markieren.
ò 0 ô ü þ 'ü ó ü þ
Etwas vereinfacht werden z. B., um einen eingeschachtelten Nebensatz zu identi
reguläre Ausdrücke Relativpronomen oder Subordinationen nach einem Komma bzw. am
Satzanfang, gefolgt von beliebigen Wörtern, gefolgt von einem ò Có ô õ ü ó ü þ ú ó ü ô ó ü ø mma
bzw. Satzendezeichen gesucht. Diese einfache Technik kann natürlich nicht in allen Fällen erfolgreich sein, hat sich aber im Großen und Ganzen gut bewährt. Beim Vergleich mit dem System „Grammatik“, das anscheinend kein solches Verfahren verwendet, hat sich gezeigt, dass
tatsächlich viele Präzisionsfehler auf diese Art vermieden werden können (vgl. 6.6).
Tatsächlich ist die Grammatik umfangreicher, da sie auch Phänomene wie ineinander geschachtelte Nebensätze bzw. satzartige Konstruktionen und koordinierte Nebensätze behandelt (die
nicht durch relativ einfach zu erkennende Kommata voneinander getrennt werden, wenn sie
durch koordinierende Konjunktionen verbunden sind, vgl. auch 6.4.3.1).
Die Satzstrukturanalyse wird vor der eigentlichen Nominalphrasenanalyse vorgenommen. Dazu
wird eine eigener endlicher Automat (ohne Rekursion, also äquivalent mit regulären Ausdrücken, ca. 80 Zustände mit ca. 500 Übergängen) verwendet, der mithilfe des in 5.5 beschriebenen Parsers die Satzstruktur der Eingabe ermittelt.
59
Da das System durch die verwendete Morphologie nur Wörter in der alten deutschen Rechtschreibung erkennt, wurde die Satzstrukturanalyse so implementiert, dass sie erweiterte In!#"%$'&$)(%*+",%-* rkennt, wenn sie mit
Kommata abgetrennt sind. Die neue Rechtschreibung erlaubt es, die Kommata wegzulassen. Dadurch sind sie
sehr viel schwieriger zu erkennen. Ein Versuch, beide Varianten zuzulassen, wurde wegen der schlechten Ergebnisse wieder aufgegeben.
113
Gerhard Fliedner
Mit dieser recht einfachen Methode konnten fast alle aufgrund der oben beschriebenen Ambiguitäten auftretenden Präzisionsfehler behoben werden (vgl. aber 6.4.3.1). Die Ergebnisse der
Satzstrukturanalyse . Bô ü / 'ü i
ó ô 0
ó ô 1
ü (
ú 2ý 3
+
ÿ ü þ 6
4 5 ý ú #ó E
'ü ô 0
ó 7 ö 8ÿ 5.6). Das Ergebnis der Satzstrukturanalyse wird also verwendet, um alternative Analysen einzuführen, wenn das System
einen Kongruenzfehler òó üõ9;:,üô.ý=< ôüÿ.ý2ü'ô.ýü>ôþRôó@?BAÿÿüó
ôó3 üó ü'ó3ôüCD!õ2ýAõAþú÷õwúþóÿýü
einen Relativsatz erkannt hat, für das Relativpronomen die alternative Analyse „Relativpronomen“ eingeführt. Diese Analyse wird zwar von der Morphologie für Wörter wie der neben der
Analyse „Bestimmter Artikel“ immer generiert, vom Korrekt-System aber in allen anderen Fällen (wenn der „mitten im Satz“ steht) unterdrückt.
5.5 Parser
Das Programm verwendet zur syntaktischen Analyse die in 4.2 beschriebenen endlichen Automaten mit Rekursion. Durch die Verwendung eines Rekursions-Stacks können die Automaten
verschachtelt werden: Über einen besonderen Übergangstyp kann ein Automat sich selber aufrufen. Dadurch, dass eine solche Schachtelung zugelassen ist, kann der Automat nicht nur reguläre Ausdrücke, sondern auch bestimmte kontextfreie Sprachen mit Selbsteinbettung erkennen. Diese Mächtigkeit wird, wie in 4.2 diskutiert, genau zur adäquaten Erkennung deutscher
Nominalphrasen benötigt.
Der Automat wird hier als spezieller Graph betrachtet, bei dem die Zustände des Automaten
den Knoten des Graphs und die Übergänge seinen Kanten entsprechen. Die Übergänge tragen
zwei Label, einen für das Wort und einen für die Wortart. Außerdem können Sie mit Zusatzinformationen zur Kongruenz versehen werden. Statt Wort und Wortart bzw. am Ende eines
Wortes kann auch ein Asterisk (in Anlehnung an den Kleenestern), der eine beliebige Zeichenkette matcht, verwendet werden. Dadurch ergibt sich die Möglichkeit, allgemein nach Wortart,
bei Bedarf aber auch nach einzelnen Worten zu parsen.
Zum Auswerten dieser Automaten wird ein Bottomup-Parser verwendet, der stark an die von
Earley angegebenen Algorithmus zum Parsen kontextfreier Grammatiken (70) angelehnt ist.
Der Parser basiert auf Parserzuständen (nicht zu verwechseln mit den Automatenzuständen des
zugrunde liegenden Automaten). Ein solcher Zustand stellt die Analyse für einen geparsten
(überdeckten) Eingabeteil dar. Dazu werden erste und letzte Wort des überdeckten Bereiches,
ò ó !ü =õ ú ó der Zustand, in dem sich der Automat nach Eingabe des überdeckten Bereiches bec
die bisherige Analyse, d. h. eine Liste der verwendeten Automatenübergänge, abgespeichert.
Zum Parsen werden zwei Listen von Zuständen verwendet: eine Agenda und eine Chart. Die
Agenda speichert noch nicht vollständige Zustände, d. h. solche, die nicht in einem Endzustand
114
des Automaten enden. Auf der Chart werden vollständige Parses, also komplette Nominalphrasen oder Präpositionalphrasen abgelegt.
Zur Initialisierung des Parsers wird ein leerer Zustand auf der Agenda abgelegt, also einer, der
noch keine Eingabe überdeckt. In einer Hauptschleife wird ein Zustand von der Agenda genommen. Der Automat wird in den entsprechenden Zustand versetzt, und der Parser versucht
nun, das auf die bereits überdeckte Eingabe folgende Wort mit einem Übergang zu matchen.
Für jeden gefundenen passenden Übergang (die Label des Übergangs müssen Wort und Wortart matchen) wird ein neuer Zustand auf der Agenda abgelegt. Dabei ist auch Nichtdeterminismus erlaubt, d. h. es können auch verschiedene Übergänge verwendet werden. Um den Nichtò ý E G
ü H
F ü =þ D A ó ã
ü ö ü rwendet.
determinismus zu kontrollieren, werden jedoch nur gleich spezi
Wenn also z. B. ein Übergang mit passendem passender Wortart gefunden wird, würde ein
allgemeinerer Übergang, dessen Wortartlabel mit dem Kleenestern markiert ist, nicht verwendet.
Sobald ein Endzustand des Automaten erreicht wird, wird der Zustand auf der Chart abgelegt:
Eine komplette NP ist gefunden und kann im Folgenden ausgewertet werden. Zurzeit verwendet der Parser eine einfache Darstellung der Zustände, d. h. dass falls mehrere Zustände mit
gleichem Anfangs- und Endpunkt und gleichem Automatenzustand, aber verschiedenen Pfaden
auf der Chart liegen, werden diese nicht zu einem Zustand zusammengefasst. Dadurch kann es
in Einzelfällen dazu kommen, dass eine große Zahl von Zuständen durchsucht werden muss.
Nachdem sich jedoch herausgestellt hatte, dass die Zahl dieser Fälle sehr gering ist und dass
eine Änderung des Parsers durch den erhöhten Verwaltungsaufwand zu einer Reduzierung der
durchschnittlichen Parsingzeit führte, wurde von dieser Änderung abgesehen (vgl. auch 6.8).
Als Grammatik wird ein Automat mit ca. 1 000 Zuständen und ca. 7 500 Übergängen (davon
ca. 250 rekursive) verwendet. Er wird aus einer Datei gelesen und kann jederzeit leicht geändert und erweitert werden.
5.6 Lösungsauswahl
In 4.3 sind die Grundlagen des Verfahrens zur Auswahl der Lösung beschrieben. Um auch bei
ò ó ü I
ó £
ú D÷ 5 Có ó ü ó J R
ô K
þ°
ü ô L
ó 'óL ô ü M ptifehlerhaften Eingaben die am besten passende Analyse c
malitätstheorie angelehntes Verfahren verwendet, das durch die Bewertung der Analysen mitò ó !ü =õ J Bô ü ô ü Òó Bô ü drigsten
hilfe von hierarchisch geordneten Constraints diejenigen Analysen gewichteten Constraints bzw. am wenigsten Constraints einer Ebene verletzt.
115
Gerhard Fliedner
Die Implementation ist einfach gehalten60: Zuerst werden die möglichen Kandidaten generiert,
d. h. sämtliche möglichen grammatischen Analysen vom Parser ermittelt. Dabei werden eventuell zu den vom endlichen Automaten gefundenen Analysen weitere hinzugefügt, indem für ambige Wörter (z. B. ambig zwischen Partizip und òóCôõüNRü'þ ûüôóüG-ü ite Analyse eingefügt
wird.
Danach werden die Analysen, die jeweils den gleichen Teil der Eingabe überspannen, anhand
des ersten Constraints bewertet. Alle Analysen, die mehr als die minimale Zahl von Verletzungen des Constraints aufweisen, werden gelöscht. Die verbleibenden Analysen werden dann
anhand des hierarchisch nächstniedrigeren Constraints b ewertet.
Am Ende bleiben der Zustand oder die Zustände mit den „leichtesten“ Verletzungen der
Constraints zurück.
Wenn die so ermittelte Lösung keine Kosten hat, also kein Kongruenzfehler gefunden wurde,
so geht das System davon aus, dass in der Phrase keine Fehler vorliegen. Die betreffende Phrase wird dann nicht an das Benutzerinterface weitergereicht.
5.7 Benutzerinterface
Ein einfaches Benutzerinterface wurde vor allem zu Demonstrations- und Textzwecken implementiert. Die zugrunde liegenden linguistischen Funktionen könnten ohne großen Aufwand
auch mit einem anderen Interface versehen oder in andere Programme (z. B. Editoren oder
Textverarbeitungsprogramme) eingebunden werden.
Das Benutzerinterface soll es dem Benutzer erleichtern, Kongruenzfehler im Text zu korrigieren, in dem die vom System erkannten Fehler möglichst genau beschrieben und einer oder mehrere Korrekturvorschläge angeboten werden. Abbildung 13 zeigt das Benutzerinterface mit
einer fehlerhaften Eingabe und einem Korrekturvorschlag.
Dazu wird in einem zweigeteilten Dialogfenster oben der Absatz, in dem der Fehler gefunden
wurde und unten die Fehlerbeschreibung mit den Änderungsvorschlägen angezeigt. Der B enutzer kann sich vorwärts und rückwärts durch den Text von Fehler zu Fehler bewegen. Für jeden
Fehler kann er den passenden Korrekturvorschlag auswählen und den Fehler korrigi eren.
Korrektur und Benutzerinterface laufen in der aktuellen Implementation in getrennten Threads.
Das ermöglicht dem Benutzer, Fehler zu korrigieren, während das System den Text noch wei-
60
Die in Karttunen 98 beschriebene ef#
! P
O Q$ * " R& @
* U
S W
T Y
V QX * Z
T * " & \
[ R& Q$ ^
] 3
" %
( ^
] L
"
_ V R& Q$ Z
T P
` QX $ R& \
a U
& 8
b c ^
] d
" e
b R& 8
- P
` Q$ " f
& >
b Q$ L
"
* Q$ %
" * h
T
#
g Q$ %
" $ & * State-Framework wurde hier nicht verwendet, u. a., da dort die Zahl der Constraints, die in einer Eingabe verletzt werden dürfen, beschränkt werden muss.
116
ter nach Fehlern durchsucht. Die Korrektur kann daher bereits beginnen, sobald der erste Fehler gefunden ist und nicht erst, wenn die gesamte Datei durchsucht ist.
Um die richtigen Korrekturen anbieten zu können, werden anhand der wie in 5.6 beschrieben
ermittelten Korrektur mit minimalen Kosten Änderungsvorschläge generiert. Da der Hersteller
der Morphologie leider nicht rechtzeitig eine passende Generierungskomponente zur Verfügung stellen konnte, wurde eine eigene Generierungskomponente entwickelt und in das System
integriert, die die gesuchten Flexionsformen von Determinern, Adjektiven und den Substanti. j
ü i ô ø eó =ý D< þ%kô 3
!õ=L
ü ó ü þ ô ü þ ü
ó D÷ óCló l I
m %En
üp
þ t
o ü ó erierung der
ven der wichtigsten Nominal9
Korrekturvorschläge werden identische Vorschläge (z. B. Genitiv und Dativ Singular Femininum) zusammengefasst.
117
Gerhard Fliedner
Um die Präsentation der Korrekturen möglichst übersichtlich zu halten, werden für jede Phrase
mit Fehler genau die zu ändernden Wörter zusammen mit Artikeln und Substantiven angezeigt.
Abbildung 13 zeigt ein Beispiel für einen solchen Korrekturvorschlag.
In Fällen, wo mehrere Korrekturmöglichkeiten mit den gleichen Kosten, aber unterschiedlichen
Ober.qA%E üóCþü%rôSý$ôüþAúóüó¬üji ôSýõAôüþ?üóB-üþ üósrQrBütø
þdýKErRAü ôQ úó4õüþ?üóvu#üôQrw ü4ýZ?;üó sters angezeigt. Der Benutzer kann im oberen Teil des Fensters den Kontext des Fehlers prüfen und
anhand dessen im unteren Teil den passenden Korrekturvorschlag auswählen.
Abbildung 13: Benutzerschnittstelle: Kongruenzfehler mit Korrekturvorschlag
118
5.7.1 Warnungen
Die Korrekturvorschläge werden ergänzt durch zusätzliche Warnungen: Bei ersten Tests des
Programms hatte sich herausgestellt, dass einige Fehlermeldungen für Eingaben generiert wurden, in denen tatsächlich kein Kongruenzfehler vorlag, dafür aber ein anderer Fehler. Für einige
besonders häuòZöø þ$÷øüó ü>ý?ø lche Fehler wurden daher Warnungen entworfen. Diese
Warnungen sind mit Heuristiken verbunden, die über Fehlermuster die Eingabe unter Berücksichtigung der gefundenen Analyse auf das Vorliegen eines möglichen anderen Fehlers überprüfen. Falls ein solches Fehlermuster matcht, wird zusätzlich zu den Korrekturvorschlägen die
entsprechende Warnung ausgegeben. Das hat sich als nützlich erwiesen, insbesondere, da bei
fehlenden Kommata Nebensätze nicht korrekt erkannt werden können und daher die Korrekturvorschläge oft unpassend und in keiner offensichtlichen Beziehung zum tatsächlichen Fehler
stehen.
Ein Beispiel aus dem Referenzkorpus soll das verdeutlichen: In einem Text òó ü!õ#ý$ôE3 ø
þAõ ü'þ
folgende Satz: Das Umweltprogramm enthält eine genaue Aufstellung … des zeitlichen Rahmens für jeden Bereich in dem eine Verbesserung im Umweltschutz erreicht werden soll. Das
Programm bietet für diesen Satz als Korrektur in der einen Verbesserung bzw. in die eine
Verbesserung an, da der Relativsatz durch das fehlende Komma vor in nicht erkannt werden
kann. Daher nimmt das Programm an, dass es sich bei in dem eine Verbesserung um eine fehlerhafte Präpositionalphrase handelt. Zusätzlich matcht jedoch das Fehlermuster für „Fehlendes
Komma vor Nebensatz“, so dass der Benutzer auf das möglicherweise fehlende Komma hingewiesen wird. Eine Zusammenstellung der derzeit verwendeten Warnungen ò ó !ü #
õ $ý ô E ô ó
Tabelle 4.
5.7.2 Korrekturen vornehmen
Bei der zurzeit implementierten Benutzerober.qA%Eüx-üþ üóyôü@üz.úó üó üó3?;ü#rüþZ ü{: enutzer nacheinander zur Korrektur angeboten. Der Benutzer hat die Möglichkeit, einen Vorschlag
des Programms anzunehmen, indem er den gewünschten Vorschlag auswählt und den Button
„Annehmen“ klickt.
Außerdem gibt es die Möglichkeit, den Absatztext in der oberen Fensterhälfte direkt zu ändern
und per Mausklick den geänderten Text zu übernehmen. Mit diesem Verfahren lässt sich der
Fehler auch korrigieren, wenn der richtige Korrekturvorschlag fehlt.
119
Gerhard Fliedner
•
Komma fehlt am Nebensatzanfang
Beispiel: Das Umweltprogramm enthält eine genaue Aufstellung … des zeitlichen Rahmens für jeden Bereich in dem eine Verbesserung im Umweltschutz erreicht werden soll. (Komma fehlt vor in
dem)
•
| d
} )~ 8
~
)~ zu
Komma fehlt vor erweitertem In#
Beispiel: Es mag sein, daß Günter Grass diesen Roman auch geschrieben hat um dem Verdrän-
gungsprozeß … entgegenzuwirken. (Komma fehlt vor um)
•
Komma fehlt nach erweitertem In#
| d
} )~ 8
~
)~ zu
Beispiel: Um der Zieldimension Umweltbewußtsein einen vergleichbaren Wert zuordnen zu können
werden mehrere Indices … gebildet. (Komma fehlt nach können)
•
Ergänzungsstrich statt Bindestrich
Dieser Fehler tritt auf, wenn nach einem Bindestrich, der zwei Worte verbindet, ein Leerzeichen eingefügt wird. Beispiel: Der technischorganisatorische Bereich (gemeint: technischorganisatorische)
•
Gedankenstrich statt Bindestrich
Dieser Fehler tritt auf, wenn vor und nach einem Bindestrich, der zwei Worte verbindet, ein Leerzeichen eingefügt wird. Beispiel: Öko - Audit - Verordnung (gemeint: Öko-Audit-Verordnung)
•
Bei einer Ordinalzahl fehlt der Punkt nach der Ziffer
Eine Ordinalzahl wird als Ziffer geschrieben, es fehlt aber der Punkt. Beispiel: am 3 Mai 2000 (gemeint: am 3. Mai 2000)
•
•
Fehlerhafte Getrenntschreibung
Dieser Fehler tritt auf, wenn zwei zusammengehörende Worte nicht zusammengeschrieben oder mit
Bindestrich verbunden sind. Beispiel: Diplom Soziologin (gemeint: Diplom-Soziologin)
Unbekanntes Wort
Wenn in der Nähe eines vermeintlichen Fehlers ein unbekanntes Wort gefunden wird, handelt es sich
oft entweder um einen Tippfehler, der den gefundenen Fehler erst auslöst, oder um eine fremdsprachige Wendung. Beispiel: ein Total Quality Management System (Vorschlag des Programms: ein
Totaler bzw. ein Totales, da die englische Wendung nicht erkannt werden kann).
Tabelle 4: Zusätzliche Warnungen
Die Fehlermeldung wird in beiden Fällen aus der Fehlerliste entfernt. Über den Button „Rückgängig“ können die letzten Änderungen schrittweise rückgängig gemacht werden. Das Programm merkt sich dafür alle Änderungen.
120
Auf diese Weise kann der Text Fehlermeldung für Fehlermeldung korrigiert werden. Wenn in
der Datei Änderungen vorgenommen wurden, fragt das System bei Klick auf den „Schließen“Button, ob die Änderungen in die Datei geschrieben werden sollen.
121
6 Bewertung und Vergleich
In diesem Kapitel sollen die Ergebnisse der Evaluation des Systems vorgestellt werden.
In 6.1 werden zunächst einige wichtige Arbeiten zur Evaluation von Systemen zur Verarbeitung natürlicher Sprache vorgestellt. Dabei werden einige wichtige Grundlagen und Kriterien,
die im Folgenden verwendet werden, vorgestellt. Die Anwendung dieser Grundlagen auf die
vorliegende Evaluation wird in 6.2 erläutert. Dort wird auch das in der Evaluation verwendete
Evaluationskorpus beschrieben.
Während der Rest des Kapitels sich mit verschiedenen Performanzevaluationen beschäftigt,
also der Ermittlung bestimmter Maße für die Systemleistung, gibt 6.3 einen Überblick, wie eine
Adäquatheitsevaluation des Systems aussehen würde bzw. wie sie vorgenommen werden könnte. Eine Adäquatheitsevaluation wird durchgeführt, um die Eignung eines Systems für eine
bestimmte Benutzergruppe zu ermitteln. Obwohl das für das vorliegende System zurzeit nicht
relevant ist, da ein Praxiseinsatz nicht geplant ist, geben die Adäquatheitskriterien trotzdem
einige Hinweise auf mögliche Systemverbesserungen.
Im Folgenden werden Präzision und Recall (für Teilkorpora) ermittelt. Diese Werte geben an,
wie viele überPkDpBdHD2=3j+L@@q#PR93= ttelten Zahlen werden kommentiert und mit Beispielen aus den Korpora genauer erläutert (6.4,
6.5).
Als Vergleich wurden die entsprechenden Zahlen für ein weit verbreitetes Grammatikkorrektursystem für das Deutsche ermittelt („Grammatik“, gehört zum Lieferumfang der Textverarbeitung Microsoft Word). Die Zahlen werden mit den für das Korrekt-System ermittelten verglichen und die Abweichungen zwischen den Systemen erläutert (6.6).
Alle bisher beschriebenen Bewertungen beschäftigen sich mit der Funktion des Systems als
Ganzes. Um zu ermitteln, wie gut die zugrunde liegende Parsingkomponente arbeitet, wurden
die Ausgaben der Parsingkomponente mithilfe von bereits getaggten deutschen Sätzen aus dem
NEGRA-Korpus verglichen (6.7).
Ein nicht zu vernachlässigender Faktor bei natürlichsprachlichen Systemen ist die Verarbeitungsgeschwindigkeit. Sowohl die durchschnittliche Verarbeitungszeit als auch das Verhältnis
von Eingabelänge zu Verarbeitungszeit wurden daher ermittelt (6.8).
123
Gerhard Fliedner
6.1 Evaluation in der Literatur
Mit der zunehmenden Verbreitung von Systemen zur Verarbeitung natürlicher Sprache wird
auch die Evaluation der Systeme immer wichtiger. Eine Systemevaluation ist für ganz verschiedene Gruppen interessant, z. B. für die Systementwickler, die möglichst objektiv die Qualität „ihres“ Systems testen wollen, oder potentielle Endanwender, die vor einem Kauf heraus
¡ @
¡ £
¢ Q ¡ J
¤ ¢ I

Z
D
=
h

Q ¡ ¥ ¡ 2
¦ ¢ D
§ #
¡ D
¡ D
K
%
¨
p
Q @
L

%
3
¨ d
Z
J
2
=
{

besten für sie geeignet ist. Für diese unterschiedlichen Zielgruppen sind oft unterschiedliche
Bewertungen bzw. unterschiedliche Kriterien oder Gewichtungen der Ergebnisse nötig.
Ein ausführlicher Überblick über die Evaluation natürlichsprachlicher Systeme ¡ ^
©
=
¨ k ¡
¡ R q
D
§ ¡ Y
ª ¨ J
2
Q ¡ ¢
« >
6
¬

¢ @
¡
=
Q 8
¦ 2
¦ ¡
Sparck Jones und Galliers 96. Diese Arbeit de
für die Evaluation. Im Folgenden wird der Forschungsstand beschrieben, sowohl wichtige Evaluationen in der Literatur als auch ein Überblick über laufende Entwicklungen im Bereich (insbesondere Konferenzen und Arbeitsgruppen). Die Arbeit schließt mit einem kurzen Leitfaden
zur Planung und Ausführung von Evaluationen.
In dieser Arbeit ist ein zentraler Punkt, dass Evaluation die relevantesten Ergebnisse dann liefert, wenn sie den Einsatz des evaluierten Systems berücksichtigt. Ein natürlichsprachliches
System sollte nicht als alleinstehend betrachtet werden, sondern vielmehr als eine Komponente
eines Setups. Ein solches Setup umfasst die gesamte Umgebung, in der das System eingesetzt
wird bzw. werden soll: Die Menschen, die mit dem System arbeiten (Benutzer, Administratoren), die Abläufe, an denen das System beteiligt ist, usw. (Sparck Jones und Galliers 96, 11 ff.)
Im Rahmen eines Setups wird dann die genaue Zielsetzung der Evaluation ermittelt. Zur
Durchführung der Evaluation müssen zunächst die Evaluationskriterien ermittelt werden, z. B.
Benutzerfreundlichkeit. Diese Kriterien müssen dann in Maße (measure) „übersetzt“ werden.
Ein solches Maß könnte z. B. die Zahl der Antworten auf eine Suchanfrage sein. Anhand dieser
beiden Grundlagen muss dann eine Methode entwickelt werden, um die Maße zu ermitteln
(Sparck Jones und Galliers 96, 20).
Erst nach dieser sorgfältigen Vorbereitung kann die eigentliche Evaluation durchgeführt werden. Dieses ausführliche Vorgehen hilft dabei, repräsentative und vergleichbare Ergebnisse zu
erzielen.
Hirschman und Thompson geben einen kurzen Überblick über verschiedene Arten der Evaluation und fassen allgemein Erfolge (z. B. Entwicklung von allgemein verfügbaren Testkorpora
und Einrichtung von Konferenzen) und offene Fragen der Evaluation (z. B. Verallgemeinerung
existierender Techniken, stärkere Einbeziehung der Benutzer) zusammen (Hirschman und
Thompson 97).
In dem Artikel sind die folgenden drei Arten von Evaluation beschrieben:
124
• Evaluation der Systemeignung (Adequacy Evaluation)
Diese Evaluation soll dabei helfen festzustellen, ob und wie weit das getestete System für
den geplanten Anwendungszweck geeignet ist. Wegen der stark unterschiedlichen Bedürfnisse unterschiedlicher Anwender müsste diese Evaluation im Idealfall auf den einzelnen
Benutzer zugeschnitten werden. Da dies wegen der hohen Kosten einer solchen Evaluation
meistens nicht möglich ist, werden Systeme oft für die (angenommenen) Bedürfnisse typischer Benutzergruppen evaluiert.
Eine besondere Form der Systemeignungsevaluation sind die Bewertungen, die von
Verbrauchermagazinen vorgenommen werden (z. B. Computerfachzeitschriften), in denen
verschiedene Aspekte mehrerer Systeme in einer Liste zusammengestellt werden. Anhand
dieser Liste soll der Benutzer in die Lage versetzt werden, eine informierte Auswahl treffen.
• Diagnostische Evaluation (Diagnostic Evaluation)
Das Ziel der diagnostischen Evaluation ist i. A. die Fehlersuche. Es soll ermittelt werden,
unter welchen Umständen das System Fehler macht. Dazu werden meistens große, speziell
auf das jeweilige Gebiet zugeschnittene Testkorpora verwendet, um das Verhalten eines
Systems bei der Verarbeitung typischer Phänomene zu bewerten. Diese Tests werden besonders häu ®£ª#¡¯°D=3¡8p¨±§D¡#²¡#Dj£¡j=¤§D³§²´2D¦2¡¤¢¯µpª¡ erungen am System den gewünschten Erfolg haben und nicht die Performanz des Systems in
einem anderen Bereich verschlechtern.
• Performanz-Evaluation (Performance Evaluation)
Bei der Performanz-Evaluation wird für ein bestimmtes Kriterium ein Messwert ermittelt,
z. B. die relative Zahl korrekt erkannter Wörter. Diese Messwerte können zur Einschätzung
der Leistung des Systems herangezogen werden. Neben der absoluten Leistung ist oft auch
die relative Leistung interessant, d. h. der direkte Vergleich mit anderen Systemen. Dadurch
sind Performanzevaluationen sowohl für Endbenutzer als auch für Systementwickler interessant.
In den letzten Jahren sind neben mehreren Konferenzen zur Evaluierung auch Arbeitsgruppen
entstanden, die sich mit der Herausgabe von allgemeinen Standards und Richtlinien zur Evaluation beschäftigen, besonders im Hinblick auf die Schaffung direkt vergleichbarer Evaluationsverfahren für bestimmte Anwendungsgebiete.
Im Bereich der Verarbeitung natürlicher Sprache gibt es hier zwei wichtige, EU-geförderte
Projekte: EAGLES (Expert Advisory Group on Language Engineering Standards) und TEMAA.
Die EAGLES Evaluation Working Group (EAGLES-EWG) hat zum Abschluss der ersten
Projektphase 1996 einen Bericht vorgelegt, in dem Vorschläge zur Schaffung einer standardi125
Gerhard Fliedner
sierten Adäquatheitsevaluation von Systemen zur Verarbeitung natürlicher Sprache unterbreitet werden. Als Basis wird dabei die ISO 9126, eine von der International Organisation for
Standardization (ISO) de
¡ 2
=

1
¶
¢
h

D
§ £
j
#
¡ 2
¢ @
¡ D
¢ 3
¡ ·
§ Q =
j
ª K
¨ ± =

U
2
Q D
± >

D

Software-Evaluation, verwendet. Ausgehend von dieser Norm werden verschiedene Anpassungen und Erweiterungen vorgeschlagen.
In mehreren Anhängen werden Vorschläge für die Umsetzung der vorgeschlagenen Standards
und Verfahren auf bestimmte Systeme für die Verarbeitung natürlicher Sprache (Writers’ aids,
umfassen Rechtschreib-, Grammatik- und Stilprüfprogramme sowie Online-Wörterbücher, und
translators’ aids, z. B. Translation Memories und multilinguale Wörterbücher). Im Bericht
wird mehrfach betont, dass die entworfenen Erweiterungen noch bei weitem nicht vollständig
sind:
The appendices then cover ;
¸ ¹ =
º d
» » %
¼ ½ P
¾ ¿ d
¿ QÀ kÁ P
Â ¾ Q» QÁ ^
Ã Z
Ä ^
Ã Å » Y
¼ q
½ RÅ =
¹ j
¾ +
Æ ½ l
Ç ^
Ã 2
¹ +
È Q»
Ã » Y
¼ ½ \
½ Ê
É ¾ QÀ Ë ¾ Q» QÁ ^
Ã Z
Ä ^
Ã
Å D
Ç
¹ kÁ Q» \
½ 2
¹ v
º
¾ QÁ ^
Ì º Í w
Î Ï
and translators’ aids (E) These two appendices are substantial attempts to work out detailed applications of the framework. They are however far from being complete: although much work has been done
on evaluating the functionalities of the products considered, much less has been done on chara cteristics
such as usability where there were less solid starting points. (EAGLES 95, 8)
Im Projekt TEMAA wurden die Überlegungen von EAGLES aufgegriffen und vervollständigt
(TEMAA 97). Vor allem wird dort versucht, die Evaluationsverfahren weiter zu vereinheitlichen (z. B. durch Einführung fester Skalen). In so genannten Fallstudien werden Evaluationskriterien für Rechtschreib- und Grammatikkorrekturprogramme angegeben. Der Report
schließt mit einer Beschreibung einiger Ansätze zur Schaffung von Testbeds zur einheitlichen
Evaluation von Systemen.
6.2 Grundlagen der Bewertung
6.2.1 Zielsetzung
In 6.1 wurde der „Leitfaden“ zur Evaluierung in der Arbeit von Sparck Jones und Galliers erwähnt. Anhand dieses Leitfadens (vgl. Sparck Jones und Galliers 96, 194 ff.) sollen einige
grundsätzliche Bemerkungen zur Evaluation in diesem Kapitel gemacht werden.
Die Evaluation ist im Rahmen dieser Arbeit dadurch motiviert, dass das entwickelte Konzept
und System als Ergebnis der Arbeit ausgewertet werden sollte. Da das System im Rahmen einer Forschungsarbeit als Prototyp entwickelt wurde, handelt es sich um eine wissenschaftliche
Auswertung, die nicht unmittelbar Fragen wie die Systemeignung unter bestimmten Umständen
beantwortet. Damit handelt es sich um eine intrinsische Evaluation, da das System anhand seiner Ziele und nicht anhand seiner Funktion in einem einer größeren Aufgabe bewertet wird
(vgl. Sparck Jones und Galliers 96, 19).
126
Das Ziel der Untersuchung ist, zu ermitteln, wie gut das System die gestellte Aufgabe (Prüfung
und Korrektur von Nominalkongruenz und Präpositionalrektion in deutschen Texten) bewältigt
und damit indirekt auch, ob die im Rahmen der Arbeit entwickelten Konzepte für diese Aufgabe geeignet sind.61
Das System wurde in verschiedenen Einzeluntersuchungen evaluiert, die im Folgenden in einzelnen Unterkapiteln beschrieben werden. Am Anfang der einzelnen Unterkapitel gehe ich,
soweit erforderlich, auf die verwendeten Kriterien, Maße und Methoden ein. Bei den durchgeführten Einzeluntersuchungen handelt es sich im Wesentlichen um Performanzevaluationen
(vgl. 6.1), die allerdings z. T. auch Elemente der diagnostischen Evaluation enthalten (insb. die
Analyse der Ursachen für Performanzfehler, vgl. 6.4.3).
In der Literatur wird häu Nk¡ÑÐp¡=9¨§D¡ÒÓK¨¡ Black-Box- und Glass-BoxEvaluation getroffen (vgl. Sparck Jones und Galliers 96, 26). Während bei der Black-BoxEvaluation nur die Ein- und Ausgaben betrachtet werden, wird bei der Glass-Box-Evaluation
auch in Betracht gezogen, wie das System intern aufgebaut ist und funktioniert.
Bei den in diesem Kapitel beschriebenen Evaluationen wurde i. A. versucht, ein Black-BoxVerfahren zu verwenden. An verschiedenen Stellen werden jedoch ergänzend interne Details
aus dem System beschrieben (vgl. z. B. 6.4.3).
6.2.2 Evaluationskorpus
In 5.1 wurde beschrieben, wie das System mithilfe eines Referenzkorpus aufgebaut und anhand
der in diesem Korpus gefundenen Fehler verbessert wurde. Zur Auswertung wurde ein zweites,
kleineres Korpus aufgebaut, das aus ähnlichen Texten wie das Referenzkorpus bestand (zu den
Textsorten im Evaluationskorpus vgl. Tabelle 5, S. 133). Keiner der Texte im Evaluationskorpus wurde während der Entwicklung des Systems verwendet.
Die Quellen des Evaluationskorpus waren im Wesentlichen die gleichen wie beim Referenzkorpus: Die Haus- und Diplomarbeiten sowie die Texte von Nichtmuttersprachlern stammen
auch hier von Studierenden der Universität des Saarlandes, die anderen Texte stammen aus
verschiedenen Quellen im Internet (Online-Ausgaben von Zeitungen und Zeitschriften, Newsletter und Literaturforen).
Da es bei den in diesem Kapitel aufgeführten Beispielen vor allem darum ging, möglichst ohne
umfangreiche Erklärungen verständliche Belege zu ¡¡¤@§D¡@Ó´R@¢£¢#Dj§+
Evaluations- als auch aus dem Referenzkorpus herangezogen.
61
Diese Antwort ist nur indirekt, da eine unbefriedigende Leistung des Systems durch eine schlechte Umsetzung der Konzepte bedingt sein könnte und nicht notwendigerweise durch ungeeignete Konzepte.
127
Gerhard Fliedner
Über dem Referenzkorpus wurden verschiedene Tests (Präzision, Geschwindigkeit) ebenfalls
durchgeführt, die Ergebnisse sind an den entsprechenden Stellen ebenfalls zum Vergleich angegeben.
Bei den Ergebnissen der Tests aus dem Referenzkorpus muss allerdings berücksichtigt werden,
dass diese Texte in der Folge zur Verbesserung des Systems verwendet worden sind (vgl. 5.1).
Das bedeutet, dass z. T. Präzisionsfehler, zu denen es in diesen Texten gekommen war, behoben wurden, so dass das Ergebnis nicht dem für ungesehenen Text (wie das Evaluationskorpus) entspricht.
Interessanterweise liegen die ermittelten Werte für Evaluations- und Referenzkorpus jedoch
meistens relativ nah beieinander. Das deutet darauf hin, dass die Texte aus dem Referenzkorpus so repräsentativ waren, dass das System, nachdem es mithilfe dieser Texte „trainiert“ wurde, Texte aus den entsprechenden Bereichen mit ähnlichen Ergebnissen verarbeitet.
6.2.3 Recall, Präzision und F-Wert
Um ein Grammatikprüfsystem bewerten zu können, sind vor allem zwei Funktionen wichtig:
Präzision und Recall. Diese Begriffe stammen ursprünglich aus dem Information Retrieval.
Für Grammatikprüfsysteme werden die beiden Funktionen meist wie in Abbildung 14 und
#
¡ 9

Abbildung 15 de
Mit Recall wird also die Zahl der tatsächlich gefundenen Fehler im Verhältnis zu den tatsächlich im Text vorhandenen Fehlern angegeben. Je höher diese Zahl, umso mehr der tatsächlich in
einem Text vorhandenen Fehler ¡jwZD=L
Die Präzision gibt den Anteil tatsächlicher Fehler unter den vom System gemeldeten Fehlern
an. Je höher also diese Zahl ist, umso kleiner ist die Zahl von ungerechtfertigten FehlermeldunRecall: =
Anzahl der gefundenen Fehler
Anzahl der Fehler im Text
Abbildung 14: Recall
Präzision :=
Anzahl der gefundenen echten Fehler
Anzahl der gemeldeten Fehler
Abbildung 15: Präzision
F :=
( β 2 + 1) ⋅ Präzision ⋅ Recall
β 2 ⋅ Präzision + Recall
Abbildung 16: F-Wert (gewichtete Kombination von Recall und Präzision)
128
gen, also Fehlermeldungen bei fehlerfreien Eingaben (in der Literatur False Positives oder Präzisionsfehler genannt). Beide Verhältnisse werden meistens in Prozent angegeben.
Häu Ô=pQ¡nDjpÓPK@¬§3¡#¡#ÕU¨¡×ÖqªYÓ¢¡×§D¡×Ø%¨%Q : Wenn man versucht, den Recall zu erhöhen, so nimmt in vielen Fällen auf der anderen Seite die Zahl der Präzisionsfehler zu. Beide Werte sind wichtig. Je nach Anwendung kann der eine oder andere
Wert in den Vordergrund treten: Manchmal dürfen möglichst wenige Fehler übersehen werden,
in anderen Fällen ist das weniger wichtig, die Zeit für die Bearbeitung (und damit das Aussortieren falscher Fehlermeldungen) aber kritisch.
Häu °3K¡vR£D¡LÙÚ2=t§nQ¡ÙÚZ§K3¡#D¦29=¤N¢vD¡¡¡=¡ F-Wert
(vgl. Abbildung 16). Dazu wird ein Bewertungsfaktor β verwendet. Dieser Faktor gibt an, um
wie viel stärker der Recall in den F-Wert ein
R
« 6
Ó
Z
Ö K
ª %
Ó
=

¢
¡ H
Q Û

q
¢ Q D
¡ L
¡
#
¡ egebenen F-Werte verwenden als Bewertungsfaktor β=1, d. h. Präzision und Recall werden als
gleich wichtig angenommen. Das ist ein häu ÕD3¡j=°=¡££Ü F-Wert entspricht dann dem harmonischen Mittel von Recall und Präzision).
Man kann die Präzision recht einfach ermitteln, indem man für alle vom System gemeldeten
Fehler prüft, ob es sich um echte Fehler oder Präzisionsfehler handelt. Zur Ermittlung des Recalls benötigt man aber die Gesamtzahl der Fehler im Text. Diese Zahl zu ermitteln ist problematisch: Sie kann natürlich nicht mit dem zu testenden System ermittelt werden. Auch die Ermittlung mithilfe anderer, vergleichbarer Systeme ist nicht ausreichend, da für so komplexe
Probleme wie Grammatikprüfung kein System einen Recall von 100 % erreicht.
Die einzige Möglichkeit ist daher das mühsame manuelle Durchsuchen des Textes nach Fehlern. Neben dem hohen Zeitbedarf für das Korrekturlesen von Texten kommt noch dazu, dass
menschliche Korrektoren nicht immer alle Fehler ¡¡¤JU¢1^§¨±DQ¡¡d§D¡2´K¢d¡2QD¡
Recall erreichen. Das zeigt sich schon daran, dass sogar von professionellen Lektoren korrekturgelesene Bücher, Zeitschriften usw. auch gelegentlich noch Fehler enthalten.
6.3 (K)eine Adäquatheitsevaluation
Neben den folgenden Teiluntersuchungen zur Performanzevaluation sollen in diesem Kapitel
einige Kriterien einer untersucht werden, die zu einer Adäquatheitsevaluation gehören. Im bereits erwähnten Report der EAGLES Evaluation Working Group (vgl. 6.1) werden verschiedene Kriterien für eine Adäquatheitsevaluation von Grammatikkorrektursystemen aufgeführt.
Eine Adäquatheitsevaluation kann natürlich nur im Hinblick auf die Benutzung eines Systems
durch bestimmte Benutzer oder Benutzergruppen durchgeführt werden. Zunächst müssen die
genauen Bedürfnisse der Zielgruppe bei der Systembenutzung ermittelt werden. Außerdem
129
Gerhard Fliedner
a. Kenntnisse und Ausbildung der Benutzer in die Evaluation ein. Da ein unmittelbarer „praktischer“ Einsatz des beschriebenen Systems zurzeit nicht geplant ist, kann eine wahrscheinliche Benutzergruppe und deren Bedürfnisse noch nicht ermittelt werden. In diesem Unterkapitel sollen dennoch die beschriebenen Kriterien vorgestellt werden und einige Anmerkungen dazu gemacht werden.
«¡t§q
Der genannte Anhang des EAGLES-Reports (EAGLES 95, Appendix D) beschreibt für
Grammatikkorrektursysteme vier übergeordnete Qualitätscharakteristika: Funktionalität, Usability, Zuverlässigkeit und Einstellbarkeit. Nur die Funktionalität wird detaillierter ausgeführt,
zu den anderen Charakteristika werden jeweils wenige Stichwörter angeführt. Für eine tatsäc hliche Adäquatheitsevaluation müssten die Kriterien zunächst sehr viel detaillierter in Maße und
Methoden umgesetzt werden.
Der Bericht emp q#w>Ý6P=k§D¡D¢¡3Ü£ÞQR¨J2
D¡¢@=¡#ß+à©28D%Jwwà©dª^2d¡§D
Ermittlung von Recall und Präzision. Da ein solches allgemein verfügbares Testbed für das
Deutsche fehlt (vgl. auch 5.1), wurden die Daten aus dem für das Projekt zusammengestellten
Testkorpus verwendet. Im im Bericht angeführten Beispiel umfasst ein Testbed zum einen
„echte“ Texte als auch konstruierte Fehler. Wegen der umfangreichen Korpustests (vgl. 6.4
und 6.5) wurde hier auf die Erstellung einer Liste mit konstruierten Fehlern verzichtet.
Darüber hinaus wird im Report auf die Wichtigkeit eines an den intendierten Benutzer angepassten Testverfahrens hingewiesen: Je nach den speziw
¨ ¡ ¥ ¡ 2
¦ ¢ 2
D
§ ¡ D
3
¡ d

¡ § 2
d
P

können die Bewertungen sehr unterschiedlich ausfallen. Bei der vorliegenden Evaluation konnte allerdings wegen des zu hohen Aufwands nicht auf unterschiedliche Benutzergruppen eingegangen werden – abgesehen von der getrennten Auswertung der Texte von Muttersprachlern
und Nichtmuttersprachlern.
• Funktionalität
Unter der Funktionalität sind drei Forderungen subsummiert: Vorhandene Fehler sollen so
angezeigt werden, dass ein Benutzer sie korrigieren kann, Systeme sollen keine nicht vorhandenen Fehler anzeigen und auch Kombinationen von Fehlern sollen behandelt werden.
Die erste Forderung ist in zwei Punkte unterteilt: Zum einen sollen möglichst alle vorhandenen Fehler angezeigt werden und zum anderen soll das System den richtigen Korrekturvorschlag machen. Beide Punkte werden im Rahmen der folgenden Performanztests genauer
untersucht, die Ermittlung des Recalls ist in 6.5 beschrieben, fehlende Korrekturvorschlägen
werden in 7.1.2 aufgegriffen.
Die Forderung, dass in fehlerfreien Eingaben kein Fehler angezeigt werden soll, entspricht
der Forderung nach einer hohen Präzision. Die Präzision ist für die Testkorpora ermittelt
worden (vgl. 6.4).
130
Die dritte Forderung, dass auch Kombinationen von Fehlern korrekt behandelt werden sol %
l
¡ J
H
D
§ ¨ s

t
p
µ £
¡
D
§ #
¡ 0

Q ¡
len, ist erheblich schwieriger zu veri
5.6 beschriebenen Auswahl der Analyse soll sichergestellt werden, dass bei mehreren Fehlern innerhalb einer Nominalphrase nur die plausibelste Lösung vorgeschlagen wird. Da nur innerhalb von
Nominalphrasen nach Fehlern gesucht wird, sollen Fehler in unterschiedlichen Nominalphrasen sich nicht beeinl
§ P
K
l
¡ p
¢ ´ 2

¢ ¡ 3
¡ Ú
Ù
rnungen (vgl. 5.7.1) sollen helfen, Fehler, die
zunächst nicht unmittelbar mit der Kongruenz zu tun haben, genauer einzukreisen. Eine
wirkliche Evaluation des Verhaltens bei Fehlerkombinationen müsste mithilfe großer, systematisch erstellter Testbeds erfolgen.
• Usability
%
d
¡ n
§
D
%
R ¡ nden
Die einzige angeführte Forderung ist die nach einem einfach und ef
Benutzer-Interface. Derzeit ist im System nur zu Testzwecken ein Benutzerinterface integriert (vgl. 5.7), das darum nicht evaluiert wurde. Allerdings wurde schon beim Entwurf dieses Testinterfaces Testinterface versucht, eine einfache Bedienbarkeit zu verwirklichen, indem alle benötigten Bedienelemente eindeutig und direkt zugänglich integriert wurden.
• Zuverlässigkeit
Die geforderten Charakteristika sind hier, dass es nicht zu Programmabbrüchen kommt und
dass der gleiche Fehler immer auf die gleiche Weise signalisiert wird. Das aktuelle System
wurde auf Texten mit insgesamt über einer Millionen Wörtern getestet, sämtliche dabei aufgetretenen Programmabbrüche wurden behoben. Dadurch kann die Existenz von Programmfehlern im System nicht ausgeschlossen werden; sie werden aber mit einiger
Wahrscheinlichkeit auch auf ungesehenen Texten nur selten auftreten.
Während der Tests wurden die Korpora von mindestens zwei Testpersonen unabhängig mit
dem Programm geprüft und ihre Ergebnisse nachher verglichen, so dass sichergestellt ist,
dass die gemeldeten Fehler identisch waren. Darüber hinaus wurde in Rücksprache mit den
Testern versucht sicherzustellen, dass als „ähnlich“ empfundene Fehler auch zu identischen
%
D
Ê

Fehlermeldungen führen; diese Forderung ist jedoch praktisch nicht quanti
• Einstellbarkeit
Dieses zusätzliche Charakteristikum betrifft die Möglichkeit, das getestete System an die eigenen Bedürfnisse anzupassen. Hier sind im aktuellen Programm noch keine Möglichkeiten
vorgesehen. Das Programm könnte jederzeit leicht so erweitert werden, dass bestimmte
Gruppen von Grammatikregeln zu- und abgeschaltet werden können. Das könnte besonders
sinnvoll für Regelgruppen sein, die die Präzisionsrate oder die Verarbeitungsgeschwindigkeit erheblich verschlechtern, ohne den Recall wesentlich zu steigern. Nach den bisherigen
Evaluationen ist allerdings noch keine Regelgruppe aufgefallen, auf die diese Eigenschaften
131
Gerhard Fliedner
zutreffen würde, wahrscheinlich auch, da der Umfang der Korrekturen zurzeit noch klein ist
(eben ausschließlich Nominalkongruenz- und Präpositionalrektionsfehler).
6.4 Korpustest Präzision
Ein wichtiges Kriterium bei der Bewertung von Korrektursystemen ist, wie viele irrelevante
Fehlermeldungen sie anzeigen, d. h. Fehlermeldungen in eigentlich fehlerfreien Textstücken.
Als Maß wird i. A. die Präzision verwendet, also das Verhältnis von relevanten Fehlermeldungen zu der Gesamtzahl der Fehlermeldungen (vgl. 6.2.3). Dieses Maß wurde für das gesamte
Korpus ermittelt. Die verwendete Methode war, dass sämtliche Fehler, die das System über
dem Evaluationskorpus meldet, von zwei Testerinnen in Listen erfasst und anhand einer kurz
und eindeutig gehaltenen Anweisung in Kategorien eingeteilt wurden. Die Einteilung wurde
verglichen und in Fällen von Abweichungen korrigiert.
Dabei wurden zunächst folgende Klassen unterschieden: Tatsächliche Fehler, für die die richtige Korrektur vorgeschlagen wird, tatsächliche Fehler, für die die richtige Korrektur nicht vorgeschlagen wird, und Präzisionsfehler, also Fehlermeldungen ohne tatsächlich vorliegenden
Fehler.
Diese Klassen sind weiter in Unterkategorien unterteilt, die es ermöglichen sollen
• für tatsächliche Fehler die Fehlerursachen (6.4.2),
• für Präzisionsfehler der Grund für die Fehlermeldung ( 6.4.3) und
• für tatsächliche Fehler, für die keine korrekte Korrektur vorgeschlagen wurde, die Ursache
(7.1.2)
zu ermitteln.
Insgesamt meldet das System über dem Evaluationskorpus (188 723 Wörter) 670 Fehler. Von
diesen wurden 491 als echte Fehler, 179 als Präzisionsfehler gekennzeichnet (Präzision 73,3 %,
vgl. Tabelle 5).
Die Ergebnisse für das Referenzkorpus sind in 6.4.4 gesondert zusammengefasst.
6.4.1 Vergleich nach Textsorten
In Tabelle 5 ist neben der Zahl der Fehler für die verschiedenen Teilkorpora jeweils auch die
durchschnittliche Zahl der Fehler pro Seite angegeben. Bei diesen Werten ist eine durchschnittlich voll beschriebene DIN-A4-Seite (300 Worte) zugrunde gelegt. Diese Zahlen geben also an,
mit wie vielen Fehlermeldungen man im Durchschnitt auf einer Seite Text rechnen muss und
bei wie vielen davon echte Fehler bzw. Präzisionsfehler handelt.
132
Teilkorpus
Wortzahl
Hausaufg.
39 560
21 %
3 517
2%
47 479
25 %
38 984
21 %
16 281
9%
145 821
77 %
42 902
23 %
188 723
100 %
E-Mail
Liter.
Haus+Dipl.
Zeitng./ZS
Σ Mspr.
Nicht-Mspr.
Σ alle
echte
Fehler
Präzisionsfehler
Fehlermeldungen
∅ echte ∅ Prä- ∅ FehFehler/ zilerSeite
sionsf./ m./Seite
Seite
80 %
0,95
0,24
1,19
Präzision
125
32
157
6
3
9
67 %
0,51
0,26
0,77
59
50
109
54 %
0,37
0,32
0,69
51
48
99
52 %
0,39
0,37
0,76
11
21
32
34 %
0,20
0,39
0,59
252
154
406
62 %
0,52
0,32
0,84
239
25
264
91 %
1,67
0,17
1,84
491
179
670
73 %
0,78
0,28
1,07
Tabelle 5: Präzision nach Textsorten
Diese Zahlen lassen im Gegensatz zu den absoluten Fehlerzahlen direktere Vergleiche zwischen den einzelnen Textsorten zu. Wenn man die Zahlen vergleicht, dann fällt auf, dass die
durchschnittliche Zahl der Präzisionsfehler pro Seite für alle Textsorten relativ konstant ist: Bei
Muttersprachlern bewegt sich das Spektrum zwischen 0,24 Fehlern pro Seite Hausaufgabentext und 0,39 Fehlern pro Seite Zeitungs- bzw. Zeitschriftentext (Faktor 1,6). Bei Nichtmuttersprachlern ist die Zahl mit 0,17 etwa halb so groß wie der Durchschnitt bei den Muttersprachlern (0,32).
Der Unterschied fällt bei den echten Fehlern deutlicher aus: Bei den Muttersprachlern ¡¡
sich die meisten echten Fehler pro Seite in den Hausaufgabentexten (0,95), in den Zeitungen
und Zeitschriften die wenigsten mit 0,2 (Faktor 4,75). Bei Nichtmuttersprachlern kamen im
Durchschnitt sogar 1,67 Fehler pro Seite vor, mehr als dreimal so viele wie im Durchschnitt bei
Muttersprachlern.
Die absoluten Zahlen sind relativ klein, so dass Aussagekraft dieser Daten nicht sehr hoch ist.
Die beiden Beobachtungen deuten aber auf zweierlei hin:
Die stark unterschiedliche Zahl der erkannten echten Fehler lässt sich wahrscheinlich auf den
stark unterschiedlichen Redigierungsgrad der Texte zurückführen: In den Hausaufgabentexten
kommen Fehler vor, die darauf hinzudeuten scheinen, dass sie z. T. gar nicht korrekturgelesen
sind; die Zeitungstexte sind von Journalisten geschrieben und z. T. wahrscheinlich von Redak-
133
Gerhard Fliedner
teuren korrigiert worden. Das bedeutet, dass die Zahl der in den Texten tatsächlich vorhandenen Fehler stark unterschiedlich ist. Daher unterscheidet sich auch die Zahl der erkannten Fehler.
Die im Vergleich dazu relativ konstante Zahl der Präzisionsfehler ist m. E. vor allem auf die
allgemeinen Probleme der Breitenabdeckung des Systems zurückzuführen. Die
Systemgrammatik deckt einen großen Teil der in deutschen Nominalphrasen vorkommenden
Phänomene ab. Dabei wurde natürlich Wert darauf gelegt, die am häu l2=¡@¢±D¢3¡¡
Phänomene zuerst abzudecken. Praktisch in jedem Text kommen jedoch einige Sätze vor, die
von dieser Grammatik nicht erfasst werden. Dabei handelt es sich um einige systematische
Lücken, viel häu DBáe%¢D¨@§D Ý6Q¡#dQ¦2ªk%¤D¡§DKK=¡3^§D¦Ó2j=¡;£j§D¦qj§=^^§¨
hin, dass die Präzisionsfehler relativ uneinheitlich verteilt sind und sich nur schwer einheitlich
%
eren lassen (vgl. auch 6.4.3).
klassi
Ein großer Teil der Sätze in einem Text enthält also Standardkonstruktionen, die sich vergleichsweise einfach analysieren lassen, die meisten Texte enthalten aber auch einige weniger
unvorhergesehene Konstruktionen, an denen die Grammatik scheitert. Diese Präzisionsfehler
lassen sich relativ einfach beheben, die große Zahl der Konstruktionen macht es aber unwahrscheinlich, dass eine Grammatik jemals auf alle möglichen Konstruktionen vorbereitet ist (vgl.
auch 3.4.2).
6.4.2 Fehlerklassen der „echten Fehler“
%
2
=
@
¡ q
#

2
=

w
Q p
¡ ± Q ¡
+
j
§ K
¨
q
q
R
rkorpus zur
Mit den vom System korrekt identi
Verfügung. Es ist natürlich interessant, dieses Fehlerkorpus bezüglich der Eigenschaften der
vorkommenden Fehler zu untersuchen. Dazu wurden die Fehler in acht Fehlerklassen aufgeteilt, die im Folgenden näher beschrieben werden sollen. Bei den einzelnen Fehlerklassen sind
jeweils Beispiele aus den Korpora angegeben. Zum Teil sind weitere Unterteilungen nach den
vermuteten Fehlerursachen vorgenommen. Diese umfassen jedoch bei keiner der Fehlerklassen
alle vorkommenden Fälle: Bei vielen Fehlern bleibt die Ursache bei dieser Art von Auswertung
nur anhand von fehlerhaftem Text notwendigerweise unklar.
Schon die Einteilung von Fehlern in Kompetenz- und Performanzfehler ist praktisch nicht mö glich, da die beiden sich oft im Text nicht unterscheiden. Wenn ein Autor einen bestimmten Fehler „konsequent“ macht, also z. B. ein Wort in seinem Text durchgehend mit einem falschen
Genus verwendet, könnte man auf einen Kompetenzfehler schließen.
Dies ist aber bei der relativ kleinen Datenmenge schwierig. Das liegt unter anderem daran, dass
es wegen des Synkretismus der Determiner und Adjektive selbst dann, wenn ein Wort mehrfach mit falschem Genus verwendet wird, nicht unbedingt zu Kongruenzfehlern kommt. Beispielsweise würde die falsche Verwendung eines femininen Substantivs als Maskulinum im
134
Teilkorpus AdjAdjAdj:
Subst. Subst.- PPZeiSons- Σ
richt.
Endg. Endg. stark/ ohne
Endg. Rekt. chens. tige
Korrektur
fehlt
falsch schw. Endg. falsch
fehlt
E-Mail
0
0
1
0
0
0
5
0
6
2
0%
0%
17 %
0%
0%
0%
83 %
0%
100 %
33 %
Haus+
4
5
1
24
12
1
2
2
51
7
Dipl.
8% 10 %
2 % 47 % 24 %
2%
4%
4%
100 %
14 %
Hausaufg.
5
25
18
15
8
1
40
13
125
26
4 % 20 %
14 % 12 %
6%
1%
32 % 10 %
100 %
21 %
Liter.
8
20
6
4
5
1
6
9
59
15
14 % 34 %
10 %
7%
8%
2%
10 % 15 %
100 %
25 %
Zeitng./ZS
1
4
0
2
1
0
3
0
11
0
9 % 36 %
0 % 18 %
9%
0%
27 %
0%
100 %
0%
18
54
26
45
26
3
56
24
252
50
Σ Mspr.
1 % 23 % 10 %
7 % 22 % 10 % 18 % 11 %
100 %
20 %
Nicht7
87
20
34
61
4
10
16
239
44
Mspr.
3 % 36 %
8 % 14 % 26 %
2%
4%
7%
100 %
18 %
25
141
46
79
87
7
66
40
491
94
Σ alle
5 % 29 %
9 % 16 % 18 %
1%
13 %
8%
100 %
19 %
Tabelle 6: Verteilung echter Fehler im Evaluationskorpus
Nominativ Singular nicht zu einem Kongruenzfehler mit dem bestimmten Artikel führen, da
diese Form der korrekten Form des Genitivs und Dativs Singular entspricht (vgl. *Der Deklination ist wichtig. Der Kongruenzfehler kann hier nur mit Rektionsinformation erkannt werden).
Deswegen konnten bei der Auswertung nur in einigen Einzelfällen sichere Schlüsse auf die
Fehlerursachen gezogen werden.
Tabelle 6 zeigt die Verteilung der Fehlerklassen nach Textsorten. Die Tabelle zeigt auch die
relative Verteilungen Verteilung der Fehler auf die Fehlerklassen. Diese Zahlen sind jedoch nur
bedingt aussagekräftig, da das Korpus so klein ist, dass besondere Schreibgewohnheiten ein62
§ P
×
¡
D
± Þ ¡ ¡ l
¡
zelner Benutzer das Endergebnis z. T. noch beein
Die Fehlerzahlen sind jeweils absolute Zahlen, die Prozentzahlen geben den Anteil einer Fehlersorte an allen Fehlern
für die jeweilige Textsorte an. Die letzte Spalte gibt die Zahl der Fehler an, für die das System
nicht die richtige Korrektur vorschlägt und ihren prozentualen Anteil an den Fehlern in der
jeweiligen Textsorte.
62
Der Autor eines Textes bei der Textsorte „Hausaufgaben“ verwendet z. B. durchgehend Bindestriche falsch.
Von den 40 Zeichensetzungsfehler Zeichensetzungsfehlern bei den Hausaufgaben â#ã%äåãæèçQéêëì©çQãZäçkåPæ8åíÔîDåïjð
zurückzuführen. Der Anteil der Zeichensetzungsfehler läge ohne diesen Text bei 6 % statt bei 32 %, vgl. auch
6.4.2.7.
135
Gerhard Fliedner
Wenn zwischen der Verteilung der Fehler auf die Fehlerklassen zwischen Muttersprachlern und
Nichtmuttersprachlern erhebliche Unterschiede auftreten (Faktor größer als 1,5), werden diese
bei der entsprechenden Fehlerklasse erwähnt und, soweit möglich, erklärt.
6.4.2.1 Fehlende Adjektiv- oder Determinerendung
Bei dieser Klasse fehlt bei einem oder mehreren Adjektiven oder Determinern in einer Nominalphrase, die dekliniert werden müssten, die Flexionsendung. Mit 25 Fehlern (5,1 %) handelt
es sich um eine der kleineren Fehlerklassen. Die genaue Einschätzung der Fehlerursachen ist
hier schwierig, da verschiedene mögliche Ursachen zusammentreffen (Endung „vergessen“, da
kognitiv weniger wichtig als der „Semantikträger“ Stamm, nachträgliche Textänderungen).
óøùòDýdþú8÷úú þPþ
Der Eindruck, dass es sich häuñòóDô õö÷øùdú2ûQòüDýûúþ=ÿ2ýùöRýù ýöúû
in den Texten von Muttersprachlern mehr als doppelt so viele Fehler in diese Klasse fallen wie
in den Texten von Nichtmuttersprachlern (7,1 % gegenüber 2,9 %). Dies könnte darauf hindeuten, dass den wegen ihrer besseren Sprachbeherrschung schneller schreibenden Muttersprachler
solche Fehler häuñòDý©ódú=ýöjóDÿ2ýûRý@òDýû#òDýù#ö ý r Fehler erlaubt allerdings keine sichere
Aussage.
Einige Beispiele für Fehler aus dieser Klasse:
• um sein treuen Wallach (statt seinen)
• die strengst Order (statt strengste)
• mich an die wirklich Umstellung machen (wahrscheinlich intendiert: mich wirklich an die Umstellung
machen, also Wortstellungsfehler)
Für eine Fehlerklasse wurde eine Unterklasse gesondert erfasst: Bei dieser Unterklasse fehlt die
Endung en (z. B. Genitiv Singular Maskulinum und Neutrum oder Dativ Plural) bei Adjektiven,
deren Stamm bereits auf en endet ( z. B. verschieden). Hier wird das Fehlen dieser Endung
wegen der zweimal aufeinander folgenden Buchstabenfolge anscheinend beim Tippen leicht
vergessen und auch beim Korrekturlesen übersehen. Diese Unterklasse kam sechsmal vor, also
24 % der Fälle von fehlender Endung (1,2 % aller echten Fehler).
• von verschieden Autoren (Richtig: von verschiedenen Autoren)
• den hier vorgegeben Rahmen (Richtig: den hier vorgegebenen Rahmen)
6.4.2.2 Falsche Adjektiv- oder Determinerendung
In dieser Klasse wurden alle Fehler zusammengefasst, in denen Adjektive oder Determiner
zwar eine Flexionsendung haben, diese aber falsch ist. Mit 141 Fehlern (29 % der Fehler) ist
diese Klasse im Evaluationskorpus mit Abstand am häuñòlþ2ú=ýDýúýjú=ýpûýþKý2óDýù#òú
eng mit der folgenden („Falsche Adjektivendung (stark/schwach)“) zusammen, in einigen Fällen ist die Unterscheidung nicht eindeutig (vgl. 6.4.2.3).
136
Der Unterschied zwischen Muttersprachlern und Nichtmuttersprachlern ist bei dieser Fehlerklasse stark ausgeprägt (21,4 % der Fehler in Texten von Muttersprachlern gegenüber 36,4 %
der Fehler in Texten von Nichtmuttersprachlern). Im Folgenden werden verschiedene Ursachen
für Fehler dieser Fehlerklasse angeführt und jeweils nach Muttersprachlern und Nichtmuttersprachlern differenziert.
+*
Häuñònþú2ûQôô£ý óKøùGõBýùöý ûýþKý!Hö"þPþKý þ#@ýóþ$%'&ó(lþ2úú2û) ó
ú2ûQüDýö,ûøùú÷(ý rein. In einigen Fällen scheint es sich dabei um Kompetenzfehler (d. h. das korrekte Genus der
des Substantivs ist dem Autor nicht bekannt), bei anderen um Performanzfehler zu handeln:
In vielen Fällen liegt die Vermutung nahe, dass es sich um nachträgliche Änderungen eines
Ausdrucks handelt, die dazu führen, dass stehen gebliebene Artikel oder Adjektive z. B. im
Genus nicht mehr passen (Performanzfehler, insbesondere bei Muttersprachlern):
• das Fabrik (Richtig: die Fabrik, der Kontext im Text legt nahe, dass die Autorin zunächst das Werk
schreiben wollte oder das Fabrik nachträglich für Werk eingefügt wurde.)
Auch Fälle, bei denen es sich wahrscheinlich um Kompetenzfehler handelt, können unter diese
Kategorie fallen, z. B. wenn der bzw. die Schreibende ein Substantiv in einem nicht standardsprachlichen Genus verwendet.
• die MG (Richtig: das MG wegen das Maschinengewehr, es könnte sich hier um einen Kompetenzfehler
handeln.)
Diese Art von Fehler ist besonders bei den Nichtmuttersprachlern häuñò 0þûý'&ó(þúdú ive
mit einem falschen Genus verwenden. Etwa ein Drittel der Fehler in den Texten von Nichtmuttersprachlern konnten mit ziemlicher Wahrscheinlichkeit dieser Gruppe zugeordnet werden. In
Einzelfällen konnte eine solche falsche Verwendung eines Wortes im Text eines Autors mehrfach festgestellt werden (Kompetenzfehler).
• [es] entsteht ein Gefahr (statt eine Gefahr)
soll nicht durch ein Gefahr … bedroht werden (Statt eine Gefahr, beide aus dem gleichen Text eines
Nichtmuttersprachlers. Die Flexion wäre richtig, wenn Gefahr vom Geschlecht Neutrum wäre, nicht
feminin.)
• ein direktes Kontakt (statt einen direkten Kontakt. Da Determiner und Adjektiv korrekt für den Akkusativ Singular Neutrum dekliniert sind, scheint es wahrscheinlich, dass der Autor Kontakt als Neutrum
verwendet.)
Bei den Nichtmuttersprachlern kam außerdem eine große Zahl von Fällen hinzu, bei denen die
Autorin bzw. der Autor wahrscheinlich die Flexionsparadigmata der Determiner bzw. Adjektive nicht vollständig beherrscht.
• der seit dem Mittelalter bestehende Standesnation … war ein Ende gesetzt (statt bestehenden, vermut- 1. 0 2 53 4 67
lich unvollständige Beherrschung der Adjektiv /
Ein ebenfalls interessanter, allerdings seltener vertretener Bereich ist die Koordinierung von
zwei Nominalphrasen ohne Determiner (N'), die sich einen Determiner „teilen“. Das ist möglich, wenn die verbundenen Nominalphrasen voll kongruent sind. Manche Schreiber verwenden
137
Gerhard Fliedner
diese Konstruktion aber auch in Fällen, wo die Nomina sich bezüglich Genus und/oder Numerus unterscheiden, die jeweilige Form des Determiners aber gleich ist. Hier gehen die Gramma
tikalitätsempñ8 óòDý ý^óúþøùý r Muttersprachler auseinander. Das System markiert solche
Fälle zurzeit, verlangt also volle Kongruenz zwischen den koordinierten Phrasen.
• Abbildung x stellt die Vorgehensweise und einzelnen Schritte dar. (Da (die) Vorgehensweise im Singular
und (die) einzelnen Schritte im Plural steht, emp94;:.<4$=>2.<?.A@CBDD.<EFHG;EJILK<M>?
.1E die Wiederholung des Artikels als angemessener, also die Vorgehensweise und die einzelnen Schritte)
• der damit verbundenen konkreten Einzelziele, notwendigen Transparenz und organisatorischen Voraussetzungen ((der) Einzelziele und (der) organisatorischen Voraussetzungen steht im Plural, (der) notwendigen Transparenz steht im Singular, auch hier wäre evtl. eine Umschreibung angemessener)
6.4.2.3 Falsche Adjektivendung (stark/schwach)
Wie bereits in 2.2.3 erwähnt, müssen Adjektive innerhalb von deutschen NPs entsprechend der
De8
ñ û 2ú ù ý û ú
ý Nq
ù <K
þ ®
ý
2
þ ú ü@
þ ø O
ù P
%
ø Q
ù
% ý IòDý ô Ó
û K
þ ø
ù ú
ekliniert werden. Diese Besonderheit
macht die Adjektivdeklination komplizierter und führt so zu Fehlern.
Besonders schwierig ist die Deklination von Adjektiven, die nach bestimmten Determinern und
determinerähnlichen Adjektiven und Pronomen (z. B. anderer, irgendwelcher) in einer Phrase
folgen. Bei einigen dieser Wörter ist die Deklination eines folgenden Adjektivs eindeutig, bei
vielen sind sowohl die starke als auch die schwache Form möglich, eine wird jedoch (inzwischen) stark bevorzugt, in einigen Fällen sind beide Formen gleich akzeptabel.
In vom System beanstandeten Fällen wurde nach der aktuellen Dudengrammatik (Duden 98)
entschieden, in Fällen, die dort als „falsch“, als „veraltet“ oder als „vereinzelte Vorkommen“
gekennzeichnet sind, wurde die Verwendung als echter Fehler gekennzeichnet, da es sich bei
den im Korpus vertretenen Texten nicht um klassische literarische Texte handelt.
Unter diese Klasse fallen insgesamt 46 Fehler (9,4 %). Diese Fehler entstehen häuñò óKøù
nachträgliche Änderungen von Texten (insbesondere Einfügen oder Ändern von Determinern).
Die Häufung von Fehlern dieser Klasse bei einigen Autoren lässt jedoch vermuten, dass es sich
z. T. auch um Kompetenzfehler handelt.
• an einem solchem Abend (Richtig: einem solchen Abend)
• anderer Bekannten (Richtig nur: anderer Bekannter)
6.4.2.4 Fehlende Substantivendungen
Relativ häuñòR3ý ýLûQôS3ý^óúþøùý°ýÿ% ý ökûøùýT ndungen der Substantive weggelassen (79
Fehler, immerhin 16,1 % der Fehler).
Bei fast allen davon handelt es sich um Kompetenzfehler, nämlich die Wahl des falschen Deklinationsparadigmas. Die Deklinationsparadigmata bzw. die Zugehörigkeit der Wörter zu ihnen
ändert sich langsam aber sicher. Eine zunehmende Zahl von Wörtern werden von verschiede138
nen Autoren ohne Endung als korrekt empfunden werden. Auch der „Grammatikduden“
(Duden 98) weist in seiner aktuellen Ausgabe auf dieses Phänomen hin, beschreibt es aber nach
wie vor als „nicht standardsprachlich“ (vgl. S. 255 f.). Daher wird diese Gruppe vom System
zurzeit als Fehler behandelt. Interessant ist allerdings, dass einige der folgenden Beispiele bei
Stichproben von deutschen Muttersprachlern selbst nach Hinweis auf den möglichen Fehlerstatus inzwischen als grammatisch empfunden werden.
• bei der Erfassung des Rechtsbereich (Richtig: des Rechtsbereichs)
• zu Beginn des Fragebogen (Richtig: des Fragebogens)
• einen solchen skurrilen Gnom (Richtig: einen Gnomen)
• des Pharao (Richtig: des Pharaos)
6.4.2.5 Falsche Substantivendung
Die zweithäuñòlþú=ýõqýù#öýüödþPþý3ûQôUV%WóþûÓþú ûýYXpý rwendung einer falschen Flexionsendung
bei Substantiven (Evaluationskorpus: 87 Fehler, 17,7 % der gefundenen Fehler). Bei Nichtmuttersprachlern kommt dieser Fehler mit 25,5 % erwartungsgemäß häuñòDý%VöÓþ(DýûAZÔó ttersprachlern mit 10,3 %.
Im Korpus wurden insbesondere zwei Unterklassen dieser Fehlerklasse beobachtet: falsches
Deklinationsparadigma und Pluralendung in Singularphrase.
Bei der ersten Unterklasse verwendet die Autorin bzw. der Autor ein falsches Deklinationspa
radigma für das Substantiv. Relativ häuñò'3ý ý' B. Maskulina lateinischer bzw. griechischer Herkunft gemischt statt schwach dekliniert:
• durch den Textautoren (statt Textautor, Beugung fälschlich wie bei Substantiven wie Student)
Diese Unterklasse kommt, wie auch die falsche Deklination von Adjektiven und Determinern
(vgl. 6.4.2.2), bei Nichtmuttersprachlern deutlich häuñòDý[\%\]T6ûýÿöÓþøùý^Xý_3ý óò ûý
sich interessanterweise in den Texten dreier Autoren systematisch beobachten ließ, war die
Verwendung einer Pluralendung auf n nicht nur im Dativ für eine ganze Reihe von Substantiven:
• der beiden Texten (statt Texte, Autorin 1)
• der anderen Siedlungsgebieten (statt Siedlungsgebiete, Autorin 2)
• [sie] bietet viele Instrumenten an (statt Instrumente, Autor 3)
• wegen der technischen Gründen (statt Gründe, Autor 3)
Die zweite Unterklasse entsteht häuñò óøùa
` ôpÿ% rmulierungen, wenn eine Nominalphrase,
die zunächst im Plural stand, in den Singular gesetzt wird und die Autorin bzw. der Autor das
Substantiv nicht entsprechend ändert. Teilweise scheint dieser Fehler auch dann aufzutreten,
wenn auf das Substantiv unmittelbar eine Phrase im Plural folgt. Fehler dieser Art, bei denen
139
Gerhard Fliedner
benachbarte Elemente fälschlich Merkmale voneinander annehmen, kommen in der Sprachproduktion, insbesondere in gesprochener Sprache, häuñòDý+%5
• eine Mischformen der drei Textsorten (Statt Mischform. Wahrscheinlich hat der Autor wegen des folgenden Plurals drei Textsorten fälschlich auch Mischformen in den Plural gesetzt.)
Neben diesen Unterklassen kommen auch noch Fehler vor, die wahrscheinlich auf Tippfehler
oder Textumstellungen zurückführen lassen:
• in den Geltungsbereichs (statt Geltungsbereich)
6.4.2.6 Rektionsfehler
Fehler in der Präpositionsrektion machen mit sieben Vorkommen nur 1,4 % der gefundenen
Fehler aus. Es handelt sich hierbei vermutlich häuñòÕóDô ý%øùú=ý+V%ôC etenzfehler. Vor allem
kommen Fälle vor, in denen bei Präpositionen, die den Genitiv regieren, der Dativ verwendet
wird und umgekehrt.
• bezüglich öffentlichem Interesse (Richtig: bezüglich (des) öffentlichen Interesses)
• mitsamt seiner Argumente (Richtig: mitsamt seinen Argumenten)
6.4.2.7 Zeichensetzungsfehler
Unter den Fehlern b
ñ ý ×
=þ û ø c
ù
j

ó ø c
ù
d G
d q
õ ý #
ù ö ý #e
f g h %), die auf fehlenden oder falschen Satz
zeichen beruhen. Von diesen 66 Fehlern b
ñ ý þ Rû ø R
ù
kö ö erdings mehr als die Hälfte, nämlich 35,
im Text eines einzelnen Autors (Muttersprachler), der vor und nach allen Bindestrichen Leerzeichen gesetzt hat, so dass es wegen nicht erkannter Zusammensetzungen zu einer Vielzahl
von Fehlern kommt. Rechnet man die Zeichensetzungsfehler in diesem Text heraus, so liegt der
Anteil an der Gesamtzahl der Fehler nur noch bei 6,7 %.
Muttersprachler und Nichtmuttersprachler weichen hier erheblich voneinander ab: Während bei
den Muttersprachlern 22,2 % bzw., wenn man den die Fehler im bereits erwähnten Text nicht
berücksichtigt, 9,7 % der Fehler Zeichensetzungsfehler sind, machen diese bei den Nichtmuttersprachlern nur 4,2 % aus. Für diesen Unterschied konnte kein systematischer Grund gefunden werden. Die zunächst naheliegende Vermutung, dass die Nichtmuttersprachler kürzere
Sätze mit einfacherer Struktur bilden und daher weniger Zeichensetzungsfehler machen, konnte
bei einer Analyse der Texte nicht bestätigt werden. Möglicherweise gilt auch hier, dass Nichtmuttersprachler mehr Mühe zum Schreiben aufwenden (müssen) und daher weniger Flüchtigkeitsfehler machen.
Zeichensetzungsfehler gehören eigentlich nicht zu den Fehlern, die im Rahmen dieser Arbeit
behandelt werden sollten. Da es allerdings häuñò+\%\=ü%ôôHú þPþýþ#jóDÿ8òó ÿ2ýùöý nder oder
falsch verwendeter Satzzeichen zu vermeintlichen Kongruenzfehlern kommt, wurden, wie
schon in 5.7.1 beschrieben, Heuristiken und Warnungen in das System integriert, die das mög-
140
liche Vorhandensein eines Zeichensetzungsfehlers in der Nähe eines scheinbaren Kongruenzfehlers testen.
Bei den so erkannten Zeichensetzungsfehlern handelt es sich zum einen um fehlende Kommata,
zum anderen um fehlende oder falsch verwendete Binde- oder Ergänzungsstriche sowie fehlende Punkte bei in Ziffern geschriebenen Ordinalzahlen.
Durch fehlende Kommata kann die Satzstrukturanalyse (vgl. 5.4) Nebensätze oder satzwertige
Aussagen nicht korrekt erkennen, so dass z. B. das Relativpronomen eines Relativsatzes fälschñ
2ú )û ü % i ó #
ü 2
ú û \
% j
Óö C
þ ,
N < osition
lich als Artikel einer folgenden Nominalphrase oder eine Inb
analysiert wird. Eine Heuristik sucht daher nach möglichen Nebensätzen oder satzwertigen
Aussagen unter der Annahme, dass ein Komma fehlt und gibt in diesem Fall eine entsprechende
Warnung aus.
• Weitere Fakten…, die einen historischen Bezug besitzen kl>mnLo>prq5l$stl$mn1lunLstl]v1nxwtl;n1lzy>nW{oq|~}1l>s
oon1l
wieder. (Komma fehlt nach dem Ende des Relativsatzes nach besitzen, Systemvorschlag: den einen historischen Bezug)
ý3ý ýjú<#
ô
øùô
öÿ2ýùöýI
þûýj óøù
Binde- oder Ergänzungsstriche werden häuñò3ÿ öÓþøùD
ganz. Bindestriche werden richtig verwendet, um zwei oder mehr Wörter zu einem Wort zusammenzufassen, wenn das Wort aus Gründen der Lesbarkeit nicht in einem Wort geschrieben
werden soll, insbesondere bei Zusammensetzungen mit Fremdwörtern. Weder vor noch nach
einem Bindestrich darf ein Leerraum stehen, ansonsten handelt es sich um einen Ergänzungsstrich. Dieser wird bei Aufzählungen verwendet, wenn Wortteile ausgelassen werden (z. B. Imund Export, Computerprogramme und -daten). Vor und nach dem Strich steht ein Leerzeichen
beim Gedankenstrich (der normalerweise zusätzlich durch einen längeren Strich gekennzeichnet wird, dieser steht jedoch nicht auf allen Systemen zur Verfügung).
Praktisch alle diese verschiedenen Verwendungen werden in Texten verwechselt. Einige Beispiele:
• ein organisatorisch- technisches Problem (Richtig: organisatorisch-technisches)
xn ~q l } o q w o (Richtig: Heil- und P _n /
Ln 5q l } o q w o )
• eine Heil - und P n • eines Mutiple Choice- Tests (Richtig: Multiple-Choice-Tests)
Darüber hinaus werden auch gelegentlich Bindestriche weggelassen bzw. zusammengehörige
Wörter getrennt geschrieben.
• Handbuch der Sozial Forschung (Richtig: Sozialforschung oder allenfalls Sozial-Forschung)
6.4.2.8 Sonstige Fehler
Alle Fehler, die den vorgenannten Klassen nicht zugeordnet werden konnten, wurden unter
„Sonstige“ zusammengefasst. Diese Klasse umfasst 40 Fehler, das sind 8,1 % der gefundenen
Fehler. Den Fehlern ist gemeinsam, dass das System im Allgemeinen keine passenden Korrek141
Gerhard Fliedner
turvorschläge machen kann, da es sich bei diesen Fehlern nicht tatsächlich um Kongruenzfehler
handelt (diese sind von den anderen Klassen erfasst).
In diese Klasse fallen z. B. allgemeine Schreibfehler, die nicht zu unbekannten Wörtern führen,
aber vom System als Kongruenzfehler analysiert werden. Auch fehlende Worte (insb. Artikel),
die an der falschen Deklination folgender Adjektive erkannt werden können, erscheinen in dieser Klasse.
• auf er anderen Seite (Intendiert: auf der anderen Seite)
• Neben den handlungsorientierten Elementen, insbesondere der Öffentlichkeitsorientierung durch die
Umwelterklärung sowie mit der Implementation des Umweltmanagementsystems angestrebten Stärkung
der Eigenverantwortung (Intendiert wahrscheinlich: sowie der mit der Implementierung … angestrebten
Stärkung)
• weiterhin geht der Auto auf … ein. (Intendiert: der Autor, Vorschlag des Systems: das Auto)
• einer ins religiöse verweisenden Thematik Problem: Fehlerhafte Kleinschreibung von (das) Religiöse,
Vorschlag des Systems: in die religiöse verweisende Thematik
6.4.3 Fehlerklassen der Präzisionsfehler
Die Evaluation des Systems gezeigt hat (vgl. 6.5, 6.4) dass die Präzision im Mittel bei knapp ¾
liegt. Es bleibt interessant zu untersuchen, welche Klassen von Präzisionsfehlern auftreten und
ob und mit welchem Aufwand sie sich grundsätzlich mit den verwendeten Techniken lösen
lassen. Tabelle 7 gibt einen Überblick über die Verteilung der Präzisionsfehler im Evaluationskorpus.
Die Fehlerklassen werden im Folgenden beschrieben und mit Beispielen illustriert. Außerdem
sind jeweils Methoden angegeben, mit denen diese Fehler gelöst werden könnten.
Bei 45 Präzisionsfehlern (25,1 %) wird eine Warnung ausgegeben (vgl. 5.7.1), insbesondere
Warnungen wegen unbekannter Wörter, die eine korrekte Analyse nicht erlauben. In diesen
Fällen hat das System bereits erkannt, dass es sich um einen Präzisionsfehler ha ndeln könnte.
6.4.3.1 Grenzen von Nominalphrasen falsch erkannt
Bei diesem Fehler hat das System entweder zwei Nominalphrasen fehlerhaft zu einer zusammengefasst oder umgekehrt eigentlich als eine Nominalphrase zusammengehörige Worte als
zwei oder mehr Nominalphrasen aufgefasst. Von 179 Präzisionsfehlern im Korpus lassen sich
61 dieser Klasse unterordnen (34,1 %).
Zu dem ersten Fehlertyp (zwei NPs werden als eine erkannt) kommt es vor allem dann kommen, wenn die zweite Nominalphrase nicht mit einem Artikel beginnt und das Ende der ersten
Nominalphrase nicht korrekt erkannt wird.
142
Teilkorpus
E-Mail
Haus+Dipl.
Hausaufg.
Literatur
Zeitg./ZS
Σ Mutterspr.
Nicht-Mutterspr.
Σ alle
NPunbek. ZeiSonsti- Σ
WarGrenze Wort
chens. ge
nung
1
0
0
2
3
1
33 %
0%
0%
67 % 100 %
33 %
16
10
10
12
48
10
33 %
21 %
21 %
25 % 100 %
21 %
8
4
0
20
32
11
25 %
13 %
0%
63 % 100 %
34 %
17
11
1
21
50
15
34 %
22 %
2%
42 % 100 %
30 %
6
6
1
8
21
6
29 %
29 %
5%
38 % 100 %
29 %
48
31
12
63
154
43
31 %
20 %
8%
41 % 100 %
28 %
13
1
0
11
25
2
52 %
4%
0%
44 % 100 %
8%
61
32
12
74
179
45
34 %
18 %
7%
41 % 100 %
25 %
Tabelle 7: Verteilung Präzisionsfehler im Evaluationskorpus
Viele Artikel sind zwar im Deutschen ambig mit verschiedenen Pronomen, trotzdem bieten sie
normalerweise einen recht zuverlässigen Anhaltpunkt für den Beginn einer Nominalphrase. In
ñ û =ú ý

% ô û ö /
ù <K
þ ý 0
Qû
ô
q
N ö ó ö

Z sFällen, wo die Nominalphrase ohne Artikel steht (indeb
sennomen auch im Singular), kann daher die Phrasengrenze vom System nicht zuverlässig erkannt werden.
Ein allgemeiner Ansatz zur Vermeidung dieser Probleme könnte es sein, solche Nominalphra
ñ %
û ý ýÔ
ó Ó
ÿ ÷ Gþ
% Rö ø ù ý
,
õ kö ö v
ý
D
ü ý û ý q
õ ý ù ö ý =ô3
ý ö
ó #

ò
j
ó ssen ohne eindeutige Grenze zu identi8
zugeben – was natürlich in einigen Fällen auf Kosten des Recalls gehen würde.
Zu einer grundsätzlichen Lösung des Problems könnte die Verwendung von Rektionsinforma Y
ø ù ý °
_þ /

ú ü ú ischen
tionen beitragen: Das Problem ergibt sich vor allem aus der verwendeten ,
Analyse, die die syntaktische Funktion der Phrasen (z. B. direktes Objekt) nicht berücksichtigt.
Daher fehlt in Fällen wie diesem die Information darüber, welche Nominalphrasen in welchen
Funktionen in einem gegebenen Satz zu erwarten sind. Bei Einbeziehung dieser zusätzlichen
Information, also bei einer Auswertung der Verbrektion, könnte wahrscheinlich eine große
Zahl dieser Fehler vermieden werden.
Man kann drei einschlägige Gruppen von Fehlerursachen unterscheiden, die im Folgenden beschrieben werden. Neben diesen kommt noch eine größere Zahl (28 Fehler, 45,9 % der Präzisionsfehler mit falscher NP-Grenze) hinzu, bei denen die Fehlerursachen zu unterschiedlich sind
um sie in Gruppen zusammenzufassen (z. B. nicht erkannte Relativsätze und Morphologiefehler).
143
Gerhard Fliedner
Bei nicht erkannten Nebensätzen handelt es sich meistens um Nebensätze mit bestimmten
komplexeren Strukturen. Nicht behandelt werden von der Systemgrammatik zurzeit z. B. Nebensätze, bei denen eine Phrase nach rechts extraponiert wurde, da sich die Erkennung zurzeit
darauf verlässt, dass das b
ñ 'û =ú ^
ý X ý (

þ ö ^
ý ú =ú !
ý
% ú
ý b
þ I
~ý
( ý nsatzes ist (Verbletztstellung).
Ein anderes Beispiel ist die folgende Koordination zweier Relativsätze, bei der das zweite Relativpronomen zurzeit nicht erkannt wird. Im Allgemeinen wird die Koordination von Nebensätzen zwar erkannt, allerdings bisher nicht in diesem speziellen Fall, in dem das eine Relativpronomen Bestandteil einer Präpositionalphrase ist und das andere nicht (mangelnde Breitenabdeckung):
• ein Handbuch, das über den Buchhandel zu beziehen ist und in dem ein Fahrzeugmodell [… beschrieben wird]. (Systemvorschlag: in dem einen Fahrzeugmodell. Problem: Die Grammatik erkennt zurzeit
nur koordinierte Relativsätze in denen beide Relativpronomen Bestandteil einer Präpositionalphrase sind
oder keines.)
• Ellipsen
Elliptische Ausdrücke sind für Computersysteme notorisch schwierig zu verarbeiten.63 Es
handelt sich dabei um die Auslassung von syntaktisch erforderlichen Worten oder Phrasen,
die aus dem Kontext eindeutig sind (oft z. B. bei Koordination, um die Wiederholung des
gleichen Wortes zu vermeiden). Im Rahmen dieser Arbeit sind insbesondere Ellipsen von
Nomina in Fällen interessant, wo andere Elemente der Nominalphrase (z. B. Artikel und Adjektive) realisiert sind. In Fällen, wo auf diese elliptische Konstruktion direkt eine Nominalphrase ohne eindeutige Phrasengrenze folgt, analysiert das System die elliptische erste Nominalphrase und die folgende zweite als eine einzige Phrase.
• Man kann sich den Namen etwa als den einer Gottheit denken… (Zu ergänzen: als den Namen einer
Gottheit, Korrekturvorschlag des Systems: der einen Gottheit)
• Elemente, die stets vorhanden sein müssen, heißen obligatorische Ergänzungen, die übrigen heißen
fakultative Ergänzungen. (Zu ergänzen: die übrigen Elemente, Korrekturvorschlag des Systems: die
übrigen heißen fakultativen Ergänzungen, heiß wird hier als Adjektiv analysiert)
Ausschließlich mit einer ,%øùývþdúüú2ûÓþKøùýRXpý<_(Dýû'ú8óò8pûý1þûRý£ù#ûýDý_3ý ýjúr@ó rde,
wird sich dieses Problem nicht vollständig lösen lassen. Eventuell würden sich bei einer
möglichen Überprüfung der Verbrektion (vgl. 6.4.3.1, 7.1.3.4) einige der einfacheren Fälle
erkennen lassen, da damit Zahl und Kasus der „zu erwartenden“ Nominalphrasen im Satz
bekannt wären. Im Allgemeinen handelt es sich bei Ellipsen jedoch sicherlich um ein Problem, das nur mit einer vollständigen Textanalyse, wahrscheinlich sogar nur unter Einbeziehung von Semantik und Weltwissen lösbar ist.
63
Vergleiche z. B. Stedes Beschreibung:
Ellipses and conjunctions are examples of ‘grey’ cases: They are certainly grammatical from the user’s
viewpoint, but difkOLwoozn1l;Lmns)lqq~pAprq5W~]}Wo
n1pA}A]on<l^;q~l;mwnot;n1p|L$}nLxsqwprnL1;q5l>st}pA}A tside the standard grammar; hence they are considered as extragrammaticalities. (Stede 92, 385)
144
Allerdings ist dieses Problem quantitativ nicht sehr relevant (nur sechs der Präzisionsfehler,
also 9,8 % der Fehler mit falsch erkannten NP-Grenzen bzw. gerade 3,4 % aller
Präzisionsfehler).
• Demonstrativpronomen
Ähnlich wie das Problem der Ellipsen (und tatsächlich in einigen Fällen nicht eindeutig von
diesem trennbar) ist das Problem nicht erkannter Demonstrativpronomen. Die meisten Demonstrativpronomen im Deutschen sind entweder mit Artikeln ambig (der, die, das) oder
können auch attributiv verwendet werden (dieser, jener, derjenige, derselbe, z. B. diejenigen Bücher, die…). Daher kommt es auch hier vor, dass es, wenn das Pronomen alleine vor
einer nichteindeutig begrenzten Nominalphrase steht, zu einer Fehlinterpretation kommt.
• Sie fordert …, dass Aktiengesellschaften … über Umweltschutzaspekte … berichten sollen, soweit
sich aus diesen stärkere kl;q~l]v1s
nLwwnbw /n1l ergeben können. Problem: aus diesen nicht als eigenständige Phrase erkannt.
• … wenn beide Zeitung lesen. (Korrekturvorschlag: #beide Zeitungen lesen, rein syntaktisch natürlich
möglich)
Eine Berücksichtigung der Verbrektion könnte hier wahrscheinlich zur Lösung dieser
Probleme beitragen.
Mit 21 Fehlern stellt diese Unterklasse die größte einheitliche Unterklasse der Klasse „NPGrenzen nicht erkannt“ dar (34,4 % der fehlerhaften Phrasengrenzen bzw. 11,7 % aller Präzisionsfehler).
• Substantivierte Adjektive
Ein weiterer Fehler bei der Erkennung von Nominalphrasen entsteht bei Nominalphrasen
mit substantivierten Adjektiven aufgrund einer Anpassung der Grammatik, die insgesamt die
Präzision deutlich verbessert: das Akzeptieren großgeschriebener attributiver Adjektive.
Adjektive können in Verbindungen großgeschrieben werden, die als eigener Begriff empfunden werden (Künstliche Intelligenz, Neue Medien, alte Rechtschreibung). Diese Verbindungen sind praktisch nicht vollständig zu erfassen, so dass in den Automaten der Grammatik Kanten eingefügt wurden, die grundsätzlich die Großschreibung von attributiven Adjektiven erlauben. Dadurch kann aber in Fällen, wo eine Nominalphrase mit einem substantivierten Adjektiv (das durch Großschreibung eigentlich eindeutig erkennbar ist) mit einer
nichteindeutig begrenzten Nominalphrase zusammentrifft, die Phrasengrenze nicht erkannt
werden.
•
Daran, daß praktisch alles Denkbare Gegenstand von Meinungen bzw. Einstellungen sein
kann, … Problem: alles Denkbare nicht als eigenständige Nominalphrase erkannt
Auch hier ließe sich unter Einbeziehung von Rektionsinformation eine deutliche Verbesserung erzielen.
145
Gerhard Fliedner
Mit sechs Fehlern ist diese Unterklasse gleich groß wie die Unterklasse „Ellipsen“ (9,8 %
der falschen Phrasengrenzen bzw. 3,4 % der Präzisionsfehler insgesamt).
6.4.3.2 Zeichensetzung
Eine große Zahl von Präzisionsfehlern hängt mit ungewöhnlichen, vom System nicht erwarteten Formen von Zeichensetzung zusammen. Es handelt sich dabei zum Beispiel um Klammern
innerhalb von Nominalphrasen, die zurzeit noch nicht b ehandelt werden können.
In diese Klasse fallen außerdem Fälle von Zeilenumbrüchen innerhalb von Nominalphrasen.
Dieses Phänomen taucht auf, wenn zur besseren Übersichtlichkeit koordinierte Nominalphrasen als Aufzählung (eine Nominalphrase pro Zeile) formatiert und damit vom gemeinsamen
Artikel durch Zeilenumbrüche getrennt werden. Da das System zurzeit auf Absätzen als größter Einheit arbeitet, kann in solchen Fällen der Zusammenhang nicht hergestellt werden.
In diese Gruppe fallen 12 von 179 Präzisionsfehlern (6,7 %).
• im Umwelt(rechts)bereich Problem: Gemeint ist Umwelt- bzw. Umweltrechtsbereich, erkannt wird wegen der Klammern nur *im Umwelt
• Die Öko- Audit- Verordnung greift nach den Prinzipien der:
• Freiwilligen Teilnahme …
• Kontinuierlichen Verbesserung …
Problem: Freiwilligen Teilnahme und Kontinuierlichen Verbesserung brauchen den Artikel der
Bei diesen Fehlern handelt es sich vor allem um Fehler in der Breitenabdeckung. Jedes einzelne
dieser Phänomene ist mit den verwendeten Techniken grundsätzlich lösbar. Die Grammatik
wächst aber stark an, so dass es bei seltenen Phänomenen evtl. sogar sinnvoller sein kann, eine
kleine Zahl von Präzisionsfehlern hinzunehmen, als die Grammatik sehr stark zu verkomplizieren.
Zum Beispiel könnte eine Lösung für das Problem der Klammern in Nominalphrasen sein, zu
jedem Zustand im Automaten einen „Schwesterzustand“ einführen, zu dem vom Originalzustand eine Ecke führt, die eine öffnende oder schließende Klammer akzeptiert, und von dem
Ecken zu den gleichen Zuständen abgehen wie vom Originalzustand. Damit würde die Klammerung nicht geprüft, aber sämtliche Klammern in Nominalphrasen akzeptiert, allerdings zum
Preis der Verdopplung der Automatenzustände.
6.4.3.3 Unbekannte Wörter und Fremdwörter
Wie in allen Anwendungen, die natürliche Sprache parsen, sind auch für Korrekt dem System
unbekannte Wörter und damit auch Fremdwörter ein grundsätzliches Problem. Selbst Systeme
mit einem umfangreichen Lexikon (das verwendete Lexikon umfasst ca. 350 000 Lemmata)
und einer Morphologie mit voller Derivation und Komposition lassen sich nicht alle in Texten
146
verwendeten Wörter erfassen. Besondere Probleme bereiten Eigennamen, Fremdwörter und
Fachausdrücke. Bei unbekannten Wörtern sind zunächst Wortart und morphologische Eigenschaften unbekannt. Daher kann ein Parser diese Wörter nicht bei der Ermittlung der syntaktischen Struktur verwenden.
Erschwerend kommt noch hinzu, dass es sich bei unbekannten Wörtern (je nach Redigierungsgrad der Texte) mehr oder weniger häubC ¡£¢¤¥¦<§¨t©ª§¥/«§¦A¥¬®¯§«)°±8²³´¯¬O²x²A¡¬®C®/¨¤¥°²¨¤¥§¦
davon ausgehen kann, dass es sich tatsächlich um echte Wörter handelt.64
Im getesteten Textkorpus kamen 32 Fehler aufgrund von unbekannten Wörtern vor (17,9 %).
• Die Fragebogengestaltung an sich fand mit der von der ZUMA Mannheim herausgegebenen Formatvorlage FRAGEBO.DOT für Word 6.0 statt… Problem: Das Akronym „ZUMA“ ist unbekannt. Daher kann
die Nominalphrase von der ZUMA Mannheim nicht erkannt werden und dadurch auch nicht die
umfassende mit der von der ZUMA Mannheim herausgegebenen Formatvorlage.
Eine mögliche Lösung dieses Problems besteht darin, vor der Grammatikkorrektur den Benutzer zunächst alle unbekannten Wörter korrigieren zu lassen. In einer ersten Version des Systems wurde dieses Verfahren tatsächlich angewandt. Da allerdings die Zahl der unbekannten
Wörter, die für die Grammatikkorrektur völlig irrelevant sind, sich als sehr groß erwiesen hat,
wurde auf diese Möglichkeit verzichtet.
Hier könnten evtl. statistikbasierte Verfahren helfen, die zunächst versuchen, unbekannte Wörter zu klassib
>
µ ¨ § <¦ § ®
® P
¯
®
¦ <² ³ « ¤
¥ ^
§ µ [
¦ V
¶ \
³ ¦ <¦ § · J° [
¦ ¸ ³ W¦ µ b
² ¤ ¥ "« ¬ § ® ± © § ¨ ¯ § ® § P
® O
§
² W² "¨ ¤ C
¥ C
¡ t¨ ,
°
¥ \
³
¥ § ¦
Wahrscheinlichkeit um Schreibfehler handelt. Ein solches Verfahren ist in Toole 99 beschrieben. Es stützt seine Entscheidungen vor allem darauf, ob anhand des Lexikons gute Korrekturvorschläge gemacht werden können, wie häu8¯¬O² ®O©§·¬®®°§ Worte Wort im Text vorkommt und ob in der unmittelbaren Nähe Eigennamen stehen.
Die aktuelle Version des Systems geht einen Mittelweg. In Fällen, wo in unmittelbarer Nähe
eines möglichen Fehlers ein unbekanntes Wort steht, wird als erster Korrekturvorschlag eine
Warnung (vgl. 5.7.1, insb. Tabelle 4) ausgegeben, die darauf hinweist, welches Wort unbekannt ist und dass durch das unbekannte Wort eventuell ein Präzisionsfehler zustande kommen
kann.
Es gibt verschiedene Techniken, um die Eigenschaften unbekannter Wörter automatisch zu
erschließen:
Samuelsson beschreibt ein wahrscheinlichkeitsbasiertes Verfahren, um unbekannten Wörtern
die richtige Wortart zuzuweisen. Sein System für Schwedisch (Samuelsson 93), das über einem
64
Die meisten Systeme zur Rechtschreibkorrektur beruhen ja gerade darauf, dass sie alle Zeichenketten, die
nicht im Systemlexikon gefunden werden, dem Benutzer als mögliche Rechtschreibfehler zur Korrektur vorschlagen (vgl. z.B. Kukich 92, dort wird diese Art von Korrektur als Isolated Word Error Correction bezeichnet). Die Wahrscheinlichkeit, dass es sich bei unbekannten Wörtern um Schreibfehler handelt, ist also hoch
genug, damit sich das Überprüfen aller Nichtwörter eines Textes zur Rechtschreibkorrektur lohnt (vgl. 2.1.1).
147
Gerhard Fliedner
handgetaggten Korpus trainiert wird, verwendet eine Kombination verschiedener aus dem
Korpus gelernter Wahrscheinlichkeiten (z. B. Wortendung, benachbarte Wörter).
In Erbach 90 ist ein Verfahren angegeben, das in einem unib
· ~¬ ° "¨ \
³ ® _² ©
¬ W² ¨ § ¦ ° § R
® ¹ º
® ² ~¬ ° µ ¼ª » u
¦ nbekannte Wörter einen unterspezib
>
µ "¨ § _¦ ° § R
¦ ½ ~§ ¾ ¨ · \
³ ® eintrag annimmt, der während des Parsens
· 5¬ ° ¨ \
³ j
® §
® ~¬ § Y
¦ \
© O
§ _² ° ¨ C
¡ ¡ C
° V
¿ ¨ <¦ Á
¯ ´
À ;
¬ ¤
¥ § ¨ ® § Â
¦ § W¦ ª ³ « <¦ § "¨ ¤ ¥ § j
® ¹ ® alyse sind zumindest
durch Unib
einige der zunächst unterspezib
>
µ ¨ § _¦ ° § ´
® Ã
§ _¦ ° § ¯ O
§
² ½ ~§
¾ ¨ · \
³
® § ¨
® ° <¦ ¬ z
² _Ä µ Å B. Wortart) durch Uni
kation „automatisch“ gefüllt.
Solche Verfahren wurden hier bewusst nicht verwendet, da der Zweck des Systems genau die
Überprüfung von Kongruenz und Rektion ist. Daher ist die Wahrscheinlichkeit, dass bei der
Annahme von Standardwerten für die Kongruenzmerkmale bzw. durch die Annahme, dass das
Wort korrekt sei, also den Ausschluss des Wortes von der Kongruenzprüfung, mögliche Fehler
(z.B. Schreibfehler) übersehen werden, relativ hoch.
Daher soll stattdessen die Erstellung der Warnungen weiter verbessert werden, so dass die
Aufmerksamkeit des Benutzers in möglichst vielen der relevanten Fälle auf das möglicherweise
Probleme verursachende Wort gelenkt wird.
6.4.3.4 Sonstige
Diese Gruppe umfasst mehr als ein Drittel der erfassten Präzisionsfehler (74 Fehler, also
41,3 %). Sie umfasst Fehlerklassen, die jeweils so selten vorkommen, dass sie sich nicht sinnvoll zu größeren Gruppen zusammenfassen lassen. An dieser Stelle sollen einige Beispiele genannt werden. Zum großen Teil handelt es sich hier um Probleme der Breitenabdeckung: Die
einzelnen Fehler ließen sich jeweils leicht beheben (z. B. durch Ergänzung der Morphologie
bzw. Grammatik), es handelt sich aber um so viele unterschiedliche, schwer zu systematisierende Einzelfälle, dass sie in der Breite kaum lösbar sind.
•
(in einem Lebenslauf): 1905 Promotion Problem: TextsortenspeziÆÇJÈ1É;ÊËAÌ>ÍJÎ<ÏÑÐ5ÍJÒ^ÓÔAÐ5ÍÇJÈ<É>ÕÖx×ØÊxÇÙxÚ stems: 1905 Promotionen
• Am Vormittag des 2. Dezember 1942… Problem: Sonderfall Datumsangabe, der Monatsname muss nicht
dekliniert werden. Systemvorschlag: des 2. Dezembers 1942 (auch möglich, aber eben nicht die einzige
Möglichkeit).
• … 28 Mann amerikanisches Militärpersonal… Problem: Mann als „Maßeinheit“. Systemvorschlag: 28
Männer
• Diese Rate lag um das Zweieinhalbfache über der erwarteten Zahl. Problem: Zweieinhalbfache von der
Morphologie nicht erkannt, Vorschlag des Systems daher: das Zweieinhalbfach (Regal-Fach)
• Der Stagnation … stehe der europäische Fortschritt gegenüber. Problem: gegenüber nicht als trennbarer VerbpräÆÛVÊ1Í¼Ü;ÖLÝ;ÝÞÑÓÇJÐ5Ý>ØÊ1ÍJÝÖxÕÇß/ÐÇHÞ
à>ÐÇJátÞáÐ5Ý behandelt. Systemvorschlag: dem europäischen Fortschritt gegenüber.
148
Teilkorpus
Wortzahl
Hausaufg.
67 591
8%
18 844
2%
218 953
27 %
266 850
32 %
199 489
24 %
771 727
99 %
9 088
1%
780 815
100 %
E-Mail
Liter.
Haus+Dipl.
Zeitng./ZS
Σ Mspr.
Nicht-Mspr.
Σ alle
echte
Fehler
Präzisionsfehler
Fehlermeldungen
∅ echte ∅ Prä- ∅ FehFehler/ zilerSeite
sionsf./ m./Seite
Seite
67 %
0,50
0,25
0,75
Präzision
112
56
168
60
30
90
67 %
0,96
0,48
1,43
250
194
444
56 %
0,34
0,27
0,61
347
362
709
49 %
0,39
0,41
0,80
150
215
365
41 %
0,23
0,32
0,55
919
857
1776
52 %
0,36
0,33
0,69
89
9
98
91 %
2,94
0,30
3,24
1 017
857
1874
53 %
0,39
0,33
0,72
Tabelle 8: Präzision nach Textsorten (Referenzkorpus)
Im Rahmen einer grundsätzlichen Behandlung der Verbrektion ließen sich wahrscheinlich auch
\
¾ ´
§ ³ ¥ ® § <¦ ³ â § ã
® µ b
² ~ä ° >
µ « ¨ ¤ ¥ § ã
® ^
¹ ¼ª ¿ ¬ ® å
¯ § ¦ ª O
¬ L² ² § ® º
Å P
æ O
¬ $
² ¿ » <¦ ¯ § ¨ R
® [
ç ¦
³
© « § mfältrennbare Verbprä
len wie diesem die Systemleistungen vermutlich verbessern.
6.4.4 Ergebnisse für das Referenzkorpus
Auch über dem Referenzkorpus wurde ein Präzisionstest vorgenommen. Hierbei wurde ein
gröberes Schema zur Einteilung der Fehlerklassen verwendet. Die Ergebnisse sind in diesem
Unterkapitel zum Vergleich zusammengefasst.
Im Referenzkorpus (780 815 Wörter) werden von der aktuellen Version des Systems 1 874
Fehler gemeldet, davon sind 1 008 echte Fehler. Die Präzision beträgt 53 %.
Tabelle 8 zeigt die Verteilung von echten Fehlern und Präzisionsfehlern im Referenzkorpus. Im
Vergleich mit der entsprechenden für das Evaluationskorpus (Tabelle 5, S. 133) sieht man,
dass die Zahlen für die einzelnen Textsorten ungefähr vergleichbar sind. Die Gesamtzahlen sind
unterschiedlich, da im Referenzkorpus mehr Texte mit hohem Redigierungsgrad (z. B. Zeitungstexte) enthalten sind, für die die Präzision niedriger liegt.
Die durchschnittliche Fehlerzahl pro Seite ist auch hier aufgeführt; hier sind die Werte für die
meisten Textsorten vergleichbar. Auch im Referenzkorpus ist zu beobachten, dass die Zahl der
echten Fehler pro Seite sich je nach Textsorte relativ stark unterscheiden, während die Zahl der
149
Gerhard Fliedner
Teilkorpus Adj:
Endung
NP-Grenze
Endungunbek.
PP-Rekt.Zeichens.
ZeiSonstige Σ Σ
stark/
fehlt
falsch Wort
chens.
schw.
E-Mail
6
6
6
12
E-Mail
4
6 20 % 8 20 % 0
2040
%
402%
7%
10 % 12913 %
0%
6736
%
3%
Haus+Dipl.
95
102
Haus+
15
164 36 % 101 26 %13
1030
%
28
24%
Dipl.
4%
47 %
4%
9%
7 %20
Hausaufg.
2529 %
10
1
Hausaufg.
7
36 45 % 35 18 % 1
222
%
36
11%
6%
32 %
1%
2025
%
10 %57
Literatur
9431 %
16
Liter.
23
88 48 % 89
8% 1
1319
%
29
30%
0%
9%
35 % 10436 %
8%
12 %60
Zeitg./ZS
45
6
Zeitng./ZS
18
70 48 % 50 21 % 2
3 %9
281%
12 %
47 % 35833 %
1%
674
%
1%
172
251
Σ Mutterspr.
9
%
42
%
20
%
29
%
67
364
283
17
120
68
Σ Mspr.
40 %
31
20%
13 %2
7% 3
Nicht-Mutterspr. 7 %
4 %
Nicht6
24 44 % 38
0% 9
22 %3
339%
Mspr.
7
%
27
%
43
%
10
%
3
%
10
%
362
172
76
254
Σ alle
9123
%
29
73
388 42 % 321 20 %26
77%
Σ alle
7%
38 %
32 %
3%
12 %
8%
richt.
Warnung
Korrektur fehlt
30
100
60%
100 362
%
100
347%
100 %56
100
112%
100 196
%
100
250%
100 215
%
100
150%
100 859
%
100
919%
100 % 9
100
89%
100 868
%
100 %
1008
100 %
7
2335
%
5868
%
1943
%
12 %
8
1426
%
23 %
4
248
%
1927
%
1310
%
7%
114
13
%
162
18 %0
016
%
18114
%
13
%
178
18 %
Tabelle 10: Verteilung der Präzisionsfehler im Referenzkorpus
Tabelle 9: Verteilung echter Fehler im Referenzkorpus
Präzisionsfehler weitgehend konstant bleibt (insbesondere ohne die untypischen Werte der
Textsorte „E-Mail“).
In Tabelle 9 ist die Verteilung der echten Fehler nach den verschiedenen Textsorten aufgeführt.
Das Klassi8
· ~¬ ° ¨ ³ º
® L² ² ¤ ¥ § ¡ ¬
¼¨ _² ° è
± C
¿ ¨ §
\
© § <¦ § t¨ <° ²
§ _¦ ¿ ä ¥ O
® ° Á
± <¦ é © § ¦
V
æ ¨ §
ê
¶ « O
¬ x² <² § ®
ë ê
¹ ¯ Hì § ktiv-/Determinerendung fehlt“ und „Substantivendung fehlt“ bzw. „Adjektiv-/Determinerendung
falsch“ und „Substantivendung falsch“ sind jeweils in einer Gruppe zusammengefasst.
Für die meisten Klassen sehen die Zahlen sehr ähnlich aus wie beim Evaluationskorpus (vgl.
Tabelle 6, S. 135). Wenn man allerdings die Werte für fehlende bzw. falsche Endungen mit
dem Evaluationskorpus vergleicht (wenn man die entsprechenden Klassen dort addiert, erhält
man einen Wert von 21 % bzw. 56 %), fällt auf, dass sie sich von den Werten im Referenzkorpus (38 % bzw. 32 %) stärker unterscheiden. Der Grund für diesen Unterschied konnte nicht
ermittelt werden.
Wie oben bereits erwähnt gleichen sich die Unterklassen (vgl. 6.4.2) weitgehend. Daher wurde
auf eine genaue Aufschlüsselung an dieser Stelle verzichtet.
Auch für die Präzisionsfehler wurde die Verteilung nach Textsorten ermittelt (Tabelle 10). Die
Verteilung ist insgesamt ebenfalls ähnlich wie die im Evaluationskorpus (vgl. Tabelle 7, S.
143). Die Klasse „Sonstige“ ist im Referenzkorpus etwas kleiner (29 % statt 41 %), die anderen
Klassen sind jeweils etwas stärker vertreten, insbesondere die Fehler bei den Grenzen der Nominalphrasen.
150
6.5 Recall-, Präzisions- und F-Werte für Teilkorpora
Das zweite entscheidende Kriterium bei der Bewertung von Korrektursystemen ist die Frage,
wie viele Fehler im Text sie übersehen. Als Maß hierfür wird der Recall verwendet, also das
Verhältnis der gefundenen Fehler zu den tatsächlich im Text vorhandenen (vgl. 6.2.3).
Wie schon beschrieben, ist die Ermittlung der Zahl aller im Text vorhandenen Fehler eine zeitraubende und fehlerträchtige Angelegenheit. Daher konnte allerdings aus Zeitgründen nicht für
das gesamte Korpus der Recall ermittelt werden.
Stattdessen wurde folgende Methode angewandt: Zwei Texte aus dem Evaluationskorpus,
einer von einem Muttersprachler und einer von einer Nichtmuttersprachlerin (Hausaufgabentext, ca. 17 000 Wörter bzw. Hausarbeit, ca. 24 000 Wörter) und einer aus dem Referenzkorpus (Magisterarbeit einer Muttersprachlerin, nicht korrekturgelesen, ca. 23 000 Wörter) wurden ausgewählt und der Recall für diese Texte ermittelt. Um möglichst keine Fehler zu übersehen, wurde der Text von zwei Korrektorinnen (zwei Studentinnen der Computerlinguistik)
korrekturgelesen. Die Listen der jeweils ermittelten Fehler wurden zusammengeführt und die
Gesamtzahl der gefundenen Fehler zur Ermittlung des Recalls verwendet.65
Die Texte wurden für die Korrektorinnen auf weißem Papier mit einem Laserdrucker mit einer
angenehm zu lesenden Zwölfpunktschrift (also relativ groß) ausgedruckt, um Probleme durch
das Korrekturlesen am Bildschirm bzw. schlecht zu lesenden Druck zu vermeiden.
Die Korrektorinnen hatten die Aufgabe, sämtliche Kongruenz- und Präpositionalrektionsfehler
in den Texten zu íbîïðîÅ>æCñ"ðOò<ð^¹^óôJõö~÷\ðò_øðù
ùtøðòWñúûöù¼òAî/ñúûø[õöîüêðñî/ôö>úûCûðý<ö~óbòþºïöðòrðñîðÿ
menschlichen Leser z. B. schwer fällt, Fehler in der Verbrektion (*ein Fehler machen statt einen Fehler machen) oder Fehler bei festen Wendungen (auf jedem Fall statt auf jeden Fall,
syntaktisch möglich) auszusortieren, wenn sie keine Kongruenz bzw. Präpositionalrektionsfehler enthalten.
65
Der Text aus dem Referenzkorpus wurde nur von einer Testerin korrekturgelesen.
151
Gerhard Fliedner
Adj.Endg.
fehlt
Korrekt
Recall %
Testerin 1
Recall %
Testerin 2
Recall %
Grammatik
Recall %
Gesamt
% der
Fehler
03
1000 %
31
100 %
21
100
67 %
01
0%
31
51 %
Adj.Adj.:
Subst. Dekl.Subst.- PPZeiSons- Σ
Endg. stark/ ohne
Endg. Rekt. chens. tige
falsch schw. Endg. falsch
fehlt
108
137
113
52
0
366
23
60
49
63 % 100
80
87 %
75 % 100
85
83 %
64 %
75
50 % 83
75
67 %
69
144
92
41
0
381
3
58
40
56 %
60
57 %
93
50 %
69
67
50%
%
68 %
13
67 % 68
75
64 %
69
96
52
42
0
402
32
62
31
56 %
60
87 %
60
50 % 100%
38
67 %
71 %
25
50 % 53
75
69 %
172
38
8
76
53
42
0
31
29
50 %
87 %
75 % 100%
30 %
25%
42 %
80
47
38
67 %
25
75
% 49
16
568
91
10
157
134
62
0
4
59
18 % 258 % 224 % 102 %
00%
% 14
62 %
17
73 % 100 %
Tabelle
Recall
Text
eines
Muttersprachlers
Tabelle
12:11:
Recall
für für
denden
Text
einer
Nichtmuttersprachlerin
Die Ergebnisse im Einzelnen zeigen Tabelle 11 (Muttersprachler-Text), Tabelle 12 (Nichtmuttersprachler-Text) und Tabelle 13 (Text aus dem Referenzkorpus, Muttersprachlerin). Wie
man sieht, entsprechen sich die Werte für die Texte von Muttersprachlern weitgehend.
Das Gesamtergebnis des Korrekt-Systems liegt im Bereich der Korrektorinnen bzw. übertrifft
dies sogar. In diesen Tabellen sind neben den Ergebnissen des Korrekt-Systems und der beiden
Testerinnen auch die Ergebnisse des Grammatik-Systems (integriert in die Textverarbeitung
Microsoft Word 2000) angegeben. Diese Ergebnisse werden in 6.6 detaillierter behandelt.
Die geringe Zahl der in den Texten insgesamt gefundenen Fehlern (91 bzw. 75 bzw. 59) erlaubt i. A. keine statistisch zuverlässigen Aussagen. Einige Tendenzen werden jedoch erkennbar. Man muss allerdings bei diesen und den folgenden Ergebnissen berücksichtigen, dass die
Datenbasis nicht umfangreich genug für gesicherte Aussagen ist.
Aufgrund der geringen Zahl der Fehler lassen sich auch keine allgemeinen Rückschlüsse darauf
Adj.:
stark/
schw.
Korrekt
Recall %
Testerin
Recall %
Grammatik
Recall %
Gesamt
% der
Fehler
0
0
0
0
0%
EnEnPPZeiSons- Σ
dung
dung
Rekt. chens. tige
fehlt
falsch
17
22
1
15
9
64
94 %
79 % 100 %
83 %
90 % 71 %
15
24
1
9
6
55
83 %
86 % 100 %
50 %
60 % 61 %
14
18
0
6
1
39
78 %
64 %
0%
33 %
10 % 43 %
18
28
1
18
10
75
24 % 37 %
1 % 24 % 13 % 100 %
Tabelle 13: Recall für einen Text aus dem Referenzkorpus
152
ziehen, welche Fehler von menschlichen Korrektoren besonders leicht übersehen werden. Der
Eindruck aus den Daten ist jedoch, dass es sich wahrscheinlich nicht um eine bestimmte Klasse
von Fehlern handelt. Die Ursache dafür, dass menschliche Korrekturleser Fehler übersehen
scheint eher die große Schwierigkeit zu sein, sich auf eine so anspruchsvolle, gleichzeitig aber
eher langweilige Aufgabe wie das Korrekturlesen über eine längere Zeit gleichmäßig zu konzentrieren. Übersehen werden also nicht bestimmte Fehlerklassen, sondern einzelne Fehler aus
allen Klassen.
6.5.1 Recallfehler
Die Gründe dafür, dass Fehler vom System übersehen werden, sind unterschiedlich und ließen
sich anhand der relativ kleinen Zahl von Fehlern nicht vollständig systematisieren.
Bei etwa der Hälfte der Recallfehler im Text des Muttersprachlers beruhen sie auf falschen
oder ungenügenden Informationen der Morphologie (z. B. erhalten Abkürzungen z. T. keine
Kongruenzinformation, so dass Kongruenzfehler nicht immer erkannt werden) bzw. unbekannten Worten.
Einige Beispiele dafür:
• des US - Kongresses (Gedankenstrich statt Bindestrich, das System müsste Numerusfehler zwischen
desSg und USPl erkennen. Die Morphologie liefert allerdings für diese Abkürzung keine Kongruenzinformation.)
• des herkömmlichen Trinitrotoluol (statt Trinitrotoluols, Trinitrotoluol ist der Morphologie unbekannt)
Bei anderen übersehenen Kongruenzfehlern enthält die Eingabe weitere Fehler, so dass sie
nicht korrekt analysiert werden konnte:
• Die am 7.11.1878 in Wien geborene, und am 27.10.1968 verstorbenen, Physikerin (wegen der Kommata
vor und und nach verstorbenen wird die Nominalphrase nicht erkannt)
Zum Teil handelt es sich auch um Fälle, in denen einzelne Regeln aus der Grammatik entfernt
wurden, da sie bei den Korpustests zu einer großen Zahl von Präzisionsfehlern geführt hatten.
Ein Beispiel hierfür ist der folgende Recallfehler:
• Im 19. Jahrhundert, das Zeitalter der Revolutionen,… (Statt dem Zeitalter. Vom System werden zurzeit
nicht alle möglichen Appositionen berücksichtigt, da sich in den Korpustests herausgestellt hatte, dass
zu häu Öx
Ý 5
Ý ¼Þ ÜÞá 5
Ý <
Ý !#"$"%
Ò &
#" "'($)>Õ!$ gehalten wurden, z. B. wenn in
zwei nebengeordneten Sätzen, die durch Komma abgetrennt sind, zufällig eine Nominalphrase am Ende
des ersten und eine zweite Nominalphrase in einem anderen Kasus am Anfang des zweiten Satzes steht.)
In einigen weiteren Fällen handelt es sich um echte Fehler in der Grammatik bzw. fehlende
Breitenabdeckung der Grammatik. Bei diesen Problemen handelt es sich fast immer um Einzelfälle, die zwar einzeln behoben werden können, ohne dass dadurch eine wesentliche systematische Verbesserung der Systemleistung erzielt werden könnte. Darüber hinaus hat sich bei der
Entwicklung der Grammatik oft gezeigt, dass scheinbar triviale Änderungen an der Grammatik
153
Gerhard Fliedner
häuíbõüójðñîðýêõý$*&+ðî-,öûù./*î-0,ý$1ü>ñ¼òWñ2*\îòWôðû/ùðýWîaô3ûýðîþ!ò4* ïöOòLòVöù
ùð+ïñ"ðOò<ð65îï erungen nur
sehr vorsichtig vorgenommen werden dürfen.
Der Recall von 67 bzw. 71 bzw. 83 % reicht zwar für einen Einsatz als Korrekturwerkzeug
ohne zusätzliche menschliche Nachkorrektur noch nicht aus. Die Ergebnisse sind aber immerhin für die vorliegenden Texte immerhin mit denen von nicht besonders fürs Korrekturlesen
geschulten Muttersprachlern zu vergleichen.
6.5.2 Präzision und F-Wert
Aus der Gesamtanalyse der Präzisionsfehler im Korpus wurden auch die Werte für diese beiden
Texte ermittelt.
Im Muttersprachlertext macht Korrekt 17 Präzisionsfehler, d. h. von insgesamt 77 Fehlermeldungen sind 60 begründet. Damit erreicht das System für diesen Text eine Präzision von rund
78 % und damit etwa ein Viertel über der durchschnittlichen Präzision in Texten von Muttersprachlern (62 %). Der F-Wert beträgt damit 72 % (für β=1, d. h. gleiche Gewichtung von Präzision und Recall).
Beim Text der Nichtmuttersprachlerin meldete das System insgesamt 67 Fehler. Von diesen
waren 49 echte Fehler. Die Präzision beträgt hier also 73 %. Die Präzision liegt hier also um
20 % unter der durchschnittlichen Präzision in Texten von Nichtmuttersprachlern (91 %). Der
Text zeigt allerdings, dass die Autorin die deutsche Sprache sehr gut beherrscht und auch
kompliziertere Konstruktionen fehlerfrei einsetzt. Daher beschränken sich die Fehler hier nicht
auf die meist zuverlässig, da einfach erkennbaren nicht-muttersprachlichen Fehler (z. B. Substantive mit falschem Genus). Der F-Wert beträgt für diesen Text 77 %.
Die Präzision für den Text aus dem Referenzkorpus liegt bei 80 % (16 Präzisionsfehler bei 80
Fehlermeldungen) und damit relativ hoch für Muttersprachler. Der F-Wert beträgt damit 75 %.
6.6 Vergleich mit einem anderen System
Um die ermittelten Präzisions- und Recallwerte besser bewerten zu können, wurde ein Vergleichstest mit der Grammatikprüfung der deutschen Version der Textverarbeitung Microsoft
Word 2000 durchgeführt. Bei der Grammatikprüfung handelt es sich laut Programminformation in Word um „Grammatik“ (Lernout&Hauspie, Ieper, Belgien, vgl. auch 3.5.4).
Eine frühere Version von Grammatik (die englische Version 5) ist in Rodríguez, Marín und
Oliva 96 ausführlich beschrieben. In Version 5 konnte der Benutzer das System selber um neue
154
Wortzahl
Hausaufg.
39 560
(21 %)
E-Mail
3 517
(2 %)
Liter.
47 479
(25 %)
Haus+Dipl.
38 984
(21 %)
Zeitng./ZS
16 281
(9 %)
145 821
Σ Mspr.
(77 %)
Nicht-Mspr.
42 902
(23 %)
188
723
Σ alle
(100 %)
echte
Fehler
Präzisionsfehler
Fehlermeldungen
∅ echte ∅ Prä- ∅ FehFehler/ zisilerm./
Seite
onsf./
Seite
Seite
43 %
0,64
0,84
1,48
Präzision
84
111
195
0
19
19
0%
0,00
1,62
1,62
49
151
200
25 %
0,31
0,95
1,26
27
128
155
17 %
0,21
0,99
1,19
10
66
76
13 %
0,18
1,22
1,40
170
475
645
26 %
0,35
0,98
1,33
168
126
294
57 %
1,17
0,88
2,06
338
601
939
36 %
0,54
0,96
1,49
Tabelle 14: Grammatik 6 (Word 2000) – Präzision nach Textsorten
Regeln ergänzen.66 Das Format der verwendeten Grammatikregeln ist ausführlich beschrieben.
Danach verwenden diese Regeln ausschließlich Pattern-Matching in Form von regulären Ausdrücken über dem zu prüfenden Text, der in Wörter zerlegt und durch Wortartinformation
ergänzt wird. Das System verwendet also Fehlerantizipation. Vermutlich basiert daher auch die
aktuelle Version auf diesem Verfahren. Leider waren trotz eines bestehenden Kontaktes vom
derzeitigen Vertreiber der Software keine detaillierten Informationen über die Funktionsweise
der Software zu erhalten.
Es wurden auch hier anhand des Evaluationskorpus Präzision und Recall (vgl. 6.4 und 6.5)
ermittelt. Da die verwendeten Texte identisch waren, können die Zahlen direkt verglichen werden.
Bei diesen Tests wurde berücksichtigt, dass die Grammatikprüfung von Word eine breitere
Palette von Fehlern abdeckt: Über die Optionen des Programms wurde die Meldung aller Fehler außer Kongruenzfehlern abgeschaltet, und keine nicht mit Nominalkongruenz im Zusammenhang stehenden Fehler wurden in die Bewertung aufgenommen.
Tabelle 14 zeigt die Präzisionsfehler von Grammatik aufgeteilt nach Textsorten. Diese Tabelle
entspricht vom Aufbau zum direkten Vergleich der Tabelle 5 (S. 133). Auch hier sind die Zahl
66
Diese Option steht seit Version 6 nicht mehr zur Verfügung. Darauf wird in Wedbjer Rambell 99b hingewiesen (S. 4), wo ein Test der englischen Version 6 beschrieben wird.
155
Gerhard Fliedner
Gr.
und
Korrekt
Hausaufg.
E-Mail
Liter.
Haus+Dipl.
Zeitng./ZS
Σ Mspr.
Nicht-Mspr.
Σ alle
71
0
31
24
5
131
133
264
nur Gr. nur
Korrekt
13
0
18
3
5
39
35
74
54
6
28
27
6
121
106
227
Σ
echte
Fehler
Gr.
138
6
77
54
16
291
274
565
84
0
49
27
10
170
168
338
echte
Fehler
Korr.
125
6
59
51
11
252
239
491
„Recall“
Gr.
61 %
0%
64 %
50 %
63 %
58 %
61 %
60 %
„ReVerh.
call“
Korr./
KorGr.
rekt
91 %
1,5
100 %
—
77 %
1,2
94 %
1,9
69 %
1,1
87 %
1,5
87 %
1,4
87 %
1,5
Tabelle 15: Gefundene Fehler – Vergleich Grammatik/Korrekt
der vom System gemeldeten „echten“ Fehler, die Zahl der Präzisionsfehlerzahl und die gesamte
Zahl der Fehlermeldungen sowie die Präzision aufgeführt. Daneben ist auch die durchschnittliche Zahl von echten Fehlern, von Präzisionsfehler und Fehlermeldungen insgesamt auf einer
durchschnittlichen Textseite mit 300 Wörtern angegeben.
Im direkten Vergleich der Zahlen fällt auf, dass das Korrekt-System insgesamt etwa anderthalb
Mal so viele echte Fehler íbîïð~øróîïãú>ö87ïýðñÿöù:9Pðîñ
õðý;0[ý41ü>ñ¼òñ*\îòWôðû/ùðý$ÿö>úûOø<7>=îºòWõ esamt ist
der Präzisionswert über dem verglichenen Korpus etwa doppelt so hoch.
In Tabelle 15 und Tabelle 16 werden die von Grammatik und Korrekt gefundenen „echten“
Fehler und Präzisionsfehler direkt verglichen.
6.6.1 Vergleich der gefundenen echten Fehler
In Tabelle 15 ist – nach Textsorten aufgeschlüsselt – die Zahl der Fehler angegeben, die sowohl von Grammatik als auch von Korrekt gefunden werden, dann die Zahl der Fehler, die nur
Grammatik, und dann die Zahl der Fehler, die nur Korrekt gefunden hat. Es folgt die Summe
der Fehler, die beide Systeme zusammen und dann die Summen der Fehler, die die Systeme
jeweils gefunden haben.
In den nächsten beiden Spalten werden die Recallwerte auf Basis dieser Zahlen angegeben. Das
heißt, dass hier die Zahl der von den Systemen jeweils gefundenen Fehler zur Gesamtzahl der
von beiden Systemen zusammen gefundenen echten Fehler in Bezug gesetzt werden. Diese
Recallzahlen sind also nicht absolut, also bezogen auf die tatsächliche Gesamtzahl der Fehler in
den Texten, sondern relativ zu den von beiden Systemen gefundenen Fehlern. Die letzte Spalte
gibt das Verhältnis dieser Zahlen zueinander an. Dieses Verhältnis bliebe natürlich auch konstant, wenn man die Recallzahlen auf absoluter Basis errechnete.
156
Das Verhältnis ist im Mittel etwa 1,5. Korrekt hat also im Evaluationskorpus etwa anderthalb
mal so viele echte Fehler gefunden wie Grammatik. Diese Zahl ist auch für unterschiedliche
Textsorten recht konstant (Minimum 1,1 bei Zeitungen/Zeitschriften, Maximum 1,9 bei Hausund Diplomarbeiten), so dass man davon ausgehen kann, dass diese Zahl ungefähr repräsentativ ist.
Man sieht in den ersten drei Tabellenspalten, dass nur knapp die Hälfte der Fehler von beiden
Systemen gefunden werden. Im Folgenden sollen einige typische Fälle aufgeführt werden, in
denen sich die Abdeckung der Systeme unterscheiden.
6.6.1.1 Nur von Grammatik gefundene Fehler
Diese Gruppe ist mit insgesamt 74 Fehlern (13 % der von beiden Systemen zusammen gefundenen 565 Fehler) relativ klein. Die Gründe, warum diese Fehler von Korrekt nicht gefunden
wurden, sind unterschiedlich.
Bei etwa einem Drittel der Fehler liefert die verwendete Morphologie für ein Wort keine oder
eine unerwartete Analyse. Einige Beispiele hierfür:
• Die Illokutionszweck (Illokutionszweck ist unbekannt)
• während des Essen (Essen als Eigenname der Stadt analysiert, syntaktisch möglich, aber semantisch
nicht plausibel)
• das Atombomben (Atombomben als Substantivierung des Verbs atombomben analysiert)
Einige weitere Fälle betreffen Fehlertypen, die im Korrekt-System nicht vorgesehen waren. In
diesen Fällen liegt z. B. eine falsche Kleinschreibung oder Getrenntschreibung vor, die vom
System nicht gesondert überprüft wird. Dazu kommen Fälle, in denen z. B. nach einer Verschmelzung aus Präposition und Artikel (im) ein bestimmter Artikel folgt. Solche Fälle werden
vom System bisher nicht behandelt (vgl. aber 7.1.1).
• dein kleines mademoiselle (mademoiselle wegen Kleinschreibung nicht erkannt)
• die selben Sweaters (falsche Getrenntschreibung von dieselben nicht erkannt)
• im der Gaststätte (Verschmelzung aus Präposition und Artikel + Artikel)
• ihr Hilfeschrei erstickte ein einem Schluchzen (intendiert: in einem Schluchzen)
Knapp die Hälfte der Fälle ist schließlich auf eine zu geringe Breitenabdeckung, die Bevorzugung einer falschen Analyse oder wirkliche Programmfehler zurückzuführen. Es handelt sich
dabei im Wesentlichen um Einzelfälle, die jeweils einzeln korrigiert werden müssten. Zum Teil
handelt es sich auch um Fälle, bei denen in der Systemgrammatik zur Vermeidung von Präzisionsfehlern gezielt alternative Analysen ergänzt wurden, die hier in Einzelfällen allerdings auch
zu Recallfehlern führen. Einige Beispiele:
157
Gerhard Fliedner
• In dieser Arbeit wird dargestellt, welche Instrumenten ihnen zur Verfügung stehen und wie sie von
ihnen genutzt werden. (Das System analysiert welche als Relativpronomen. Diese Analyse könnte nur
mithilfe einer vollständigen Analyse der Verbrektion ausgeschlossen werden, vgl. 7.1.3.4)
• die ersten Schritten (Das System analysiert die ersten zur Verringerung von Präzisionsfehlern als
feste Wendung und damit als einzelne Nominalphrase, da es häu "?!<&@#JÒBA#C5Ò$ÒDFE G
6.6.1.2 Nur von Korrekt gefundene Fehler
Bei den nur von Korrekt erkannten Fehlern wird offensichtlich, dass ein großer Teil von
Grammatik nicht erkannt wird, da die in diesem System verwendete Grammatik einige relativ
häuHI/JB0LK&1MN*POQJM&JSRMUT&JWV&X$Y4ZK&JM\[]*PO^R!M&_`a&K8b$_cY4JMd*PeefJM/YgRZKcXf`!RZKhMRZKcX^i&j9k7;M8RZKcX vollständig
abdeckt (vgl. dazu auch die Präzisionsfehler, 6.6.2.1).
Die Phänomene sollen im Folgenden genannt und die fehlende Abdeckung mit Beispielen belegt werden. Allerdings ist dabei zu beachten, dass es sich bei der Einteilung der Phänomene
nur um begründete Vermutungen handeln kann, da genauere Informationen zum System nicht
zur Verfügung standen.
Adjektivdeklination unvollständig
• Verständigung über allgemein Inhalte (Adjektivendung fehlt, nicht erkannt)
• der peinlich genauer Mathematiker (stark/schwach, nicht erkannt)
• mit rotgefärbten Gesicht (stark/schwach, nicht erkannt)
Grundsätzlich erkennt das System aber Fehler dieser Art, wie das folgende, korrekt monierte
Beispiel zeigt:
• in der menschliche Geschichte (stark/schwach, erkannt)
Substantivdeklination unvollständig
Fehler in der Deklination von Substantiven werden nicht immer erfasst:
• zwischen Emittent und Rezipient (statt Emmitenten und Rezipienten, nicht erkannt)
Komplexe Phrasen nicht erkannt
Komplexe Adjektivphrasen mit Nominal- und Präpositionalphrasen oder mehreren Adverbien
werden vom System anscheinend überhaupt nicht erkannt.
• aus der auch in der Betriebswirtschaftslehre anzutreffende Dreiteilung (statt anzutreffenden)
• mit ebenfalls immer noch sehr hohe Geschwindigkeit (statt hoher)
Ebenso scheint das System häuHImlLJK8`2JbR!MQJRM&JblLn&`!I/J?.PnPMmo/n/n&b$T8R!M8R2JbpXqJMmrsTutJo8XfR ./JMmM8RZKcXLjV
erkennen:
• schnelle, komische, erzählende oder nahezu unüberschaubaren Gruppentänze (statt unüberschaubare)
• von einer Vielzahl von diskurs- und semantikorientierte Prinzipien (statt semantikorientierten; Koordination mit Ergänzungsstrich)
158
Präzisions- Präzisions- Verhältnis Präzisions- Präzisions- Präzisionsfehler
fehler Kor- Gramm./
fehler beide fehler nur fehler nur
Gramm.
rekt
Korrekt
Gramm.
Korrekt
Hausaufg.
111
32
3,5
8
103
24
E-Mail
19
3
6,3
2
17
1
Liter.
151
50
3,0
10
141
40
Haus+Dipl.
128
48
2,7
16
112
32
Zeitng./ZS
66
21
3,1
11
55
10
475
154
3,1
47
428
107
Σ Mspr.
Nicht-Mspr.
126
25
5,0
5
121
20
601
179
3,4
52
549
127
Σ alle
Tabelle 16: Präzisionsfehler – Vergleich Grammatik/Korrekt
Interessant ist hier auch die Beobachtung, dass Fehler z. T. in bestimmten Kontexten nicht angezeigt werden. Einige von Korrekt erkannte, fehlerhafte Phrasen werden von Grammatik in
Isolation auch erkannt, jedoch nicht in dem Kontext, in dem sie im Korpus erscheinen. Das
weist darauf hin, dass Grammatik Techniken verwendet, die dann, wenn andere Analysen möglich sind oder aber wenn die Eingabe zu komplex wird, keine Fehlermeldung ausgeben, um die
Präzision zu verbessern. Allerdings macht diese Tatsache es natürlich erheblich schwieriger,
zuverlässige Aussagen über die Abdeckung des Systems zu machen.
6.6.2 Vergleich der Präzisionsfehler
Tabelle 16 zeigt die Präzisionsfehler der beiden verglichenen Systeme, aufgelistet wieder nach
Textsorten. Die ersten beiden Spalten geben die Präzisionsfehlerzahlen der beiden Systeme an.
In der nächsten Spalte ist das Verhältnis zwischen den Fehlerzahlen genannt. Wie man sieht, ist
die Zahl der Präzisionsfehler von Grammatik bei allen Textsorten etwa dreimal so hoch wie die
von Korrekt.
Da auch untersucht werden sollte, wie groß die Übereinstimmung zwischen den Systemen bei
den Präzisionsfehlern ist, wurden die entsprechenden Zahlen ebenfalls ermittelt. Die letzten drei
Spalten der Tabelle geben die Zahl der Präzisionsfehler, die beide Systeme machen, und die
Zahl der Fehler die jeweils nur eines der Systeme macht.
Hier zeigt sich allerdings, dass die Zahl der Fehler, die beide Systeme machen, recht klein ist
(nur ca. 7 % der Fehler). Dabei handelt es sich vor allem um falsch erkannte Nominalphrasen
und „ungewöhnliche“ Zeichensetzung.
Der folgende Abschnitt beschreibt einige Präzisionsfehler des Grammatik-Systems. Für eine
Diskussion der wichtigsten Ursachen von Präzisionsfehlern im Korrekt-System sei auf 6.4
verwiesen.
159
Gerhard Fliedner
6.6.2.1 Präzisionsfehler von Grammatik
Die Präzisionsfehler des Grammatik-Systems spiegeln z. T. die oben schon beschriebene mangelnde Abdeckung für bestimmte Phänomene in deutschen Nominalphrasen wieder. Auch hier
sollen die vermuteten Ursachen zusammen mit einigen Beispielen aufgeführt werden.
Komplexe Adjektivphrasen
• auf die drei seiner Ansicht nach wichtigsten Kriterien (System meldet Fehler bei drei Ansicht)
• ein eigenes, im Hinblick auf die von ihr genutzten sprachlichen Mittel selbständiges und vollständiges sprachliches System (System meldet Fehler bei sprachlichen Mittel)
Komplexe Phrasen/Koordination
• die Untertypen des Aufforderns und ihre sprachlichen Realisierungsformen (System meldet fehlende
Kongruenz von des und Realisierungsformen, d. h. die Struktur der Phrase wird nicht richtig erkannt.)
Nebensatz/erweiterter InvLwyxz$x2{kwx|}~z:&ww:z
Grammatik verfügt offensichtlich nicht über die Möglichkeit, Nebensätze bzw. erweiterte In
nitive zu erkennen. Wie in 5.4 beschrieben, ist das aber nötig, um in Zweifelsfällen die richtige
Analyse zu ermitteln.
• [Das lässt] Sanktionen unberücksichtigt, die in keiner Weise expliziert werden, die aber dennoch
greifen, wenn der Rezipient sich einer Aufforderung verschließt. (System meldet fehlende Kongruenz
zwischen die und Rezipient, erkennt also den Nebensatz nicht.)
• [A]ber es ist nicht möglich, einen von ihnen wegzulassen, ohne daß der Satz ungrammatisch wird.
(System meldet fehlende Kongruenz zwischen einen und Satz, erkennt also die Satzstruktur nicht)
Abdeckung/Wendungen
Feste Wendungen wie zum anderen werden vom System anscheinend nicht erkannt, ebenso
wenig Phänomene wie die „adjektivische“ Verwendung von ein.
• auf der einen Seite (System g#$($!$ zwischen einen und Seite)
• [das erlaubt] zum anderen Aussagen (System moniert die Form anderen)
6.6.3 Recall
Anhand der Texte, die zur Ermittlung von Recallwerten manuell auf Fehler untersucht wurden
(vgl. 6.5) wurde auch für Grammatik der Recall zum direkten Vergleich ermittelt. In Tabelle
11 und Tabelle 12 sind die echten Fehler für Grammatik zusammen den Fehlerklassen und den
Recallwerten aufgelistet. Die verschiedenen Arten der von Grammatik nicht gefundenen Fehler
wurden bereits in 6.6.1.2 beschrieben.
160
Recall
Mutterspr.
Präzision
Nicht-MS
Mutterspr.
F-Wert
Nicht-MS
Mutterspr.
Nicht-MS
Korrekt
67 % / 71 %
83 % 78 % / 80 %
73 % 72 % / 75 %
77 %
Grammatik
42 % / 43 %
49 % 42 % / 42 %
26 % 42 % / 42 %
34 %
Verhältnis
1,6 / 1,7
1,7
1,9 / 1,9
2,8
1,7 / 1,8
2,3
Tabelle 17: Vergleich Recall, Präzision und F-Wert für zwei Texte
Die Präzision von Grammatik für diese Texte beträgt 42 % (38 echte Fehler in 91 Fehlermeldungen) für den Muttersprachler-Text aus dem Evaluationskorpus, 42 % (39 echte Fehler in 93
Fehlermeldungen) bzw. 26 % für den Nichtmuttersprachler-Text (29 echte Fehler in 113 Fehlermeldungen). Damit betragen die F-Werte 42 % bzw. 42 % bzw. 34 %. Tabelle 17 zeigt noch
einmal die Ergebnisse der beiden Systeme für diese Texte im direkten Vergleich.
6.7 Vergleich mit einem getaggten Korpus
Neben der direkten Evaluation der Grammatikkorrektur sollte zusätzlich ermittelt werden, wie
gut die Erkennungsleistung des im System verwendeten Chunkparsers ist. Bei diesem Teil der
Evaluation handelt es sich also um eine Glass-Box-Evaluation einer Systemkomponente (vgl.
6.2.1).
Das entsprechende Kriterium war also, wie viele Nominal- und Präpositionalphrasen das Sys p < u
c
>
(¡ $ ¤
¢ 8
£ 2 ?
¦
¥ 8
§ /
¡ &
£ /
¨ &
¢ g $ 8
¨ 2 &
£ c© f ~
p q «
© L
ª 8
§ $ c 4 &
© 8
s
¬ /
$ &
£ m
®
tem korrekt identi
Hilfe eines Vergleichs mit einem korrekt getaggten Korpus ermittelt.
Als Grundlage wurde dazu ein Ausschnitt aus einem am Institut für Computerlinguistik der
Universität des Saarlandes annotierten Korpus verwendet. Das Korpus wurde im Rahmen des
NEGRA-Projektes annotiert und dient dort als Grundlage für verschiedene stochastische Verfahren, u. a. zum Trainieren von Wortarttaggern. Die Texte des Korpus sind dem Archiv der
„Frankfurter Rundschau“ entnommen. Das Projekt ist in Brants, Skut und Uszkoreit 99 und
Skut [u.a.] 97 beschrieben.
Zur Annotation wurden im NEGRA-Projekt zunächst automatische Verfahren (Tagger und
Chunkparser, vgl. Brants 99) verwendet. Deren Ergebnisse werden von zwei menschlichen
Annotatoren überprüft und korrigiert. Die Korrekturen der Annotatoren werden dann abgeglichen und in Fällen, in denen sie nicht übereinstimmen, harmonisiert. Durch dieses aufwendige
Verfahren wird eine sehr gute Qualität der Annotation erreicht. Das Verfahren ist in Brants
2000 beschrieben.
161
Gerhard Fliedner
Zunächst war geplant, das zur Verfügung stehende Korpus mit Korrekt zu analysieren und die
Ergebnisse automatisch mit den Ergebnissen der Korpusannotation zu vergleichen. Das Korrekt-System verfügt über einen Debug-Modus, in dem die Analyseergebnisse für die Eingabe
als Klammerstrukturen in Dateien geschrieben werden.
Es stellte sich jedoch schnell heraus, dass sich die Ausgaben der beiden Systeme trotz relativ
großer Ähnlichkeit nicht zufrieden stellend automatisch vergleichen lassen. Die wichtigsten
Gründe dafür sind die folgenden:
• Die verwendeten Wortart-Tags sind unterschiedlich und können nicht einfach aufeinander
abgebildet werden. (NEGRA verwendet das Stuttgart-Tübinger-Tagset STTS, Korrekt
verwendet Lingsofts Tags. Zwischen den beiden Tagsets gibt es keine 1:1-Abbildung, d. h.
beide Systeme machen innerhalb mancher Klassen Unterscheidungen, die das andere System
nicht macht.)
/
¨ W q &
¢ $ ^
© p L
! «
© P
¯ &
£ k
© N
° /
± f q Q
® «
© /
© q ² 4 ³ 8
§ 8
£ !¡ ³ «
§ /
N
© £
• Die Behandlung postnominaler Modi
z. T. uneinheitlich (s. u.).
• Aus der NEGRA-Ausgabe konnten nicht automatisch nur maximale Nominal- und Präpositionalphrasen extrahiert werden. (In der Ausgabe des Korrekt-Systems sind nur maximale
Phrasen enthalten, nicht aber eingeschachtelte. In der NEGRA-Ausgabe sind dagegen auch
eingeschachtelte nicht-maximale Phrasen enthalten.)
Aus diesen Gründen konnte ein automatischer Vergleich der Analyse des gesamten Korpus
nicht vorgenommen werden.
Daher wurde ein manueller Vergleich eines Ausschnitts des Korpus vorgenommen. Dazu wurden 1 000 Sätze aus dem Korpus ausgewählt, vom Korrekt-System analysiert und die Ergebnisse verglichen.
Der Vergleich wurde von zwei Testerinnen vorgenommen. Wegen der stark unterschiedlichen
Tagsets wurden die Wortart-Tags nicht überprüft, sondern nur, ob die gleichen Wörter zu
Phrasen zusammengefasst wurden. Bei Stichproben hatte sich gezeigt, dass die Wortart-Tags
einander entsprachen, wenn beide Systeme die gleichen Bereiche der Eingabe als Phrasen analysiert hatten. Die Ergebnisse der beiden Testläufe wurden stichprobenartig überprüft und gemittelt. Da die Ergebnisse um maximal 3 % absolut auseinander lagen, wurde auf eine aufwendige Nachprüfung der Ergebnisse verzichtet.
Wegen der schon erwähnten sehr guten Annotationsqualität des NEGRA-Korpus wurde dieser
als absoluter Maßstab verwendet, d. h. es wurde im Falle von Abweichungen ein Fehler des
Korrekt-Systems angenommen.
162
Dieser Vergleichstest ergab die folgenden Zahlen: Korrekt erkannte 92 % der gut 3 600 Nominal- und Präpositionalphrasen im aus 1 000 Sätzen bestehenden Korpusfragment. In 71 % der
Fälle stimmten beide Phrasengrenzen genau überein, in 9 % der Fälle stimmte der Phrasenanfang, aber nicht das -ende und in 11 % der Fälle das Phrasenende, aber nicht der -anfang überein.
Auch hier wurde ermittelt, in welchen Fällen Korrekt die Phrasen nicht korrekt erkannt hat.
Von den nicht erkannten Phrasen (8 % der Phrasen) ist etwa die Hälfte auf dem System unbekannte Wörter zurückzuführen, insbesondere Eigennamen (die Texte sind dem Feuilleton der
Frankfurter Rundschau entnommen, so dass Eigennamen häu´mµ/¢ rkommen).
Ein weiterer wichtiger Grund ist, dass Nominalphrasen mit Pronomen als Kopf von Korrekt
nicht systematisch erfasst werden.
In den übrigen Fällen handelt es sich um unsystematische Fälle (Abdeckung der Grammatik).
Bei den erkannten Phrasen, bei denen die Grenzen nicht übereinstimmen, liegen unterschiedliche Gründe vor. In etwa 16 % der Fälle ist der Fehler auf unbekannte Wörter zurückzuführen.
¨ aEin wichtiger Unterschied im Annotationsformat ist die Behandlung postnominaler Modi
toren. Im Korrekt-System werden solche Phrasen (Präpositionalphrasen oder Genitivattribute)
nur in Fällen behandelt, in denen sie zwischen zwei koordinierten Nominalphrasen stehen (vgl.
f q ?
ª § $ c 4 und die Modi
/
¨ # q P
¢ g &
¶ § $ c 4 ·
¡
¬
4.2). In allen anderen Fällen werden die modi
separate Phrasen behandelt. So kann bei koordinierten Phrasen die Kasuskongruenz überprüft
werden, in den anderen Fällen ist es für die Zwecke des Systems nicht nötig, die Phrasen zusammenzufassen.
Die Behandlung bei NEGRA unterscheidet sich hiervon. Auch hier werden zwar i. A. postnominale Modi
/
¨ # q P
¢ $ ¸
© ¡ m
4 /
¶ $ # q ¹
ª § $ c 4 ¹
/
¯ N
§ &
© &
£ º¡ < y
g» © ! 8
© /
´ ½
© L
¼ ¾ ¡ ¡ ¸
© p¿ N
B. wenn die modi
zierte Nominalphrase Bestandteil einer Präpositionalphrase ist oder wenn mehrere Nominal 4 &
© &
£ ¹
L
ª 8
§ 4 c $ ¤
m
® º ·
&
£ ·
Q
® >
¢ 8
£ º f q ½
© L
ª 8
§ $ $ ¤
uphrasen koordiniert werden) wird die modi
sammengefasst.
Da die Behandlung sich stark unterscheidet, konnte keine sinnvolle Zuordnung zwischen den
beiden Verfahren gefunden werden. Daher kommt es vor, dass statt einer Phrase (NEGRAAnalyse) zwei Phrasen gefunden werden. Ein solcher Fall wird als Fehler gezählt, da die Ergebnisse nicht identisch sind.
Mit diesem Problem hängt auch eine weitere spezielle Fehlerklasse zusammen: Korrekt bevorzugt Analysen, in denen längere zusammenhängende Chunks gefunden werden (vgl. 4.3, 5.6).
Bei Eingaben, die in Bezug auf die syntaktischen Analysen ambig sind (insbesondere im Zusammenhang mit verschiedenen Möglichkeiten, koordinierte Nominalphrasen zu analysieren),
163
Gerhard Fliedner
kann es dabei dazu kommen, dass syntaktisch mögliche, aber semantisch nicht überzeugende
Analysen gewählt werden.
Ein typisches Beispiel soll das verdeutlichen: Für das Satzfragment das interessierte Publikum
bei Konzerten und Festivals ermittelt Korrekt zwei Analysen. Bei der ersten, richtigen Analyse
sind Konzerten und Festivals koordiniert (Struktur: [das interessierte Publikum] [bei [Konzerten und Festivals]]). Bei der zweiten, syntaktisch ebenfalls möglichen Analyse sind das … Publikum und Festivals koordiniert (Struktur: [[das interessierte Publikum bei Konzerten] und
[Festivals]]).
Da im ersten Fall die Eingabe durch zwei separate Phrasen analysiert wird, während im zweiten
Fall eine einzige Phrase die gesamte Eingabe überspannt, wird vom System (fälschlich) die
zweite Analyse gewählt.
Für die Kongruenzprüfung ist dies unerheblich, da in Fällen, wo die zweite, überspannende
Analyse nicht möglich ist (bzw. zu einer Fehlerkorrektur führen würde), die erste Analyse aber
nicht zu Fehlern führt, die erste als Lösung gewählt wird (vgl. 4.3, 5.6). Diese Strukturen führen aber natürlich beim Vergleich mit dem korrekt getaggten NEGRA-Korpus zu Fehlern.
Ebenfalls zu falschen Phrasengrenzen kommt es bei Juxtapositionen (Nebeneinanderstellung
von Substantiven, Apposition mit Eigennamen). Da sie zum einen besonders schwer zu erkennen sind, zum anderen für die Kongruenzprüfung keine Rolle spielen, umfasst die Grammatik
von Korrekt zurzeit Juxtapositionen nicht. Daher werden in Fällen wie den folgenden die Eigennamen (fälschlich) als getrennte zweite Nominalphrase analysiert:
• anläßlich des Buchmessen-Schwerpunkts Mexiko
• der 1937 in Jerusalem geborene, heute in Tel Aviv lebende Lyriker Asher Reich (hier außerdem: Asher
ist unbekanntes Wort)
Ein weiterer Fall, der für die Kongruenzprüfung unerheblich ist, ist die Einbeziehung von Adverbien in Nominalphrasen. Bei NEGRA werden Adverbien häu´À¡(ÂÁÃcpq©&£cq!¡~!©&Ä ominalphrase analysiert, Korrekt verzichtet meistens darauf, da für die Adverbien natürlich keine
Kongruenzprüfung vorgenommen werden muss. Zwei Beispiele:
• [das ist] eher eine Möglichkeit
• auch angesichts der leeren Kassen
N
© &
£ \
© g 2 ³ ¸
§ W ³ À
§ /
µ ² 4 ³ 8
§ 2 &
£ &
© ¹
y
¼ 8
§ ¡ p /
² $ ³ &
§ N
© Â
8
£ 2 ¹
/
¯ $ $ /
¯ &
£ Á eNeben diesen Ursachen schreibung der Präzisionsfehler (6.4.3) genannt wurden, z. B. ungewöhnliche Zeichensetzung:
• Mit minimalistischem Klavier, Zirpen, Rockmusik, vorüberfahrenden Autos, Vogelgezwitscher, Sirenen
und O-Tönen aus dem Fernseher (vermutlich ZeichentrickÅcÆ ÇÈpÉ (Der Zusatz wird von Korrekt wegen
der Klammern als separate Phrase analysiert)
Insgesamt zeigt dieser Vergleichstest, dass die von Korrekt gefundenen Analysen i. A. sehr gut
sind. In bestimmten Fällen können die Analysen jedoch noch weiter verbessert werden (insb.
164
Behandlung von postnominalen Modi~
Ê /
Ë WÌ qÍ P
Î 4Ï Ð 8
Ñ #Ò &
Ó m
Ô 2Õ Ð %
Ï «
Ö × ²Ø fØ qÍ ¹
Ð Ì !Ù Ù Ð $Ï 8
Ú Õ 8
Ñ :
Û ·
Ø $Ø &
Î gÏ &
Û fÜ Ý ºÙ fÍ !Õ ½
Û Û eprüft werden, ob eine Verbesserung der Analysen nicht zulasten der Präzision bei der Kongruen zprüfung
ginge.
6.8 Geschwindigkeit
Um die Geschwindigkeit des Systems zu testen, wurde eine Programmfunktion eingefügt, die
zu jedem verarbeiteten Absatz die Wortzahl und die benötigte Zeit ermittelt. Dabei ist zu beachten, dass in der Wortzahl nicht nur die Wörter, sondern auch Satzzeichen erfasst sind, da
sie für das Parsen eine Rolle spielen. Aus diesen Zahlen wurde die Verarbeitungsgeschwindigkeit in Wörtern/Sekunde (w/s) ermittelt. Die Verarbeitungsgeschwindigkeiten wurden jeweils
absatzweise ermittelt.
Um eine möglichst breite Datenbasis zu erhalten, wurden für diese Teilbewertung Referenzund Evaluationskorpus zusammengefasst, so dass sich ein Testkorpus mit insgesamt einer
knappen Millionen Wörter herangezogen werden konnte. Die mittlere Absatzlänge beträgt 40,4
Wörter, die maximale 4378.
Auf einem PC mit 400 MHz Systemtakt (Pentium II, 128 MByte Hauptspeicher, Windows NT
4.0) wurden für die Verarbeitungsgeschwindigkeit die folgenden Werte ermittelt:
Das arithmetische Mittel x liegt bei 255 w/s. Die Werte für das Referenzkorpus (248 w/s)
und das Evaluationskorpus (256 w/s) liegen nur unwesentlich auseinander.
165
Gerhard Fliedner
8000
7000
x 3/4
x 1/4
x 1/2
=190,87
=221,14 =285,71
Anzahl Absätze
6000
5000
4000
3000
2000
1000
0
0
100
200
300
400
500
600
700
800
900
1000
Geschwindigkeit (w/s)
Abbildung 17: Verarbeitungsgeschwindigkeit: Verteilung im Korpus
Zusätzlich wurden Standardquantilen67 ermittelt, die zeigen, dass die Geschwindigkeit für verschiedene Sätze und Texte konstant recht hoch ist: die Quartile x 1 beträgt immer noch
4
x 221,14 w/s und x 3 285,71 w/s. Das Maximum betrug 1250 w/s,
190,87 w/s, der Median ~
4
das Minimum nur 0,14 w/s (vgl. unten).
Abbildung 17 zeigt die HäuÊÛ&Ë/ÐÕ Í$ØfÞ/ÐÏfÍqÐÕ!Ù ß/ÑÛàÚ&ÐÏ¤á^ÐÏ$ÌÏpâ/ÐÕºÍß/Ñ8Û:ØgÛ/ÐØ$ãäåmÕ!ÑNÚ8Õ!Û&Ë/ÐÕ Í<Ó;æß/ÜÚ&ÐÏ xAchse sind die Verarbeitungsgeschwindigkeiten, auf der y-Achse die jeweilige Zahl der Absätze im Korpus abzulesen. Die Verarbeitungsgeschwindigkeiten wurden dazu in Klassen (Klassenbreite=33 ç«ÒÐÕ!Ñ8Û/ÐWÍqÐÕ!Ù Í<ÓèmÕÐ·Î8â/ÐÑQÌÑ8Û/ÐÛ/ÐWâ/ÐÑNÐÑQéß ÌÑcÍfÕÙÐÑ¤ØqÕ!Ñ&ÚmÕ!ÑQÚ&ÐÏæâ8â&ÕÙÚcß/Ñ8Û]ÐÕ ngetragen.
Das bedeutet, dass eine durchschnittliche DIN-A4-Seite auf einem solchen Rechner in etwa 1,2
Sekunden überprüft werden kann, damit dauert die Korrektur einer Diplomarbeit oder einer
Dissertation nur im Bereich weniger Minuten (z. B. 100 Seiten in etwa 2 Minuten).
Zum Vergleich:
Die Quantile xq einer Menge von Messwerten xi mit 0<q<1 ist de
ê ë !ì $í î ï ²ð 2ñ >
ò ó $í î 2ô $í ë !ì õ í ¤
ö $í î (ï ÷ ó $í î ø #ù ?
ë $í !ì ë í ú
Anteil q der Messwerte nicht überschritten wird. x 1 ist also z. B. derjenige Messwert, der in einer sortierten
67
4
Liste mit n Messwerten an Position n/4 steht.
166
PC mit 90 MHz Systemtakt mit Pentium I, 80 MByte Hauptspeicher, Windows NT 4.0:
x =54 w/s, x 1 =36,01 w/s, ~
x =45,45 w/s, x 3 =60,00 w/s, Maximum: 300 w/s, Minimum:
4
4
0,03 w/s, also ziemlich genau ein Fünftel der Geschwindigkeit des Referenzsystems.
PC mit 667 MHz Systemtakt mit Pentium III, 128 MByte Hauptspeicher, Windows 98:
x =526 w/s, x 1 =384,17 w/s, ~
x =451,85 w/s, x 3 =579,535 w/s, Maximum: 3000 w/s, Mini4
4
mum: 0,15 w/s, also ziemlich genau die doppelte Geschwindigkeit des Referenzsystems.
In diesem insgesamt guten Ergebnis gibt es allerdings noch einige wenige „Ausreißer“, also
Absätze mit extrem niedriger Verarbeitungsgeschwindigkeit. Von diesen Absätzen Ê &
Ñ &
Ú Ð ¤
Ñ gØ Õ ã ä
zurzeit zwei im Referenzkorpus (ca. 21 000 Absätze, 0,01 %), keiner im Evaluationskorpus.
Die Verarbeitungsgeschwindigkeit geht hier auf bis unter 1 w/s zurück.
Das Problem bei diesen Absätzen ist, dass hier eine Reihe von ambigen, koordinierten Elementen aufeinander folgen. Da der Parser, wie in 5.5 beschrieben, Chart und Agenda über Zuständen über Automaten verwendet und die Automatengrammatik jeweils nur genau ein Wort parsen kann, kommt es hier zu einer kombinatorischen Explosion, da die Mehrdeutigkeiten nicht
frühzeitig zusammengefasst, sondern einzeln untersucht werden. Verschiedene Versuche mit
der Zusammenfassung von Teilergebnissen in der Chart ergaben, dass sich damit zwar die Parsingzeiten für die „Ausreißer“ tatsächlich erheblich verbessern lassen. In allen Fällen sinkt aber
wegen des höheren Verwaltungsaufwandes die Parsingzeit im Mittel so stark ab, dass auf die
endgültige Implementation der Methoden verzichtet wurde.
Dem System wurde daher eine Routine zugefügt, die, die Verarbeitungsgeschwindigkeit während des Parsens kontrolliert und, sobald diese unter einen bestimmten Grenzwert fällt, eine
Warnung ausgibt und das Parsen des problematischen Absatzes auf Wunsch des Benutzers
abbricht.
Um die Verarbeitungsgeschwindigkeit besser beurteilen zu können, wurde auch die Parsingzeit
in Abhängigkeit von der Eingabelänge empirisch ermittelt. Abbildung 18 zeigt die ermittelten
Werte. Auf der x-Achse ist die Länge der Absätze (d. h. die Eingabelänge) im Korpus abzulesen, die y-Achse zeigt die Verarbeitungsgeschwindigkeit für den Absatz in Sekunden. In dieser
Ê
Ë s
å /
ß $Ï &
Ú Ð
Ñ 8
Ú Õ ?
Ð /
â Ð 4Ï Ð Õ $Í Ø Ð fÏ Q
å Ý ä cÑ qÍ Ð ^
Ñ û æ ß qØ $Ï Ð !Õ ü Ð ý
Ï 8
Ñ Õ ã ä þ
Í Ð !Õ 8
Ñ /
Û #Ð fÍ $Ï Ì /
Û Ð Ñ Ó
Gra~
167
Gerhard Fliedner
140
120
Parsingzeit (s)
100
80
60
40
20
0
0
500
1000
1500
2000
2500
3000
3500
4000
4500
Eingabelänge (Wörter)
Abbildung 18: Parsingzeit in Abhängigkeit von der Eingabelänge
Ê h
Ë uÿ Ð !Õ 8
Û Í Ú&Ì ²Ø ]
Ø 8
Ú Õ Ð
Ì ²Ï qØ !Õ 8
Ñ &
Û ÿ Ð Õ qÍ Ð Ñ Ü /
× ]
Ï 8
Ú Õ B
Ð Q
Ö Ð Õ fØ qÍ Ð Ñ æ :
â 4Ø WÝ fÍ ÿ B
Ð !Õ Ö Bereich von SekundenDie Gra
bruchteilen bis zu wenigen Sekunden liegen. Für ungewöhnlich lange Eingaben (> 2 000 Wörter) wachsen die Verarbeitungszeiten über 20 Sekunden an und erreichen für die längsten Absätze im Korpus mit ca. 4 000 Wörtern Werte zwischen anderthalb und zwei Minuten. Absätze
dieser Länge sind allerdings ungewöhnlich; immerhin entsprechen 4 000 Wörter gut zehn DINA4 Seiten Text.
In der Abbildung ist eine Näherungskurve eingezeichnet, die mithilfe der bekannten Methode
der kleinsten Quadrate ermittelt wurde. Die Funktionsgleichung der eingezeichneten Funktion
lautet f(x)=0,000006x2+0,0034x+0,0405. Das Bestimmtheitsmaß ist 0,9546, also 95 % Abhängigkeit zwischen den beobachteten Werten und der Näherungskurve. Andere Näherungskurven
mit Polynomen höherer Ordnung wurden ebenfalls ermittelt, erreichten aber keine wesentlich
besseren Bestimmtheitsmaß (maximal 0,9589 für ein Polynom sechster Ordnung).
Dieses Ergebnis gibt einen guten Eindruck vom Laufzeitverhalten des Parsers. Die quadratische Größenordnung der Laufzeit ergibt sich aus der verwendeten Agenda- und Chartverwaltung (vgl. 5.5). Immer, wenn ein Zustand in die Agenda oder Chart eingetragen werden soll,
Ê ÿ Õ Ð cÑ Í P
Î qÏ /
Û Ì Ñ igeprüft werden muss, ob er bereits vorhanden ist. Dieser Vergleich ist zwar ef
168
siert, dennoch nimmt die Zahl der nötigen Vergleiche mit der Zahl der Charteinträge zu. Hier
könnte evtl. mit einer weiteren Optimierung das Laufzeitverhalten weiter verbessert werden.
Das Laufzeitverhalten gibt nicht direkt die Parsingkomplexität des verwendeten Formalismus
an: Da der Parser als Chunkparser verwendet wird, d. h. im allgemeinen Fall keine überspannenden Analysen für die Eingaben aufbaut, handelt es sich bei der angegebenen Funktion nicht
um die Average-Case-Parsingkomplexität. Allerdings zeigen sie empirisch, dass das Verfahren
anwendbar ist und in der hier verwendeten Implementation annehmbare Parsingzeiten – nämlich in quadratischer Größenordnung mit kleinen Konstanten – erreicht.
Insgesamt ließen sich die Verarbeitungszeiten wahrscheinlich noch einmal verbessern: Es wurÊ ÿ 2Õ Ð cÑ qÍ m
Ð Q
è WÌ qÍ Ð >
Ñ pØ fÍ fÏ /
ß 8
Ë Í /
ß $Ï Ð Ñ p &
ÿ Ó B. Hashtables) eingesetzt, an einigen
den zwar im Wesentlichen ef
Stellen könnte hier allerdings noch weiter optimiert werden. Damit ließen sich wahrscheinlich
noch einmal Geschwindigkeitsgewinne um einen Faktor von 1,5–2 erzielen.
169
7 Schluss
In dieser Arbeit wurde das Problem der Kongruenzprüfung und -korrektur in deutschen Nominalphrasen als Problem der Grammatikprüfung und damit der robusten syntaktischen Verarbeitung vorgestellt. Ein System zur Kongruenzprüfung wurde anhand dieser Überlegungen konzipiert, implementiert und getestet.
Die grundsätzlichen Entscheidungen beim Entwurf des Systems wurden beschrieben, Details
aus der Programmierung des Systems vorgestellt und schließlich die vorgenommene Evaluation unter verschiedenen Gesichtspunkten zusammengefasst.
Das System verwendet eine morphologische Analyse zur Bestimmung der Kongruenzinforma Ì ã N
ä cÐ ·
Ø Ø Ñ qÍ Ì 8
Ë fÍ Õ $Ø ã &
ä cÐ %
Ø ·
æ N
Ñ Ì Ù /
$
Ø WÐ P
Þ Ð gÏ fÜ Ì ä $Ï Ð À
Ñ WÌ /
ß Ü Ã
c
Ì gØ (Õ Ø Ð &
Ñ 8
Ú !Ù 2Õ ã &
ä Ð %
Ï æ &
ß qÍ &
Î Q
Ö WÌ qÍ Ð 6
Ñ ^
Ö Õ
Í Ã
Ð 8
Ë ß rsition, einen L
on, Constraint Relaxation, um Eingaben mit grammatischen Fehlern parsen zu können, und
eine auf der Optimalitätstheorie basierende Methode zur Auswahl der besten Analyse.
Die verwendeten endlichen Automaten mit Rekursion sind ein neues Verfahren zur Beschreibung bestimmter geschachtelter Strukturen in natürlichen Sprachen. Es handelt sich im Wesentlichen um endliche Automaten, die allerdings Rekursion erlauben. Dieser Formalismus
scheint für LÌãä&Ðá^ÐÏgÜfÌäÏ$ÐÑmÕ!ÑÍqÐÏ$ÐcØ<Ø$ÌÑÍLÿßÀØ$ÐÕ!Ñsß/Ñ&Ú¤Ø$Î&Ù!Ù&Õ!Ñß/Ë8ß/ÑÜÍåQÐÕºÍqÐÏß/ÑcÍqÐÏ<Øpß ãäÍyåÐ rden.
Auch die Kombination von Constraint Relaxation mit Optimalitätstheorie zur Bewertung auch
ungrammatischer Eingaben ist in dieser Form noch nicht beschrieben worden.
Die Evaluation des Systems zeigt, dass die Kombination dieser Verfahren gut geeignet ist, um
die im Rahmen der Problemstellung auftretenden Phänomene zu behandeln. Ein Vergleich hat
gezeigt, dass das System mit einem kommerziellen Grammatikkorrektursystem für das Deutsche durchaus konkurrieren kann.
Im Rahmen der Evaluation wurde bereits auf einige offensichtliche Verbesserungen des Systems (insbesondere grammatische Abdeckung) hingewiesen. In diesem abschließenden Kapitel
sollen noch einige naheliegenden möglichen Erweiterungen des Systems aufgeführt und in Hinblick auf die Durchführbarkeit untersucht werden (7.1).
In 7.2 wird die Arbeit bewertet und abgeschlossen.
171
Gerhard Fliedner
7.1 Mögliche Systemerweiterungen
In 6.4.3 sind bereits verschiedene typische Ursachen für Präzisionsfehler im bestehenden System aufgeführt und mögliche Lösungen für die zugrunde liegenden Probleme diskutiert worden. Hier sollen noch weiter gehende Erweiterungen des Systems beschrieben werden. Die
Änderungen, die hier als machbar eingestuft werden, sollten auf jeden Fall vor einer möglichen
Verwendung des Systems in einem größeren Benutzerkreis vorgenommen bzw. zumindest
detailliert auf die tatsächliche Realisierbarkeit überprüft werden.
7.1.1 Fehlerantizipation für Fehler auf Wortebene
Bei der Evaluation des Systems ergab sich, dass, wie bereits vermutet, fehlende oder fälschlich
eingefügte Wörter als Ursache echter Fehler gelegentlich vorkommen (vgl. 6.4.2.8). Eine mögliche Erweiterung des Systems, die sich relativ einfach verwirklichen ließe, wäre die Überprüfung bei fehlerhaften Nominalphrasen, ob der Fehler durch das Einfügen oder insbesondere
Auslassen eines Artikels entstanden sein könnte. Diese Fehler treten gehäuft bei Nichtmuttersprachlern auf, insbesondere natürlich, wenn sich die Verwendung des Artikels in der Muttersprache stark vom Deutschen unterscheidet (z. B. slawische und asiatische Sprachen ganz ohne
Artikel oder Schwedisch, wo De
Ê 8
Ñ ºÕ fÍ &
ä Ð Õ þ
Í cÚ /
ß $Ï ã ä 8
/
ß Ü Ê &
Û Õ Ð pÏ /
ß Ñ ]
Û &
Ú Ð Ï ¤
&
Î m
Ö !Õ N
Ñ ·
Ì WÌ ß sgedrückt wird).
Im Allgemeinen ist es wegen der sehr komplizierten (meist pragmatisch motivierten) Regeln
Ê ÿ Õ Ð $Ï Ð :
Ñ Ó g cÑ qÍ Ð $Ï cÐ ²Ø 4Ø Ì nzur Verwendung von Artikeln nicht möglich, diese Fehler korrekt zu identi~
terweise kommt es aber häuÊ
Û /Î&Ï Ú&ÌcØ<Ø%æsÚFÐË8ÍfÕPÐmÕ!ÑÀÚ&ÐÏ¤Î&ÖmÕ!ÑNÌÙ&äÏ$ÌcØ$Ð trotz des Artikelfehlers korrekt (besonders in Bezug auf starke/schwache Deklination) dekliniert sind, so dass der
Fehler vom System identi
Ê ÿ 2Õ Ð pÏ %
Í Q
å Ð $Ï &
Ú Ð B
Ñ /
Ë Ì Ñ :
Ñ :
Ó Q
Ô #Ý &
ß Ê ¸
Û ä ängt das wahrscheinlich damit zusammen, dass bei der Bearbeitung des Textes Artikel o. ä. nachträglich gelöscht oder eingefügt
wurden und die folgenden Adjektive nicht angepasst wurden (Textverarbeitungsfehler).
• der Körperschaftssteuersatz für neuen Investoren… (intendiert: für die neuen Investoren; möglich wäre
im Kontext auch für neue Investoren )
• In der Konsequenz führt das zur günstigeren Preisen… (intendiert: zu günstigeren Preisen )
Denkbar wäre hier, aus Fehlern bei der Deklination der Adjektive systematisch auf das fehlerhafte Fehlen bzw. Vorhandensein eines Artikels zu schließen und einen entsprechenden Vorschlag einzufügen.
Das ließe sich grundsätzlich auch über das Einfügen neuer Fehlerkanten in der Grammatik, also
Kanten, die auf einen bestimmten Fehlertyp hinweisen und eine entsprechende Fehlermeldung
auslösen, verwirklichen. Das würde ein Element der Fehlerantizipation in das System einführen
(vgl. auch 3.5.3 und 4.1).
172
7 Schluss
7.1.2 Verbesserung der Korrekturvorschläge
Wie in 4.3 und 5.6 beschrieben, wird im System zurzeit als Grundlage für die Korrekturvorschläge im Rahmen einer auf Optimalitätstheorie basierenden Auswahl der besten Analyse eine
einfache Kostenfunktion verwendet, die für jedes Wort, das für einen Korrekturvorschlag geändert werden muss, konstante Kosten vergibt und diese Kosten addiert.
Diese Funktion könnte sicherlich noch verbessert werden: Bei der Analyse der Präzisionsfehler
(6.4) Ê~Ñ&Ú&ÐWÍØgÕ2ãäQÌWß ãäÚ&ÌcØ¦ÏgÛ/ÐWâ&ÑÕØ/Ú&ÌcØ<ØÜ×/ÏÕ!ÖmÖQÐÏgä8Õ!Ñ!PÎPÑ"#$&%yÐä8ÙÐÏgÑ'($)*$ %) die richtige
Korrektur fehlt. Daneben wäre es auch wünschenswert, die Zahl der Korrekturvorschläge
wenn möglich zu beschränken, idealerweise sollte das System jeweils nur einen Korrekturvorschlag machen.
Neben Fällen, in denen keine Kongruenz- sondern andere Fehler vorliegen, sind das vor allem
Phrasen, in denen mehrere Änderungen vorgenommen werden müssten. Zurzeit wählt das System in solchen Fällen einfach die Korrektur aus, die die wenigsten Änderungen benötigt.
• Er bot die Stücke mit warmen, runden Ton dar. (Korrekturvorschlag mit warmen, runden Tönen, eine
Änderung, statt mit warmem, rundem Ton, zwei Änderungen)
Hier müssen die vorliegenden Daten sorgfältig ausgewertet werden, um das Gesamtergebnis
nicht zu verschlechtern.
Allerdings wird das System auch dann in Fällen, in denen kein Kongruenz-, sondern ein anderer Fehler vorliegt, nicht den „richtigen“ Korrekturvorschlag liefern können. Beispiele dafür
sind die folgenden Fehler:
• Es besteht daher kein Zweifel, dass die Rhetorik des Aristoteles einen Ein+!,.-/-0),21!3)0.-#4 È5(6 È87
schen in dieser Zeit hatte. (Vorschlag: auf den Denker/auf die Denker)
3 8
È 7:9sÈ
n-
• [Die CIA hatte] den neutralistischen ehemaligen Staatschaf Suvanna Phuma in die Arme der … Guerillas getrieben. (Korrekturvorschlag: das neutralistische ehemalige Staatschaf)
• Meitner begann ihre Forscher Karriere… (Korrekturvorschlag: ihre Forsche Karriere)
7.1.3 Andere Arten von Kongruenz und Rektion
Neben der Kongruenz in der Nominalphrase und der Präpositionsrektion gibt es im Deutschen
noch verschiedene andere Arten von Kongruenz und Rektion. Im Folgenden soll kurz dargestellt werden, ob und wie diese anderen Arten in das System integriert werden könnten.
7.1.3.1 Subjekt-Verb-Kongruenz
Subjekt und Prädikat müssen im Deutschen bezüglich Numerus und Person kongruieren. Das
Subjekt muss dabei im Nominativ stehen.
173
Gerhard Fliedner
Vom System werden sämtliche Nominalphrasen identi
; =
ÿ ?< (> @ A B(C @ &
D E
â (> ;
@ F
ä < G W
C ß I
H J< H I
A c
B #
ß 4@ ã ä !
B ?< K
> L
2
C A zstrukturanalyse die Grobstruktur des Satzes bekannt. Daher sollte es grundsätzlich möglich
sein, wahrscheinliche Subjekte und Prädikate zu identi
; M
ÿ N< (> @ (> O
G PHRS
Q B T
C U
H H !
B ?< W
> "
V Q !
G X p@ :
ß (> G ·
ÿ ÿ "
å J< $H ã O
ä (> G
ihnen geprüft werden kann.
; G itiv
Ein Problem dabei dürfte sich aus der Formgleichheit vieler deutscher Verbformen (In
und 1. und 3. Person Plural Indikativ Präsens, 3. Person Singular Indikativ Präsens und Parti; M
ÿ < eren
zip Perfekt bestimmter Verben usw.) ergeben, die besonders bei Verbclustern das Identi
des Prädikats erschweren dürften.
7.1.3.2 Relativpronomen-Antezedens-Kongruenz
Bei attributiven Relativsätzen muss im Deutschen das Relativpronomen bezüglich Genus und
Numerus mit dem Antezedens kongruieren. Um diese Art von Kongruenz kontrollieren und
korrigieren zu können, muss daher für jeden Relativsatz zunächst bestimmt werden, welches
Nomen das Antezedens ist.
Das ließe sich für die Fälle, in denen der Relativsatz sich im Satz direkt an das Antezedens anschließt (adjazenter Relativsatz), ohne großen zusätzlichen Aufwand realisieren, da Relativsätze schon jetzt von der Satzstrukturanalyse erkannt werden.
Im Deutschen werden Relativsätze allerdings häu;XY<ZGLH[#\(]!^`_HaH*b/>)^?BYB>cH[LC2Afcÿ >THK>.dFA/@C( oniert,
insbesondere, wenn es sich um lange oder komplizierte Sätze handelt (Uszkoreit [u.a.] 9868). In
diesen Fällen ist es schwierig, das zugehörige Antezedens zuverlässig zu identi
; M
ÿ ?< (> R@ (> G #BC
grundsätzlich jedes Nomen im übergeordneten Satz Antezedens sein könnte.
Darüber hinaus kann auch bei adjazenten Relativsätzen zwischen Antezendens-Nomen und
dem Relativsatz bestimmtes syntaktisches Material intervenieren, so dass die Analyse wiederum erschwert wird (z. B. Genitivattribute und Postpositionen). Ein Überblick über verschiedene mögliche Stellungen des Relativsatzes ; G B .
> A H ?< (
\ e
] < G Schachtl 92.
7.1.3.3 Anaphorische Kongruenz
Der allgemeine Fall von Pronomen-Antezedens-Kongruenz ist erheblich schwieriger: Auch hier
müssen Genus und Numerus des Pronomens und des Antezedens übereinstimmen. Allerdings
ist es äußerst schwierig, zu Pronomen im Allgemeinen das Antezedens zu identi~
; M
ÿ < eren. Für
diese Identi
; #
f 2
C /A ?< E
Q [
G 2
> !
/A h^ :
g .
C :
_ (
\ S
] D #
i )
> @ #
.
C fA ÿ - und Absatzgrenzen hinweg gibt es noch keine allgemeine befriedigende Lösung, so dass hier bestenfalls Teillösungen möglich sein werden.
68
Diese Arbeit weist neben der Relativsatzlänge empirisch (in Korpusuntersuchungen) und experimentell (bei
Versuchen zur Grammatikalitätseinschätzung von Testsätzen durch Muttersprachler) auch einen starken
EinjTkl/lm(no
prq2s?ohtu ù lhvs?v ù2w lxm)v?lJs?t wMyzw ta{| ÷ mc} h. der Zahl der Wörter, die zwischen der extraponierten und der
nicht-extraponierten Position des Relativsatzes im Satz stehen.
174
7 Schluss
7.1.3.4 Verbrektion (Subkategorisierung)
Verben regieren die von Ihnen abhängigen Elemente bezüglich des Kasus. Da Valenzfehler
relativ häu;XeEQE@*f#Q~e~'>)G!'(@R>z>(<G>Wi#>)@*@D#bJ_#G!XKB>(@>.dFA>H*<?\(]O>(@*^<N\(]SH*<ZG!GTEQE^Z^hgI<G'>(<^#B>)@
Informationen ist auch hier bereits vorhanden: Alle Nominalphrasen werden identi
; M
N< (
> @ A #
_ G B
der Kasus ist (bzw. die möglichen Kasus sind) bekannt.
Bisher fehlt allerdings ein Valenzlexikon. Mithilfe eines solchen Valenzlexikons, das natürlich
mit den Lemmata der verwendeten Morphologie übereinstimmen müsste, würde es möglich, in
einem zusätzlichen Verarbeitungsschritt zu überprüfen, ob in einem Satz die vorhandenen Nominalphrasen zu einem der Valenzrahmen des Verbs passen.
Viele der Schwierigkeiten dieser Analyse sind bekannt: Optionale und fakultative Komplemente, die teilweise unklare Grenze zwischen Adjunkten und Komplementen, Verbcluster usw.
Diese bekannten Probleme deuten schon darauf hin, dass eine solche Rektionsprüfung bestenfalls in einfachen, eindeutigen Fällen Erfolg haben könnte.
7.1.3.5 Substantiv- und Adjektivrektion
Das für die Verbrektion Gesagte gilt analog auch für Adjektiv- und Substantivrektion. Bestimmte Adjektive und einige Substantive (oft Picture Nouns genannt) regieren ebenfalls Nominal- oder Präpositionalphrasen. Hier tritt das bereits angesprochene Problem der optionalen
Komplemente besonders deutlich zutage, da von ganz wenigen Ausnahmen abgesehen (Adjektive wie behilflich oder eingedenk und Substantive wie Ausbund oder Abschaum) die Komplemente hier immer optional sind.
Zusammenfassend lässt sich also feststellen, dass es für einige Teilbereiche anderer Kongruenzen interessant sein könnte, das System auszubauen. Die meisten Bereiche sind allerdings
komplizierter und könnten nur mit der Unterstützung einer zusätzlichen vollen syntaktischen,
semantischen oder z. T. sogar Diskursanalyse sinnvoll behandelt werden.
7.1.4 Individuelle Anpassung des Systems an verschiedene Benutzer
In 6.3 wurde bereits erwähnt, dass das System zurzeit noch keine Möglichkeiten zur Anpassung an den Benutzer bietet. Bei einem weiteren Ausbau des Systems sollte geprüft werden,
inwieweit eine solche Anpassung die Benutzerfreundlichkeit weiter verbessern könnte. Grundsätzlich wären zwei Ansätze denkbar:
• Anpassung über Optionen
Bei dieser Variante könnte der Benutzer über ein geeignetes Optionenmenü das System
nach seinen Wünschen anpassen. Hier könnten z. B. einzelne Grammatikregeln zu- oder abgeschaltet werden, insbesondere solche, die häu;PX@ äzisionsfehler erzeugen.
175
Gerhard Fliedner
Ein Beispiel könnten die Grammatikregeln sein, die die Koordination von Nominalphrasen
erlauben. Zurzeit werden koordinierte Nominalphrasen auf ihre Kasuskongruenz geprüft
(vgl. 2.2.1). Mögliche Probleme bei der Identi
; M
N< (
> @ #
_ !
G
X B (
> W
@
!
] R
@ T
C H > nstruktur sind in 4.2 angesprochen. Falls ein Benutzer feststellt, dass es bei koordinierten Nominalphrasen häu;PX
zu Präzisionsfehlern kommt, könnte es wünschenswert sein, diese Überprüfung ganz ausschalten zu können. Technisch wäre dies kein großes Problem: Die entsprechenden Regeln
müssten in der Grammatik markiert werden und würden, sobald die Option ausgeschaltet
ist, beim Parsen nicht mehr verwendet.
Allerdings ist es nicht immer möglich, Fehlerklassen genau mit einzelnen Regeln in der
Grammatik in Bezug zu setzen, vgl. z. B. die in 6.4.3.1 beschriebenen Fehler bei der Analyse
von Phrasengrenzen.
• Automatische Anpassung
Eine weitere Möglichkeit, die auf jeden Fall weiter untersucht werden sollte, ist die automatische Anpassung der Grammatik an die Texte eines Benutzers. Über das Benutzerinterface
könnte das System Informationen darüber sammeln, welche Meldungen und Korrekturvorschläge der Benutzer akzeptiert und welche er ablehnt.
Grammatik und Kostenfunktionen könnten ohne großen Aufwand mit Gewichten für die
einzelnen Regeln versehen werden, die anhand der Informationen aus dem Benutzerinte rface
ständig aktualisiert werden könnten. Dazu könnten Regeln, die an akzeptierten Korrekturvorschlägen beteiligt waren, gestärkt und Regeln, die an abgelehnten Korrekturvorschlägen
beteiligt waren, geschwächt werden. Analysen, bei denen das Produkt (oder der Durchschnitt) der Gewichte der beteiligten Regeln unterhalb eines Schwellwertes blieben, würden
dann nicht mehr verwendet.
Über diese Rückkopplung könnte das System nach und nach nur noch erfolgreiche Regeln
anwenden und Regeln, die häu;X'(_'@R(M<JH<?QEG#H*b/>(]F^?>(@*G"X#>(bJD#]!@A]OC.i#>(GOE@RC(f!A/<JH\)]'C._HB>(@
Grammatik entfernen. Diese Technik ist als inkrementelles Lernen durch Verstärkung (Reinforcement) bekannt (vgl. z. B. Russel und Norvig 95, 523 ff. und 598 ff.). Allerdings würde
dies wahrscheinlich in einigen Fällen auf Kosten des Recalls gehen, falls nämlich bestimmte
Regeln, die häu;X'(_'@(=<JH*<?QGLHb/>(]!^N>(@*GebJD#]F@>(GG!<N\(]TA~'>(]F@C(G!X ewendet werden, so dass echte Fehler übersehen werden.
Dieser Ansatz müsste natürlich sorgfältig überprüft werden. Die hier beschriebene Herangehensweise erlaubt kein besonders efP
; M
?< (
> c
G A T
> H I
(
> *
@ O
G (
> r
G M
g

H *
H < O
G '
B .
C #
i (
> @ E
(
> a
@ R
H (
\ !
] ?< =
> B (
> G
> #
X (
> O
G (
> @ (
> Z^ ?^ >
; M
?< (
> F
G z
(
'
_ #
(
> @ E
i T
> a
H R
H (
> *
@ '
G h X h^ g Russel und Norvig 95, 598 ff.) Wie
Techniken bekannt, um die EfP
bei Lernalgorithmen i. A. gibt es verschiedene wahrscheinliche Problemstellen: Noise (d. h.
die Trainingsdaten erlauben keine eindeutigen Schlüsse) und Over:
J ? c
(d. h. das das System „Regelmäßigkeiten“ entdeckt, wo keine sind).
176
7 Schluss
7.1.5 Integration in Textverarbeitungssysteme
Das System verwendet zurzeit wie in 5.7 beschrieben eine einfache Benutzerschnittstelle zu
Demonstrationszwecken. Texte müssen als Datei in das Programm geladen werden, um dort
korrigiert zu werden.
Benutzerfreundlicher wäre die direkte Integration in Editoren und Textverarbeitungssysteme.
Eine solche Integration ist grundsätzlich möglich, da die eigentliche Prüf- und Korrekturfunktion auf Eingabestrings arbeitet. Viele Editoren und Textverarbeitungsprogramme verfügen
über Programmierschnittstellen, die es erlauben, auf den bearbeiteten Text direkt zuzugreifen
und externe Funktionen aufzurufen.
Zur Anzeige und Korrektur der Fehler könnte entweder das zurzeit verwendete Interface angepasst und weiter verwendet werden, es könnte aber auch ein Interface direkt über die Programmierfunktion des Editors bzw. der Textverarbeitung neu implementiert werden.
Technisch wäre diese Implementation recht einfach durchzuführen, aus Zeitgründen wurde
jedoch im Rahmen dieses Projektes davon abgesehen.
Interessanter als eine solche Offline-Kontrollfunktion (vgl. 2.1.4.1) wäre natürlich die Implementation einer echten Online-Korrektur (vgl. 2.1.4.2), die bereits den Text bereits während
der Eingabe des Benutzers prüft und ggf. korrigiert oder zumindest Korrekturvorschläge
macht. Grundsätzlich wäre auch diese enge Integration möglich, wenn die Programmierschnittstelle des Editors bzw. der Textverarbeitung eine solche ständige Überwachung der Eingabe
erlaubt.
Die Auswertung der Fehlerkorrektur hat gezeigt, dass das System in seinem aktuellen Zustand
für eine vollautomatische Korrektur der Eingaben noch nicht geeignet ist: Zum einen kann es
aus mehreren Korrekturvorschlägen zurzeit noch nicht automatisch den richtigen (oder zumindest den wahrscheinlichsten) auswählen. Zum zweiten fehlt noch in zu vielen Fällen (knapp
20 %) der richtige Korrekturvorschlag. Und zum dritten hat das System noch eine zu niedrige
Präzision; ein System, das in einem guten Viertel der Fälle einen Fehler in den Text hineinkorrigiert, würde zurecht als störend empfunden.
Eine vollautomatische Korrektur könnte daher nur erfolgreich sein, wenn das System über zusätzliche Informationen verfügt. Neben den erwähnten Möglichkeiten zur Verbesserung der
Korrektur und der automatischen Anpassung an den Benutzer könnte dies vor allem ein Verfahren sein, das die Eingaben des Benutzers im Hintergrund überwacht und anhand der so gewonnenen Informationen versucht Rückschlüsse auf die Intention des Benutzers zu ziehen. So
könnte beispielsweise ein solches System, wenn es beobachtet, dass der Benutzer in einer Nominalphrase das Substantiv durch ein anderes mit einem anderen Genus ersetzt automatisch
Determiner und Adjektive anpassen. Dieser Ansatz sollte auf jeden Fall weiter verfolgt werden.
177
Gerhard Fliedner
Dabei wird allerdings der direkte Rückschluss auf die Intention des Benutzers schwierig sein
und zunächst häu'/(JR(WI *#.¡O¢!£JU£N(/( *¢:¤ 69
7.2 Fazit
Das im Rahmen dieser Arbeit verwendete Konzept für eine Kongruenz- und Rektionsprüfung
in deutschen Nominal- und Präpositionalphrasen hat sich als geeignet zur Erfüllung dieser Aufgabe erwiesen.
Neben bekannten Verfahren ist auch eine neue Technik (endliche Automaten mit Rekursion)
angewandt und bekannte Verfahren neu kombiniert worden (Constraint Relaxation und Optimalitätstheorie). Die Ergebnisse der Evaluation bestätigen die grundsätzliche Brauchbarkeit der
Verfahren.
Das Erreichte kann als Ausgangspunkt für verschiedene Entwicklungen verwendet werden:
Das System kann in verschiedenen Richtungen erweitert werden (z. B. Prüfung anderer Grammatikfehler), der Formalismus der regulären Ausdrücke mit Rekursion soll weiter untersucht
und auf seine Eignung zur ¥M(O(¢e¦"( ( ¡E(£§h¨#¢F©¢O.§hª# *£N(( ¬« =(#( /ª#J§¯®( °)¢¨#¢°'°!£?
#
± .
/§ N£ E
² ¢ #
¨ O
¢ °
Ergebnisse der Evaluation können zum Aufbau einer differenzierteren Fehlerklassi
evtl. eines Fehlerkorpus genutzt werden.
Damit kann diese Arbeit als Grundlage für weitere Forschung und Entwicklung im Bereich der
Grammatikkorrektur dienen wird.
69
Vergleiche z. B. die Funktionen neuerer Textverarbeitungsprogramme, die z. B. einfache, „gerade“ Anführungszeichen durch die – typogra³O´hµ8¶'·M¸2¹h¹hº*·)»?º¼ – öffnenden und schließenden Anführungszeichen ersetzen.
Diese Funktion ist i. A. recht nützlich, scheitert aber in Fällen, in denen die „gerade“ Version intendiert ist
(z. B. als Zeichen für Zoll, vgl. 3,5"-Laufwerk).
178
8 Literatur
Abney, Steven P. 1991. „Parsing by Chunks“. In Robert C. Berwick, Steven P. Abney
und Carol Tenny (Hg.): Principle-Based Parsing: Computation and Psycholinguistics.
Kluwer, Dordrecht [u.a.].
Abney, Steven [P.]. 1996. „Partial Parsing via Finite-State Cascades“. Natural Language
Engineering 2(4). 337–344. Auch in John Carroll (Hg.). Workshop on Robust
Parsing. 8th European Summer School in Logic, Language and Information (ESSLLI
’96), Prag. 8–15.
M
½
° I
!
¢ ¾£ *
À
¿ mmar and Style
Adriaens, G[eert]. 1994. „The LRE SECC Project: Simpli
Correction in an MT Framework“. Proceedings of the 1st Language Engineering
Convention, Paris. 1–8.
Adriaens, Geert und Lieve Macken. 1995. „Technological Evaluation of a Controlled Language Application: Precision, Recall, and Convergence Tests for SECC“. Proceedings of the 6th International Conference on Theoretical and Methodological Issues in
Machine Translation (TMI 95), Leuven, Belgien. 123–141.
Agirre, E. [u.a.]. 1992. „XUXEN: A Spelling Checker/Corrector for Basque Based on
Two-Level Morphology“. Proceedings of the 3rd Conference on Applied Natural
Language Processing (ANLP), Trento. 119–125.
)
?£ (
T
¢ I
§ !
« /§ *
£ F
¢ e
Â
Á .
§ (
F
£ !
¢ Ä

z
Ã e
¢ z
Ã ?£ ° § ²
Aho, Alfred V. und Margaret J. Corasick. 1975. „Ef
Bibliographic Search“. Communications of the ACM 18(6). 333–340.
Allport, David. 1988. „The TICC: Parsing Interesting Text“. Proceedings of the 2nd
Conference on Applied Natural Language Processing (ANLP). 211–218.
Arppe, Antti. 1999. „Developing a Grammar Checker for Swedish“. Proceedings der
Nordiska datalingvistdagarna (NoDaLiDa’99), Trondheim.
Internet: http://benoni.hf.ntnu.no/nodalida99/program/arpe.txt (14.11.2000).
179
Gerhard Fliedner
Autebert, Jean-Michel, Jean Berstel und Luc Boasson. 1997. „Context-Free Languages and
Push-Down Automata“. In Arto Salomaa und Grzegorz Rozenberg (Hg.): Handbook
of Formal Languages. Springer, Berlin. 111–174.
Internet: http://citeseer.nj.nec.com/248295.html (11.4.2001).
Balsa, J., V. Dahl und J. G. Pereira Lopes. 1995. „Datalog Grammars for Abductive Syntactic Error Diagnosis and Repair“. Proceedings of the 5th International Workshop
on Natural Language Understanding and Logic Programming, Lisboa. 111–125.
Becker, Markus [u.a.]. 1999. „Annotation of Error Types for German News Corpus“.
Proceedings of the Association pour le Traitement Automatique des Langues (ATALA)
Treebank Workshop, Paris. Internet:
http://wwwtalana.linguist.jussieu.fr/~nbarrier/treeBank/doc/pdf/atala-flag-final.pdf
(11.4.2001).
Bernth, Arendse. 1997. „EasyEnglish: A Tool for Improving Document Quality“. Proceedings of the 5th Conference on Applied Natural Language Processing (ANLP),
Washington, D.C. 159–165.
Bernth, Arendse. 2000. „EasyEnglish: Grammar Checking for Non-Native Speakers“.
Proceedings of the 3rd International Workshop on Controlled Language Applications
(CLAW 2000), Seattle, Wash. 33–42.
Birn, Juhani. 1999. „Detecting Grammar Errors with Lingsoft’s Swedish Grammar
Checker“.
Proceedings der Nordiska datalingvistdagarna (NoDaLiDa’99),
Trondheim.
Internet: http://benoni.hf.ntnu.no/nodalida99/program/birn.txt (14.11.2000).
Blair, Charles R. 1960. „A Program for Correcting Spelling Errors“.
Control 3. 60–67.
Information and
Bolioli, Andrea, Luca Dini und Giovanni Malnati. 1992. „JDII: Parsing Italian with a Robust Constraint Grammar“. Proceedings of the 15th [!, eigtl. 14th] International
Conference on Computational Linguistics (COLING-92), Nantes. 1003–1007.
Bowden, Tanya und George Anton Kiraz. 1995. „A Morphographemic Model for Error
Correction in Nonconcatenative Strings“. Proceedings of the 33rd Annual Meeting of
the Association for Computational Linguistics (ACL), Boston, Mass. 24–30.
180
8 Literatur
Brants, Thorsten. 1999. „Cascaded Markov Models“. Proceedings of the 9th Conference
of the European Chapter of the Association for Computational Linguistics (EACL-99),
Bergen.
Internet: http://www.coli.uni-sb.de/~thorsten/publications/Brants-EACL99.ps.gz
(21.11.2000).
Brants, Thorsten. 2000. „Inter-Annotator Agreement for a German Newspaper Corpus“.
Proceedings of the 2nd International Conference on Language Resources and Evaluation (LREC-2000), Athen.
Internet: http://www.coli.uni-sb.de/~thorsten/publications/Brants-LREC00.ps.gz
(27.3.2001).
Brants, Thorsten, Wojciech Skut und Brigitte Krenn. 1997. „Tagging Grammatical Functions“. Proceedings of the Conference on Empirical Methods in Natural Language
Processing EMNLP-97.
Internet: http://www.coli.uni-sb.de/~thorsten/publications/Brants-ea-EMNLP97.ps.gz
(9.1.2001).
Brants, Thorsten, Wojciech Skut und Hans Uszkoreit. 1999. „Syntactic Annotation of a
German Newspaper Corpus“. Proceedings of the Association pour le Traitement
Automatique des Langues (ATALA) Treebank Workshop, Paris.
Internet: http://www.coli.uni-sb.de/~thorsten/publications/Brants-ea-ATALA99.ps.gz
(27.3.2001).
Brawer, Sascha. 1998. Patti. Compiling Uni#Å(Æ:?JÇ! -Based Finite-State Automata into
Machine Instructions for a Superscalar Pipelined RISC Processor. Diplomarbeit.
Universität des Saarlandes, Saarbrücken.
Bredenkamp, [Andrew], [Berthold] Crysmann und [Mirela] Petrea. 2000. Looking for Errors. A Declarative Formalism for Resource-Adaptive Language Checking.
Internet: http://flag.dfki.de/pdf/ErrDesc.pdf (25.7.2000).
Briscoe, Edward. 1993. Prospects for Practical Parsing of Unrestricted Text: Robust Statistical Parsing Methods. Technical Report MLTT-005. Rank Xerox Research
Centre, Grenoble.
Bury, Ernst. 2000. Machen Sie es richtig! Stolpersteine im Deutschen: Schnelle Hilfe von
Aussprache bis Satzbau. Rowohlt Taschenbuch Verlag/AOL Verlag, Reinbek bei
Hamburg [u.a.].
Carbonell, Jaime G. und Philip J. Hayes. 1983. „Recovery Strategies for Parsing Extragrammatical Language“. Computational Linguistics 9(3). 123–147.
181
Gerhard Fliedner
Carbonell, Jaime G. und Philip J. Hayes. 1984. „Coping with Extragrammaticality“. Proceedings of 10th International Conference on Computational Linguistics (COLING84), Stanford, Cal. 437–443.
Carl, Michael und Antje Schmidt-Wigger. 1998. „Shallow Post Morphological Processing
with KURD“. Proceedings of the International Conference on New Methods in
Language Processing 98 (NeMLaP), Sydney.
Internet: http://www.iai.uni-sb.de/docs/papers/nemlap.ps (27.7.2000).
Carl, Michael, Antje Schmidt-Wigger und Munpyo Hong. 1997. „KURD – A Formalism
for Shallow Post Morphological Processing“. Proceedings of the Natural Language
Processing Paci#ÅÈ?ÉËÊTÌFÉÀÍLÇ!Î2¾Ï!ÉÑÐÒÓ`Ô"ÕÖ:È¬ÊM× , Phuket, Thailand.
Internet: http://www.iai.uni-sb.de/docs/papers/kurd.ps (27.7.2000).
Carlberger, Johan [u.a.].
In Vorbereitung.
„A Swedish Grammar Checker“.
Computational Linguistics. Internet:
http://www.nada.kth.se/theory/projects/granska/rapporter/compling20000419.pdf
(16.1.2001).
Catt, Mark Edward. 1988. Intelligent Diagnosis of Ungrammaticality in ComputerAssisted Language Instruction. MS Thesis, auch als Technical Report CSRI-218.
University of Toronto, Toronto.
Chandler, Bob.
1989.
„Grammar Problems?“. Electric Word 15.
46–50.
Chanod, Jean-Pierre. 1994. Finite-State Composition of French Verb Morphology.
Technical Report MLTT-005. Rank Xerox Research Centre, Grenoble.
Chanod, Jean-Pierre, Simonetta Montemagni und Frédérique Segond. 1994. „Dynamic
relaxation: Measuring the Distance from Text to Grammar“. In Carlos Matín-Vide
(Hg.): Current Issues in Mathematical Linguistics. Elsevier, Amsterdam. 373–379.
Chomsky, Noam. 1957.
Hague [u.a.].
Chomsky, Noam.
1965.
Syntactic Structures.
Tenth Printing, 1972.
Aspects of the Theory of Syntax.
Mouton, The
M.I.T. Press, Cambridge, Mass.
Church, Kenneth Ward. 1988. „A Stochastic Parts Program and Noun Phrase Parser for
Unrestricted Text“. Proceedings of the 2nd Conference on Applied Natural Language Processing (ANLP), Austin, Tex. 136–143.
Cole, Ronald [u.a.]. 1997. Survey of the State of the Art in Human Language Technology.
Cambridge University Press/Giardini Editori, Cambridge [u.a.].
182
8 Literatur
Console, Luca und Pietro Torasso. 1991. „A Spectrum of Logical De
!
¢ `£ /§ ?£ E
² #
¢ '
²
Â
Á #
² ° (
based Diagnosis“. Computational Intelligence 7. 133–141.
Crysmann, Berthold.
1997.
Fehlerannotaion.
Interner Report.
DFKI, Saarbrücken.
Damerau, Fred J. 1964. „A Technique for Computer Detection and Correction of Spelling
Errors“. Communications of the Association for Computing Machinery 7(3). 171–
176.
DeJong, G[erald F.]. 1982. „An Overview over the FRUMP System“. In Wendy G.
Lehnert und Martin H. Ringle (Hg.): Strategies for Natural Language Processing.
Erlbaum, Hillsdale, NJ. 149–176.
de Smedt, Koenraad und Victoria Rosén. 1999. „Automatic Proofreading for Norwegian:
The Challenges of Lexical and Grammatical Variation“. Proceedings der Nordiska
datalingvistdagarna (NoDaLiDa’99), Trondheim.
Internet: http://fasting.hf.uib.no/papers/nodalida99pub.html (18.7.2000).
Douglas, Shona und Robert Dale. 1992. „Towards Robust PATR“. Proceedings of the
15th [eigtl. 14th] International Conference on Computational Linguistics (COLING92), Nantes. 468–474.
Duden.
1998. Grammatik der deutschen Gegenwartssprache. Hg. Dudenredaktion.
Bearb. von Peter Eisenberg u.a. 6., neu bearb. Au ¥¤ÙØ¨:°(¢TÚE( *?(#ÛÁÜ(¢!¢F(£Ý Þ¨¤`!¤`ßa¤
EAGLES. 1995. EAGLES. Evaluation of Natural Language Processing Systems. Eagles
Document EAG-EWG-PR.2. Expert Advisory Group on Language Engineering
Standards.
Internet: http://issco-www.unige.ch/projects/ewg96/ewg96.html (18.7.2000).
Earley, Jay. 1970. „An Ef¯
(
?£ (
c
¢ § ¬
à ² T
¢ § .
F
á § -Free Parsing Algorithm“.
the ACM 13(2). 94–102.
Communications of
Engelkamp, Judith, Gregor Erbach und Hans Uszkoreit. 1992. „Handling Linear Precedence Constraints by Uni
=
.
/§ ?£ ² â
¢ ¤
Proceedings of the 30th Annual Meeting of the
Association for Computational Linguistics (ACL), Newark, Del. 201–208.
Erbach, Gregor. 1990. Syntactic Processing of Unknown Words.
Institut für Computerlinguistik, Saarbrücken.
CLAUS Report 3.
Erbach, Gregor. 1993. Towards a Theory of Degrees of Grammaticality.
34. Institut für Computerlinguistik, Saarbrücken.
183
CLAUS Report
Gerhard Fliedner
Fliedner, Gerhard. In Vorbereitung. „Korrekturprogramme“. In Kai-Uwe Carstensen
[u.a.] (Hg.): Computerlinguistik und Sprachtechnologie – Eine Einführung.
Spektrum, Heidelberg.
Frank, Annette [u.a.]. 1998. „Optimality Theory Style Constraint Ranking in Large-scale
LFG Grammars“. Proceedings of the LFG98 Conference, Brisbane, Australien.
Internet:
http://www.ims.uni-stuttgart.de/ftp/pub/papers/anette/lfg98-ot-online.ps.gz
(21.11.2000).
Frenckner, Kerstin. 1990. Legibility of Continuous Text on Computer Screens – A Guide
to the Literature. IPLab-rapport 25, TRITA-NA-P9010. Kungliga Tekniska
Högskolan, Stockhom.
Genthial, Damien und Jacques Courtin. 1992. „From Detection/Correction to Computer
Aided Writing“. Proceedings of the 15th [!, eigtl. 14th] International Conference on
Computational Linguistics (COLING-92), Nantes. 1013–1018.
Genthial, Damien, Jacques Courtin und Jacques Ménézo. 1994. „Towards a More Userfriendly Correction“. Proceedings of the 15th International Conference on Computational Linguistics (COLING-94) ÛãzäOå!§²¯¤ 1083–1088.
Goeser, Sebastian. 1991. Eine linguistische Theorie der Robustheit.
Konstanz. Zugleich Dissertation, Universität Stuttgart.
Hartung-Gorre,
Golding, Andrew R. 1995. „A Bayesian Hybrid Method for Context-Sensitive Spelling
Correction“. Proceedings of the 3rd Workshop on Very Large Corpor a. 39–53.
Golding, Andrew R. und Dan Roth. 1996. „Applying Winnow to Context-Sensitive Spelling Correction“. Machine Learning: Proceedings of the 13th International Conference, Bari. 182–190.
Golding, Andrew R. und Yves Schabes. 1996. „Combining Trigram-based and Featurebased Methods for Context-Sensitive Spelling Correction“. Proceedings of the 34th
Annual Meeting of the Association for Computational Linguistics (ACL), Santa Cruz,
Cal. 71–78.
Grefenstette, Gregory und Pasi Tapanainen. 1994. What Is a Word, What Is a Sentence?
Problems of Tokenization. Technical Report MLTT-004. Rank Xerox Research
Centre, Grenoble.
Internet: http://www.xrce.xerox.com/publis/mltt/mltt-004.ps (30.11.2000).
Grimley Evans, Edmund. 1997. „Approximating Context-Free Grammars with a FiniteState Calculus“. Proceedings of the 33rd Annual Meeting of the Association for
Computational Linguistics (ACL), Madrid. 452–459.
184
8 Literatur
Haapalainen, Mariikka und Ari Majorin. 1994. GERTWOL: Ein System zur automatischen
Wortformerkennung deutscher Wörter.
Internet: http://www.lingsoft.fi/doc/gertwol/intro/gertwol.txt (18.7.2000).
Haapalainen, Mariikka und Ari Majorin. 1995. GERTWOL und Morphologische Disambiguierung für das Deutsche.
Internet: http://www.lingsoft.fi/doc/gercg/NODALIDA-poster.html (18.7.2000).
Haller, Johann. 1996. MULTILINT.
Internet: http://www.iai.uni-sb.de/docs/aslib.ps (27.7.2000).
Hayes, Philip J. und George V. Mouradian. 1981. „Flexible Parsing“.
of Computational Linguistics 7(4). 232–242.
American Journal
Heidorn, George E. 1975. „Augmented Phrase Structure Grammars“.
in Natural Language Processing (TINLAP). 1–5.
Theoretical Issues
Heidorn, George [E.]. 1993. „Experience with an Easily Computed Metric for Ranking
Alternative Parses“. In Karen Jensen, George E. Heidorn und Stephen D. Richardson
(Hg.): Natural Language Processing: The PLNLP Approach. Kluwer, Boston, Mass.
[u.a.]. 47–52.
Heidorn, G[eorge] E. [u.a.]. 1982. „The EPISTLE Text-Critiquing System“.
tems Journal 21(3). 305–326.
IBM Sys-
Hirschman, Lynette und Henry S. Thompson. 1997. „Overview of Evaluation in Speech
and Natural Language Processing“. In Ronald Cole [u.a.] (Hg.): Survey of the State
of the Art in Human Language Technology. Cambridge University Press/Giardini
Editori, Cambridge [u.a.]. 409–414.
æ
tek. 1997. „A Prototype of a Grammar
Checker for Czech“. Proceedings of the 5th Conference on Applied Natural Language Processing (ANLP), Washington, D. C. 147–154.
²?(¢Ûç²EÝ'ècéÛz¦?=°!£J*?2Úêãz¨¡#²ëY¨#¢°YÁÜ( §/£¢Yì?è
Hopcroft, John E. und Jeffrey D. Ullman. 1979. Introduction to Automata Theory, Languages, and Computation. Addison-Wesley, Reading, Mass. u.a.
Imaichi, Osamu und Yuji Matsumoto. 1995. „Integration of Syntactic, Semantic and Contextual Ill-Formed Inputs“. Proceedings of the 14th International Joint Conference
on Arti#ÅMÆ#írî/:ïMí¾íJ`ï(#ÅMïeÓJî¾ð#ñò&îN× , Montréal. 1435–1440.
Jensen, K[aren] [u.a.]. 1983. „Parse Fitting and Prose Fixing: Getting a Hold on IllFormedness“. American Journal of Computational Linguistics 9(3). 147–160.
185
Gerhard Fliedner
Joshi, Aravind. 1997. „Parsing Techniques“. In Ronald Cole [u.a.] (Hg.): Survey of the
State of the Art in Human Language Technology.
Cambridge University
Press/Giardini Editori, Cambridge [u.a.]. 351–356.
Kager, René.
1999.
Optimality Theory.
Cambridge University Press, Cambridge [u.a.].
Kaplan, Ronald M. und Joan Bresnan. 1982. „Lexical-Functional Grammar: A Formal System for Grammatical Representation“. In Joan Bresnan (Hg.): The Mental Representation of Grammatical Relations. MIT Press, Cambridge, Mass. 173-281.
Karlsson, Fred [u.a.]. 1995. Constraint Grammar – A Language Independent System for
Parsing Unrestricted Text. Mouton de Gruyter, Berlin [u.a.].
Karttunen, Lauri. 1998. „The Proper Treatment of Optimality in Computational Phonology“. Proceedings of the International Workshop on Finite State Methods in Natural
Language Processing (FSMNLP ’98), Ankara.
Internet: http://www.rxrc.xerox.com/publis/mltt/pto/bilkent.ps (9.1.2001).
Karttunen, Lauri. 2000. „Applications of Finite-State Transducers in Natural-Language [!]
Processing“. Proceedings of the 5th International Conference on Implementation
and Application of Automata (CIAA 2000), London, Ontario (Kanada). Internet:
http://www.rxrc.xerox.com/research/mltt/publications/Documents/P54101/content/fst-i
nnlp.ps (9.1.2001).
Karttunen, L(auri) [u.a.]. 1996. „Regular expressions for language engineering“.
Language Engineering 2(4). 305–328.
Natural
Karttunen, Lauri, Ronald M. Kaplan und Annie Zaenen. 1992. „Two-Level Morphology
with Composition“. Proceedings of the 15th [eigtl. 14th] International Conference
on Computational Linguistics (COLING-92), Nantes. 141–148.
Kato, Tsuneaki. 1994. „Yet Another Chart-Based Technique for Parsing Ill-Formed Input“. Proceedings of the 4th Conference on Applied Natural Language Processing
(ANLP), Stuttgart. 107–112.
Katz, Jerrold J. 1964. „Semi-Sentences“. In J.A. Fodor und Jerrold J. Katz (Hg.): The
Structure of Language: Readings in the Philosophy of Language. Prentice-Hall,
Eaglewood Cliffs, NJ. 400–416.
Koskenniemi, Kimmo. 1983. Two-Level Morphology: A General Computational Model for
Word-Form Recognition and Production.
Offset Oy, Helsinki.
Zugleich
Dissertation, Universität Helsinki.
186
8 Literatur
Kudo, Ikuo [u.a.]. 1988. „Schema Method: A Framework for Correcting Grammatically
Ill-Formed Input“. Proceedings of 12th International Conference on Computational
Linguistics (COLING-88), Budapest. 341–347.
Kukich, Karen. 1992. „Techniques for Automatically Correcting Words in Text“.
Computing Surveys 24(4). 377–439.
ACM
Kwasny, Stan C. und Norman K. Sondheimer. 1981. „Relaxation Techniques for Parsing
Ill-Formed Input in Natural Language Systems“. American Journal of Computational
Linguistics 7(2). 99–108.
Lari, K. und S.J. Young. 1990. „The Estimation of Stochastic Context-Free Grammars
Using the Inside-Outside Algorithm“. Computer Speech and Language 4. 35–56.
Lesmo, Leonardo und Pietro Torasso. 1984. „Interpreting Syntactically Ill-Formed Sentences“. Proceedings of the 10th International Conference on Computational Linguistics (COLING-84), Stanford, Cal. 534–539.
Lewis, Harry R. und Christos H. Papadimitriou. 1981.
Computation. Prentice Hall, Englewood Cliffs, NJ.
Elements of the Theory of
Mays, Eric, Fred J. Damerau und Robert L. Mercer. 1991. „Context Based Spelling Correction“. Information Processing & Management 27(5). 517–522.
Mellish, Chris S. 1989. „Some chart-based Techniques for Parsing Ill-formed Input“.
Proceedings of the 27th Annual Meeting of the Association for Computational Linguistics (ACL), Vancouver. 102–109.
Menzel, Wolfgang. 1988. „Error Diagnosing and Selection in a Training System for Second Language Learning“. Proceedings of 12th International Conference on Computational Linguistics (COLING-88), Budapest. 414–419.
Menzel, Wolfgang. 1995. „Robust Processing of Natural Language“. Computation and
Language E-Print Archive.
Internet: http://xxx.lanl.org/ps/cmp-lg/9507003
(27.7.2000). Auch in Proceedings of the 19th Annual German Conference on
Arti#ÅM?Æ#íPî/:ï=íJíJ`ï(#ÅMïeÓ`óî -95), Bielefeld. 19–34.
Menzel, Wolfgang. 2000. „Theory and Applications in Computational Linguistics – Is
There Common Ground?“. Symposium „Computerlinguistik: Divergenz oder Synergie“, Heidelberg.
Internet: http://nats-www.informatik.uni-hamburg.de/wolfgang/papers/hellwig.ps.gz
(21.11.2000).
Miller, Lance A. 1986. „Computers for Composition: A Stage Model Approach to Helping“. Visible Language 2. 188–218.
187
Gerhard Fliedner
Min, Kyongho und William H. Wilson. 1997. „Integrated Correction of Ill-Formed Sentences“. Proceedings of the 10th Australian Conference on Arti#ÅMÆ#íPîx:ïMí¾íJï)#ÅMï
(AI-97), Perth, Australien. 369–378.
Minton, Steven, Philip J. Hayes und Jill Fain. 1985. „Controlling Search in Flexible Parsing“. Proceedings of the 9th International Joint Conference on Arti#ÅMÆ#íPîx:ïMí¾íJï)#ÅMï
(IJCAI 85), Los Angeles, Cal. 785–787.
Mitûšin (Mitjushin), L[eonid] G. 1993. „ô õFöE÷÷#øMõFùrúrú ö#ûSúrüö#õ ýMö#þ2ÿMýMörú ÷OýMý=õ!ú
øMõ!ý (O korrekcii ošibok soglasovaniâ v russkih textah, „Die Korrektur von Kon
!"#%$&'() $+*,
- gruenzfehlern in russischen Texten“)“.
*+,
Ó`ÔzÆ#Ï-(#Ç - .ï0/#1-Mï(Î32=Æ4 îx658Ç7aÉÆ#ÅM84'Ê#ï07
×:9
;< . 28–32. Auf Russisch.
Mitjushin, Leonid [G.]. 1996. „An Agreement Corrector for Russian“. Proceedings of
the 16th International Conference on Computational Linguistics (COLING-96),
København. 776–781.
Mohri, Mehryar. 1996. „On some Applications of Finite-State Automata Theory to Natural
Language Processing“. Natural Language Engineering 2(1). 61–80.
Naumann, Sven und Hagen Langer. 1994. Parsing. Eine Einführung in die maschinelle
Analyse natürlicher Sprache. Teubner, Stuttgart.
Nederhof, Mark-Jan. 1998. „Context-Free Parsing through Regular Approximation“.
Proceedings of the International Workshop on Finite State Methods in Natural Language Processing (FSMNLP ’98), Ankara, Türkei.
Internet: ftp://lt-ftp.dfki.uni-sb.de/pub/papers/local/nederhof98a.ps.gz (6.3.2001).
Netter, Klaus. 1994. „Towards a Theory of Functional Heads: German Nominal Phrases“.
In John Nerbonne, Klaus Netter und Carl Pollard (Hg.): German in Head-driven
Phrase Structure Grammar. CSLI Publications, Stanford, Cal. 297 –340.
Oliva, Karel. 1997. „Techniques for Accelerating a Grammar-Checker“. Proceedings of
the 5th Conference on Applied Natural Language Processing (ANLP), Washington,
D. C. 155–158.
Paggio, Patrizia. 1999. „Syntactic Analysis and Error Correction in the SCARRIE Project“.
Proceedings der Nordiska datalingvistdagarna (NoDaLiDa’99), Trondheim. 152–
161.
Internet: http://www.cst.ku.dk/patrizia/nodalida/nodalida.ps.gz (21.11.2000).
188
8 Literatur
Paggio, Patrizia. 2000. „Spelling and Grammar Correction for Danish in SCARRIE“.
Proceedings of the 6th Conference on Applied Natural Language Processing (ANLP),
Seattle, Wash. 255–261.
Internet: http://www.cst.ku.dk/patrizia/ANLP/anlp_paper.ps.gz (21.11.2000).
Pease, C. [u.a.]. 2000. „MULTILINT/MULTIDOC Demonstration“. Proceedings of the
3rd International Workshop on Controlled Language Applications (CLAW 2000),
Seattle, Wash. 154.
Pereira, Fernando C.N. und Rebecca N. Wright. 1991. „Finite State Approximation of
Phrase Structure Grammars“. Proceedings of the 29th Annual Meeting of the Association for Computational Linguistics (ACL), Berkeley, Cal. 246–255.
Pollard, Carl und Ivan A. Sag.
1994.
University of Chicago Press, Chicago.
Head-driven Phrase Structure Grammar.
Povlsen, Claus, Anna Sågvall Hein und Koenraad de Smedt. 1999. Scarrie. Final Project
Report. WordFinder Software AB, Växjö.
Internet: http://www2.hltcentral.org/hlt/projects/scarrie/ScarrieFinal.doc (23.9.2000).
Rager, John E. 1994. „Two-Level Grammars and Robustness in Natural Language
Processing“. Proceedings of the 22nd Annual Conference on Computer Science
(CSC94), Phoenix, Ariz. 372–379.
Ramírez Bustamente, Flora, Thierry Declerck und Fernando Sánchez[-]León. 2000. „Towards a Theory of Textual Errors“. Proceedings of the 3rd International Workshop
on Controlled Language Applications (CLAW 2000), Seattle, Wash. 20–32.
Ramírez Bustamente, Flora [u.a.].
1995.
GramCheck Lingware Final Report.
Universidad Carlos III de Madrid, Universidad Autónoma de Madrid, Madrid.
Internet: http://www.lllf.uam.es/flora/projects/GC_Final_Report/Report.html
(25.7.2000).
Ramírez Bustamente, Flora und Fernando Sánchez[-]León. 1996. „GramCheck: A Grammar and Style Checker“. Proceedings of the 16th International Conference on Computational Linguistics (COLING-96), København.
Internet: http://www.lllf.uam.es/flora/PostScript/coling96.ps (25.7.2000).
Ravin, Yael. 1993. „Grammar Errors and Style Weaknesses in a Text-Critiquing System“.
In Karen Jensen, George E. Heidorn und Stephen D. Richardson (Hg.): Natural Language Processing: The PLNLP Approach. Kluwer, Boston, Mass [u.a.]. 65–76.
Richardson, Stephen [D.] und Lisa Braden-Harder. 1993. „The Experience of Developing a
Large-Scale Natural Language Processing System: Critique“. In Karen Jensen,
189
Gerhard Fliedner
George E. Heidorn und Stephen D. Richardson (Hg.): Natural Language Processing:
The PLNLP Approach. Kluwer, Boston, Mass [u.a.]. 77–90.
Resnik, Philip. 1992. „Probabilistic Tree-Adjoining Grammar as a Framework for Statistical Natural Language Processing“. Proceedings of the 15th [!, eigtl. 14th] International Conference on Computational Linguistics (COLING-92), Nantes. 418–424.
Roche, Emmanuel. 1994. „Two Parsing Algorithms by Means of Finite State Transducers“.
Proceedings of the 15th International Conference on Computational Linguistics
(COLING-94) =#>@?BABCEDGFIHJLK –435.
Rodríguez Sellés, Yolanda, Rafael Marín Gálvez und Karel Oliva. 1996. Errors and Error
Detecting Techniques in Grammar Checking. Final Research Report, Joint Research
Project PECO 2824 „Language Processing Technologies for Slavic Languages“.
Universidad Autónoma de Barcelona/Universität des Saarlandes, Barcelona, Spanien
[u.a.].
Roesner, Dietmar. 1988. „Why Implementors of Practical NLP Systems Can not Wait for
Linguistic Theories. Remarks and Theses.“. Proceedings of 12th International Conference on Computational Linguistics (COLING-88), Budapest. 450.
Rosén, Victoria und Koenraad de Smedt. 1998. „SCARRIE: Automatisk korrekturlesning
for skandinaviske språk (SCARRIE: Automatische Korrektur für skandinavische
Sprachen)“. Mons 7: Utvalde artiklar frå det 7. Møtet Om Norsk Språk i Trondheim
1997, Oslo. 197–210.
Internet: http://fasting.hf.uib.no/~desmedt/MONS7-paper.html (14.11.2000). Auf
Norwegisch.
Russel, Stuart J. und Peter Norvig. 1995. ArtiMNO8PQSRUTWV8XQYQYO[ZGX0TNX\^]`_bacX0deTf]hgg
diaPN0j\
Prentice Hall, Upper Saddle River, NJ.
Sågvall Hein, A[nna]. 1987. „Parsing by Means of Uppsala Chart Processor (UCP)“. In
Leonard Bolc (Hg.): Natural Language Parsing Systems. Springer, Berlin [u.a.].
203–266.
Sågvall Hein, Anna. 1999. A Grammar Checking Module for Swedish (RE). SCARRIE
Deliverable DEL 6.6.3/Working Papers in Computational Linguistics & Language Engineering 12c. Uppsalas Universitet, Uppsala.
Internet: http://www.ling.uu.se/wp/wp12c.pdf (14.11.2000).
190
8 Literatur
Samuelsson, Christer. 1993. „Morphological Tagging Based Entirely on Bayesian Inference“. Proceedings der Nordiska datalingvistdagarna (NoDaLiDa’93), Stockholm.
Internet: http://www.nodali.sics.se/bibliotek/nodalida/1993_sthlm/NODA9321/NODA93-21.html (11.4.2001).
Sánchez-León, Fernando, Flora Ramírez Bustamente und Thierry Declerck. 1999. „Integrated Set of Tools for Robust Text Processing“. Proceedings of the VEXTAL Conference, Venezia.
Internet: http://www.lllf.uam.es/flora/PostScript/vextal99.ps (25.7.2000).
Schabes, Yves und Richard C. Waters. 1994. Stochastic Lexicalized Context-Free Grammar.
Technical Report 93-12.
Mitsubishi Electric Research Laboratories,
Cambridge, Mass.
Internet: http://www.merl.com/reports/TR93-12/TR93-12.ps.gz (23.1.2001).
Schachtl, Stefanie. 1992. „Zur Distribution des attributiven Relativsatzes im Deutschen“.
Linguistische Berichte 142. 437–450.
Schank, Roger C. 1973. „Identim
k l n UC po D f
q D t
r :
s D Bq l 0u v xC W
w 0n zy |o { n UC po D +
q t
} ^
~ Bq 0u y %? |o %q
S
n xC w 0n #
y
n nguage“. In Roger C. Schank und Kenneth Mark Colby (Hg.): Computer Models of
Thought. Freeman, San Francisco, Cal. 187–247.
Schlegel, Hans. 1995. Sicher zu gutem Deutsch. Ein Lehr-, Lern- und Arbeitsheft für die
Aus- und Weiterbildung. Band 2: Stolpersteine der Grammatik. Sauerländer, Aarau,
Schweiz [u.a.].
Schmid, Helmut und Sabine Schulte im Walde. 2000. „Robust German Noun Chunking
with a Probabilistic Context-Free Grammar“. Proceedings of the 18th International
Conference on Computational Linguistics (COLING-2000), Saarbrücken.
Internet: http://www.ims.uni-stuttgart.de/~schulte/Paper/coling_00a.ps.gz
(21.11.2000).
Schwind, Camilla. 1988. „Sensitive Parsing: Error Analysis and Explanation in an Intelligent Language Tutoring System“. Proceedings of 12th International Conference on
Computational Linguistics (COLING-88), Budapest. 608–613.
Severinsson-Eklundh, Kerstin. 1993. Skrivprocessen och datorn (Der Schreibprozess und
der Computer).
IPLab-rapport 61, TRITA-NA-P9301.
Kungliga Tekniska
Högskolan, Stockhom.
Internet: ftp://ftp.nada.kth.se/IPLab/TechReports/IPLab-61.ps.Z (30.11.2000). Auf
Schwedisch.
191
Gerhard Fliedner
Severinsson[-]Eklundh, Kerstin und Py Kollberg. 1992. Translating Keystroke Records
into a General Notation for the Writing Process. IPLab-rapport 59, TRITA-NAP9223. Kungliga Tekniska Högskolan, Stockhom.
Internet: ftp://ftp.nada.kth.se/IPLab/TechReports/IPLab59/IPLab-59a.ps.Z und
IPLab-59b.ps.Z (8.12.2000).
Shieber, Stuart M. 1986. An Introduction to UniMN0PWVpOYaT -based Approaches to Grammar.
University of Chicago Press, Chicago, Ill.
Simpkins, N.K. Ohne Jahr. ALEP (Advanced Language Engineering Platform). An Open
Architecture for Language Engineering.
Internet: http://www.iai.uni-sb.de/alep/open-arch.ps (23.1.2001).
Skut, Wojciech [u.a.]. 1997. „An Annotation Scheme for Free Word Order Languages“.
Proceedings of the 5th Conference on Applied Natural Language Processing (ANLP),
Washington, D.C.
Internet: http://www.coli.uni-sb.de/~thorsten/publications/Skut-ea-ANLP97.ps.gz
(27.3.2001).
Sofkova Hashemi, Sylvana . 2000. Finite State Grammar for Finding Grammatical Errors
in Swedish Text.
Internet: http://www.cling.gu.se/~sylvana/FSG/FSGbody.html (16.1.2001).
Sparck Jones, Karen und Julia R. Galliers. 1996. Evaluating Natural Language Systems.
An Analysis and Review. Springer, Berlin [u.a.].
Stede, Manfred. 1992. „The Search for Robustness in Natural Language Understanding“.
ArtiMNOpPQRUTWVpXQYQ1OZGX0TNX'XO1X 6. 383–414.
TEMAA. 1997. TEMAA D16. Final Report.
Internet: http://www.cst.ku.dk/projects/temaa/D16/d16exp.html (18.7.2000).
Thurmair, Gregor. 1990. „Parsing for Grammar and Style Checking“. Proceedings of
13th International Conference on Computational Linguistics (COLING-90), Helsinki.
365–370.
Tomita, Masaru. 1988. „‘Linguistic’ Sentences and ‘Real’ Sentences“. Proceedings of
12th International Conference on Computational Linguistics (COLING-88), Budapest.
453.
Toole, Janine. 1999. „Categorizing Unknown Words: A Decision Tree-Based Misspelling
Identi
k 0u t
F Advanced Topics in ArtiMNO8PQRUTWVpXQYQ1OZGX0TNX\V|j]V|d3PQYOpPTSBaO8TWVaT6X rence on ArtiMNOpPQRUTWV8XQ1QYO[ZGX0TNX0m]R ’99, Sydney, Australia, December 6-10, 1999, Proceedings. (Lecture Notes in AI 1747), Heidelberg. 122–133.
192
8 Literatur
Tsujii, Jun-ichi. 1988. „Reasons Why I Do Not Care Grammar Formalism [sic!]“. Proceedings of 12th International Conference on Computational Linguistics (COLING88), Budapest. 452.
Uszkoreit, Hans. 1991. „Strategies for Adding Control Information to Declarative Grammars“. Proceedings of the 29th Annual Meeting of the Association for Computational Linguistics (ACL), Berkeley, Cal. 237–245.
Uszkoreit, Hans. 1997. „Mathematical Methods: Overview“. In Ronald Cole [u.a.] (Hg.):
Survey of the State of the Art in Human Language Technology. Cambridge
University Press/Giardini Editori, Cambridge [u.a.]. 337–342.
Uszkoreit, Hans und Annie Zaenen. 1997. „Grammar Formalisms“. In Ronald Cole [u.a.]
(Hg.): Survey of the State of the Art in Human Language Technology. Cambridge
University Press/Giardini Editori, Cambridge [u.a.]. 100–102.
Uszkoreit, Hans [u.a.]. 1998. Studien zur performanzorientierten Linguistik. Aspekte der
Relativsatzextraposition im Deutschen.
CLAUS-Report 99.
Universität des
Saarlandes, Saarbrücken. Internet:
http://www.coli.uni-sb.de/~thorsten/publications/Uszkoreit-ea-CLAUS99.ps.gz
(27.3.2001)
Véronis, Jean. 1988. „Morphosyntactic Correction in Natural Language Interfaces“. Proceedings of 12th International Conference on Computational Linguistics (COLING88), Budapest. 708–713.
Viterbi, Andrew J. 1967. „Error Bounds for Convolutional Codes and an Asymptotically
Optimum Decoding Algorithm“. IEEE Transactions on Information Theory 13(2).
260–269.
Vosse, Theo. 1992. „Detecting and Correcting Morpho-syntactic Errors in Real Texts“.
Proceedings of the 3rd Conference on Applied Natural Language Processing (ANLP),
Trento, Italien. 111–118.
Wagner, Robert A. 1974. „Order-n Correction for Regular Languages“.
of the ACM 17(5). 265–268.
Communications
Wedbjer Rambell, Olga. 1999b. A Study of Three Commercial Grammar Checkers.
SCARRIE Deliverable DEL 6.1/Working Papers in Computational Linguistics & Language Engineering 9.
Uppsala.
Internet: http://www.ling.uu.se/wp/wp9.pdf
(14.11.2000)
Wedbjer Rambell, Olga. 1999b. Swedish Phrase Constituent Rules. A Formalism for the
Expression of Local Error Rules. Local Error Rules for Swedish. SCARRIE Deliver193
Gerhard Fliedner
able DEL 6.3.3, 6.4, 6.4.3/Working Papers in Computational Linguistics & Language
Engineering 11a. Uppsalas Universitet, Uppsala.
Internet: http://www.ling.uu.se/wp/wp11a.pdf (14.11.2000).
Weischedel, Ralph M. und John E. Black. 1980. „Responding Intelligently to Unparsable
Input“. American Journal of Computational Linguistics 6(2). 97–109.
u l UC po D q h
} D #
q UC u ¡
> Bq BD £
¢ py u u
Weischedel, Ralph M. und Lance A. Ramshaw. 1987. „Rem
Needed to Process Ill-formed Language“. In Sergei Nirenburg (Hg.): Machine Translation. Cambrdige University Press, Cambridge. 155–167.
Weischedel, Ralph M. und Norman K. Sondheimer. 1983. „Meta-Rules as a Basis for
Processing Ill-Formed Output“. American Journal of Computational Linguistics
9(3). 161–177. Auch in Ronan G. Reilly (Hg.). 1987. Communication Failure in
Dialogue and Discourse. North Holland, Amsterdam [u.a.]. 99–120.
Wojcik, Richard H. und James E. Hoard. 1997. „Controlled Languages in Industry“. In
Ronald Cole [u.a.] (Hg.): Survey of the State of the Art in Human Language Technology. Cambridge University Press/Giardini Editori, Cambridge, England [u.a.]. 238–
239.
Woods, W.A. 1970. „Transition Network Grammars for Natural Language Analysis“.
Communications of the ACM 13(10). 591–606.
Worm, Karsten Lorenz. 1999. Robust Semantic Processing for Spoken Language. A Study
in Speech Processing. Dissertation. Universität des Saarlandes, Saarbrücken.
Zaenen, Annie und Hans Uszkoreit. 1997. „Language Analysis and Understanding: Overview“. In Ronald Cole [u.a.] (Hg.): Survey of the State of the Art in Human Language Technology. Cambridge University Press/Giardini Editori, Cambridge [u.a.].
95–96.
194
9 Index
Constraint Relaxation .... 41, 43, 50, 51, 62,
80, 83, 176
Con-Text ............................................... 56
Cooper, Robin ....................................... 58
Courtin, Jacques ...................61, 62, 81, 86
Critique ................................................. 63
Crysmann, Berthold ............................... 55
A
Abney, Steven........................................ 99
Adäquatheitsevaluation ................ 123, 127
Adjektiv ... 20, 23, 25, 51, 68, 89, 105, 111,
136, 143, 144, 148, 173
Adriaens, Geert ................................ 17, 18
Agirre, E................................................ 32
Anderson, Robert................................... 58
Arppe, Antti........................................... 57
D
Dahl, V.................................................. 69
Dale, Robert ...............................59, 60, 84
Damerau, Fred J. ..............................15, 75
de Smedt, Koenraad .............................. 62
Declerck, Thierry................................... 56
Demonstrativpronomen ....................... 143
Determiner20, 21, 23, 50, 51, 52, 133, 135,
136, 176
Determinismus....................................... 90
Diagnostische Evaluation..................... 123
Dini, Luca.............................................. 61
Domeij, Rickard .................................... 58
Douglas, Shona ..........................59, 60, 84
B
Balsa, J. ................................................. 69
Bedeutung ¤ ¥u¦%C ..... Siehe Smysl ¤ ¥hu¦C
Benutzerinterface ................................. 116
Benutzerschnittstelle .............................. 17
Bernth, Arendse ..................................... 27
Birn, Juhani............................................ 57
Black, John E......................................... 43
Bolioli, Andrea....................................... 61
Bowden, Tanya...................................... 32
Braden-Harder, Lisa............................... 64
Brants, Thorsten .................................... 53
Bredenkamp, Andrew ............................ 55
Breitenabdeckung ................................ 144
Briscoe, Edward (Ted)........................... 45
E
Eigennamen...... 19, 22, 112, 145, 162, 163
Eigo-CAI............................................... 68
Ellipsen................................................ 142
endliche Automaten mit Rekursion......... 92
Epistle ..................................Siehe Critique
Evaluation ..............................25, 122, 124
Evaluationskorpus ............................... 125
C
Carbonell, Jaime G. .................... 37, 38, 46
Carl, Michael ....................55, 56, 100, 101
Carlberger, Johan ................................... 58
Catt, Mark Edward .......................... 27, 63
Chanod, Jean-Pierre ......................... 32, 39
Chomsky, Noam .................................... 32
Chung, Moonkyung ............................... 68
Chunkparser......................29, 35, 160, 167
Cole, Ronald .......................................... 30
Confusion Set......................................... 15
F
Fain, Jill................................................. 46
Falsche Adjektiv- oder Determinerendung
........................................................ 135
Falsche Adjektivendung ....................... 136
Falsche Substantivendung .................... 137
195
Gerhard Fliedner
Fehlende Adjetiv- oder Determinerendung
........................................................ 134
Fehlende Substantivendung .................. 137
Fehlerantizipation....41, 43, 50, 79, 80, 170
Fehlerauswirkung ...................................74
Fehlerquelle............................................72
Fehlerursache .........................................72
FLAG .............................................. 24, 55
Fliedner, Gerhard ...................................15
Frank, Annette ..................................... 104
Frenckner, Kerstin..................................74
F-Wert ................................. 127, 153, 160
Jensen, Karen .................................. 44, 63
Joshi, Aravind K. ................................... 33
Juntunen, Jukka-Pekka .......................... 59
K
Kager, René..................................103, 104
Kann, Viggo .......................................... 58
Kaplan, Ron(ald) ................................... 31
Kardinalzahl........................................... 21
Karlsson, Fred ................................. 56, 58
Karttunen, Lauri .................................... 31
Kato, Tsuneaki ...................................... 44
Katz, Jerrold J. ................................ 37, 75
Kiraz, George Anton ............................. 32
Knutsson, Ola........................................ 58
Kollberg, Py .......................................... 18
Kongruenzfehler 12, 23, 26, 51, 52, 58, 61,
62, 67, 68, 76, 80, 83, 89, 91, 101, 102,
105, 106, 107, 108, 113, 116, 117, 118,
133, 140, 152, 159
Koordination ..... 21, 22, 90, 106, 142, 157,
159, 174
KORREKT ........................................89, 107
Korrektur
Batch-................................................ 17
interaktive.......................................... 17
vollautomatische ................................ 17
Korrektursystem.................................... 11
Korrekturvorschläge ............................ 171
Koshino, Hideya .................................... 68
Koskenniemi, Kimmo......................31, 110
Koskinen, Esa........................................ 59
Kostenfunktion .................................... 101
Krenn, Brigitte....................................... 53
>@w¨D©=ª#ypnoY}ypn« ............................. 67, 82
Kudo, Ikuo ............................................ 86
Kukich, Karen ............................15, 73, 74
Kwasny, Stan C. .................................... 43
G
Genthial, Damien.................. 61, 62, 81, 86
Geschwindigkeit................................... 164
Golding, Andrew R. ...............................15
GramCheck............................................64
GrammatiM%§ ...........................................57
Grammatik ... 32, 35, 37, 40, 41, 42, 49, 75,
92, 115, 132, 153
Grammatikformalismus ..........................88
Grammatikkorrektur 12, 13, 14, 17, 46, 47,
53, 54, 69, 71, 75, 79, 80, 91, 145, 160,
176
Grammatikkorrektursysteme 12, 13, 14, 15,
17, 26, 27, 43, 48, 57, 66, 128
Granska .................................................58
H
Haapalainen, Mariikka.................... 32, 110
Hasegawa, Ricardo ................................65
Hayes, Philip J............................ 37, 38, 46
Head-driven Phrase Structure Grammar
...........................................Siehe HPSG
Heidorn, George E. .......17, 44, 63, 64, 101
Hoard, James E. .....................................48
Holan, Tomáš................................... 67, 82
Hong, Munpyo............................. 100, 101
Honrado, Asunción .......................... 65, 84
Hopcroft, John E....................................88
HPSG ....................................................32
L
Langer, Hagen ....................................... 34
LaTeSlav ............................................... 60
Laufzeit ........................ 31, 35, 97, 99, 167
Lexikon ..14, 31, 39, 48, 75, 103, 110, 145,
146
López Díaz, Enrique ........................ 65, 84
I
Imaichi, Osamu ................................ 16, 85
J
JD II ......................................................61
196
M
O
Macken, Lieve ................................. 17, 18
Majorin, Ari ................................... 32, 110
Malnati, Giovanni................................... 61
Marín Gálvez, Rafael16, 48, 60, 61, 71, 73,
74, 82, 84
Martins, Ronaldo Teixeira...................... 65
Matsumoto, Yuji.............................. 16, 85
Mays, Eric ............................................. 15
Mellish, Chris S...................................... 44
Ménézo, Jacques.................. 61, 62, 81, 86
Menzel, Wolfgang...................... 38, 40, 70
Mercer, Robert L. .................................. 15
Miller, Lance A. ..................................... 44
Min, Kyongho ........................................ 44
Minton, Steven....................................... 46
Mitûšin (Mitjushin), Leonid G. ......... 70, 71
Montemagni, Simonetta ......................... 39
Montilha, Gisele..................................... 65
Morimoto, Tsuyosi................................. 68
Morphologie 30, 31, 32, 55, 70, 71, 76, 79,
86, 110, 111, 112, 113, 116, 145, 146,
147, 152, 156, 173
Mouradian, George V. ........................... 46
Multilint ................................................. 55
Music, Bradley....................................... 66
Muttersprachler..13, 21, 24, 25, 26, 27, 73,
109, 128, 131, 132, 134, 135, 136, 137,
138, 150, 153, 160, 172
Oliva, Karel . 16, 48, 60, 61, 71, 73, 74, 82,
84
Oliviera Jr., Osvaldo Novais de.............. 65
Optimalitätstheorie ....... 103, 104, 108, 115
Ordinalzahl .....................................20, 119
N
R
Naumann, Sven...................................... 34
NEGRA............................................... 160
Nichtmuttersprachler 13, 25, 26, 27, 28, 48,
70, 73, 125, 128, 131, 134, 135, 136,
137, 138, 139, 150, 153, 160, 170
Nichtwortkorrektursysteme.................... 14
Nomen.............. 19, 20, 21, 50, 51, 52, 172
Nominalphrase ...20, 21, 22, 23, 24, 25, 26,
50, 51, 53, 83, 89, 91, 99, 101, 102,
104, 105, 106, 113, 129, 134, 138, 139,
141, 142, 143, 144, 145, 152, 156, 162,
163, 170, 171, 176
Nominalphrasen
Grenzen ........................................... 141
Norvig, Peter ......................................... 44
Nunes, Maria das Graças Volpe ............. 65
Rager, John E. ....................................... 86
Ramírez Bustamente, Flora ..17, 56, 64, 65,
84
Ramshaw, Lance A. ............................... 38
Ravin, Yael............... 16, 17, 44, 63, 64, 84
Recall11, 45, 121, 126, 127, 128, 129, 130,
141, 149, 150, 153, 159, 174
Rechtschreibkorrektur ........ 13, 14, 15, 145
Rechtschreibkorrektursysteme ............... 14
kontextabhängige............................... 14
Referenzkorpus ............ 110, 113, 118, 147
ReGra.................................................... 65
reguläre Ausdrücke................................ 88
Rektionsfehler ..................................... 138
Rekursion .............................................. 92
Reuther, Ursula ..................................... 55
P
Paggio, Patrizia ..............................66, 102
Paradigma ............................................. 26
Parsen mit relaxierbaren Constraints ...... 84
Parsen ohne Constraints......................... 86
Parser ........33, 35, 41, 43, 61, 87, 114, 165
Partizip..................... 19, 20, 105, 115, 172
Pease, C. ............................................... 55
Pereira Lopes, J. G. ............................... 69
Pereira Lopes, J.G. ................................ 69
Performanz-Evaluation ........................ 123
Petrea, Mirela ........................................ 55
Plátek, Martin...................................67, 82
Pollard, Carl .......................................... 32
Postposition...................... 22, 23, 147, 172
Povlsen, Claus ................................57, 109
Präposition .22, 23, 56, 64, 66, 89, 99, 113,
138, 139, 156
Präpositionalphrase.. 21, 22, 24, 89, 91, 99,
101, 113, 118, 142, 162
Präzision.............................................. 130
Pumping-Lemma ................................... 94
197
Gerhard Fliedner
Richardson, Stephen D...........................64
Robustheit...................... 36, 38, 40, 41, 47
Rodríguez Sellés, Yolanda... 16, 48, 60, 61,
71, 73, 74, 82, 84
Roesner, Dieter ......................................39
Rosén, Victoria ......................................62
Roth, Dan ..............................................15
Russell, Stuart J. ....................................44
Stilkorrektur ............. 13, 14, 17, 56, 62, 64
Stilkorrektursysteme.............................. 13
Substantivierte Adjektive ..................... 143
T
Textverarbeitungsprogramme ....13, 18, 54,
116, 175, 176
The Editor’s Assistant ........................... 59
Thurmair, Gregor .................................. 16
Tokenisierung...................................... 112
Tomita, Masaru ..................................... 39
Transducer ...............................31, 99, 100
S
Sag, Ivan A. ...........................................32
Sågvall Hein, Anna.................................57
Sánchez-León, Fernando 17, 56, 64, 65, 84
Satzstruktur ......................................... 112
Scarrie
Dänisch ..............................................66
Norwegisch........................................62
Schwedisch ........................................56
Schabes, Yves ........................................15
Schmid, Helmut ............................... 45, 53
Schmidt-Wigger, Antje..... 55, 56, 100, 101
Schulte im Walde, Sabine ................. 45, 53
Schwind, Camilla ............................. 47, 67
Scripsi....................................................63
Segond, Frédérique ................................39
Semi-Sentences ................................ 37, 75
Severinson-Eklundh, Kerstin ..................18
Severinsson-Eklundh, Kerstin.................74
Skut, Wojciech.......................................53
Smysl ¤ ¥u¦%C ........................................70
Sofkova Hashemi, Sylvana .....................58
Sondheimer, Norman K.................... 38, 43
Sprachlernsysteme....27, 47, 63, 67, 68, 69,
70
Sprachmodell
statistisches ........................................15
Stede, Manfred....36, 37, 39, 40, 41, 42, 44
U
Ullman, Jeffrey D................................... 88
Unbekannte Wörter ............................. 145
Uszkoreit, Hans ..................................... 34
V
Véronis, Jean ..................................73, 101
Vosse, Theo .......................17, 65, 82, 112
W
Warnungen .......................................... 118
Weischedel, Ralph M. ...................... 38, 43
Wiederholtes Parsen .............................. 84
Wilson, William H. ................................ 44
WinVirkku ............................................. 59
Wojcik, Richard H. ................................ 48
Woods, W.A.................................... 43, 92
Worm, Karsten Lorenz .......................... 40
Z
Zaenen, Annie.................................. 31, 34
Zeichensetzungsfehler ...................138, 144
Zirkumposition ...................................... 22
Zwei-Ebenen-Morphologie .......31, 86, 110
198

Überprüfung und Korrektur von Nominalkongruenz im Deutschen

Transcription

Similar documents

Télécharger - Fondation Cancer

The pdf can be found here - Universität des Saarlandes

ROTARY JOINT ARTICLES

Inhalt - Berlin Brandenburgischen Akademie der Wissenschaften

Kerncurriculum - Latein - Niedersächsischer Bildungsserver