Chapter 2: Knowledge Representation and Processing

Introduction to Symbolic Artificial Intelligence Prof. Dr. Andreas Dengel Lecture WS 2015/16 WM/04.02 S. 271
© [email protected] ‐ AG Wissensbasierte Systeme ‐ Skript „Einführung in die Symbolische KI“, Chapt. 2, S. 271 ‐ WS 2015/16 Chapter 2 Knowledge Representation & Processing (V) (10‐12‐15) WM/04.02 S. 272
© [email protected] ‐ AG Wissensbasierte Systeme ‐ Skript „Einführung in die Symbolische KI“, Chapt. 2, S. 272 ‐ WS 2015/16 Lecture Outline 1
Classification and Overview 2
Knowledge Representation and Processing ‐  Rules and their Application ‐  Schemata, Semantic networks ‐  Frames, and Ontologies ‐  Fuzzy Sets and Fuzzy Logic 3
Problem Solving ‐  State Space and State Space Search ‐  Heuristic Seach, A*, AO* ‐  Constraint Propagation ‐  Two‐Person Games WM/04.02 S. 273
© [email protected] ‐ AG Wissensbasierte Systeme ‐ Skript „Einführung in die Symbolische KI“, Chapt. 2, S. 273 ‐ WS 2015/16 Die Ontologietypen sind nicht unabhängig voneinander
Allgemeine Ontologie (Upper Ontology, Top‐Level Ontology, Foundation Ontology) Domänenontologie Aufgabenontologie Anwendungsontologie WM/04.02 S. 274
© [email protected] ‐ AG Wissensbasierte Systeme ‐ Skript „Einführung in die Symbolische KI“, Chapt. 2, S. 274 ‐ WS 2015/16 Anwendungsbeispiel Semantisches Informationsmanagement WM/04.02 S. 275
© [email protected] ‐ AG Wissensbasierte Systeme ‐ Skript „Einführung in die Symbolische KI“, Chapt. 2, S. 275 ‐ WS 2015/16 Wissensarbeiter, wie Heiko, müssen sich viel mehr merken, als das, an was sie sich erinnern können From: [email protected]
Date: 02. July 2015 09:28:11 MEZ
To: [email protected]
Subject: Visit at DFKI
Dear Prof. Tanigalli,
Ich muss noch Prof. Tanigalli
für unsere Veranstaltung im
November mobilisieren
Prof. Dengel asked me to send you the agenda for
your visit on November 28th.
If you have any question, let me know.
Best regards,
Heiko B.
Zeitplan
---------------------------------Heiko B.
Event Management
Deutsches Forschungszentrum
für Künstliche Intelligenz GmbH,
Trippstadter Straße 122
67663 Kaiserslautern
Tel.: +49 631 205 75 1999
Fax: +49 631 205 75 1990
Email: [email protected]
Visit
Simone Tanigalli
Agenda.pdf
Agenda
Aufgaben
Kontaktdaten
KI-1x1 für Anfänger
Prof. Dr. Simone Tanigalli
ABC des Prozessmanagements
Simone TANIGALLI
Professor
Image and Media Understanding Lab
Portobello University
T +39 ...
F +39-....
E [email protected]
Vorbereitung Besuch Tanigalli
WM/04.02 S. 276
© [email protected] ‐ AG Wissensbasierte Systeme ‐ Skript „Einführung in die Symbolische KI“, Chapt. 2, S. 276 ‐ WS 2015/16 Durch die Grenzen heutiger Ablagesysteme gehen die inhaltlichen Zusammenhänge der Dokumente verloren From: [email protected]
Date: 02. July 2015 09:28:11 MEZ
To: [email protected]
Subject: Visit at DFKI
Unterschiedliche Applikationen verwalten ihre eigenen Daten Dear Prof. Tanigalli,
Prof. Dengel asked me to send you the agenda for
your visit on November 28th.
Eigentliche Email wandert in Ordner If you have any question, let me know.
Best regards,
Heiko B.
Anhänge werden im Dateisystem abgelegt ---------------------------------Heiko B.
Event Management
Deutsches Forschungszentrum
für Künstliche Intelligenz GmbH,
Trippstadter Straße 122
67663 Kaiserslautern
Tel.: +49 631 205 75 1999
Fax: +49 631 205 75 1990
Email: [email protected]
Versender der Email steht in unabhängigen Adressverzeichnis Agenda.pdf
Im Zusammenhang stehende Websites bleiben unbeachtet Emails
Dateisystem
...
Umläufe
Veranstaltungen
WM/04.02 S. 277
...
Bookmarks
delle
o
M
n
e
l
a
Angebote
...
ie Ment ...n Co mputer
d
n
n
a
k
manTamaguchi
Berichte
auf deDFKI
h
c
u
a
... aber
isses
chtn
...
Tanigalli
...
ä
d
gen!
e
G
de s
übertra
Programme
Kontakte
...
TU Kaiserslautern
© [email protected] ‐ AG Wissensbasierte Systeme ‐ Skript „Einführung in die Symbolische KI“, Chapt. 2, S. 277 ‐ WS 2015/16 Der Semantische Desktop hilft dem Menschen sich an die multi‐
perspektivischen Aspekte der täglichen Arbeit zu erinnern Informationsobjekte der Arbeitsumgebung werden semantisch zueinander in Beziehung gesetzt Der Semantische Desktop greift auf WWW‐
Standards zurück, um semantische Zusammenhänge in Form einfacher Sätze (Subjekt‐Prädikat‐Objekt) darzustellen Im Hinblick auf die Eindeutigkeit der Semantik werden alle Objekte über Ihre URI (Uniform Resource Identifier) angesprochen Subjekt
Prädikat
Heiko
Objekt
DFKI
WM/04.02
S. 278
arbeitet-für
... und /oder sie lassen sich Kategorien wie Personen, Ereignisse, Orte, Themen, Aufgaben, Dokumentklasse (z.B. Agenda, Rechnung, ...) oder Organisationen zuordnen © [email protected] ‐ AG Wissensbasierte Systeme ‐ Skript „Einführung in die Symbolische KI“, Chapt. 2, S. 278 ‐ WS 2015/16 Am Semantischen Desktop werden Informationsbausteine zu expliziten Mentalen Modellen verknüpft http://dengel.dfki.de/outlook/contact/0019E1773D6A56
Person
ist-ein
ist-ein
http://www.dfki.de
arbeitet-für
http://dfki.de/~dengel
Ereignis
Ort
ist-ein
beschreib
t-ein
ist-ein
an
-teil-
t
nimm
http://[email protected]/
Calender (…)
finde
t-in
t-stat
https://www.google.de/maps/place/DFKI/ ...
http://www.portobello-u.it
WM/04.02 S. 279
file://C:/Documents/Agendas/Visit_Tanigalli
Organisation
ist-ein
© [email protected] ‐ AG Wissensbasierte Systeme ‐ Skript „Einführung in die Symbolische KI“, Chapt. 2, S. 279 ‐ WS 2015/16 Das individuelle Gedankengeflecht jeder Betrachtung führt damit zu mehrdimensionalen perspektivischen Organisation von Inhalten und damit notwendigerweise zu einer "Entmaterialisierung" der klassischer Ablage WM/04.02 S. 280
© [email protected] ‐ AG Wissensbasierte Systeme ‐ Skript „Einführung in die Symbolische KI“, Chapt. 2, S. 280 ‐ WS 2015/16 Durch Heiko‘s kontinuierliche Nutzung verwandelt sich das initiale Kategorien‐System in ein umfangreiches Vokabular Das Vokabular ist aufgrund von Linked Data Standards das W3C zwischen Partizipanten und Anwendungen austauschbar, kann also WM/04.02 S. 281
auch zentral über einen Server zur Verfügung gestellt werden © [email protected] ‐ AG Wissensbasierte Systeme ‐ Skript „Einführung in die Symbolische KI“, Chapt. 2, S. 281 ‐ WS 2015/16 Das PIMO kann mit der Linked Open Data Cloud verbunden werden WM/04.02 S. 282
© [email protected] ‐ AG Wissensbasierte Systeme ‐ Skript „Einführung in die Symbolische KI“, Chapt. 2, S. 282 ‐ WS 2015/16 Der Semantische Desktop arbeitet wie ein Informationsbutler Gehen wir zurück zum 29. Juli 2014
Neben vielen anderen Aufgaben bereitet Heiko auch einen Workshop für das EU Projekt ForgetIT vor Einen Tag vor seine Reise nach Istanbul, schreibt er seine Gedanken auf, die er im Workshop ansprechen möchte Während er das tut, wird er kontinuierlich von seinem Semantik Desktop unterstützt WM/04.02 S. 283
© [email protected] ‐ AG Wissensbasierte Systeme ‐ Skript „Einführung in die Symbolische KI“, Chapt. 2, S. 283 ‐ WS 2015/16 In the future editors will works as connectors to existing
knowledge (link data access) – Example 1: Public Knowledge
WM/04.02 S. 284
© [email protected] ‐ AG Wissensbasierte Systeme ‐ Skript „Einführung in die Symbolische KI“, Chapt. 2, S. 284 ‐ WS 2015/16 … den er täglich nutzt! WM/04.02 S. 285
© [email protected] ‐ AG Wissensbasierte Systeme ‐ Skript „Einführung in die Symbolische KI“, Chapt. 2, S. 285 ‐ WS 2015/16 Anwendungsbeispiel Trenderkennung und Trendvorhersage WM/04.02 S. 286
© [email protected] ‐ AG Wissensbasierte Systeme ‐ Skript „Einführung in die Symbolische KI“, Chapt. 2, S. 286 ‐ WS 2015/16 Anwendungsbeispiel Trenderkennung und Trendvorhersage WM/04.02 S. 287
vo n
b
l
a
h
inner ternet?
t
r
e
i
In
ass
Was p unden im
k
60 Se
© [email protected] ‐ AG Wissensbasierte Systeme ‐ Skript „Einführung in die Symbolische KI“, Chapt. 2, S. 287 ‐ WS 2015/16 WM/04.02 S. 288
© [email protected] ‐ AG Wissensbasierte Systeme ‐ Skript „Einführung in die Symbolische KI“, Chapt. 2, S. 288 ‐ WS 2015/16 Jeden Tag werden Unmengen von Informationen über soziale Kanäle erzeugt, ver(ge)teilt, kommentiert, … Eine analytische Betrachtung sozialer Medien verschafft Einsichten, was Menschen über Ereignisse, Marken, Personen, … denken Aus der gewonnenen Information lässt sich kollektives Bewusstsein für bestimmte thematische Trends ableiten Ein Trending Topic •  ist ein Diskussionsthema, an dem eine relevante Menge von Menschen Interesse hat •  und das über den starken, plötzlichen Anstieg von Beiträgen im Netz wahrnehmbar ist Die Betrachtung solcher Trending Topics spielt eine wesentliche Rolle für die WM/04.02 S. 289
Nutzer‐ und Kundenzufriedenheit © [email protected] ‐ AG Wissensbasierte Systeme ‐ Skript „Einführung in die Symbolische KI“, Chapt. 2, S. 289 ‐ WS 2015/16 Image Source: http://www.marktding.de/wp‐content/uploads/pfeile‐trend‐marketing.jpg Zur Erkennung von Trending Topics werden die Daten unterschiedlicher sozialer Plattformen bewertet und aggregiert z.B. WM/04.02 S. 290
“Tod von Neil Armstrong am 25.08.12” © [email protected] ‐ AG Wissensbasierte Systeme ‐ Skript „Einführung in die Symbolische KI“, Chapt. 2, S. 290 ‐ WS 2015/16 Beispiel: Topic Aggregation and Trendbewertung für Mittwoch den 12. Oktober 2012 Top 20 Topics:
WM/04.02 S. 291
© [email protected] ‐ AG Wissensbasierte Systeme ‐ Skript „Einführung in die Symbolische KI“, Chapt. 2, S. 291 ‐ WS 2015/16 Über kontinuierliches Monitoring lassen sich so alle Trending Topics bestimmen (auch wiederkehrende) Aggregation über die Zeit (hier 545 Tage mit mehreren Tausend Trending Topics):
1. 
2. 
3. 
4. 
WM/04.02 S. 292
5. 
Trending Topics:
olympics 2012 closer kate middleton iphone 5 formel 1 champions league 6. 
7. 
8. 
9. 
10. 
ncaa brackets nasa curiosity diablo 3 hurricane isaac dark knight rises © [email protected] ‐ AG Wissensbasierte Systeme ‐ Skript „Einführung in die Symbolische KI“, Chapt. 2, S. 292 ‐ WS 2015/16 Wenn man die Trending Topics kategorisiert erhält man folgende Verteilung im betrachteten Beispielzeitraum (Top 100) Business / Technology
Politics
Sport
Entertainment
Busines Holiday / Incidents
WM/04.02 S. 293
© [email protected] ‐ AG Wissensbasierte Systeme ‐ Skript „Einführung in die Symbolische KI“, Chapt. 2, S. 293 ‐ WS 2015/16 “Large‐scale“ Benutzerverhalten als Spiegel der Gesellschaft WM/04.02 S. 294
© [email protected] ‐ AG Wissensbasierte Systeme ‐ Skript „Einführung in die Symbolische KI“, Chapt. 2, S. 294 ‐ WS 2015/16 Aufmerksamkeit Wir können erkennen, wann ein bestimmtes Thema mehr Aufmerksamkeit erlangt (populär wird)… w ick lung
t
n
E
e
i
d
h
läss t sic
sagen?
r
e
h
r
… aber w ie
o
v
s
c
i
ng Top
von Trend i
?
WM/04.02 S. 295
© [email protected] ‐ AG Wissensbasierte Systeme ‐ Skript „Einführung in die Symbolische KI“, Chapt. 2, S. 295 ‐ WS 2015/16 Während bekannte Verfahren auf das “Nowcasting” fokussieren, konzentriert sich das DFKI auf die Vorhersage von Trending Topics Wie kann man die Entwicklung periodischer Signale vorhersagen? Zeit Beobachtete Werte Vorhersage Naiver Ansatz Linearer Trend Durchschnitt/
Mittelwert ARMA Nächster Nachbar WM/04.02 S. 296
© [email protected] ‐ AG Wissensbasierte Systeme ‐ Skript „Einführung in die Symbolische KI“, Chapt. 2, S. 296 ‐ WS 2015/16 Es gibt verschiedene Ansatzpunkte für die Vorhersage von Trending Topics Normalized Attention 1
Seman4sche Metadaten 3
Historische Daten vom gleichen Ereignis
?
2
Historische Daten über andere Trending Topics
WM/04.02 S. 297
© [email protected] ‐ AG Wissensbasierte Systeme ‐ Skript „Einführung in die Symbolische KI“, Chapt. 2, S. 297 ‐ WS 2015/16 Für die Vorhersage werden statistische Algorithmen mit semantischen Metadaten verknüpft ialer
z
o
s
erer
r
h
e
ng m n
u
t
ten
h
a
c
d
e
a
i
a
r
t
Me
Bet
sme d
r
h
e
n
c
h
r
o
i
c
u
ics
t
s
i
p
a
t
o
k
•  D
n
i
T
a
n
u
ing
sem
d
g
n
e
n
Ko m m
r
u
zieh
on T
e
v
b
e
90%
n
i
g
u
E
a
s
z
r
d
s
e
i
n
•  u
Vorh
um b
e
i
m
d
r
nte
ttfo
n
a
l
o
P
k
• 
ialen rden.
z
o
s
in
t we
r
e
s
s
verbe
WM/04.02 S. 298
© [email protected] ‐ AG Wissensbasierte Systeme ‐ Skript „Einführung in die Symbolische KI“, Chapt. 2, S. 298 ‐ WS 2015/16 Anwendungsbeispiel Multimedia Opinion Mining
WM/04.02 S. 299
© [email protected] ‐ AG Wissensbasierte Systeme ‐ Skript „Einführung in die Symbolische KI“, Chapt. 2, S. 299 ‐ WS 2015/16 What are these pictures showing? There exists more than one
correct description of an image
user tag
“abandoned building” user tag
“stormy landscape” WM/04.02 S. 300
© [email protected] ‐ AG Wissensbasierte Systeme ‐ Skript „Einführung in die Symbolische KI“, Chapt. 2, S. 300 ‐ WS 2015/16 Social Media – the idea – the outcome WM/04.02 S. 301
© [email protected] ‐ AG Wissensbasierte Systeme ‐ Skript „Einführung in die Symbolische KI“, Chapt. 2, S. 301 ‐ WS 2015/16 Social Media – the idea – the outcome WM/04.02 S. 302
© [email protected] ‐ AG Wissensbasierte Systeme ‐ Skript „Einführung in die Symbolische KI“, Chapt. 2, S. 302 ‐ WS 2015/16 Social Media – the idea – the outcome WM/04.02 S. 303
© [email protected] ‐ AG Wissensbasierte Systeme ‐ Skript „Einführung in die Symbolische KI“, Chapt. 2, S. 303 ‐ WS 2015/16 Social Media – the idea – the outcome WM/04.02 S. 304
© [email protected] ‐ AG Wissensbasierte Systeme ‐ Skript „Einführung in die Symbolische KI“, Chapt. 2, S. 304 ‐ WS 2015/16 Ads placement – the idea – the outcome 䇾dog䇿 WM/04.02 S. 305
© [email protected] ‐ AG Wissensbasierte Systeme ‐ Skript „Einführung in die Symbolische KI“, Chapt. 2, S. 305 ‐ WS 2015/16 Ads placement – the idea – the outcome Content analysis is not enough!
We need sentiment analysis
for visual content
WM/04.02 S. 306
䇾scary dog䇿 䇾cute dog䇿 © [email protected] ‐ AG Wissensbasierte Systeme ‐ Skript „Einführung in die Symbolische KI“, Chapt. 2, S. 306 ‐ WS 2015/16 WM/04.02 S. 307
© [email protected] ‐ AG Wissensbasierte Systeme ‐ Skript „Einführung in die Symbolische KI“, Chapt. 2, S. 307 ‐ WS 2015/16 WM/04.02 S. 308
© [email protected] ‐ AG Wissensbasierte Systeme ‐ Skript „Einführung in die Symbolische KI“, Chapt. 2, S. 308 ‐ WS 2015/16 Big Data @ DFKI Yahoo Flickr Creative Common 100 Million (YFCC100m) Largest dataset in computer vision and multimedia research 100 Millions images and videos ~80 Millions with GEO data ~500 Million tags ~225 Million words in titles ~680 Million words in descriptions WM/04.02 S. 309
© [email protected] ‐ AG Wissensbasierte Systeme ‐ Skript „Einführung in die Symbolische KI“, Chapt. 2, S. 309 ‐ WS 2015/16 Visual Learning @ MADM
Deep CNNs
(Deep Learning)
Deep CNNs
(Deep Learning)
1. 
2. 
3. 
4. 
5. 
little church
ancient house
damaged church
ancient bridge
ancient church
1. 
2. 
3. 
4. 
5. 
stormy mountain
stormy coast
stormy waves
misty hills
stormy clouds
WM/04.02 S. 310
© [email protected] ‐ AG Wissensbasierte Systeme ‐ Skript „Einführung in die Symbolische KI“, Chapt. 2, S. 310 ‐ WS 2015/16 Visual Learning @ MADM
Deep CNNs
(Deep Learning)
1. 
2. 
3. 
4. 
5. 
stormy mountain
stormy coast
stormy waves
misty hills
stormy clouds
WM/04.02 S. 311
stormy waves
stormy coast
stormy clouds
© [email protected] ‐ AG Wissensbasierte Systeme ‐ Skript „Einführung in die Symbolische KI“, Chapt. 2, S. 311 ‐ WS 2015/16 Visual Learning @ MADM
Clean car
Dirty car
WM/04.02 S. 312
Cute baby
Happy baby
© [email protected] ‐ AG Wissensbasierte Systeme ‐ Skript „Einführung in die Symbolische KI“, Chapt. 2, S. 312 ‐ WS 2015/16 WM/04.02 S. 313
© [email protected] ‐ AG Wissensbasierte Systeme ‐ Skript „Einführung in die Symbolische KI“, Chapt. 2, S. 313 ‐ WS 2015/16 WM/04.02 S. 314
© [email protected] ‐ AG Wissensbasierte Systeme ‐ Skript „Einführung in die Symbolische KI“, Chapt. 2, S. 314 ‐ WS 2015/16 WM/04.02 S. 315
© [email protected] ‐ AG Wissensbasierte Systeme ‐ Skript „Einführung in die Symbolische KI“, Chapt. 2, S. 315 ‐ WS 2015/16 People have different attention pattern when assessing ANP images differently Yes Assessment No Assessment WM/04.02 S. 316
ANP: Gorgeous Building © [email protected] ‐ AG Wissensbasierte Systeme ‐ Skript „Einführung in die Symbolische KI“, Chapt. 2, S. 316 ‐ WS 2015/16 People have different attention pattern when assessing ANP images differently Yes Assessment No Assessment WM/04.02 S. 317
ANP: Dirty Car © [email protected] ‐ AG Wissensbasierte Systeme ‐ Skript „Einführung in die Symbolische KI“, Chapt. 2, S. 317 ‐ WS 2015/16 What have we learned so far about knowledge representation and reasoning WM/04.02 S. 318
© [email protected] ‐ AG Wissensbasierte Systeme ‐ Skript „Einführung in die Symbolische KI“, Chapt. 2, S. 318 ‐ WS 2015/16 In some situation we are not able to precisely describe the circumstances Until now : Statements are either right or wrong but: It is often impossible to decide on the truth value of a statement since ... ... the sensorial information is not unique or ... the measurement is not precise ... the representation language only allows for a vague description ... the views of the human experts may differ ... the statement itself or used terms are not conclusive ... there is no clear discrimination with regard to the interpretation of a statement ... the description of the situation is incomplete WM/04.02 S. 319
© [email protected] ‐ AG Wissensbasierte Systeme ‐ Skript „Einführung in die Symbolische KI“, Chapt. 2, S. 319 ‐ WS 2015/16 Fuzzy sets and fuzzy reasoning has obtained a strong push in the mid eighties In Japan, the year 1990 has been announced the „Fuzzy‐Logic‐Year“ Japanese washing machine AISAIGO became the first successful “Fuzzy Logic” product ... Detection of the amount of laundry and the degree of dirtiness ... Determination of the amount of water and the cleaning cycle Used to control the subway in Sendai/Japan (break, start and accelerate with most comfort and efficiency) Used to control the auto‐focus function in cameras WM/04.02 S. 320
© [email protected] ‐ AG Wissensbasierte Systeme ‐ Skript „Einführung in die Symbolische KI“, Chapt. 2, S. 320 ‐ WS 2015/16 Why do we need fuzzy logic WM/04.02 S. 321
© [email protected] ‐ AG Wissensbasierte Systeme ‐ Skript „Einführung in die Symbolische KI“, Chapt. 2, S. 321 ‐ WS 2015/16 In some situation we are not able to precisely describe the circumstances WM/04.02 S. 322
© [email protected] ‐ AG Wissensbasierte Systeme ‐ Skript „Einführung in die Symbolische KI“, Chapt. 2, S. 322 ‐ WS 2015/16 Fuzzy sets and fuzzy reasoning has obtained a strong push in the mid eighties Professor Lotfi Zadeh, UC Berkeley, 1965 “People do not require precise, numerical information input, and yet they are capable of highly adaptive control.” Consider you want to cross a road at an arbitrary place (not on zebra crossing or pedestrian traffic light). You see a car coming towards you. Which factors (variables) primarily influence your decision of going ahead?   Speed of approaching car   Distance of approaching car You can (hopefully) make a decision to cross the road without having precise knowledge about the values of these variables WM/04.02 S. 323
© [email protected] ‐ AG Wissensbasierte Systeme ‐ Skript „Einführung in die Symbolische KI“, Chapt. 2, S. 323 ‐ WS 2015/16 Types of uncertainty and the modeling of uncertainty Stochastic Uncertainty: The probability of hitting the target is 0.8. Lexical Uncertainty: – "Tall Men", "Hot Days”, or "Stable Currencies" – We will probably have a successful business year. Most words and evaluations we use in our daily reasoning are not clearly defined in a mathematical manner. This allows humans to reason on an abstract level! Fuzzy logic allows making decisions in a way that is close to the human way of thinking, and using natural language. On the contrary, using the classical crisp logic, we need to write algorithms and adapt to a machine's way of thinking WM/04.02 S. 324
© [email protected] ‐ AG Wissensbasierte Systeme ‐ Skript „Einführung in die Symbolische KI“, Chapt. 2, S. 324 ‐ WS 2015/16