Freier Wissenszugang mit der Suchmaschine YaCy

Freier Wissenszugang
mit der Suchmaschine YaCy
SearchEngine
Michael Christen, [email protected], IP-ShareMedia.de
26. Oberhofer Kolloquium 2011
Web 3.0 - wird es das Web der Informationsspezialisten?
Inhalt
Teil 1: 10 Thesen zum freien Wissenszugang
freie Inhalte, Bürgerrechte, Privatsphäre, Datenschutz
+Demo!
Teil 2: Suchmaschinentechnik
Grundfunktionen, Skalierung, dezentrale Architektur
Teil 3: Freier Wissenszugang mit YaCy
freie Such-Appliance für alle
Bürgerrechte für eine nachhaltige Wissensgesellschaft
UNO Weltgipfel zur Informationsgesellschaft, Beitrag der Heinrich-Böll-Stiftung
(a)
Wissen ist Erbe und Besitz der Menschheit und damit frei.
(b)
Der Zugriff auf Wissen muss frei sein.
(c)
Alle Menschen haben das Recht auf Kommunikation und
Informationsfreiheit.
(d)
Das Recht auf Achtung der Privatheit ist ein Menschenrecht
und ist unabdingbar für die freie und selbstbestimmte
Entfaltung von Menschen in der Wissensgesellschaft.
aus: http://www.worldsummit2003.de/de/web/52.htm
Vorgehensweise:
Charta
Freier Wissenszugang mit der Suchmaschine YaCy
26. Oberhofer Kolloquium 2011
Thesen
Technik
Michael Christen
[email protected], http://yacy.net
Teil 1 - Thesen zum freien Wissenszugang
Suchmaschinen als Brücke zwischen freien Inhalten und Nutzern
1. These: freie Daten können nur dann wirklich frei sein
wenn sie mit freier Software gefunden werden können
freie Daten
Suche
Nutzer
u.a.:
Suchmaschinenmonopol:
freie Software
proprietäre und
zentralisierte Technik,
Aufzeichnung aller
Datenspuren, Zensur,
Filterung, Löschung,
Verschmutzung durch
Werbung
Der Nutzer ist auf die
Existenz und korrekte
Funktion proprietärer,
zentralisierter und
kontrollierter Suchportale
angewiesen, um freie
Inhalte finden zu können
Daten unter Creative
Commons Lizenz
Open Access Archive
Freier Wissenszugang mit der Suchmaschine YaCy
26. Oberhofer Kolloquium 2011
Michael Christen
[email protected], http://yacy.net
Teil 1 - Thesen zum freien Wissenszugang
Suchmaschinen als Brücke zwischen freien Inhalten und Nutzern
1. These: freie Daten können nur dann wirklich frei sein
wenn sie mit freier Software gefunden werden können
freie Daten
Suche
Nutzer
2. These: zwischen freien Informationen und dem Nutzer
fehlt eine wesentliche Verbindung: die freie Suche
Freier Wissenszugang mit der Suchmaschine YaCy
26. Oberhofer Kolloquium 2011
Michael Christen
[email protected], http://yacy.net
Teil 1 - Thesen zum freien Wissenszugang
Bürgerrechte und Wahrung der Privatsphäre
Das Internet und das World Wide Web sollten nach seiner ursprünglichen Philosophie eine
alle-zu-alle Infrastruktur bieten und nicht nur Sender-Empfänger Verbindungen aufbauen.
Nutzer/Daten
Produzent und
Konsument
von Software und Daten
Nutzer/Daten
Suchportale:
Torwächter des
World Wide Web
Produzent und
Konsument
von Software und Daten
3. These: Zensur durch Dritte kann nur durch das Betreiben einer
eigenen Suchmaschine verhindert werden.
&
4. These: Das Betreiben einer Suchmaschine für eigene Zwecke
ermöglicht eine bessere Qualität der Suchergebnisse.
Freier Wissenszugang mit der Suchmaschine YaCy
26. Oberhofer Kolloquium 2011
Michael Christen
[email protected], http://yacy.net
Teil 1 - Thesen zum freien Wissenszugang
Datenschutz und Wahrung von Geschäftsgeheimnissen
Unternehmensumfeld
Discussions
Wiki
Code
Bugtracker
Suchmaschine
Das
Internet
5. These: Zur Wahrung der Privatsphäre und der Geheimhaltung ist es
notwendig, dass der Suchmaschinennutzer eine eigene Suchmaschine
betreibt
Freier Wissenszugang mit der Suchmaschine YaCy
26. Oberhofer Kolloquium 2011
Michael Christen
[email protected], http://yacy.net
Teil 1 - Thesen zum freien Wissenszugang
Soziologische Aspekte von Suchmaschinen
Unterscheidung Suchmaschinen/Datenbanken
(beides sind Varianten eines Assoziativspeichers)
unstrukturierte Daten
strukturierte Daten
Suchmaschine
Datenbank
Menschen
Programme
6. These: Suchmaschinen finden
Informationen in unstrukturierten
Daten für Menschen...
Freier Wissenszugang mit der Suchmaschine YaCy
26. Oberhofer Kolloquium 2011
...Datenbanken finden
Informationen in strukturierten
Daten für Programme
Michael Christen
[email protected], http://yacy.net
Teil 1 - Thesen zum freien Wissenszugang
Soziologische Aspekte von Suchmaschinen
unstrukturierte Daten
Ranking
Suchmaschine
Kontext und Vernetzung
von Information
g Generierung von Wissen
Relevanz
Gruppe
7. These: Eine Suchmaschine findet relevante Informationen nur für
eine bestimmte Gruppe von Menschen, wobei diese Gruppe die
gleichen Relevanz-Kriterien teilt
Freier Wissenszugang mit der Suchmaschine YaCy
26. Oberhofer Kolloquium 2011
Michael Christen
[email protected], http://yacy.net
Teil 1 - Thesen zum freien Wissenszugang
Soziologische Aspekte von Suchmaschinen
Gruppe
8. These: Gemeinschaften und Gesellschaften brauchen eigene
Suchmaschinen um relevante Informationen optimal finden zu können
9. These: Die Suchergebnisse einer Suchmaschine für eine bestimmte
Gemeinschaft ist meinungsbildend für diese Gemeinschaft im Bezug zu
Normen und Werte
§
Freier Wissenszugang mit der Suchmaschine YaCy
26. Oberhofer Kolloquium 2011
Michael Christen
[email protected], http://yacy.net
Teil 1 - Thesen zum freien Wissenszugang
Soziologische Aspekte von Suchmaschinen
Fazit: verschiedene Gruppen g verschiedene Interessen g eigene Suchmaschinen
Gruppe
Gruppe
Gruppe
Suchmaschine
Suchmaschine
Suchmaschine
10. These: Die Forderung nach einer nicht-monopolisierbaren und nichtzensierbaren Suchmaschine mit gleichberechtigten Rechten zur
Moderation des Suchindexes kann nur von einer dezentralen
Suchmaschinentechnik erfüllt werden.
Freier Wissenszugang mit der Suchmaschine YaCy
26. Oberhofer Kolloquium 2011
Michael Christen
[email protected], http://yacy.net
Teil 2 - Suchmaschinentechnik
Crawler
Suchseite
Server
im Netz
„round-robin“
Zugriff
robots.txt und
Latenz beachten
Suchen und Ergebnisse mit
Navigatoren darstellen
Parser
z.B.: HTML, XHTML, RSS, RDF, XHTML+RDFa, FOAF,
vCard, Flash, PDF, PS, Word, Excel, Visio,
Powerpoint, OpenOffice, RTF, csv, gzip, zip, tar,
rar, bzip2, 7zip, images(EXIF)
Dokumente
viele
Dateiformate
Indexierer
Verschlagwortung ist die Umkehrung der
Dokument: Referenzg{Wort*}
Relation zu einer
Index: Wortg{Referenz*}
Relation
Dokumentencache
Freier Wissenszugang mit der Suchmaschine YaCy
26. Oberhofer Kolloquium 2011
Snippets
FTP SMB
Michael Christen
[email protected], http://yacy.net
Teil 2 - Suchmaschinentechnik
vertikale Skalierung: mehr Durchsatz
Leistungsfähige, skalierbare Suchmaschinen
Suchmaschinencluster
Search
Engine
Search
Engine
Search
Engine
Search
Engine
Search
Engine
Search
Engine
Search
Engine
Search
Engine
Search
Engine
Search
Engine
Search
Engine
Search
Engine
Search
Engine
Search
Engine
Search
Engine
horizontale Skalierung: mehr Dokumente
Freier Wissenszugang mit der Suchmaschine YaCy
26. Oberhofer Kolloquium 2011
Michael Christen
[email protected], http://yacy.net
Teil 2 - Suchmaschinentechnik
Leistungsfähige, skalierbare Suchmaschinen
Search
Engine
Search
Engine
Search
Engine
Search
Engine
Search
Engine
Search
Engine
Search
Engine
Search
Engine
Search
Engine
Search
Engine
Search
Engine
Search
Engine
Search
Engine
Search
Engine
Search
Engine
Freier Wissenszugang mit der Suchmaschine YaCy
26. Oberhofer Kolloquium 2011
Michael Christen
[email protected], http://yacy.net
Teil 2 - Suchmaschinentechnik
Dezentrale Websuche mit Peer-to-Peer Technik
Search
Engine
Peer
Search
Engine
Peer
Search
Engine
Peer
Search
Engine
Peer
Search
Engine
Peer
Search
Engine
Peer
Search
Engine
Peer
Search
Engine
Peer
Search
Engine
Peer
Search
Engine
Peer
Search
Engine
Peer
Search
Engine
Peer
Search
Engine
Peer
Search
Engine
Peer
Search
Engine
Peer
Freier Wissenszugang mit der Suchmaschine YaCy
26. Oberhofer Kolloquium 2011
Michael Christen
[email protected], http://yacy.net
Teil 2 - Suchmaschinentechnik
Peer-to-Peer Suchmaschine für das World Wide Web
Peer
Peer
Peer
Peer
Web Crawlen,
Indexieren, verteilt
speichern
Peer
Peer
Peer
DHT
Peer
Peer
Distributed Hash Table
Peer
Suchen in einer
Distributed Hash Table
Peer
Peer
DHT-Store
Peer
Peer
Peer
Peer
DHT-Read
Das YaCy Suchmaschinennetz besteht aus eigenständigen
Suchmaschinen, aber sie sind auch miteinander vernetzt.
Freier Wissenszugang mit der Suchmaschine YaCy
26. Oberhofer Kolloquium 2011
Michael Christen
[email protected], http://yacy.net
Teil 2 - Suchmaschinentechnik
Peer-to-Peer Suchmaschine für das World Wide Web
Das Netz existiert. Jeder kann mitmachen. Keiner kann zensieren.
Freier Wissenszugang mit der Suchmaschine YaCy
26. Oberhofer Kolloquium 2011
Michael Christen
[email protected], http://yacy.net
Teil 3 - Freier Wissenszugang mit YaCy
Such-Appliance für Portale im Internet oder Intranet
Communities
Your Project
Discussions
Code
Wiki
Bugtracker
Appliance
Search Engine
Freier Wissenszugang mit der Suchmaschine YaCy
26. Oberhofer Kolloquium 2011
Michael Christen
[email protected], http://yacy.net
Teil 3 - Freier Wissenszugang mit YaCy
Suchmaschine für virtuelle Fachbibliotheken
Bibliotheken
>2000 Open Access Repositories
OAI-PMH
Import
Dublin Core
Metadaten
(web)
Suchindex
http://oai.yacy.net
Fachbibliothek deutsche Universitäten
http://blog.yacy-kochbuch.de/?page_id=23
Freier Wissenszugang mit der Suchmaschine YaCy
26. Oberhofer Kolloquium 2011
Michael Christen
[email protected], http://yacy.net
Teil 3 - Freier Wissenszugang mit YaCy
Suchmaschine für wissenschaftliche Publikationen
Wissenschaft
Sciencenet:
http://sciencenet.kit.edu
Suchmaschine des
Karlsruhe Institut für
Technologie
35 Peers in eigenem Netz,
> 200 Mio. Dokumente
Freier Wissenszugang mit der Suchmaschine YaCy
26. Oberhofer Kolloquium 2011
Michael Christen
[email protected], http://yacy.net
Teil 3 - Freier Wissenszugang mit YaCy
freie dezentrale Suchmaschine für alle
für uns
freeworld:
http://search.yacy.net
Suchmaschine, bestehend
aus den Peers freiwilliger
600 Peers im Monat,
weltweit verteilt
> 1 Milliarde Dokumente
Freier Wissenszugang mit der Suchmaschine YaCy
26. Oberhofer Kolloquium 2011
Michael Christen
[email protected], http://yacy.net
Mit der Suchmaschine vom Team zum TeamComputing
Verwendung von Suchmaschinentechnik
•
technologische und soziotechnische Ebene
Projektteam
technologische Ebene (,wie setze ich Technik ein‘)
soziotechnische Ebene (,wie gehe ich mit Technik um‘)
Entwerfen
Projektsteuerung
Entwickeln
Dokumentieren
Versionskontrolle
(micro)Blogging
Diskussions-Foren
Freier Wissenszugang mit der Suchmaschine YaCy
26. Oberhofer Kolloquium 2011
Bugtracker
Michael Christen
[email protected], http://yacy.net
Vernetzung von Menschen
Vernetzung von Wissen
SearchEngine
Suchmaschine
Fazit
Werden die Forderung der Charta der Bürgerrechte erfüllt?
(a) Wissen ist Erbe und Besitz der Menschheit
und damit frei.
(b) Der Zugriff auf Wissen muss frei sein.
Freie Suchmaschinen sind die
Verbindungen zwischen freien
Inhalten und dem Nutzer
(c) Alle Menschen haben das Recht auf
Kommunikation und Informationsfreiheit.
Suchmaschinentechnik muss
für alle erreichbar und einfach
bedienbar sein.
(d) Das Recht auf Achtung der Privatheit ist
ein Menschenrecht und ist unabdingbar
für die freie und selbstbestimmte
Entfaltung von Menschen in der
Wissensgesellschaft.
Die Suchmaschine ist nur
dann privat, wenn sie nicht
aus einer zentralen Instanz
heraus genutzt werden muss,
sie muss dezentral sein.
YaCy ist freie Software,
download von http://yacy.net
Freier Wissenszugang mit der Suchmaschine YaCy
26. Oberhofer Kolloquium 2011
Die Bedingungen werden von
YaCy erfüllt!
Michael Christen
[email protected], http://yacy.net
Vielen Dank für Ihre Aufmerksamkeit!
SearchEngine
Suchmaschinen, Wissensmanagement,
Crowdsourcing, TeamComputing:
Wir beraten Sie!
YaCy Suchmaschinenprojekt
Dipl. Inf. Michael Christen,
[email protected]
http://yacy.net
Beratung TeamComputing
Dipl. Kaufmann Georg von Nessler,
[email protected]
Dipl. Inf. Michael Christen,
[email protected]
QR-Code: vCard
http://ip-sharemedia.de
http://yacy.net
ip-
(S(
www.ip-ShareMedia.de