import - auf Matthias

Transcription

import - auf Matthias
Netzprogrammierung:
URL-Schemata
Robert Tolksdorf und Peter Löhr
Überblick
1. Vereinheitlichte Dienstnutzung in Java
2. Eigene URL-Schemata
3. Push- und Pull-Interaktion
Robert Tolksdorf und Peter Löhr
3
24
28
2
Vereinheitlichte Dienstnutzung in Java
Robert Tolksdorf und Peter Löhr
URI, URL, URN
• Uniform Resource Identifier - URI: „ ..... is a compact string
of characters for identifying an abstract or physical resource“
[RFC 2396]
• Syntax:
• absoluteURI = scheme ":" .....
• relativeURI = .....
• .....
• Beispiele:
•
•
•
•
•
•
•
ftp://ftp.is.co.za/rfc/rfc1808.txt
gopher://spinaltap.micro.umn.edu/00/Weather/Los%20Angeles
http://www.math.uio.no/faq/compression-faq/part1.html
mailto:[email protected]
news:comp.infosystems.www.servers.unix
file:/users/lohr/tmp/abc
urn:isbn:n-nn-nnnnnn-n
• URI-Schema (scheme) typisiert URIs (ftp, gopher, fax, file,…)
Robert Tolksdorf und Peter Löhr
4
URI, URL, URN
• Uniform Resource Locator - URL: „ ... is a compact
string representation for a resource available via the
Internet.“ [RFC 1738]
• URL ist ein URI, dessen Schema auf die Zugreifbarkeit der
Ressource im Netz hinweist,
• z.B. ftp://ftp.is.co.za/rfc/rfc1808.txt
• Uniform Resource Name - URN: „ ... are intended to
serve as persistent, location-independent, resource
identifiers and are designed to make it easy to map
other namespaces into URN-space“ [RFC 2141]
•
•
•
•
Syntax: URN = "urn:" nameSpaceIdentifier ":" string
z.B. urn:isbn:n-nn-nnnnnn-n
Ist eher URI, der Eigenschaft der Resource beschreibt
URN-Namensraum strukturiert URNs (isbn, issn, ...)
Robert Tolksdorf und Peter Löhr
5
URL
• URL-Schemata sind für Internet-Dienste definiert und
vereinheitlichen damit deren Nutzung syntaktisch:
• http://grunge.cs.tu-berlin.de:8000/
• ftp://ftp.cs.tu-berlin.de/pub/net/www
• mailto:[email protected]
• Form:
http://grunge.cs.tu-berlin.de:8000/res/data.html#top
Protokoll
Rechnername
Portnummer
Pfad
Stelle
Ressource
• Für URLs ist nur die Syntax definiert; die Semantik
hängt vom Schema ab (das durch ein Protokoll
umgesetzt wird).
Robert Tolksdorf und Peter Löhr
6
java.net.URL
• URLs als Objekte der Java-klasse java.net.URL
• Konstruktoren:
• Aus Zeichenkette:
• URL(String spec)
• Aus Komponenten:
• URL(String protocol, String host, String file)
• URL(String protocol, String host, int port, String file)
• Relativ zu anderer URL
• URL(URL context, String spec)
• Mit eigenem Protokollobjekt
• URL(String protocol, String host, int port,
String file, URLStreamHandler handler)
• URL(URL context, String spec,
URLStreamHandler handler)
Robert Tolksdorf und Peter Löhr
7
java.net.URL
• Bestandteile erfragen:
•
•
•
•
•
•
•
•
•
String
String
String
String
int
String
String
String
String
getAuthority()
getFile()
getHost()
getPath()
getPort()
getProtocol()
getQuery()
getRef()
getUserInfo()
• Vergleichen:
• boolean equals(Object obj)
• boolean sameFile(URL other)
• Darstellung als Zeichenkette
• String
toString()
Robert Tolksdorf und Peter Löhr
8
... und zur Abwechslung mal Perl
$ cat uri
#!/usr/bin/perl
use URI;
$url = URI->new($ARGV[0]);
print "Scheme: ", $url->scheme( ), "\n";
print "Userinfo: ", $url->userinfo( ), "\n";
print "Hostname: ", $url->host( ), "\n";
print "Port: ", $url->port( ), "\n";
print "Path: ", $url->path( ), "\n";
print "Query: ", $url->query( ), "\n";
$ uri http://www.cnn.com:[email protected]:80/research.php
Scheme: http
Userinfo: www.cnn.com:mainpage
Nicht Bestandteil der HTTP_
Hostname: 129.170.213.101
Spezifikation, aber von vielen
Port: 80
Browsern akzeptiert (und meist
Path: /research.php
ignoriert) (Sicherheitsrisiko!)
Query:
$
Robert Tolksdorf und Peter Löhr
9
URLConnection
• Man kann sich über eine „Verbindung“ zu einer durch
eine URL bezeichnete Ressource „verbinden“:
• URLConnection openConnection()
• Das für das Schema zuständige Protokoll muss
implementiert sein; Prüfung (Unix):
currentjdk/classes $ jar tf classes.jar | grep URLConnection.class
sun/net/www/protocol/ftp/FtpURLConnection.class
sun/net/www/protocol/gopher/GopherURLConnection.class
sun/net/www/protocol/http/HttpURLConnection.class
sun/net/www/protocol/mailto/MailToURLConnection.class
java/net/HttpURLConnection.class
sun/net/www/protocol/jar/JarURLConnection.class
java/net/JarURLConnection.class
sun/net/www/protocol/file/FileURLConnection.class
sun/net/www/URLConnection.class
java/net/URLConnection.class
currentjdk/classes $
Robert Tolksdorf und Peter Löhr
10
Beispiel: Dateien lesen ...
import java.net.*;
import java.io.*;
public class GetFile {
public static void main(String[] argv) throws IOException {
URL url = new URL(argv[0]);
URLConnection connection = url.openConnection();
BufferedReader in = new BufferedReader(new
InputStreamReader(
connection.getInputStream()));
String line;
while ((line = in.readLine()) != null)
System.out.println(line);
in.close();
}
}
Robert Tolksdorf und Peter Löhr
11
... mit Schema http:
$ java GetFile http://www.mi.fu-berlin.de/~lohr/advent.txt
Es treibt der Wind im Winterwalde
die Flockenherde wie ein Hirt,
und manche Tanne ahnt, wie balde
sie fromm und lichterheilig wird,
und lauscht hinaus. Den wei?en Wegen
streckt sie die Zweige hin ? bereit,
und wehrt dem Wind und w?chst entgegen
der einen Nacht der Herrlichkeit.
(Rilke)
$
Robert Tolksdorf und Peter Löhr
12
... mit Schema ftp:
$ java GetFile
drwxrwxr-x
drwsr-xr-x
drwx-----drwxrws--drwxrws--drwxr-xr-x
drwxrwxr-t
ftp://ftp.inf.fu-berlin.de
4 ftp ftp
4096 Oct 26 04:05
2 ftp ftp
4096 Feb 8 2008
2 ftp ftp
4096 Oct 27 2005
2 ftp ftp
4096 Oct 20 21:16
2 ftp ftp
4096 May 30 2008
2 ftp ftp
4096 Aug 2 2007
50 ftp ftp
4096 Oct 7 14:47
incoming
log
lost+found
mathfilm2008
mevis
msgs
pub
$ java GetFile ftp://ftp.inf.fu-berlin.de/pub/readme
This is only a local File-Hierarchy of 'math.fu-berlin.de' !
====
For public-domain Software and other unspecific
Information use server 'ftp.fu-berlin.de'
(do anonymous ftp at ftp.fu-berlin.de. ...........
...........................
$
Robert Tolksdorf und Peter Löhr
13
... mit Schema file:
Der Effekt von cat uri wird auch erzielt mit
$ java GetFile file:/users/lohr/tmp/uri
#!/usr/bin/perl
use URI;
$url = URI->new($ARGV[0]);
print "Scheme: ", $url->scheme( ), "\n";
print "Userinfo: ", $url->userinfo( ), "\n";
print "Hostname: ", $url->host( ), "\n";
print "Port: ", $url->port( ), "\n";
print "Path: ", $url->path( ), "\n";
print "Query: ", $url->query( ), "\n";
$
(Warum einfach, wenn es auch kompliziert geht! ;-)
Robert Tolksdorf und Peter Löhr
14
Datei schreiben mit Schema ftp:
import java.net.*;
import java.io.*;
public class PutFile {
public static void main(String[] argv) throws IOException {
URL url = new URL("ftp://ftp.inf.fu-berlin.de/incoming/lohrfile");
URLConnection connection = url.openConnection();
PrintWriter out = new PrintWriter(connection.getOutputStream());
out.println("Vom Eise befreit sind Strom und Bäche");
out.close();
}
}
$ java PutFile
$ java GetFile ftp://ftp.inf.fu-berlin.de/incoming/
drwxr-xr-x
2 ftp
ftp
4096 Jul 6 03:05
kia
-rw-r--r-1 ftp
ftp
38 Dec 12 07:56
lohrfile
drwxrwx--2 ftp
ftp
4096 Sep 29 12:45 tcimage
$
Robert Tolksdorf und Peter Löhr
15
java.net.URLConnection
• Zustände von URLConnection
• nicht verbunden
• verbunden
• geschlossen
• connect() wechselt von nicht verbunden zu verbunden,
falls noch nicht verbunden.
• Einige Methoden, die eine Verbindung brauchen,
wechseln implizit zu verbunden (getInputStream, ... )
Robert Tolksdorf und Peter Löhr
16
java.net.URLConnection
• Abfragen der Eigenschaften der Ressource
•
•
•
•
Object getContent() (z.B. Eingabestrom-Objekt)
String getHeaderField(String name)
InputStream getInputStream()
OutputStream getOutputStream()
• Übliche Kopfzeilen-Information
•
•
•
•
•
•
getContentEncoding() (Kompression)
getContentLength()
getContentType()
(MIME-Typ und Zeichensatz)
getDate()
getExpiration()
getLastModifed()
• ... sind unter Umständen errechnet oder leer
Robert Tolksdorf und Peter Löhr
17
Informationen über eine Seite holen
import java.net.*;
import java.io.*;
public class GetInfo {
public static void main(String[] argv) throws Exception{
URL page = new URL(argv[0]);
URLConnection connection = page.openConnection();
System.out.println("Länge: " +connection.getContentLength());
System.out.println("Typ: "
+connection.getContentType());
System.out.println("Klasse:\n"+connection.getContent().getClass());
}
}
$ java GetInfo http://www.inf.fu-berlin.de
L?nge: 23761
Typ: text/html; charset=utf-8
Klasse:
class sun.net.www.protocol.http.HttpURLConnection$HttpInputStream
$
Robert Tolksdorf und Peter Löhr
18
Informationen über eine Seite holen
$ java GetInfo http://www.mi.fu-berlin.de/~lohr/classes/echo/Factory.class
L?nge: 227
Typ: application/x-java-vm
Klasse:
class sun.net.www.protocol.http.HttpURLConnection$HttpInputStream
$ java GetInfo http://www.inf.fu-berlin.de/styles/inst-title-600x400.jpg
L?nge: 11947
Typ: image/jpeg
Klasse:
class sun.awt.image.URLImageSource
$
$ java GetInfo ftp://ftp.ietf.org
L?nge: -1
Typ: content/unknown
Klasse:
class sun.net.www.protocol.ftp.FtpURLConnection$FtpInputStream
$
Robert Tolksdorf und Peter Löhr
19
java.net.URLConnection
• Setzen von Eigenschaften der Anfrage
• setAllowUserInteraction(boolean b)
Anfrage findet in Interaktion mit dem Benutzer statt
• setDoInput(boolean b)
Klient will von Verbindung lesen (Voreinstellung: true)
• setDoOutput(boolean b)
Klient will auf Verbindung schreiben (Voreinstellung: false)
• setIfModifiedSince(String s)
IfModifiedSince-Kopfzeile setzen
• setUseCaches(boolean b)
Zwischenspeichern von Daten erlauben (Voreinstellung: true)
• setRequestProperty(String key, String value)
Kopfzeile setzen
Robert Tolksdorf und Peter Löhr
20
Beispiel: Sprache einstellen
import java.net.*;
import java.io.*;
public class GetInfoLang {
public static void main(String[] argv) throws Exception{
URL page=new URL(argv[0]);
URLConnection connection=page.openConnection();
if (argv.length == 2)
connection.setRequestProperty("Accept-Language",argv[1]);
System.out.println("Laenge: "+connection.getContentLength());
System.out.println("Typ: "+connection.getContentType());
System.out.println("Klasse:\n"+connection.getContent().getClass());
}
}
Robert Tolksdorf und Peter Löhr
21
Eine mehrsprachige Website
$ java GetInfoLang http://www.cs.tut.fi/~jkorpela/multi
Laenge: 1848
Typ: text/html
Klasse:
class sun.net.www.protocol.http.HttpURLConnection$HttpInputStream
$ java GetInfoLang http://www.cs.tut.fi/~jkorpela/multi en
Laenge: 1878
Typ: text/html
.../index-en.htm !
Klasse:
class sun.net.www.protocol.http.HttpURLConnection$HttpInputStream
$ java GetInfoLang http://www.cs.tut.fi/~jkorpela/multi de
Laenge: 2433
Typ: text/html
.../index-de.htm !
Klasse:
class sun.net.www.protocol.http.HttpURLConnection$HttpInputStream
Robert Tolksdorf und Peter Löhr
22
Eigene URL-Schemata
Robert Tolksdorf und Peter Löhr
Eigene URL-Schemata
• URL-System in Java ist um neue Schemata erweiterbar.
Beispiel: daytime (für den Internet-Dienst auf Port 13).
• Dazu müssen definiert werden
• eine Klasse DaytimeURLConnection extends URLConnection
• eine Klasse Handler extends URLStreamHandler
• Sie müssen in einem Paket stehen, z.B. in
package mypacks.daytime
• Durch die Property java.protocol.handler.pkgs muss dem
Laufzeitsystem mitgeteilt werden, wo die eigenen Klassen
stehen:
$ java -Djava.protocol.handler.pkgs=mypacks \
GetInfo daytime://localhost
Robert Tolksdorf und Peter Löhr
24
Daytime URLs
package mypacks.daytime;
import java.net.*;
import java.io.*;
public class DaytimeURLConnection extends URLConnection {
Socket socket;
public DaytimeURLConnection(URL url) { super(url); }
public void connect() throws IOException {
socket = new Socket(url.getHost(), 13);
}
public Object getContent() throws IOException {
connect();
BufferedReader in = new BufferedReader(
new InputStreamReader(
socket.getInputStream()));
return in.readLine();
}
}
Robert Tolksdorf und Peter Löhr
25
Daytime URLs
package mypacks.daytime;
import java.net.*;
public class Handler extends URLStreamHandler{
protected URLConnection openConnection(URL u) {
return new DaytimeURLConnection(u);
}
}
$ java -Djava.protocol.handler.pkgs=mypacks \
GetInfo daytime://localhost
12 DEC 2008 16:15:06 CET
$
Robert Tolksdorf und Peter Löhr
26
Push- und Pull-Interaktion
Robert Tolksdorf und Peter Löhr
Client-Pull und Server-Push
• HTTP-Interaktion mit Anfrage und Antwort wird durch
Client-Pull und Server-Push erweitert:
• Client-Pull
• Klient lädt Inhalte in regelmäßigen Abständen nach
• Server löst das Verhalten durch zusätzliche Kopfzeile aus
• Server-Push
• Anbieter schickt mehrere Antworten nacheinander
• Klient ersetzt jeweils die Darstellung
Robert Tolksdorf und Peter Löhr
28
Client-Pull
• Server gibt in der Antwort zusätzliche Kopfzeile an:
• Refresh: seconds; .....
• Beispiel:
• Refresh: 60;
• Korrekter Browser nimmt das zur Kenntnis und lädt
regelmäßig die Seite nach.
Robert Tolksdorf und Peter Löhr
29
Beispiel: Dynamische Zeitanzeige
import java.net.*; import java.io.*;
public class TimeServer {
public static void main(String[] argv) throws Exception {
ServerSocket ss= new ServerSocket(Integer.parseInt(argv[0]));
while (true) {
Socket socket=ss.accept();
(new BufferedReader(
// Kopfzeile lesen - und ignorieren
new InputStreamReader(
socket.getInputStream()))).readLine();
PrintWriter out = new PrintWriter(socket.getOutputStream());
out.println("HTTP/1.1 200 Ok\n"+
"Content-type: text/html\n"+
"Refresh: 1;\n\n"+
"<html><head><title>Date</title></head>\n"+
"<body><p>Es ist hier gerade "+
new java.util.Date()+
"</body></html>\n");
out.flush();
socket.close(); }
}}
Testen mit Browser!
Robert Tolksdorf und Peter Löhr
30
Server-Push
• Anbieter liefert eine Antwort vom Medientyp multipart/mixed an den
•
•
•
Klienten
Markierung trennt mehrere vollständigen Antwortteile
Klient ersetzt Darstellung durch jeweils neuen Antwortteil
Server verzögert Auslieferung von jedem Antwortteil:
HTTP/1.1 200 Ok
Content-type: multipart/mixed;boundary=meinSeitenwechsel
--meinSeitenwechsel
Content-type: text/html
<html><head><title>Ping</title></head><body>
<h2>PING!</h2></body></html>
(Pause)
--meinSeitenwechsel
Content-type: text/html
<html><head><title>Pong</title></head><body>
<h2>PONG!</h2></body></html>
Robert Tolksdorf und Peter Löhr
31
Server-Push
import java.net.*;
import java.io.*;
import java.util.*;
public class ServerPush {
public static void main(String[] argv) throws Exception {
int port = Integer.parseInt(argv[0]);
int pause = 1000 * (argv.length<2 ? 1 : Integer.parseInt(argv[1]));
ServerSocket s = new ServerSocket(port);
while (true) {
Socket socket = s.accept(); //nix lesen!
PrintWriter out = new PrintWriter(socket.getOutputStream());
out.println(
"HTTP/1.1 200 Ok\n“ +
"Content-type: multipart/mixed; boundary=Seite\n");
.....
Robert Tolksdorf und Peter Löhr
32
Server-Push
}
}
.....
while (!out.checkError()) {
out.println("--Seite\nContent-type: text/html\n");
out.println(
"<html><head>" +
"<title>Date</title></head>\n" +
"<body><p><br>" +
"Es ist hier gerade " + new Date() +
"</body></html>\n");
out.flush();
Thread.sleep(pause);
}
out.println("\n--Seite--\n");
socket.close();
}
Testen z.B. mit Firefox (nicht Safari!)
Robert Tolksdorf und Peter Löhr
33
Literatur
• www.ietf.org
• T. Berners-Lee, R. Fielding, L. Masinter. Uniform Resource
•
•
•
•
•
Identifiers (URI): Generic Syntax. RFC 2396. 1998
Berners-Lee, T., Masinter, L., and M. McCahill, Editors.
Uniform Resource Locators (URL), RFC 1738, December 1994.
Moats, R. URN Syntax, RFC 2141, May 1997.
Joint W3C/IETF URI Planning Interest Group. URIs, URLs, and
URNs: Clarifications and Recommendations 1.0. W3C Note.
2001. http://www.w3.org/TR/uri-clarification. Auch RFC 3305.
The Official IANA Registry of URI Schemes.
http://www.iana.org/assignments/uri-schemes
The Official IANA Registry of URN Namespaces.
http://www.iana.org/assignments/urn-namespaces
Robert Tolksdorf und Peter Löhr
34