NiX Spam - Heinlein Support

NiX Spam
Erfahrungen mit dem Filterprojekt der iX
2. Mailserver-Konferenz, 19. Mai 2005
Bert Ungerer, Redaktion iX
Spam der 1. Generation: Diebstahl der Aufmerksamkeit
„Echte“ E-Mails von festen IP- und Absender-Adressen
Gelegenheits- und Hobby-Spammer, die für eigene Produkte und
Dienstleistungen werben
Gegenmaßnahmen: kleine, lokale Blacklists unerwünschter IP- und
From:-Adressen, Beschwerden beim Provider des Spammers, in
Deutschland: Abmahnungen, Klagen
2
Spam der 2. Generation: Diebstahl einzelner Ressourcen
Spammer nutzen Server-Schwachstellen, zum Beispiel Open Relays,
CGI-Skripte (Formmail), offene Proxies.
Fälschung von Header-Einträgen (From:, Received: etc.)
Verschleierung der Urheberschaft
Professionalisierung der Spammer, Auftragsarbeiten
Gegenmaßnahmen: netzweit verfügbare, per DNS abfragbare IPBlacklists (DNSBLs), Inhaltsfilterung und -vergleiche
3
IP-Black- und Whitelists
IP-Adressen sind nicht fälschbar.
Die meisten Mailserver versenden entweder nur Spam
oder nur Ham.
Lokale Blacklists oder einfache Online-Abfrage mittels
DNS (DNSBLs) bei der Annahme durch den Mailserver
Oft unklare Policy der DNSBL-Betreiber
Whitelists meistens lokal zur Milderung von FilterNebenwirkungen
4
Spam der 3. Generation: Diebstahl der Infrastruktur
Von Spammern oder für Spammer installierte Open Proxies und
andere Hintertür-Funktionen auf ungeschützten PCs
Ferngesteuerte Zombie-PCs (Botnetze) als (verteilte) Mailserver für
den Direktversand von E-Mails
Organisierte Kriminalität, Allianz zwischen Spammern sowie Viren- und
Wurmprogrammierern
Verschleierung der E-Mail-Inhalte zum Unterlaufen von Inhaltsfiltern
Gegenmaßnahmen: Dialup-Blacklists, Greylisting, Port-25-Sperre,
Mailserver-Akkreditierung durch SPF, DomainKeys, MTAmark etc.
5
Verteilter Spam-Angriff
6
Verteilter Spam-Angriff
Envelope-From
Betreffzeile
Einlieferndes Gateway (nicht fälschbar!)
[email protected]
Produce Stronger Erections
pD9E8EBF0.dip.t-dialin.net
[email protected] Stop Premature Ejaculation!
203.160.179.229
[email protected]
Fast Distribution Worldwide
c210-49-78-109.belrs1.nsw.optusnet.com.au
[email protected]
Gain 3+ Full Inches In Length
[email protected]
Gain 3+ Full Inches In Length
[email protected] 100% Safe To Take, With No Side Effects
eic c-67-163-94-77.client.comcast.net
l
G
[email protected]
HAVE MORE INTENSE ORGASMS!
[email protected]
Fast Distribution Worldwide
[email protected]
100% Safe To Take, With No Side Effect
l:
a
m
k
r
[email protected] Natural Penis enlargement
e pill!
M
[email protected]
Is your cock to s
small?
e
[email protected]
HAVE MORE
am INTENSE ORGASMS!
s
in3 INCHES IN LENGTH!
[email protected]
ADD
e
m
[email protected] e Stop Premature Ejaculation!
G
7
e
m
m
u
pool-68-163-228-99.bos.east.verizon.net
fs
ü
r
12-223-224-81.client.insightbb.com
P
e
h212.73.179.192
pcp03778052pcs.pimaco01.az.comcast.net
149.159.61.217
81-202-247-117.user.ono.com
200-102-087-119.pltce7002.dsl.brasiltelecom.net
CBL217-132-78-209.bb.netvision.net.il
AReims-105-1-14-81.w81-49.abo.wanadoo.fr
cable121-125.sudbury.personainc.net
[email protected]
GAIN AN EXTRA 20% IN THICKNESS!
132.248.185.169
[email protected]
ADD 3 INCHES IN LENGTH!
u195n206.hfx.eastlink.ca
[email protected]
MUCH BIGGER PENIS?
wsp030879wss.mccormick.mu.edu
[email protected]
? The EZ way to increase penis size?
modemcable099.136-200-24.mtl.mc.videotron.ca
[email protected]
Gain 3+ Full Inches In Length
h001060c1f8b8.ne.client2.attbi.com
DNS-Namen von Zombie-PCs und „richtigen“ Mailservern
user-212-88-249-69.tvcablenet.be
kbl-vlis2916.zeelandnet.nl
d212-96-80-128.cust.tele2.fr
139.red-212-97-176.user.auna.net
lyris.devworld.com
voyager.usenix.org
smtphost1.microsoft.com
8
Spam der 4. Generation: Diebstahl der Identität
Spammer nutzen Backdoors und Spyware auf Zombie-PCs
zum Ausspionieren der Anwender.
Jetzt: Immer mehr Spam über offizielle Mailserver (Smart
Hosts) der Anwender-Provider
In Zukunft: Spam als individuelle E-Mails an Empfänger aus
dem Adressbuch?
Gegenmaßnahmen: ?
9
Wo filtern?
Mailserver des Empfängers
Mailclient des Empfängers
Empfänger manuell
Rückkopplung
wachsender Aufwand
10
Mailserver des Absenders
Was filtern?
SMTP-Befehle (z. B. HELO)
Header-Zeilen der E-Mail
Inhalt der E-Mail
Rückkopplung
wachsender Aufwand
11
IP-Adresse des Absenders
Wie filtern?
Greylisting, Checksums
Heuristische Filter
Statistische Filter
Rückkopplung
wachsender Aufwand
12
IP-Blacklists
Exkurs: Greylisting
Unterscheidung zwischen „richtigen“ Mailservern und
Spam-Gateways durch strenge SMTP-Auslegung
Verzögerte Zustellung
Höherer Ressourcenbedarf bei Absender und Empfänger
Whitelist notwendig
Untauglich bei Missbrauch offizieller Mailserver
Derzeit sehr wirksam
13
Greylisting an der Uni Würzburg
Verzehnfachung des Spam-Volumens 2003
Anfang 2004: Ablehnung aller E-Mails an ungültige
Empfängeradressen
Kurzfristiger Effekt, weiterhin drastische Steigerung
Quelle: Uni Würzburg 2004
Mai 2004: Einführung von Greylisting
2003
14
2004
Anti-Antispam-Maßnahmen
15
Antispam-Verfahren
Spammer-Gegenmaßnahme
Blacklists von Absenderadressen
Fantasie-Adressen ([email protected])
IP-Blacklists
„Zombie-PCs“ mit dynamischen
IP-Adressen als "Wegwerf-Gateways"
Verschleiern von Adressen,
Vermeiden der Veröffentlichung
Durchprobieren, Suchmaschinen,
Stehlen (Backdoors, Spyware)
Prüfsummenbildung zur Erkennung
schon bekannter Spam-E-Mails
pseudozufällige E-Mail-Inhalte
Inhaltsanalyse mit statistischen
Filtern (z. B. Bayes)
Verschleierung durch „Tippfehler“,
Javascript, HTML etc.
Whitelists, Greylisting, SPF & Co.
Identitätsdiebstahl
beliebig
je mehr Filter, desto mehr Spam
Vorbeugende Antispam-Maßnahmen
Höchstens (!) eine E-Mail-Adresse pro Mitarbeiter
Ausnahmsweise eine weitere zum „Verbrennen“ (Freemailer)
Mailserver-Feineinstellungen
Laufend aktualisierter Virenscanner
Unbenutzte PCs ausschalten
Große Verteilerlisten nicht im Header verewigen (BCC)
Schulung der Mitarbeiter
16
Fragwürdige Antispam-Methoden
Geheimhalten der eigenen E-Mail-Adresse
Unbrauchbare Adressen wie „meine at e-mail dot com“
Automatische Antworten mit Aufforderung zur
Bestätigung der Absender-Adresse
(Challenge/Response)
Viel Aufwand für einen Bruchteil der möglichen
Verbreitungswege
17
Wie Spammer an Adressen gelangen
Durchsuchen öffentlicher Quellen: Web, Newsgruppen,
Whois- und andere Verzeichnisse …
Ausprobieren: Adressbuch-, Wörterbuch- und „BruteForce“-Angriffe
Automatische Antworten
Verseuchte PCs: „private“ Adressenlisten, BrowserCache …
Adressenhandel
18
Erste Hilfe bei Spambefall
Keinen Link in Spam-Mails anklicken, auch nicht zum
„Austragen“ (Unsubscribe)
Laden externer Web-Inhalte durch die Mailclient-Software
unterbinden
Automatische Antworten nur an vertrauenswürdige
Absender
Unterstützung des eigenen Filters durch erweiterte mailto:URLs auf den eigenen Kontakt-Webseiten
Entsprechend vorausschauende Nutzung vollständiger
Header in selbst versandten E-Mails
19
Was tun mit Spam?
Unmittelbar abweisen (im SMTP-Dialog)
Annehmen und löschen
E-Mail mit Fehlermeldung (Bounce) an Absenderadresse
Annehmen, Markieren und Zustellen
Zustellen in Quarantäne-Verzeichnis, Mitteilung an
Empfänger (bei Viren- und Wurmverdacht)
Drei Kategorien: eindeutig Spam – unklar – eindeutig Ham
20
Ärgernis Autoreply und „Bounces“
Die meisten Spams und Wurm-E-Mails tragen
gefälschte, schlimmstenfalls existierende, da
gestohlene Absender-Adressen.
Automatische Antworten auf Spam und Würmer
(Empfangsbestätigungen, „Out of Office“, ...) sind
daher nicht nur sinnlos und ärgerlich, sondern
können wichtige persönliche Informationen
preisgeben.
Automatische Bitten um Absender-Verifikation
(„Challenges“) wegen jeder Mail sind eine
Zumutung!
Fazit: Erst filtern, dann handeln!
21
E-Mail heute
individuelles Mail-Volumen
iX-Adressen: 0 bis über 400 Spam-Mails pro Tag
Spam
„Ham“
niedrig
22
?
Spam-Wahrscheinlichkeit
hoch
individuelles Mail-Volumen
E-Mail morgen?
Weder-noch
Ham
niedrig
23
MTA-Warnungen (u. a. wg. Spam+Viren)
Generell immer mehr "Automaten-Mail"
Bitten um Adress-Verifikation
Werbung von Geschäftspartnern
(oder die sich dafür halten)
andere "gut gemeinte" Werbung
Update your contact details
private E-Mails (Witze etc.)
Firmeninterne Junk-Mail
Bitten um Weiterleitung
Bitten um Verlinkung
Irrläufer
...
Spam-Wahrscheinlichkeit
Spam
hoch
Kombinierte Filter-Elemente
Eingehende
E-Mail
t
lis
Body+HeaderAnalyse
2%
4%
ch
at
M
hit
eli
st
Ab
se
nd
er
ok
ay
:W
HeaderAnalyse
ck
la
8%
B
y:
ka
-
to
ich
90%
n
er
Ham
nd
se
Ab
M
at
ch
Mail
bekannt:
Checksum
Match
16%
40%
40%
Statistiken aus ca. 30.000 Spams/Woche an 30 Anwender
24
Spam
Filter-Kombination:
Ohne Inhaltsanalyse gegen „Botnetze“
Spam & Würmer
Erwünschte E-Mails
Inhalt der E-Mail
hochredundant (meist
durch Checksum-Treffer
bekannt)
stark differenziert (meist
Unikate)
AbsenderMailserver
stark differenziert (Netze
aus Zombie-PCs, IPAdresse oft unbekannt)
hochredundant (meist
durch Whitelist-Treffer
bekannt)
Folgerung
Mail bekannt, Absender
unbekannt:
wahrscheinlich Spam
E-Mail nicht bekannt,
Absender bekannt:
wahrscheinlich Ham
Datenschutzrechtlich weniger bedenklich als der Inhalts-Scan!
25
Autark durch Rückkopplung
40 %
Eigenentwicklung „NiX Spam“: ProcmailSkript für SMTP-Gateways; ca. 100 heuristische
Regeln in 1000 Zeilen
40 %
Grundannahmen „Spam ist hochgradig
redundant“ (=> Fuzzy Checksums) und
„Gateways senden meist nur Spam oder nur
Ham“ (=> White-/Blacklists).
Ressourcenfressender Inhaltsfilter entlastet
sich selbst mit jedem Blacklist-, Whitelist- und
Prüfsummen-Eintrag.
90 %
Mit steigender Zahl der Anwender sinkt die
für eine Inhaltsanalyse nötige Rechenkapazität
pro Anwender.
Vermeidung von Nachteilen externer Dienste
wie DNSBLs (Zeitverlust, Overhead, Kosten,
geringe Nachvollziehbarkeit)
10 %
26
20 %
Öffentliches Projekt: www.nixspam.org
Filter-Elemente aus wirtschaftlicher Sicht
Treffer-Anteil
Gateways:
Blacklist-Test
empfangene E-Mails:
Fuzzy Checksums
R
unbekannte E-Mails:
üc
kk
Header-Analyse
op
pl
un
Je teurer das Verfahren,
g
desto seltener kommt es
noch unklare E-Mails:
zum Einsatz – wenn sich die
Body-Analyse
Elemente „kennen“ ...
Kosten: Rechenlast, Transport, Speicherung, Arbeitszeit
27
Fazit
Gegen verteilte Spam-Attacken helfen verteilte, miteinander
gekoppelte Filterlösungen.
Rückkopplung der Ergebnisse teurer Filter in günstigere Filter
spart Ressourcen.
Je mehr eigene E-Mails für die Rückkopplung zur Verfügung
stehen, desto weniger Bedarf besteht am Import zusätzlicher
Informationen (DNSBLs, Prüfsummen-Server).
Die nächste Bedrohung (immer mehr Spam von „offiziellen“
Mailservern) erfordert Ausgangsfilterung bei Providern.
Spam-Gegenmaßnamen sollten stets zum Ziel haben, Spammer
in deren eigene Infrastruktur zurückzudrängen.
28
Bei allem Aufwand: Das Medium
E-Mail verdient jede erdenkliche
Maßnahme gegen seinen
Missbrauch.
Oder?
29
Bert Ungerer <[email protected]>, www.nixspam.org