Aktuelle Storagetrends im Aktuelle

Transcription

Aktuelle Storagetrends im Aktuelle
Aktuelle Storagetrends im
Rechenzentrum
Eine technologische Standortbestimmung
norbert e. deuschle
d
deuschle
hl b
business
i
consulting
lti
(Dipl.Wi.Ing., Senior Berater, Analyst)
www.storagewelt.de
www.storageconsortium.de
t
ti
d
Agenda
-
Einführung
Trend 1: I/O-Performance,
HDD‘s, SSDs,
Alternativen
640 KBytes (Arbeitsspeicher)
ist alles,
was irgendeine
Applikationpjemals benötigen
sollte - Bill Gates, 1981
Trend 2: Kapazitätsoptimierung,
p
g COS
Trend 3: Virtualisierung & Energieeffizienz
Fazit
Das Datenwachstum weltweit ...
1 MB = 1 Esslöffel Sand
1 ZB = 1 Strand ... 30 m breit, 30cm tief, entlang Europa)
161 EB Æ 1.0 ZB ... Wachstum x6
Quelle: IDC, 2007
Deuschle Storage Business Consulting, München 2009 - Reprint-Reproduction Forbidden Without Permission - Alle Rechte bei den genannten Unternehmen-/Eigentümern
Datenwachstum im Unternehmen
Unstrukturiertes Datenwachstum
Name Space
Verwaltung
Plan: 55%
Wachstum p.a.
Jedoch oft > 100%
Non-Shared
NAS
Distributed
(Clustered-) FS
GNS
NuView (Brocade)
O S Pantera
ONStor
Exanet
NetApp GX
(Spinnaker)
I ili
Isilion
EMC (Rainfinity)
HP (PolyServ)
Microsoft (DFSR2)
IBM
Panasas etc..
Network File
Management
Services
- File
Virtualization
- File Mgmt
Mgmt..Services
NeoPath
Attune
NetApp
Acopia (F5)
Bridgehead
...................
Brocade
EMC
2008
Wide Area
File Services
(WAFS)
- File Services
- Network
Optimization
- Application
Acceleration
Cisco
Brocade
Packeteer
Quantum
HP2010
Riverbed
Juniper
Nortel
File Content
Cl
Classification
ifi ti
DeDuplication
Kazeon
StoredIQ
Abrevity
R k t Software
Rocket
S ft
(Arkivio)
Njini
IBM / FileNet
DataGlobal
Pandoratio
Scentric
FAST
Blackball
usw.
2/3
/ an unstrukturierten Daten auf Enterprise
p
Arrays...
y
1/3
/ im (nearline-)
(
) Archiv
Deuschle Storage Business Consulting, München 2009 - Reprint-Reproduction Forbidden Without Permission - Alle Rechte bei den genannten Unternehmen-/Eigentümern
Konsequenzen für Storageprozesse …
• Weniger “aktive Daten” auf HD (50x pro Jahrzehnt)
• Disk scan benötigt immer länger (10x pro Dekade)
Quasi unbegrenzte Kapazität
– 1990 disk ~ 1GB = 5 Min. scan
– 2008 disk ~1000GB = 6.5 hour scan
• Problem: Backup-/Restore Zeiten …
• In 2009:
– 75TB / Storage Admin (managed storage, Automation)
• Problem:
– 5TB = 10 Preiseinheiten heute
– 5TB = 1 Preiseinheit in wenigen Jahren …
Begrenzte Bandbreite
Storage Management Kosten Æ höheren Storagekosten
Deuschle Storage Business Consulting, München 2009 - Reprint-Reproduction Forbidden Without Permission - Alle Rechte bei den genannten Unternehmen-/Eigentümern
Automatisierte Speicherverwaltung
virtualisierter Ressourcen
• Nur ca. 60% haben formale
Storage Policies* und
Verantwortlichkeiten
eingeführt.
• Disziplin: Automated Storage
Resource Management
Management, (A)SRM
* Policies:
SLA basierende Definitionen von Storage
Services,
Services priorisiert nach Benutzerklassen und
geschäftlichen Anforderungen
€/GB/Month
• Mit automatisierten Storage
g
Prozessen wird die Effizienz pro
FTE verdoppelt
– 60.0+ TB/Admin. in 2008
Personalkosten
Ohne
Storage
Mgmt.
mit automatisiertem
Storage Management
Speicherkosten (RAID Subsysteme)
1995
2000
2001:
2002:
2003:
1.25 TB/FTE
3.80
3
80 TB/FTE
6.50 TB/FTE
2005
2009: 75.00 TB/FTE
Deuschle Storage Business Consulting, München 2009 - Reprint-Reproduction Forbidden Without Permission - Alle Rechte bei den genannten Unternehmen-/Eigentümern
Quellen: SNIA XAM, DMTF
2010
File ManagementManagement Virtualisierung
Name Space Verwaltung
Non-Shared
NAS
DistributedShared FS, GNS
Brocade (NuView)
O S Pantera
ONStor
Exanet, Panasas
NetApp GX
(Spinnaker)
I il
Isilon
EMC (Rainfinity)
HP (PolyServ)
Microsoft (DFSR2)
IBM (GPFS),
(GPFS) SoFS
S FS
SUN ZFS etc..
Quelle: N.Deuschle, 12/2008
Network File
Management
Services
Wide Area
File Services
WAFS
File
Classification
File
Virtualization
- File Mgmt.Services
- File Services
- Network
Optimization
- Application
Acceleration
File Content
Classification
NeoPath
(Cisco)
Attune
NetApp
Acopia (F5)
Bridgehead
Brocade
EMC
C
HP
IBM etc..
Cisco
Brocade
Packeteer
Quantum
HP Riverbed
Juniper
Nortel
SilverPeak
etc..
Trend: Clustered Storage + Filevirtualisierung +
Integration von DeDup & Backup (virtual tape)
Kazeon
StoredIQ
Abre it
Abrevity
DataGlobal
Arkivio
Njini
IBM / FileNet
Pandoratio
Scentric
FAST
Blackball
Zantaz etc..
Deuschle Storage Business Consulting, München 2008 - Reprint-Reproduction Forbidden Without Permission - Alle Rechte bei den genannten Unternehmen-/Eigentümern
Quelle: IEEE Computer Society / Google, Luiz André Barroso, Urs Hölzle
Dez. 2007
Server-/Storagearchitekturen
/Storagearchitekturen
Virtualisierung = pot.
pot I/O - Engpass Klassische Server
wurden vor dem Internet entwickelt...
Web
W
b 2.0
2 0 verlangt
l t nach
h stärkerer
tä k
D t
Datenund nicht CPU-Zentrierung
(s.a. Datenwachstum vs. Moore‘s Law)
Î Mehr I/O-, Storage-RAM-Kapazitäten
als CPU-Servercapacity sinnvoll
(Memory-Scale-Up-Architekturen ...)
Deuschle Storage Business Consulting, München 2009 - Reprint-Reproduction Forbidden Without Permission - Alle Rechte bei den genannten Unternehmen-/Eigentümern
Intro: Server-/Storage High DensityE t i kl
Entwicklung
bi
bis 2011/12
-
10x to 100x Leistungsverbesserung
i
b
• 10TB HD
• 512GB+ NAND Solid State Disks (T0)
• 1TB Hauptspeicher
• 16+ cores cpu
16 cores 16 cores 16 cores 16 cores
1TB DDR3
System Crossbar
PCIe Gen 3
16x 10TB HDD
PCIe Gen 3
- Wachstum exponentiell:
• Kapazität
• Bandwidth
• Latency
60% p.a. (100x)
40% p.a. (10x)
15% p.a.
- Kapazität >> Bandbreite >> Latency
-ENERGIEEFFIZIENZ
- Data Center IT Utilization (DCIU)
- Data Center Performance per Watt (DCPpW)
16Gb/s FC
10Gb/s FCoE
SSD
Geschwindigkeit (t)
-
CPU’s
CPU’
Memory
Diskkapazitäten
Netzbandbreite
Änderungen (t)
-
IT P
Prozesse
Memory X-Rate
Storage latency
Fabric Architekturen
Quelle: Stuart Berman, CTO Emulex Corp.
Deuschle Storage Business Consulting, München 2009 - Reprint-Reproduction Forbidden Without Permission - Alle Rechte bei den genannten Unternehmen-/Eigentümern
Storage und Energieeffizienz
• Verbraucher (%) im RZ vor Virtualisierung:
– Server 60-70%, Netze 10-20%,
– Storage ca. 20%
• Mit Server-Virtualisierung + HD-Architekturen:
– Server: 10%-20% (Konsolidierungsraten von
1:10 - 1:30 typisch..)
typisch )
Server
Storage jetzt im Fokus
Verbraucher nach
Virtualisierung
Netze
4
0
%
50%
Deuschle Storage Business Consulting, München 2009 - Reprint-Reproduction Forbidden Without Permission - Alle Rechte bei den genannten Unternehmen-/Eigentümern
Speicher
High-Density Architekturen
• Herausforderung HighDensity, HD-Architekturen
Server Storage ...
Server,
Quelle: RZ, Finanzdienstleister 2008
Cooling on Demand Î
1 Grad Absenkung = kostet 5% mehr Energie !
Deuschle Storage Business Consulting, München 2009 - Reprint-Reproduction Forbidden Without Permission - Alle Rechte bei den genannten Unternehmen-/Eigentümern
E
Energieeffizienz
i ffi i
iim R
Rechenzentrum
h
t
Rechenzentrums – Performance-Effizienz (DCPE):
- DCE = (1/PUE) PUE (Power Usage Effectiveness)
- PUE = (total Facility Power / IT Equipment Power)
www.thegreengrid.org
Deuschle Storage Business Consulting, München 2009 - Reprint-Reproduction Forbidden Without Permission - Alle Rechte bei den genannten Unternehmen-/Eigentümern
TREND 1: Halbleiterspeicher
schnell & energieeffizient
...
HDD-Entwicklungstrends
2008 - 2015
The Hard Disk Is Dead: Long Live Solid State
Patterned Media (>2010)
Bylund
1.0 -By
3.0Anders
Tb/sq.in.
Thermally Assisted Recording, TAR*
TAR (>2015..?)
(>2015 ?)
2.0 - 15.0 Tb/sq.in.
October 7, 2008
Perpendicular
R.
Quelle: US Nasdaq
TechTicker, 07. Okt. 2008
500 - 800 Gb/sq.in.
Gb/sq in
>2006
„Der Test zeigt es geht in Richtung SSD.. einzig der Preis und die Speicherkapazität lässt zu wünschen übrig.
Aber wie wir wissen geht die Entwicklung rasend schnell. Das Ende der Festplatte naht...“
PC Welt, Sept. 2008
Sometimes, it takes an established industry giant to bring out the best in a brilliant new technology.
Intel (Nasdaq: INTC) wasn't kidding this summer when it promised to put a new face on solid-state
drives. The chip giant's first serious foray into the $35 billion storage drive market hits the street this week,
and the early buzz is phenomenal.
Longitudinal R.
< 130 Gb/sq.in.
Intels new X25-M ... still not cheap enough to blow traditional disk makers like Western Digital (NYSE: WDC) and
<2015
Seagate Technology (NYSE: STX) to pieces yet
yet, but it's
it s just a question of time
time.
... STEC (Nasdaq: STEC) and SMART Modular Technologies (Nasdaq: SMOD) make business-class flash drives to
power massive data banks like video-on-demand libraries. Motorola (NYSE: MOT) builds
entire media servers around the extreme performance and reliability of solid-state storage.
*Bto keep10
*Bsp.:
Tb/
i
=
auf
2.5“
2 5“ oder
d
TB auff from
3.5“
3 5“that
disk
diangle,
k too.
IT managers love
theirTb/sq.in.
data centers
cool12
and TB
quiet,
sof memory
chips 50
are desirable
Quelle: HITACHI GST
Deuschle Storage Business Consulting, München 2009 - Reprint-Reproduction Forbidden Without Permission - Alle Rechte bei den genannten Unternehmen-/Eigentümern
Halbleiterspeicher - Kurzübersicht
•
•
SRAM (Flip-Flop,
(Fli Fl
CPU Cache)
C h )
– Sehr schnell (x100 als DRAM = < 0,1 ns), hoher Energieverbrauch, teuer, geringe Kapazität,
volatil ...
DRAM/SDRAM (Main Memory)
– Schnell (20 bis 7 ns), klein, Kapazitäten teuer, Refresh nötig, volatil ...
•
PRAM (Phase Change M. )
NOR-/NAND-Flash)
/NAND Flash)
– Möglicher Ersatz für DRAM und NOR
– Schnell (x30 zu Flash, klein, nicht-flüchtig, langlebig (x10 zu Flash), preiswert in der
Herstellung, (Intel, AMD, Samsung, NEC, IBM) – Möglicher Ersatz für Flash bei USB Sticks ...
•
MRAM (Magneto-resistive)
(Magneto resistive)
– Schnell wie SRAM, Packungsdichte wie DRAM, kein Refresh, nicht-flüchtig, langlebig wie
SDRAM (ca. 1 Billion write-/read-cycles), Technikpotential heute noch nicht ausgenutzt,
Preiswerte Herstellung, Ersatz für SDRAM möglich (Philips, Freescale, Infineon, IBM ...)
EEPROM / FLASH Memory (NOR, NAND, ORNAND™)
– ohne einzelne Speicherelement-Löschung, langsamer als RAM, kompliziertes Write-/Read Î
Controller mit ECC nötig, teurer als HDD, non-volatile, geringer Energieverbrauch, klein, hohe
Datendichte schnell gegenüber HDD‘s (Reads) ...
Datendichte,
Deuschle Storage Business Consulting, München 2009 - Reprint-Reproduction Forbidden Without Permission - Alle Rechte bei den genannten Unternehmen-/Eigentümern
Z
Zugriffszeiten
iff
it
vs. T
Technologie
h l i
Deuschle Storage Business Consulting, München 2009 - Reprint-Reproduction Forbidden Without Permission - Alle Rechte bei den genannten Unternehmen-/Eigentümern
Energieeffizienz- Metrik
P
Power
Density,
D
it TB pro (K)W
(K)Watt,
tt Storage
St
Density,
D
it TB pro Stellfläche
St llflä h
TAPE + DeDup
p
TB/Watt
Tape**
MAID +
DeDuplizierung
MAID*
Tape
CAS
SATA Arrays
FC / SAS
Enterprise
Arrays
500 – 7,0
, kW
Rack
1,5
, - 3.0 kW
Rack
TB/Stellfläche
*MAID, Massive Arrays of Idle Disks for Storage Archives, D. Colarelli and D. Grunwald, 2002 ACM/IEEE conference on Supercomputing,
November 2002,
2002 Baltimore,
Baltimore US
US. Anbieter: Copan
Copan, nexsan
** Kapazitätsabhängig
Deuschle Storage Business Consulting, München 2009 - Reprint-Reproduction Forbidden Without Permission - Alle Rechte bei den genannten Unternehmen-/Eigentümern
E
Energieeffiziente
i ffi i t SSD
SSDs:
IOPS / Durchsatz pro Watt
•
•
•
•
Storage (Sub-)system
Bandbreite,
Storage Density,
Power Density,
IOPS / (K)Watt
MB/s / (K)Watt
TB / Stellfläche
TB / (K)Watt
– Bsp.: Solid State Disk Technologie:
= 200 IOPS/Watt
– Bsp.: RAID-6 HDD Array
=
10 IOPS/Watt
Deuschle Storage Business Consulting, München 2009 - Reprint-Reproduction Forbidden Without Permission - Alle Rechte bei den genannten Unternehmen-/Eigentümern
SSD- Technik:
zu HDD (Arrays) ?
•
•
•
Festplatten: noch 10 - 15 Jahre am Markt ...
Formfaktor: Übergang zu 2.5“ Drives in 2009
Zunehmend FLASH für 15k HDDs (2009/10)
•
Neue Optionen = Solid State + SLC NAND (Flash)
g p
Arrays:
y
320 GB,, 2.5“,, 0,5ms
,
seek
– Highspeed
– Kombination von SSD mit RAID-Flash
• Einstiegspreise deutlich reduziert
(NAND-Preise minus 30-50% p.a. in 2007/08)
⇒ HDD latency:
bis 1:700 gegenüber SDRAM
⇒ NAND latency: bis 1: 80 gegenüber SDRAM
⇒ Kombination aus DRAM plus SLC-NAND – Vorteile:
> hohe E/A-Leistung
> Energieeffizient (IOPS / Watt)
> Anbieterbsp.: Texas Memory Systems, TMS
Deuschle Storage Business Consulting, München 2009 - Reprint-Reproduction Forbidden Without Permission - Alle Rechte bei den genannten Unternehmen-/Eigentümern
NAND Flash als HDD-Ersatz
HDD Ersatz sinnvoll
?
• Zuverlässigkeit, Einsatzmöglichkeiten:
+ MTBF auf HDD–Level (>1.5 Mio Std.)
+ SLC NAND: >100.000 Write
Write-cycles
cycles
+ Random, Sequential - I/O Performance hoch
-
IOPS bei Random-Write plus Verschleiß
¾ Für jede Löschoperation eine Blockkopie
¾ Verlagern oft genutzter Blöcke verringert vorschnelle
Alterung
¾ Controller-Intelligenz nötig
¾ Preis
P i ($30
($30-120
120 pro GB)
Deuschle Storage Business Consulting, München 2009 - Reprint-Reproduction Forbidden Without Permission - Alle Rechte bei den genannten Unternehmen-/Eigentümern
NAND Flash vs. HDD Arrays
•
•
•
•
60 HDDs
18 000 IOPS
18.000
6.0 GB/s
4.4 TB
– Pro HDD:
• 100MB/s
• 300 IOPS
O S
– 12W (active)
* Angaben basierend auf INTEL Specs, 11/2008
Energiekosten
g
-Faktor 5
Read
d IOPS
O S
-Faktor >110
X-Rate
-Faktor 3
(active)
60 SSDs*
2 1 Mio.
2.1
Mio IOPS
18 GB/s
1.9 TB
- Pro SSD:
- 250MB/s read
- 170MB/s
0
/ write
- 35K IOPS
2 4W
- 2.4W
Wh
When
servers wait
it on storage,
t
users wait
it on servers. Thi
This iis I/O wait
it ti
time...
Deuschle Storage Business Consulting, München 2009 - Reprint-Reproduction Forbidden Without Permission - Alle Rechte bei den genannten Unternehmen-/Eigentümern
Applikationsprofile,
pp at o sp o e, SS
SSD – Einsatz
sat in 2009
009
Enterprise DDRAM-/Flash SSD
Virtual Machines ...
zu 3-4Hit*
x mehr VMs pro Serverinstanz lauffähig
•-Bis
Cache
– HardDisk
Array:
ms
-Keine
Interrupts
wegenca.
I/O0.3
Engpäßen
ca 0
0.015
015 ms
(15.0
(15 D
0 microsec.)
microsec
-Metadaten
M–t SSD:
d t – Management
Mca.
t (VTL,
(VTL
DeDup
D ...)) )
• Cache Miss (Read)
– HardDisk Array: ca. 5.0
Transaktionsverarbeitung
... ms
– SSD:
ca. 0.2 ms (<2 ms write cache miss)
-Datenbanken
• IOPS (random read)
-OLTP Apps (< 100x schnellere Responsezeiten; Transaktionen pro
– HD Array: 6
6.000
000 versus SSD: 100.000
100 000
Sekunde
bis Faktor 10 erhöht)
– Stromverbrauch: HD-Array vs. SSD: Faktor 3x-10x
• Kosten:
Content
Streaming
... pro GB
– HD Array:
$ 15.0
bis zu 300 x schneller
-Rich
Media Apps
(< 10/ xGB
mehr Streams/t)
– SSD:
$150
bis zu 10 x teurer
Realtime
Editing von HD-Mediastreams
HD Mediastreams etc.
-Realtime
*Quelle: Hersteller Texas Memory Systems,TMS
Deuschle Storage Business Consulting, München 2009 - Reprint-Reproduction Forbidden Without Permission - Alle Rechte bei den genannten Unternehmen-/Eigentümern
NAND Flash Alternativen – Future
S lid St
Solid
State
t St
Storage ...
NonVolatile RAM
Magnetic RAM
Ferroelectric RAM
RAM
MRAM
10 ns
2 ns
Phase-Change RAM
M
Memory-to-Memory
M
SAN
Deuschle Storage Business Consulting, München 2009 - Reprint-Reproduction Forbidden Without Permission - Alle Rechte bei den genannten Unternehmen-/Eigentümern
Active
Archive
NAND Flash Alternativen – Future
S lid St
Solid
State
t St
Storage (2)
NonVolatile RAM
Magnetic RAM
Ferroelectric RAM
Phase-Change RAM
RAM
10 GbE, IB
NVRAM
SAN,, NAS heute
...
Deuschle Storage Business Consulting, München 2009 - Reprint-Reproduction Forbidden Without Permission - Alle Rechte bei den genannten Unternehmen-/Eigentümern
NOR/NAND und DRAM:
SRAM
DRAM
RAMDISK
ORNAND™
SSD
NAND, NOR
HDD
Q ll SSpansion,
Quelle:
i
11/2008
Deuschle Storage Business Consulting, München 2009 - Reprint-Reproduction Forbidden Without Permission - Alle Rechte bei den genannten Unternehmen-/Eigentümern
NAND Flash Alternativen
F t
Future
Storage,
St
Ausblick
A bli k ...
¾ NAND Flash ist Übergangstechnologie
¾ MRAM,
MRAM PRAM als (FC-HDD)
(FC HDD) Nachfolger
(Intel, AMD, IBM, Samsung, NEC u.a.)
Basis für Cloud Computing- Storage
Zukünftig: 2015+ NANO Speicher:
MEMRISTOR RACETRACK (HP
MEMRISTOR,
(HP, IBM
IBM, TKD u
u.a.)
a)
RaceTrack StorageArray*:
"Großer" Schreib/Lese-Kopf,
"kleine" Spin-Datenfelder auf
ferroelektrischem Nanodraht*
Nanostrukturen
Lichtspeicher
Spintronics
Quelle Abbildungen: IBM Watson Research Center, USA und Dr. A. Köster, IBM
Deutschland.
Deuschle Storage Business Consulting, München 2009 - Reprint-Reproduction Forbidden Without Permission - Alle Rechte bei den genannten Unternehmen-/Eigentümern
Trend 2: Kapazitätsoptimierung,
p
p
g, COS
• Kapazität und Kosten limitieren die Verwendung
von Disk-Systemen
Di k S
fü
für B
Backupk
und
dR
Restore:
– Daten müssen nach wenigen Tagen gelöscht oder
verschoben
e sc obe werden.
e de
– Einer der Hauptvorteile von D2D-Backups, die
hohe Recovery-Geschwindigkeit, bleibt vielfach
ungenutzt.
ungenutzt
•
Effektives Disaster-Recovery kaum realisierbar
– Disk-Backup-Systeme sind isolierte Systeme
– Replikation ist bei verteilten Standorten aufgrund
des Datenvolumens vielfach nicht praxistauglich
(Kosten, Leistung, Netzbandbreite).
Deuschle Storage Business Consulting, München 2009 - Reprint-Reproduction Forbidden Without Permission - Alle Rechte bei den genannten Unternehmen-/Eigentümern
Daten De Duplizierung
Daten-De-Duplizierung
Î Definition:
D fi iti
Deduplizieren („single-instance“) ist das Entfernen von redundanten
Dateien, Bytes oder Datenblöcken. Diese (redundanten Daten) werden
durch Verweise (pointer) ersetzt.
Î
Data Repository zur Identifikation von „unique“ Data
Î
Technik: Pattern
Pattern-Matching
Matching (delta based)
based)* or Hashing-based
Hashing based - Algorithms
DeDup – Implementierungen:
•Pattern Matching ist eine Technik, mit der ein String, bestehend aus
Text oder binären Daten, nach einer Zeichenfolge durchsucht wird. Die
Zeichenfolge wird dabei in Form eines speziellen Suchmusters
angegeben
angegeben.
http://www.perlboard.de/perlguide/Kap09.html
1.File (Object-) Level: nur eine Kopie pro Datei wird geschrieben
y
oder Blocklevel:
2.Byte-
Deuschle Storage Business Consulting, München 2008 - Reprint-Reproduction Forbidden Without Permission - Alle Rechte bei den genannten Unternehmen-/Eigentümern
DeDuplizierung, cont.(1)
Wo wird DeDupliziert ?
1 Target: z.B.
1.Target:
z B Storage Subsystem:
+ keine CPU-Belastung
keine Host-Agents und SW-Updates, OPEX
zentrales
t l M
Mgmt./
t/T
Transparentt zu S
Server / A
Apps.
- Keine LAN-/WAN – Entlastung durch DeDup
2. Source: z.B. Host / VMs
+ Netzbandbreiten ... Entlastung LAN/WAN
- Hostbelastung,
Hostbelastung verteilte Systeme
- Installations- / Admin. Aufwand, OPEX
Deuschle Storage Business Consulting, München 2008 - Reprint-Reproduction Forbidden Without Permission - Alle Rechte bei den genannten Unternehmen-/Eigentümern
De-Duplizierung,
De
Duplizierung, cont.(2)
Wie wird DeDupliziert ?
1 R l Time:
1.Real
Ti
Deduplizierung
g findet beim Speichervorgang
g g statt.
+ Sofortige Platzeinsparung
- Performance Impact (z.B. FC HDDs nötig)
2. Post Processing:
+
-
Deduplizierung
D
d li i
zu d
definierten
fi i
Z
Zeiten,
i
d
d.h.
h planbar
l b
Zusätzliche Diskkapazität muss vorgehalten werden
Deuschle Storage Business Consulting, München 2008 - Reprint-Reproduction Forbidden Without Permission - Alle Rechte bei den genannten Unternehmen-/Eigentümern
Beispiel: Backup-/DR mit DeDuplikation
Weekly Backup: 5 TB
Änderungen pro Woche: 1.25
1 25 TB
Daily Backup: 1 TB - Verfügbare Sicherungszeit pro Woche: 8 Std.
Total Backups, primary site: 130 TB
Total Backups, DR site: 130 TB
DeDup Faktor = 17 : 1
RZ:
-DeDup: 7.4 TB
- VTL:
130 TB
- Tape:
1.040 Tapes
DR-Site:
- DeDup:
- VTL:
- Tape:
7.4 TB bei
b i 4.0
0 Mb/s.
b/
130 TB bei 72.0 Mb/s.
1.040 Tapes, KFZ, Archivraum
Deuschle Storage Business Consulting, München 2009 - Reprint-Reproduction Forbidden Without Permission - Alle Rechte bei den genannten Unternehmen-/Eigentümern
DeDu-Faktor
DeDu
Faktor (Effizienz) vs.
vs
p
p
g
Kapazitätseinsparung
Dedup
Ratio
Quelle: Quantum Corporation, 2008
Disk
Savings
1:1
0%
2:1
50%
3:1
67%
4:1
75%
5:1
80%
6:1
83%
7:1
86%
8:1
87%
9:1
89%
10:1
90%
50:1
98%
100:1
99.0%
500:1
99.8%
Normal: Raten zwischen 10:1 - 30:1
Deuschle Storage Business Consulting, München 2009 - Reprint-Reproduction Forbidden Without Permission - Alle Rechte bei den genannten Unternehmen-/Eigentümern
Einsatzkriterien - DeDuplication
• Beeinflusst DeDup die Backup-Performance?
(Konfigurationen, in-line, postprocessing..)
• Datenstrukturen
k
respektive
k
Anwendungen!
d
– Effizienzfaktor, Encryption, Compression …
• Index-Katalog (Data Repository): Aufbau,
Sicherheit, Grösse, Verfügbarkeit, RAM oder Disk...
• Skalierbarkeit
Sk li b k it (A
(Architekturprinzipien)
hit kt
i i i )
• Erweiterbarkeit (n-nodes)
• Kostenaspekte
K
k (OPEX)*
*Einkaufsführer DeDup - N.Deuschle - www.storageconsortium.de /Downloads
Deuschle Storage Business Consulting, München 2009 - Reprint-Reproduction Forbidden Without Permission - Alle Rechte bei den genannten Unternehmen-/Eigentümern
Trend: DeDuplikation & Virtual Tape
- Kaum
K
Geräteengpässe,
G ät
ä
stabile
t bil Pl
Planung möglich
ö li h
- Deutlich kürzere Sicherungszeiten mit virtualisierten Bändern
- Einheitliches Mgmt.
Mgmt der logischen Volumes und weniger Ausfälle
- Für Systemadministration ein vorhersehbarer Prozess
- Entlastung der Backup
Backup-Server
Server und des Speichernetzwerks
- Unabhängigkeit von Bandtechnologien
- Flexibilität und Leistung beim Restore
- Betriebskosten können gesenkt werden
- Backupkosten 10%-30% geringer
- Backup-Prozesse fehlertoleranter.
Deuschle Storage Business Consulting, München 2009 - Reprint-Reproduction Forbidden Without Permission - Alle Rechte bei den genannten Unternehmen-/Eigentümern
Data De
De-Duplication
Duplication und Datenintegrität
Data pattern „1234123412341234“
Compression: „4 1234“ (4-fache Kompression von 16 digits)
De-Duplication:
Data pattern 1234123412341234 (16 digits)
===> 1234 (4 digits)
D t i t
Datenintegrität
ität (BER) von Hash-basierenden
H h b i
d
D
DeDup
D
- Verfahren
V f h
• Bei 95EB an Daten existiert eine statistische BER von:
0 00000000000001110223024625156540423631668090820313% einen
0.00000000000001110223024625156540423631668090820313%,
Datenblock durch Hash-Collision zu verlieren
•U
Undetected
d t t d Bit E
Error R
Rate:
t
– Jeder Schreibvorgang auf ein LTO tape drive bedeutet statistisch
eine BER von 0.000000000000000000000000100000% = 1 in
10^(27)
HASH COLLISION ist mit SHA-1 (noch) nicht praxisrelevant
Trend 3: Virtualisierung
g im RZ,,
Storage und Energieeffizienz
• Server Virtualisierung als Katalysator für SANs und
Speichervirtualisierung
– Parameter: Skalierbarkeit, I/O ...
Bildquelle: ESG
ESG, 10/07
Deuschle Storage Business Consulting, München 2009 - Reprint-Reproduction Forbidden Without Permission - Alle Rechte bei den genannten Unternehmen-/Eigentümern
Entwicklung – Virtualisierung im RZ
Europa
2007:
8%-10%
aller
Server
virtualisiert
• V1 (2001 - 2006)
– Konsolidierung, SW-Entwicklung-/Tests (ca. 80%)
– Verfügbarkeit (ca.
(ca 15%)
– Virt. Clients (ca. 3%)
Î Ressourcen-Sharing, heterogene Plattformen
• V2 (2007 - 2011)
ca. 50%
planen
Beschaffung
für 2008
– Konsolidierung, SW-Entwicklung-/Tests (ca. 30%)
– Verfügbarkeitsaspekte (ca.
(ca 50%)
– Virt. Clients (15%), SOA
Î Ressource-sharing + Migration + Workload Management
ÎUnplanned Downtime,
Downtime Energieeffizienz,
Energieeffizienz Performance
• V3 (2012+)
– Policy
Policy-based
based Automation
Automation, SOA V2
Deuschle Storage Business Consulting, München 2009 - Reprint-Reproduction Forbidden Without Permission - Alle Rechte bei den genannten Unternehmen-/Eigentümern
Energiekosten und virtuelle Ressourcen im
Data Center
•
SANs und Storage Virtualisierung nach Servervirtualisierung sinnvoll,
sinnvoll jedoch:
–
Konsolidierung impliziert nicht nur Energieeinsparung
☹
• 2003 - 2008: typ. Rack im RZ = 2.0kW bis 3.0kW
• Wärmeabgabe ca. 25% der Energiekosten
– 2009: 20.0kW
• Wärmeabgabe 5 - 10 KW (bis 50% Kosten Wärmeabfuhr)
– Kühlung: 0,5 bis 0,7 Watt pro 1 Watt Server - Power*
•
Kühlung Î 60% des Energieverbrauchs im RZ
⇒ High-Density – Architekturen Î
5-10 x Energieverbrauchs von konventionellen Systemen
⇒ Konventionell: bis zu 30kW pro Storage Rack 2012+
2010: Energiekosten zweitgrößter Kostenblock im RZ
*Quellen: Flometrics, IBM, Gartner Group, Forrester Research, 2007
Typisches RZ: 800.000.000 kWh p.a. = 380.000.000 kg CO2*
Deuschle Storage Business Consulting, München 2009 - Reprint-Reproduction Forbidden Without Permission - Alle Rechte bei den genannten Unternehmen-/Eigentümern
Storage Virtualisierung
VirtualisierungEnergieeffizienz
KWh/Jahr
Beispiel: Energiebedarf für 50TB (Stromverbrauch + Kühlung)
nach
h Disktyp
Di kt (Energieverbrauch
(E
i
b
h variiert
ii t jje nach
hH
Hersteller
t ll und
d
Disk-Arraymodell; Angaben sind als Anhaltspunkt zu sehen).
Storage Virtualisierung
FC
FC, SAS, SATA
SATA
TAPE, MAID
HSM, Disk-Tape
Quellen: Seagate, Bull, 2007
Deuschle Storage Business Consulting, München 2009 - Reprint-Reproduction Forbidden Without Permission - Alle Rechte bei den genannten Unternehmen-/Eigentümern
Fazit
- Kapazitätsoptimierung
- Virtualisierung
g
& Performance
- Energieeffizienz
Anforderungen an InfrastrukturElemente steigen !
Zusammenfassung- Fazit
Zusammenfassung
iSCSI
FCoE
Flash SSD
Deuschle Storage Business Consulting, München 2009 - Reprint-Reproduction Forbidden Without Permission - Alle Rechte bei den genannten Unternehmen-/Eigentümern
Vielen Dank für
f Ihre
Aufmerksamkeit !
www.storageconsortium.de
norbert deuschle@storageconsortium de
[email protected]
Deuschle Storage Business Consulting, München 2009 - Reprint-Reproduction Forbidden Without Permission - Alle Rechte bei den genannten Unternehmen-/Eigentümern
Literaturempfehlung:
Deuschle Storage Business Consulting, München 2009 - Reprint-Reproduction Forbidden Without Permission - Alle Rechte bei den genannten Unternehmen-/Eigentümern
Literaturempfehlung:
Quelle: FCIA, fibre channel industry association, 2008
Deuschle Storage Business Consulting, München 2009 - Reprint-Reproduction Forbidden Without Permission - Alle Rechte bei den genannten Unternehmen-/Eigentümern