Aktuelle Storagetrends im Aktuelle
Transcription
Aktuelle Storagetrends im Aktuelle
Aktuelle Storagetrends im Rechenzentrum Eine technologische Standortbestimmung norbert e. deuschle d deuschle hl b business i consulting lti (Dipl.Wi.Ing., Senior Berater, Analyst) www.storagewelt.de www.storageconsortium.de t ti d Agenda - Einführung Trend 1: I/O-Performance, HDD‘s, SSDs, Alternativen 640 KBytes (Arbeitsspeicher) ist alles, was irgendeine Applikationpjemals benötigen sollte - Bill Gates, 1981 Trend 2: Kapazitätsoptimierung, p g COS Trend 3: Virtualisierung & Energieeffizienz Fazit Das Datenwachstum weltweit ... 1 MB = 1 Esslöffel Sand 1 ZB = 1 Strand ... 30 m breit, 30cm tief, entlang Europa) 161 EB Æ 1.0 ZB ... Wachstum x6 Quelle: IDC, 2007 Deuschle Storage Business Consulting, München 2009 - Reprint-Reproduction Forbidden Without Permission - Alle Rechte bei den genannten Unternehmen-/Eigentümern Datenwachstum im Unternehmen Unstrukturiertes Datenwachstum Name Space Verwaltung Plan: 55% Wachstum p.a. Jedoch oft > 100% Non-Shared NAS Distributed (Clustered-) FS GNS NuView (Brocade) O S Pantera ONStor Exanet NetApp GX (Spinnaker) I ili Isilion EMC (Rainfinity) HP (PolyServ) Microsoft (DFSR2) IBM Panasas etc.. Network File Management Services - File Virtualization - File Mgmt Mgmt..Services NeoPath Attune NetApp Acopia (F5) Bridgehead ................... Brocade EMC 2008 Wide Area File Services (WAFS) - File Services - Network Optimization - Application Acceleration Cisco Brocade Packeteer Quantum HP2010 Riverbed Juniper Nortel File Content Cl Classification ifi ti DeDuplication Kazeon StoredIQ Abrevity R k t Software Rocket S ft (Arkivio) Njini IBM / FileNet DataGlobal Pandoratio Scentric FAST Blackball usw. 2/3 / an unstrukturierten Daten auf Enterprise p Arrays... y 1/3 / im (nearline-) ( ) Archiv Deuschle Storage Business Consulting, München 2009 - Reprint-Reproduction Forbidden Without Permission - Alle Rechte bei den genannten Unternehmen-/Eigentümern Konsequenzen für Storageprozesse … • Weniger “aktive Daten” auf HD (50x pro Jahrzehnt) • Disk scan benötigt immer länger (10x pro Dekade) Quasi unbegrenzte Kapazität – 1990 disk ~ 1GB = 5 Min. scan – 2008 disk ~1000GB = 6.5 hour scan • Problem: Backup-/Restore Zeiten … • In 2009: – 75TB / Storage Admin (managed storage, Automation) • Problem: – 5TB = 10 Preiseinheiten heute – 5TB = 1 Preiseinheit in wenigen Jahren … Begrenzte Bandbreite Storage Management Kosten Æ höheren Storagekosten Deuschle Storage Business Consulting, München 2009 - Reprint-Reproduction Forbidden Without Permission - Alle Rechte bei den genannten Unternehmen-/Eigentümern Automatisierte Speicherverwaltung virtualisierter Ressourcen • Nur ca. 60% haben formale Storage Policies* und Verantwortlichkeiten eingeführt. • Disziplin: Automated Storage Resource Management Management, (A)SRM * Policies: SLA basierende Definitionen von Storage Services, Services priorisiert nach Benutzerklassen und geschäftlichen Anforderungen €/GB/Month • Mit automatisierten Storage g Prozessen wird die Effizienz pro FTE verdoppelt – 60.0+ TB/Admin. in 2008 Personalkosten Ohne Storage Mgmt. mit automatisiertem Storage Management Speicherkosten (RAID Subsysteme) 1995 2000 2001: 2002: 2003: 1.25 TB/FTE 3.80 3 80 TB/FTE 6.50 TB/FTE 2005 2009: 75.00 TB/FTE Deuschle Storage Business Consulting, München 2009 - Reprint-Reproduction Forbidden Without Permission - Alle Rechte bei den genannten Unternehmen-/Eigentümern Quellen: SNIA XAM, DMTF 2010 File ManagementManagement Virtualisierung Name Space Verwaltung Non-Shared NAS DistributedShared FS, GNS Brocade (NuView) O S Pantera ONStor Exanet, Panasas NetApp GX (Spinnaker) I il Isilon EMC (Rainfinity) HP (PolyServ) Microsoft (DFSR2) IBM (GPFS), (GPFS) SoFS S FS SUN ZFS etc.. Quelle: N.Deuschle, 12/2008 Network File Management Services Wide Area File Services WAFS File Classification File Virtualization - File Mgmt.Services - File Services - Network Optimization - Application Acceleration File Content Classification NeoPath (Cisco) Attune NetApp Acopia (F5) Bridgehead Brocade EMC C HP IBM etc.. Cisco Brocade Packeteer Quantum HP Riverbed Juniper Nortel SilverPeak etc.. Trend: Clustered Storage + Filevirtualisierung + Integration von DeDup & Backup (virtual tape) Kazeon StoredIQ Abre it Abrevity DataGlobal Arkivio Njini IBM / FileNet Pandoratio Scentric FAST Blackball Zantaz etc.. Deuschle Storage Business Consulting, München 2008 - Reprint-Reproduction Forbidden Without Permission - Alle Rechte bei den genannten Unternehmen-/Eigentümern Quelle: IEEE Computer Society / Google, Luiz André Barroso, Urs Hölzle Dez. 2007 Server-/Storagearchitekturen /Storagearchitekturen Virtualisierung = pot. pot I/O - Engpass Klassische Server wurden vor dem Internet entwickelt... Web W b 2.0 2 0 verlangt l t nach h stärkerer tä k D t Datenund nicht CPU-Zentrierung (s.a. Datenwachstum vs. Moore‘s Law) Î Mehr I/O-, Storage-RAM-Kapazitäten als CPU-Servercapacity sinnvoll (Memory-Scale-Up-Architekturen ...) Deuschle Storage Business Consulting, München 2009 - Reprint-Reproduction Forbidden Without Permission - Alle Rechte bei den genannten Unternehmen-/Eigentümern Intro: Server-/Storage High DensityE t i kl Entwicklung bi bis 2011/12 - 10x to 100x Leistungsverbesserung i b • 10TB HD • 512GB+ NAND Solid State Disks (T0) • 1TB Hauptspeicher • 16+ cores cpu 16 cores 16 cores 16 cores 16 cores 1TB DDR3 System Crossbar PCIe Gen 3 16x 10TB HDD PCIe Gen 3 - Wachstum exponentiell: • Kapazität • Bandwidth • Latency 60% p.a. (100x) 40% p.a. (10x) 15% p.a. - Kapazität >> Bandbreite >> Latency -ENERGIEEFFIZIENZ - Data Center IT Utilization (DCIU) - Data Center Performance per Watt (DCPpW) 16Gb/s FC 10Gb/s FCoE SSD Geschwindigkeit (t) - CPU’s CPU’ Memory Diskkapazitäten Netzbandbreite Änderungen (t) - IT P Prozesse Memory X-Rate Storage latency Fabric Architekturen Quelle: Stuart Berman, CTO Emulex Corp. Deuschle Storage Business Consulting, München 2009 - Reprint-Reproduction Forbidden Without Permission - Alle Rechte bei den genannten Unternehmen-/Eigentümern Storage und Energieeffizienz • Verbraucher (%) im RZ vor Virtualisierung: – Server 60-70%, Netze 10-20%, – Storage ca. 20% • Mit Server-Virtualisierung + HD-Architekturen: – Server: 10%-20% (Konsolidierungsraten von 1:10 - 1:30 typisch..) typisch ) Server Storage jetzt im Fokus Verbraucher nach Virtualisierung Netze 4 0 % 50% Deuschle Storage Business Consulting, München 2009 - Reprint-Reproduction Forbidden Without Permission - Alle Rechte bei den genannten Unternehmen-/Eigentümern Speicher High-Density Architekturen • Herausforderung HighDensity, HD-Architekturen Server Storage ... Server, Quelle: RZ, Finanzdienstleister 2008 Cooling on Demand Î 1 Grad Absenkung = kostet 5% mehr Energie ! Deuschle Storage Business Consulting, München 2009 - Reprint-Reproduction Forbidden Without Permission - Alle Rechte bei den genannten Unternehmen-/Eigentümern E Energieeffizienz i ffi i iim R Rechenzentrum h t Rechenzentrums – Performance-Effizienz (DCPE): - DCE = (1/PUE) PUE (Power Usage Effectiveness) - PUE = (total Facility Power / IT Equipment Power) www.thegreengrid.org Deuschle Storage Business Consulting, München 2009 - Reprint-Reproduction Forbidden Without Permission - Alle Rechte bei den genannten Unternehmen-/Eigentümern TREND 1: Halbleiterspeicher schnell & energieeffizient ... HDD-Entwicklungstrends 2008 - 2015 The Hard Disk Is Dead: Long Live Solid State Patterned Media (>2010) Bylund 1.0 -By 3.0Anders Tb/sq.in. Thermally Assisted Recording, TAR* TAR (>2015..?) (>2015 ?) 2.0 - 15.0 Tb/sq.in. October 7, 2008 Perpendicular R. Quelle: US Nasdaq TechTicker, 07. Okt. 2008 500 - 800 Gb/sq.in. Gb/sq in >2006 „Der Test zeigt es geht in Richtung SSD.. einzig der Preis und die Speicherkapazität lässt zu wünschen übrig. Aber wie wir wissen geht die Entwicklung rasend schnell. Das Ende der Festplatte naht...“ PC Welt, Sept. 2008 Sometimes, it takes an established industry giant to bring out the best in a brilliant new technology. Intel (Nasdaq: INTC) wasn't kidding this summer when it promised to put a new face on solid-state drives. The chip giant's first serious foray into the $35 billion storage drive market hits the street this week, and the early buzz is phenomenal. Longitudinal R. < 130 Gb/sq.in. Intels new X25-M ... still not cheap enough to blow traditional disk makers like Western Digital (NYSE: WDC) and <2015 Seagate Technology (NYSE: STX) to pieces yet yet, but it's it s just a question of time time. ... STEC (Nasdaq: STEC) and SMART Modular Technologies (Nasdaq: SMOD) make business-class flash drives to power massive data banks like video-on-demand libraries. Motorola (NYSE: MOT) builds entire media servers around the extreme performance and reliability of solid-state storage. *Bto keep10 *Bsp.: Tb/ i = auf 2.5“ 2 5“ oder d TB auff from 3.5“ 3 5“that disk diangle, k too. IT managers love theirTb/sq.in. data centers cool12 and TB quiet, sof memory chips 50 are desirable Quelle: HITACHI GST Deuschle Storage Business Consulting, München 2009 - Reprint-Reproduction Forbidden Without Permission - Alle Rechte bei den genannten Unternehmen-/Eigentümern Halbleiterspeicher - Kurzübersicht • • SRAM (Flip-Flop, (Fli Fl CPU Cache) C h ) – Sehr schnell (x100 als DRAM = < 0,1 ns), hoher Energieverbrauch, teuer, geringe Kapazität, volatil ... DRAM/SDRAM (Main Memory) – Schnell (20 bis 7 ns), klein, Kapazitäten teuer, Refresh nötig, volatil ... • PRAM (Phase Change M. ) NOR-/NAND-Flash) /NAND Flash) – Möglicher Ersatz für DRAM und NOR – Schnell (x30 zu Flash, klein, nicht-flüchtig, langlebig (x10 zu Flash), preiswert in der Herstellung, (Intel, AMD, Samsung, NEC, IBM) – Möglicher Ersatz für Flash bei USB Sticks ... • MRAM (Magneto-resistive) (Magneto resistive) – Schnell wie SRAM, Packungsdichte wie DRAM, kein Refresh, nicht-flüchtig, langlebig wie SDRAM (ca. 1 Billion write-/read-cycles), Technikpotential heute noch nicht ausgenutzt, Preiswerte Herstellung, Ersatz für SDRAM möglich (Philips, Freescale, Infineon, IBM ...) EEPROM / FLASH Memory (NOR, NAND, ORNAND™) – ohne einzelne Speicherelement-Löschung, langsamer als RAM, kompliziertes Write-/Read Î Controller mit ECC nötig, teurer als HDD, non-volatile, geringer Energieverbrauch, klein, hohe Datendichte schnell gegenüber HDD‘s (Reads) ... Datendichte, Deuschle Storage Business Consulting, München 2009 - Reprint-Reproduction Forbidden Without Permission - Alle Rechte bei den genannten Unternehmen-/Eigentümern Z Zugriffszeiten iff it vs. T Technologie h l i Deuschle Storage Business Consulting, München 2009 - Reprint-Reproduction Forbidden Without Permission - Alle Rechte bei den genannten Unternehmen-/Eigentümern Energieeffizienz- Metrik P Power Density, D it TB pro (K)W (K)Watt, tt Storage St Density, D it TB pro Stellfläche St llflä h TAPE + DeDup p TB/Watt Tape** MAID + DeDuplizierung MAID* Tape CAS SATA Arrays FC / SAS Enterprise Arrays 500 – 7,0 , kW Rack 1,5 , - 3.0 kW Rack TB/Stellfläche *MAID, Massive Arrays of Idle Disks for Storage Archives, D. Colarelli and D. Grunwald, 2002 ACM/IEEE conference on Supercomputing, November 2002, 2002 Baltimore, Baltimore US US. Anbieter: Copan Copan, nexsan ** Kapazitätsabhängig Deuschle Storage Business Consulting, München 2009 - Reprint-Reproduction Forbidden Without Permission - Alle Rechte bei den genannten Unternehmen-/Eigentümern E Energieeffiziente i ffi i t SSD SSDs: IOPS / Durchsatz pro Watt • • • • Storage (Sub-)system Bandbreite, Storage Density, Power Density, IOPS / (K)Watt MB/s / (K)Watt TB / Stellfläche TB / (K)Watt – Bsp.: Solid State Disk Technologie: = 200 IOPS/Watt – Bsp.: RAID-6 HDD Array = 10 IOPS/Watt Deuschle Storage Business Consulting, München 2009 - Reprint-Reproduction Forbidden Without Permission - Alle Rechte bei den genannten Unternehmen-/Eigentümern SSD- Technik: zu HDD (Arrays) ? • • • Festplatten: noch 10 - 15 Jahre am Markt ... Formfaktor: Übergang zu 2.5“ Drives in 2009 Zunehmend FLASH für 15k HDDs (2009/10) • Neue Optionen = Solid State + SLC NAND (Flash) g p Arrays: y 320 GB,, 2.5“,, 0,5ms , seek – Highspeed – Kombination von SSD mit RAID-Flash • Einstiegspreise deutlich reduziert (NAND-Preise minus 30-50% p.a. in 2007/08) ⇒ HDD latency: bis 1:700 gegenüber SDRAM ⇒ NAND latency: bis 1: 80 gegenüber SDRAM ⇒ Kombination aus DRAM plus SLC-NAND – Vorteile: > hohe E/A-Leistung > Energieeffizient (IOPS / Watt) > Anbieterbsp.: Texas Memory Systems, TMS Deuschle Storage Business Consulting, München 2009 - Reprint-Reproduction Forbidden Without Permission - Alle Rechte bei den genannten Unternehmen-/Eigentümern NAND Flash als HDD-Ersatz HDD Ersatz sinnvoll ? • Zuverlässigkeit, Einsatzmöglichkeiten: + MTBF auf HDD–Level (>1.5 Mio Std.) + SLC NAND: >100.000 Write Write-cycles cycles + Random, Sequential - I/O Performance hoch - IOPS bei Random-Write plus Verschleiß ¾ Für jede Löschoperation eine Blockkopie ¾ Verlagern oft genutzter Blöcke verringert vorschnelle Alterung ¾ Controller-Intelligenz nötig ¾ Preis P i ($30 ($30-120 120 pro GB) Deuschle Storage Business Consulting, München 2009 - Reprint-Reproduction Forbidden Without Permission - Alle Rechte bei den genannten Unternehmen-/Eigentümern NAND Flash vs. HDD Arrays • • • • 60 HDDs 18 000 IOPS 18.000 6.0 GB/s 4.4 TB – Pro HDD: • 100MB/s • 300 IOPS O S – 12W (active) * Angaben basierend auf INTEL Specs, 11/2008 Energiekosten g -Faktor 5 Read d IOPS O S -Faktor >110 X-Rate -Faktor 3 (active) 60 SSDs* 2 1 Mio. 2.1 Mio IOPS 18 GB/s 1.9 TB - Pro SSD: - 250MB/s read - 170MB/s 0 / write - 35K IOPS 2 4W - 2.4W Wh When servers wait it on storage, t users wait it on servers. Thi This iis I/O wait it ti time... Deuschle Storage Business Consulting, München 2009 - Reprint-Reproduction Forbidden Without Permission - Alle Rechte bei den genannten Unternehmen-/Eigentümern Applikationsprofile, pp at o sp o e, SS SSD – Einsatz sat in 2009 009 Enterprise DDRAM-/Flash SSD Virtual Machines ... zu 3-4Hit* x mehr VMs pro Serverinstanz lauffähig •-Bis Cache – HardDisk Array: ms -Keine Interrupts wegenca. I/O0.3 Engpäßen ca 0 0.015 015 ms (15.0 (15 D 0 microsec.) microsec -Metadaten M–t SSD: d t – Management Mca. t (VTL, (VTL DeDup D ...)) ) • Cache Miss (Read) – HardDisk Array: ca. 5.0 Transaktionsverarbeitung ... ms – SSD: ca. 0.2 ms (<2 ms write cache miss) -Datenbanken • IOPS (random read) -OLTP Apps (< 100x schnellere Responsezeiten; Transaktionen pro – HD Array: 6 6.000 000 versus SSD: 100.000 100 000 Sekunde bis Faktor 10 erhöht) – Stromverbrauch: HD-Array vs. SSD: Faktor 3x-10x • Kosten: Content Streaming ... pro GB – HD Array: $ 15.0 bis zu 300 x schneller -Rich Media Apps (< 10/ xGB mehr Streams/t) – SSD: $150 bis zu 10 x teurer Realtime Editing von HD-Mediastreams HD Mediastreams etc. -Realtime *Quelle: Hersteller Texas Memory Systems,TMS Deuschle Storage Business Consulting, München 2009 - Reprint-Reproduction Forbidden Without Permission - Alle Rechte bei den genannten Unternehmen-/Eigentümern NAND Flash Alternativen – Future S lid St Solid State t St Storage ... NonVolatile RAM Magnetic RAM Ferroelectric RAM RAM MRAM 10 ns 2 ns Phase-Change RAM M Memory-to-Memory M SAN Deuschle Storage Business Consulting, München 2009 - Reprint-Reproduction Forbidden Without Permission - Alle Rechte bei den genannten Unternehmen-/Eigentümern Active Archive NAND Flash Alternativen – Future S lid St Solid State t St Storage (2) NonVolatile RAM Magnetic RAM Ferroelectric RAM Phase-Change RAM RAM 10 GbE, IB NVRAM SAN,, NAS heute ... Deuschle Storage Business Consulting, München 2009 - Reprint-Reproduction Forbidden Without Permission - Alle Rechte bei den genannten Unternehmen-/Eigentümern NOR/NAND und DRAM: SRAM DRAM RAMDISK ORNAND™ SSD NAND, NOR HDD Q ll SSpansion, Quelle: i 11/2008 Deuschle Storage Business Consulting, München 2009 - Reprint-Reproduction Forbidden Without Permission - Alle Rechte bei den genannten Unternehmen-/Eigentümern NAND Flash Alternativen F t Future Storage, St Ausblick A bli k ... ¾ NAND Flash ist Übergangstechnologie ¾ MRAM, MRAM PRAM als (FC-HDD) (FC HDD) Nachfolger (Intel, AMD, IBM, Samsung, NEC u.a.) Basis für Cloud Computing- Storage Zukünftig: 2015+ NANO Speicher: MEMRISTOR RACETRACK (HP MEMRISTOR, (HP, IBM IBM, TKD u u.a.) a) RaceTrack StorageArray*: "Großer" Schreib/Lese-Kopf, "kleine" Spin-Datenfelder auf ferroelektrischem Nanodraht* Nanostrukturen Lichtspeicher Spintronics Quelle Abbildungen: IBM Watson Research Center, USA und Dr. A. Köster, IBM Deutschland. Deuschle Storage Business Consulting, München 2009 - Reprint-Reproduction Forbidden Without Permission - Alle Rechte bei den genannten Unternehmen-/Eigentümern Trend 2: Kapazitätsoptimierung, p p g, COS • Kapazität und Kosten limitieren die Verwendung von Disk-Systemen Di k S fü für B Backupk und dR Restore: – Daten müssen nach wenigen Tagen gelöscht oder verschoben e sc obe werden. e de – Einer der Hauptvorteile von D2D-Backups, die hohe Recovery-Geschwindigkeit, bleibt vielfach ungenutzt. ungenutzt • Effektives Disaster-Recovery kaum realisierbar – Disk-Backup-Systeme sind isolierte Systeme – Replikation ist bei verteilten Standorten aufgrund des Datenvolumens vielfach nicht praxistauglich (Kosten, Leistung, Netzbandbreite). Deuschle Storage Business Consulting, München 2009 - Reprint-Reproduction Forbidden Without Permission - Alle Rechte bei den genannten Unternehmen-/Eigentümern Daten De Duplizierung Daten-De-Duplizierung Î Definition: D fi iti Deduplizieren („single-instance“) ist das Entfernen von redundanten Dateien, Bytes oder Datenblöcken. Diese (redundanten Daten) werden durch Verweise (pointer) ersetzt. Î Data Repository zur Identifikation von „unique“ Data Î Technik: Pattern Pattern-Matching Matching (delta based) based)* or Hashing-based Hashing based - Algorithms DeDup – Implementierungen: •Pattern Matching ist eine Technik, mit der ein String, bestehend aus Text oder binären Daten, nach einer Zeichenfolge durchsucht wird. Die Zeichenfolge wird dabei in Form eines speziellen Suchmusters angegeben angegeben. http://www.perlboard.de/perlguide/Kap09.html 1.File (Object-) Level: nur eine Kopie pro Datei wird geschrieben y oder Blocklevel: 2.Byte- Deuschle Storage Business Consulting, München 2008 - Reprint-Reproduction Forbidden Without Permission - Alle Rechte bei den genannten Unternehmen-/Eigentümern DeDuplizierung, cont.(1) Wo wird DeDupliziert ? 1 Target: z.B. 1.Target: z B Storage Subsystem: + keine CPU-Belastung keine Host-Agents und SW-Updates, OPEX zentrales t l M Mgmt./ t/T Transparentt zu S Server / A Apps. - Keine LAN-/WAN – Entlastung durch DeDup 2. Source: z.B. Host / VMs + Netzbandbreiten ... Entlastung LAN/WAN - Hostbelastung, Hostbelastung verteilte Systeme - Installations- / Admin. Aufwand, OPEX Deuschle Storage Business Consulting, München 2008 - Reprint-Reproduction Forbidden Without Permission - Alle Rechte bei den genannten Unternehmen-/Eigentümern De-Duplizierung, De Duplizierung, cont.(2) Wie wird DeDupliziert ? 1 R l Time: 1.Real Ti Deduplizierung g findet beim Speichervorgang g g statt. + Sofortige Platzeinsparung - Performance Impact (z.B. FC HDDs nötig) 2. Post Processing: + - Deduplizierung D d li i zu d definierten fi i Z Zeiten, i d d.h. h planbar l b Zusätzliche Diskkapazität muss vorgehalten werden Deuschle Storage Business Consulting, München 2008 - Reprint-Reproduction Forbidden Without Permission - Alle Rechte bei den genannten Unternehmen-/Eigentümern Beispiel: Backup-/DR mit DeDuplikation Weekly Backup: 5 TB Änderungen pro Woche: 1.25 1 25 TB Daily Backup: 1 TB - Verfügbare Sicherungszeit pro Woche: 8 Std. Total Backups, primary site: 130 TB Total Backups, DR site: 130 TB DeDup Faktor = 17 : 1 RZ: -DeDup: 7.4 TB - VTL: 130 TB - Tape: 1.040 Tapes DR-Site: - DeDup: - VTL: - Tape: 7.4 TB bei b i 4.0 0 Mb/s. b/ 130 TB bei 72.0 Mb/s. 1.040 Tapes, KFZ, Archivraum Deuschle Storage Business Consulting, München 2009 - Reprint-Reproduction Forbidden Without Permission - Alle Rechte bei den genannten Unternehmen-/Eigentümern DeDu-Faktor DeDu Faktor (Effizienz) vs. vs p p g Kapazitätseinsparung Dedup Ratio Quelle: Quantum Corporation, 2008 Disk Savings 1:1 0% 2:1 50% 3:1 67% 4:1 75% 5:1 80% 6:1 83% 7:1 86% 8:1 87% 9:1 89% 10:1 90% 50:1 98% 100:1 99.0% 500:1 99.8% Normal: Raten zwischen 10:1 - 30:1 Deuschle Storage Business Consulting, München 2009 - Reprint-Reproduction Forbidden Without Permission - Alle Rechte bei den genannten Unternehmen-/Eigentümern Einsatzkriterien - DeDuplication • Beeinflusst DeDup die Backup-Performance? (Konfigurationen, in-line, postprocessing..) • Datenstrukturen k respektive k Anwendungen! d – Effizienzfaktor, Encryption, Compression … • Index-Katalog (Data Repository): Aufbau, Sicherheit, Grösse, Verfügbarkeit, RAM oder Disk... • Skalierbarkeit Sk li b k it (A (Architekturprinzipien) hit kt i i i ) • Erweiterbarkeit (n-nodes) • Kostenaspekte K k (OPEX)* *Einkaufsführer DeDup - N.Deuschle - www.storageconsortium.de /Downloads Deuschle Storage Business Consulting, München 2009 - Reprint-Reproduction Forbidden Without Permission - Alle Rechte bei den genannten Unternehmen-/Eigentümern Trend: DeDuplikation & Virtual Tape - Kaum K Geräteengpässe, G ät ä stabile t bil Pl Planung möglich ö li h - Deutlich kürzere Sicherungszeiten mit virtualisierten Bändern - Einheitliches Mgmt. Mgmt der logischen Volumes und weniger Ausfälle - Für Systemadministration ein vorhersehbarer Prozess - Entlastung der Backup Backup-Server Server und des Speichernetzwerks - Unabhängigkeit von Bandtechnologien - Flexibilität und Leistung beim Restore - Betriebskosten können gesenkt werden - Backupkosten 10%-30% geringer - Backup-Prozesse fehlertoleranter. Deuschle Storage Business Consulting, München 2009 - Reprint-Reproduction Forbidden Without Permission - Alle Rechte bei den genannten Unternehmen-/Eigentümern Data De De-Duplication Duplication und Datenintegrität Data pattern „1234123412341234“ Compression: „4 1234“ (4-fache Kompression von 16 digits) De-Duplication: Data pattern 1234123412341234 (16 digits) ===> 1234 (4 digits) D t i t Datenintegrität ität (BER) von Hash-basierenden H h b i d D DeDup D - Verfahren V f h • Bei 95EB an Daten existiert eine statistische BER von: 0 00000000000001110223024625156540423631668090820313% einen 0.00000000000001110223024625156540423631668090820313%, Datenblock durch Hash-Collision zu verlieren •U Undetected d t t d Bit E Error R Rate: t – Jeder Schreibvorgang auf ein LTO tape drive bedeutet statistisch eine BER von 0.000000000000000000000000100000% = 1 in 10^(27) HASH COLLISION ist mit SHA-1 (noch) nicht praxisrelevant Trend 3: Virtualisierung g im RZ,, Storage und Energieeffizienz • Server Virtualisierung als Katalysator für SANs und Speichervirtualisierung – Parameter: Skalierbarkeit, I/O ... Bildquelle: ESG ESG, 10/07 Deuschle Storage Business Consulting, München 2009 - Reprint-Reproduction Forbidden Without Permission - Alle Rechte bei den genannten Unternehmen-/Eigentümern Entwicklung – Virtualisierung im RZ Europa 2007: 8%-10% aller Server virtualisiert • V1 (2001 - 2006) – Konsolidierung, SW-Entwicklung-/Tests (ca. 80%) – Verfügbarkeit (ca. (ca 15%) – Virt. Clients (ca. 3%) Î Ressourcen-Sharing, heterogene Plattformen • V2 (2007 - 2011) ca. 50% planen Beschaffung für 2008 – Konsolidierung, SW-Entwicklung-/Tests (ca. 30%) – Verfügbarkeitsaspekte (ca. (ca 50%) – Virt. Clients (15%), SOA Î Ressource-sharing + Migration + Workload Management ÎUnplanned Downtime, Downtime Energieeffizienz, Energieeffizienz Performance • V3 (2012+) – Policy Policy-based based Automation Automation, SOA V2 Deuschle Storage Business Consulting, München 2009 - Reprint-Reproduction Forbidden Without Permission - Alle Rechte bei den genannten Unternehmen-/Eigentümern Energiekosten und virtuelle Ressourcen im Data Center • SANs und Storage Virtualisierung nach Servervirtualisierung sinnvoll, sinnvoll jedoch: – Konsolidierung impliziert nicht nur Energieeinsparung ☹ • 2003 - 2008: typ. Rack im RZ = 2.0kW bis 3.0kW • Wärmeabgabe ca. 25% der Energiekosten – 2009: 20.0kW • Wärmeabgabe 5 - 10 KW (bis 50% Kosten Wärmeabfuhr) – Kühlung: 0,5 bis 0,7 Watt pro 1 Watt Server - Power* • Kühlung Î 60% des Energieverbrauchs im RZ ⇒ High-Density – Architekturen Î 5-10 x Energieverbrauchs von konventionellen Systemen ⇒ Konventionell: bis zu 30kW pro Storage Rack 2012+ 2010: Energiekosten zweitgrößter Kostenblock im RZ *Quellen: Flometrics, IBM, Gartner Group, Forrester Research, 2007 Typisches RZ: 800.000.000 kWh p.a. = 380.000.000 kg CO2* Deuschle Storage Business Consulting, München 2009 - Reprint-Reproduction Forbidden Without Permission - Alle Rechte bei den genannten Unternehmen-/Eigentümern Storage Virtualisierung VirtualisierungEnergieeffizienz KWh/Jahr Beispiel: Energiebedarf für 50TB (Stromverbrauch + Kühlung) nach h Disktyp Di kt (Energieverbrauch (E i b h variiert ii t jje nach hH Hersteller t ll und d Disk-Arraymodell; Angaben sind als Anhaltspunkt zu sehen). Storage Virtualisierung FC FC, SAS, SATA SATA TAPE, MAID HSM, Disk-Tape Quellen: Seagate, Bull, 2007 Deuschle Storage Business Consulting, München 2009 - Reprint-Reproduction Forbidden Without Permission - Alle Rechte bei den genannten Unternehmen-/Eigentümern Fazit - Kapazitätsoptimierung - Virtualisierung g & Performance - Energieeffizienz Anforderungen an InfrastrukturElemente steigen ! Zusammenfassung- Fazit Zusammenfassung iSCSI FCoE Flash SSD Deuschle Storage Business Consulting, München 2009 - Reprint-Reproduction Forbidden Without Permission - Alle Rechte bei den genannten Unternehmen-/Eigentümern Vielen Dank für f Ihre Aufmerksamkeit ! www.storageconsortium.de norbert deuschle@storageconsortium de [email protected] Deuschle Storage Business Consulting, München 2009 - Reprint-Reproduction Forbidden Without Permission - Alle Rechte bei den genannten Unternehmen-/Eigentümern Literaturempfehlung: Deuschle Storage Business Consulting, München 2009 - Reprint-Reproduction Forbidden Without Permission - Alle Rechte bei den genannten Unternehmen-/Eigentümern Literaturempfehlung: Quelle: FCIA, fibre channel industry association, 2008 Deuschle Storage Business Consulting, München 2009 - Reprint-Reproduction Forbidden Without Permission - Alle Rechte bei den genannten Unternehmen-/Eigentümern