docRAID-Controller für PRIMERGY
download 
Report Transcription
RAID-Controller für PRIMERGY
WHITE PAPER RAID-CONTROLLER-PERFORMANCE WHITE PAPER FUJITSU PRIMERGY SERVER RAID-CONTROLLER-PERFORMANCE Diese technische Dokumentation richtet sich an Personen, die sich mit der Disk-I/OPerformance von Fujitsu PRIMERGY Servern beschäftigen. Das Dokument soll helfen, aus dem Performance-Blickwinkel die Möglichkeiten und Anwendungsgebiete der verschiedenen RAID-Controller für interne Disk-Subsysteme kennenzulernen. Abhängig von den Anforderungen an Datensicherheit und Performance sowie geplanter oder vorhandener Server-Konfiguration ergeben sich spezifische Empfehlungen für die Auswahl und Parametrisierung der Controller. Version 1.0a 2011-09-07 Inhalt Dokumenthistorie ................................................... 2 Einführung .............................................................. 3 RAID-Controller für PRIMERGY: Grundlagen ....... 4 Vorstellung der RAID-Controller ......................... 4 Controller-Schnittstellen und ihre Durchsätze .... 6 Performance-relevante Einstellungen ................ 8 Besonderheiten der Onboard-Controller .......... 10 Messumfeld .......................................................... 11 Messverfahren .................................................. 11 Messumgebung ................................................ 12 Controller-Vergleich ............................................. 14 RAID 0, 1 und 10 (bis zu vier Festplatten) ....... 15 RAID 0 und 10 (mehr als vier Festplatten) ....... 19 RAID 5 .............................................................. 26 Geringere Lastniveaus ..................................... 31 Fazit...................................................................... 32 Literatur ................................................................ 33 Kontakt ................................................................. 33 © Fujitsu Technology Solutions 2011 Seite 1 (33) WHITE PAPER RAID-CONTROLLER-PERFORMANCE VERSION: 1.0A 2011-09-07 Dokumenthistorie Version 1.0 Seite 2 (33) © Fujitsu Technology Solutions 2011 WHITE PAPER RAID-CONTROLLER-PERFORMANCE VERSION: 1.0A 2011-09-07 Einführung Festplatten sind sowohl besonders sicherheitsrelevante als auch Performance-kritische Komponenten im Server-Umfeld. Daher ist es wichtig, durch eine intelligente Organisierung dieser Komponenten deren Performance so zu bündeln, dass sie nicht zum Engpass im System werden, und gleichzeitig gegen den Ausfall einer Einzelkomponente gefeit zu sein. Hierfür gibt es Methoden, mehrere Festplatten in einem Verband derart zu arrangieren, dass der Ausfall einer Festplatte verkraftet werden kann. Man nennt dies „Redundant Array of Independent Disks“ oder kurz RAID. Typischerweise werden dafür spezielle RAIDController verwendet. Die verschiedenen PRIMERGY Server sind in unterschiedlichen internen Ausbauvarianten mit verschiedenen RAID-Controller- und Festplattenkonfigurationen verfügbar. Das für alle Server der PRIMERGY Familie einheitlich angebotene „Modular RAID“-Konzept besteht aus einer modularen Controller-Familie und einem einheitlichen Management durch die Fujitsu RAID-Manager-Software „ServerView RAID“. Das umfangreiche Angebot der RAID-Lösungen ermöglicht dem Anwender, den passenden Controller für sein Anwendungsszenario zu wählen. Dabei wird die Leistungsfähigkeit des DiskSubsystems durch den Controller, die Auswahl der Festplatten und die Eigenschaften des RAID-Levels bestimmt. Um alle diese Aspekte des „Modular RAID“ hinsichtlich ihrer Performance zu beleuchten, sind im Rahmen der PRIMERGY White Paper Reihe verschiedene Dokumente entstanden: Zur umfassenden Einführung in die Thematik der Disk-I/O-Performance sei das White Paper „Grundlagen Disk-I/O-Performance“ empfohlen. Das Dokument „Performance einzelner Festplatten“ stellt die aktuell für PRIMERGY verfügbaren Festplatten und ihre Leistung in unterschiedlichen Anwendungsszenarien vor. Das vorliegende Dokument „RAID-Controller-Performance“ behandelt alle aktuell für PRIMERGY angebotenen RAID-Controller und deren Performance. Das Dokument „RAID-Performance“ stellt die einzelnen RAID-Levels gegenüber und gibt Hinweise über Performance und optimale Konfiguration. Bei der Dimensionierung von internen Disk-Subsystemen für PRIMERGY Server kann man so vorgehen, dass man sich einen geeigneten Festplattentyp auswählt und die benötigte Festplattenanzahl für den gewünschten RAID-Level nach Faustformeln abschätzt. Der RAID-Controller ergibt sich dann von selbst durch Anzahl und Technologie der anzuschließenden Festplatten sowie durch den gewünschten RAIDLevel. Das kann jahrelang ausreichend sein, um ein Disk-Subsystem treffsicher zu dimensionieren. In Laufe der Zeit schreitet jedoch die Technologie bei den Speichermedien (beispielsweise Solid State Disks, kurz SSDs) oder bei den internen Schnittstellen des Servers fort und das neue Disk-Subsystem genügt nicht mehr den gestiegenen Ansprüchen. Oder, in einer produktiven Server-Konfiguration ändert sich das Anwendungsszenario und die erzielte Disk-I/O-Performance ist trotz ausreichender Festplattenanzahl nicht wie erhofft. In diesen beiden Fällen kann es lohnend sein, sich etwas genauer mit dem Performance-Einfluss des RAID-Controllers zu beschäftigen. Manchmal ist der richtige Controller, oder auch einfach der richtig konfigurierte Controller, die Voraussetzung für bestmögliche Performance. Damit ist das Ziel des vorliegenden Dokumentes umrissen. Zuerst wird ein Überblick über die für PRIMERGY Systeme zur Verfügung stehenden internen RAID-Controller gegeben. Die maximalen Durchsätze der beteiligten Controller-Schnittstellen werden dann unter Performance-Aspekten vorgestellt. Nach einer kurzen Einführung in das Messumfeld werden die unterschiedlichen RAID-Controller bei verschiedenen RAID-Levels und in unterschiedlichen Anwendungsszenarien verglichen, was durch Messergebnisse untermauert wird. Zur Abgrenzung zu anderen Speichermedien wurde in der Vergangenheit der Begriff „Festplatte“ oder auch „Hard-Disk-Drive“ (HDD) für ein hartmagnetisch beschichtetes, rotierendes, direkt adressierbares, digitales, nichtflüchtiges Speichermedium eingeführt. Im Laufe der technischen Entwicklung wurden zusätzliche „Festplatten“-Gattungen als Speichermedien eingeführt, die die gleiche Schnittstelle zum Server verwenden und vom Server dementsprechend wie Festplatten behandelt werden. Als typisches Beispiel kann man eine SSD anführen, die als elektronisches Speichermedium keine beweglichen Teile beinhaltet, nichtsdestotrotz jedoch umgangssprachlich auch als Festplatte bezeichnet wird. In diesem Dokument wird durchgehend der Begriff „Festplatte“ als Oberbegriff verwendet, während bei einer Differenzierung die Bezeichnungen „SSD“ und „HDD“ verwendet werden. In diesem Dokument sind Festplattenkapazitäten durchgängig zur Basis 10 angegeben (1 TB = 1 Billion 20 Byte), während alle anderen Kapazitäten sowie alle Durchsätze zur Basis 2 angegeben sind (1 MB/s = 2 Byte/s). © Fujitsu Technology Solutions 2011 Seite 3 (33) WHITE PAPER RAID-CONTROLLER-PERFORMANCE VERSION: 1.0A 2011-09-07 RAID-Controller für PRIMERGY: Grundlagen In diesem Kapitel werden die für PRIMERGY Server verfügbaren RAID-Controller zunächst einmal mit ihren wesentlichen Funktionalitäten vorgestellt. Anschließend wird näher auf die maximalen Durchsätze eingegangen, die sich für die einzelnen Controller aufgrund ihrer Schnittstellen im Server ergeben. Daraufhin werden die möglichen Einstellungen der Controller behandelt, und abschließend werden die Besonderheiten der Onboard-Controller diskutiert. Vorstellung der RAID-Controller Die folgende Tabelle fasst die wichtigsten Daten zur Funktionalität der verfügbaren RAID-Controller zusammen. Zur vereinfachten Bezeichnung dieser Controller werden im vorliegenden White Paper meist nur die kurzen Namen aus der Spalte „Alias“ verwendet, also beispielsweise LSI2108. Diese ergeben sich aus der BasisChip-Bezeichnung des Controllers und optional der Cache-Größe. Controller Name *) Alias Cache Frequenz Unterstützte Interfaces Max. # Disks RAID Levels BBU Onboard SATA RAID ICH10R ICH10R 3G SATA 4 0, 1, 5*, 10 Onboard SATA RAID Ibex Peak Ibex Peak 3G SATA 4 0, 1, 5*, 10 Onboard SATA RAID Cougar Point Cougar Point 3G SATA 4 0, 1, 5*, 10 RAID 0/1 SAS based on LSI MegaRAID 4Port LSI1064 3G SATA SAS-1.0 PCIe 1.0 x4 4 0, 1, 1E RAID 0/1 SAS based on LSI MegaRAID 8Port LSI1068 3G SATA SAS-1.0 PCIe 1.0 x4 8 0, 1, 1E RAID 5/6 SAS based on LSI MegaRAID 256 MB LSI1078-256 256 MB 3G SATA SAS-1.0 PCIe 1.0 x4 8 0, 1, 5, 6, 10, 50, 60 RAID 5/6 SAS based on LSI MegaRAID 512 MB LSI1078-512 512 MB 3G SATA SAS-1.0 PCIe 1.0 x4 8 0, 1, 5, 6, 10, 50, 60 RAID Ctrl SAS 6G 0/1 (D2607) LSI2008 6G SATA SAS-1.0 SAS-2.0 PCIe 2.0 x8 8 0, 1, 1E, 10 RAID Ctrl SAS 6G 5/6 512 MB (D2616) LSI2108 6G SATA SAS-1.0 SAS-2.0 PCIe 2.0 x8 8 0, 1, 5, 6, 10, 50, 60 512 MB Für einige PRIMERGY Server kann für den Onboard-Controller mittels des zusätzlich bestellbaren „iButton“ RAID 5 aktiviert werden. Die Spalte „Max. # Disks“ gibt die maximale Anzahl Festplatten an, die direkt an dem Controller betrieben werden können. Diese Information kann hilfreich sein, um zu erkennen, ob der Controller einen theoretischen Engpass darstellen könnte. In einigen PRIMERGY Modellen kommen – in Verbindung mit bestimmten Controller-Modellen – sogenannte „Expander“ (spezielle im SAS-Standard definierte Bauteile) zum Einsatz, um die maximale Anzahl der Festplatten darüber hinaus zu erhöhen. Der Expander kann dabei die Bandbreite der vorhandenen Ports nicht steigern, stellt sie aber in Summe allen angeschlossenen Festplatten zur Verfügung. Bei den „RAID 0/1“ SAS-RAID-Controllern ist der LSI2008-Controller der 6G-Nachfolger vom LSI1068Controller, während der LSI2108-Controller der 6G-Nachfolger des LSI1078-Controllers ist, die zusammen die „RAID 5/6“ SAS-RAID-Controllerfamilie bilden. Den LSI1078-Controller gibt es in zwei verschiedenen Cache-Größen, LSI1078-256 und LSI1078-512. Wenn im weiteren Verlauf nur von LSI1078 die Rede ist, gilt die Aussage für beide Controller-Varianten. Seite 4 (33) © Fujitsu Technology Solutions 2011 WHITE PAPER RAID-CONTROLLER-PERFORMANCE VERSION: 1.0A 2011-09-07 Bei der Beurteilung der Leistungsfähigkeit von Disk-Subsystemen spielen bei heutigen Systemen die Prozessorleistung und der Speicherausbau des Systems meist keine signifikante Rolle – ein eventuell vorhandener Engpass betrifft in der Regel die Festplatten und den RAID-Controller und nicht CPU oder Memory des Serversystems. Daher können die verschiedenen RAID-Controller unabhängig von den PRIMERGY Modellen verglichen werden, in denen sie eingesetzt werden, auch wenn nicht bei allen PRIMERGYs aufgrund ihrer Ausbaubarkeit mit Festplatten alle Konfigurationen möglich sind. In der folgenden Tabelle ist zusammengestellt, welche RAID-Controller zum Zeitpunkt der Erstellung dieses White Papers in den einzelnen PRIMERGY Systemen für den Anschluss von Festplatten freigegeben sind (oder in der Vergangenheit freigegeben waren) und wie viele Festplatten die Modelle maximal unterstützen. Die möglichen Kombinationen von PRIMERGY Ausbauvarianten und Controllern entnehmen Sie bitte den Konfiguratoren zu den Systemen. PRIMERGY BX620 S5 BX620 S6 BX920 S1 BX920 S2 BX922 S2 BX924 S2 BX960 S1 CX120 S1 CX122 S1 RX100 S6 RX100 S7 RX200 S5 RX200 S6 RX300 S5 RX300 S6 RX600 S4 RX600 S5 RX600 S6 RX900 S1 RX900 S2 SX940 S1 SX960 S1 TX100 S2 TX120 S2 TX120 S3 TX140 S1 TX150 S7 TX200 S5 TX200 S6 TX300 S5 TX300 S6 Max. # Disks 2 2 2 2 2 2 2 2 2 4 4 8 8 12 12 8 8 8 8 8 4 10 4 4 4 8 8 16 16 20 20 Expander OnboardController ICH10R ICH10R ICH10R ICH10R ICH10R IbexPeak CougarPoint ICH10R ICH10R IbexPeak ICH9R CougarPoint CougarPoint IbexPeak ICH10R ICH10R LSI1064 LSI1068 LSI2008 LSI1078- LSI1078256 512 LSI2108 Der LSI1064-Controller ist in den Server Blades BX920 S1 und BX920 S2 schon auf dem Motherboard integriert. Bei dem Server Blade BX920 S2 ist der LSI2108-Controller als Mezzanine-Karte verfügbar, während der LSI1064/LSI1068-Controller bei den Server Blades BX620 S5 und BX620 S6 als SAS-StorageModul bzw. SAS/RAID-Storage-Modul realisiert ist. Diese Varianten sind jedoch nur eine andere technische Realisierung des vergleichbaren PCIe-SteckkartenControllers, die keinen Einfluss auf die Größenordnung der Performance hat. © Fujitsu Technology Solutions 2011 Seite 5 (33) WHITE PAPER RAID-CONTROLLER-PERFORMANCE VERSION: 1.0A 2011-09-07 Controller-Schnittstellen und ihre Durchsätze Ein RAID-Controller braucht einerseits eine Schnittstelle zu den Festplatten und andererseits zum Chipsatz des Motherboards. Die erste ist typischerweise SAS oder SATA, die zweite ist typischerweise PCIe oder, im Falle der integrierten Onboard-Controller, eine interne Busschnittstelle des Motherboards. Im Folgenden sind die maximal möglichen Durchsätze von SAS, SATA und PCIe zusammengestellt. SAS und SATA „Serial Attached SCSI“ (SAS) und „Serial Advanced Technology Attachment“ (SATA) sind serielle Schnittstellen für den Anschluss von Festplatten, deren Datendurchsatz von der Frequenz abhängt. Typ Frequenz Theoretischer Durchsatz Praktischer Durchsatz (85%) SAS-1.0, SAS 3G 3000 MHz 286 MB/s 243 MB/s SAS-2.0, SAS 6G 6000 MHz 572 MB/s 486 MB/s SATA, SATA 3G 3000 MHz 286 MB/s 243 MB/s Man findet die Frequenzen in der Abkürzung 3G oder 6G oft als Teil der Controller- oder Festplattenbezeichnung, alternativ wird bei SAS auch eine Versionsnummer 1.0 für 3G und 2.0 für 6G verwendet. Der theoretisch erreichbare Durchsatz errechnet sich folgendermaßen: 1 Bit pro 1 Hz, minus 20% Redundanz der seriellen Übertragung durch die sogenannte 8b/10b-Kodierung. Den in der Praxis erreichbaren Durchsatz kann man daraus durch Multiplikation mit 0.85 abschätzen. Diese 85% sind ein durchschnittlicher Erfahrungswert aus über die Jahre hinweg beobachteten Werten für verschiedenste Komponenten. Alle Komponenten einer Verbindung zwischen Endgeräten müssen dieselbe Version des SAS- oder SATAProtokolls verwenden. Dazu zählen neben den Festplatten auch die Controller und ggf. verwendete Expander. Treffen unterschiedliche Komponenten aufeinander, wird automatisch der performanteste von allen Komponenten gemeinsam unterstützte Standard verwendet, eventuell also eine geringere Frequenz. Dabei sind die höheren Protokolle abwärtskompatibel. Während bei SATA oft jeder Port einzeln an eine Festplatte angeschlossen wird, werden vier SASAnschlüsse bzw. -Leitungen häufig zusammengefasst und als „x4 SAS“ oder „x4 wide port“ bezeichnet. Damit ist der direkte Anschluss von maximal vier SAS-Festplatten über eine Backplane möglich. Der Durchsatz von x4 SAS ist der Vierfache des entsprechenden einzelnen SAS-Anschlusses, dies gilt analog auch für SATA. Schnittstelle Anschluss Frequenz Theoretischer Durchsatz Praktischer Durchsatz (85%) SAS-1.0 1 × x4 3000 MHz 1144 MB/s 973 MB/s SAS-1.0 2 × x4 3000 MHz 2289 MB/s 1945 MB/s SAS-2.0 1 × x4 6000 MHz 2289 MB/s 1945 MB/s SAS-2.0 2 × x4 6000 MHz 4578 MB/s 3890 MB/s SATA 1 × x4 3000 MHz 1144 MB/s 973 MB/s SATA 2 × x4 3000 MHz 2289 MB/s 1945 MB/s Einige PRIMERGY Modelle kann man mit einer größeren Anzahl Festplatten ausbauen, als der Controller Festplatten-Kanäle hat. In diesem Fall wird die Anzahl der anschließbaren Festplatten mittels eines Expanders vergrößert. Wie bereits erwähnt, kann ein Expander den Datenstrom nur verteilen, nicht den Durchsatz erhöhen. Das SAS-Protokoll ist so definiert, dass es auch die SATA-Protokolle gleicher oder geringerer Frequenz transportieren kann (tunneln). Damit ist es Controllern beider SAS-Versionen möglich, mit Festplatten der Standards SATA 1.5 Gbit/s und SATA 3.0 Gbit/s zu kommunizieren. Umgekehrt ist es nicht möglich, SASFestplatten über eine SATA-Schnittstelle anzuschließen. Seite 6 (33) © Fujitsu Technology Solutions 2011 WHITE PAPER RAID-CONTROLLER-PERFORMANCE VERSION: 1.0A 2011-09-07 PCIe PCIe ist eine ebenfalls serielle Schnittstelle zwischen dem Controller und dem Motherboard. Die Steckverbindungen sind in unterschiedlicher Breite bzw. Anzahl von Lanes ausgeführt. Üblich sind x4 (vier Lanes) und x8 (acht Lanes), wobei es auf die tatsächliche Anzahl elektrisch genutzter Lanes ankommt (im weiteren Verlauf als „funktionelle PCIe Breite“ bezeichnet). Der Durchsatz einer Lane wird ebenfalls durch die Frequenz bestimmt. Schnittstelle Anschluss Frequenz Theoretischer Durchsatz Praktischer Durchsatz (90%) PCIe 1.0, PCIe Gen1 x4 2500 MHz 954 MB/s 858 MB/s PCIe 1.0, PCIe Gen1 x8 2500 MHz 1907 MB/s 1716 MB/s PCIe 2.0, PCIe Gen2 x4 5000 MHz 1907 MB/s 1716 MB/s PCIe 2.0, PCIe Gen2 x8 5000 MHz 3815 MB/s 3433 MB/s PCIe 1.0 wird auch oft als „PCIe Gen1“ bezeichnet, während PCIe 2.0 auch „PCIe Gen2“ genannt wird. Der theoretisch erreichbare Durchsatz errechnet sich folgendermaßen: 1 Bit pro 1 Hz multipliziert mit der Anzahl der Anschlüsse (x4 oder x8), minus 20% Redundanz der seriellen Übertragung durch die sogenannte 8b/10b-Kodierung. Den in der Praxis erreichbaren Durchsatz kann man daraus durch Multiplikation mit 0.90 abschätzen. Diese 90% sind ein durchschnittlicher Erfahrungswert aus über die Jahre hinweg beobachteten Werten für verschiedenste Komponenten. Alle PRIMERGY Server beginnend mit der 2010 eingeführten Generation (z. B. PRIMERGY RX300 S5) unterstützen PCIe 2.0. Treffen unterschiedliche Komponenten aufeinander, wird ebenfalls die höchste von allen Komponenten gemeinsam unterstützte Frequenz verwendet. Anwendung auf die RAID-Controller In der nächsten Tabelle sind für alle RAID-Controller die Performance-bestimmenden Rahmendaten zusammengestellt. Die hier aufgeführten maximalen Durchsatzwerte ergeben sich mit Hilfe der beiden vorhergehenden Unterkapitel „SAS und SATA“ sowie „PCIe“. Der jeweils maßgebliche Maximaldurchsatz ist in der Tabelle mit Fettdruck hervorgehoben. Controller-Alias Cache Memory Typ # DiskKanäle Maximaler Durchsatz Disk-Interface PCIeVersion Effektive PCIe-Breite Maximaler Durchsatz PCIeInterface ICH10R 4 × SATA 973 MB/s Ibex Peak 4 × SATA 973 MB/s Cougar Point 4 × SATA 973 MB/s 4 × SAS-1.0 973 MB/s 1.0 x4 858 MB/s 8 × SAS-1.0 1945 MB/s 1.0 x4 858 MB/s 8 × SAS-1.0 1945 MB/s 1.0 x4 858 MB/s 8 × SAS-2.0 3890 MB/s 2.0 x4 1716 MB/s x8 3433 MB/s 8 × SAS-2.0 3890 MB/s 2.0 x4 1716 MB/s x8 3433 MB/s LSI1064 LSI1068 LSI1078 DDR2 / 667 MHz LSI2008 LSI2108 DDR2 / 800 MHz Für die Mehrzahl der Einsatzfälle stellen die maximal möglichen Durchsätze keinen Engpass dar. Einmal überwiegen in der Praxis die Anwendungsszenarien mit wahlfreiem Zugriff, in denen zwar hohe Transaktionsraten, aber keine hohen Durchsätze erreicht werden. Für Anwendungsfälle mit rein sequentiellem Zugriff ergibt sich die Limitierung bei PCIe 1.0 erst bei sechs bis sieben konventionellen Festplatten. Die Controller, die PCIe 2.0 unterstützen, und die PRIMERGY Server sind so aufeinander abgestimmt, dass bei den Controllern auch in PCIe-x4-Steckplatz bei maximaler Bestückung des Servers mit leistungsfähigen SAS-2.0-HDDs für rein sequentielle Zugriffe keine nennenswerte Durchsatzlimitierung auftritt. © Fujitsu Technology Solutions 2011 Seite 7 (33) WHITE PAPER RAID-CONTROLLER-PERFORMANCE VERSION: 1.0A 2011-09-07 Performance-relevante Einstellungen Wesentlich für eine optimale Performance des RAID-Controllers ist eine richtige Parametereinstellung. Abhängig vom Controller gibt es einen unterschiedlichen Vorrat an Parametern, die einstellbar sind. Zwecks einfacher und sicherer Handhabung der Einstellungen von RAID-Controller und Festplatten empfiehlt sich die für aktuelle Server mitgelieferte RAID-Manager-Software „ServerView RAID“. Üblicherweise wird man – spezifisch für den Anwendungsfall – mittels der vordefinierten Modi „Performance“ oder „Data Protection“ die kompletten Cache-Einstellungen für Controller und Festplatten auf einen Schlag vornehmen. Der Modus „Performance“ gewährleistet für die Mehrzahl der Anwendungsszenarien Performance-optimale Einstellungen. Durch den Modus „Performance“ werden vorhandene Caches von Controller und Festplatten eingeschaltet, daher sollte der Cache des RAID-Controllers in diesem Modus durch eine Battery Backup Unit (BBU) vor Datenverlust bei einem Stromausfall geschützt werden. Zusätzlich sollten auch die Festplatten-Caches durch Einsatz einer unterbrechungsfreien Stromversorgung (USV) gesichert werden. In speziellen Fällen kann eine Parametereinstellung sinnvoll sein, die von den Standardsetzungen des Modus„ „Performance“ abweicht. Falls dies sinnvoll ist, wird im entsprechenden Teil des Kapitels „ControllerVergleich“ darauf hingewiesen. Hinter den Cache-Einstellungen der „ServerView RAID“ Software verbergen sich – abhängig vom Controller – alle oder ein Teil der folgenden Einstellmöglichkeiten von RAID-Controller und Festplatten. Die ersten drei Einstellmöglichkeiten steuern den RAID-Controller, die letzte die Festplatten des RAID-Verbands. Read mode Mit dem Parameter „Read mode“ kann das Cache-Verhalten beim Lesen beeinflusst werden. Es stehen maximal drei Optionen „No read ahead“, „Read ahead“ und „Adaptive“ zur Verfügung. Bei „No read ahead“ findet kein Caching beim Lesen statt. „Read ahead“ bewirkt, dass bei der Anforderung eines Datenblocks bereits auf Verdacht weitere sequentiell nachfolgende Datenblöcke von der Festplatte in den Cache des Controllers eingelesen werden, in der Hoffnung, dass diese in folgenden Aufträgen angefordert werden. Bei der Einstellung „Adaptive“ versucht der Controller selbst zu ermitteln, ob ein Read-ahead sinnvoll ist oder nicht. Write mode Unter dem Begriff „Write mode“ werden die Einstellmöglichkeiten des Controller-Caches zusammengefasst, die die Behandlung von Schreibaufträgen steuern. Es gibt drei Optionen, um den Write-Cache einzustellen: „Write-through“, „Write-back“ und „Always Write-back (independent of BBU state)“. Die Option „Writethrough“ garantiert, dass jeder Schreibauftrag vom Controller erst dann als erledigt zurückgemeldet wird, wenn er von der Festplatte quittiert wurde. Bei den Optionen „Write-back“ und „Always Write-back“ werden die Aufträge im Controller-Cache zwischengespeichert und der Anwendung sofort als erledigt quittiert und erst später an die Festplatte übergeben. Diese Prozedur ermöglicht eine optimale Ausnutzung der Controller-Ressourcen, eine schnellere Abfolge der Schreibaufträge und damit einen höheren Durchsatz. Eventuelle Stromausfälle können durch eine optionale BBU überbrückt werden und die Integrität der Daten im Controller-Cache ist damit garantiert. Die Option „Always Write-back“ schaltet den Write-Cache permanent ein; er wird auch dann genutzt, wenn der Akku der BBU leer ist oder keine BBU installiert ist, während bei der Option „Write-back“ automatisch auf „Write-through“ umgeschaltet wird, solange der Controller-Cache nicht Akku-gepuffert ist. Cache mode Der Parameter „Cache Mode“, manchmal auch mit „I/O Cache“ bezeichnet, beeinflusst das Verhalten des Controller-Caches beim Lesen. Die Option „Direct“ legt fest, dass die zu lesenden Daten direkt von der Festplatte gelesen werden und auch nicht in dem Controller-Cache aufbewahrt werden. Die Alternative „Cached“ bewirkt, dass zuerst versucht wird, die Daten im Controller-Cache zu finden und den Leseauftrag damit zu befriedigen, bevor auf die Festplatte zugegriffen wird. Dabei werden alle Daten in den ControllerCache geschrieben, um für folgende Leseaufträge verfügbar zu sein. Disk cache mode Die möglichen Werte sind „enabled” und „disabled”. Das Einschalten des Festplatten-Caches bringt in den meisten Fällen eine Durchsatzsteigerung beim Schreibzugriff. Ist das System mit einer USV gesichert, so ist das Einschalten des Festplatten-Caches aus Performance-Gründen zu empfehlen. Seite 8 (33) © Fujitsu Technology Solutions 2011 WHITE PAPER RAID-CONTROLLER-PERFORMANCE VERSION: 1.0A 2011-09-07 In der nächsten Tabelle ist dargestellt, welche dieser Einstellmöglichkeiten für die einzelnen Controller existieren. Read mode Controller-Alias Read ahead / No read ahead Onboard-Controller ICH10R Onboard-Controller Ibex Peak Onboard-Controller Cougar Point Write mode Cache mode Adaptive LSI1064 LSI1068 LSI1078 LSI2008 LSI2108 Zur Vervollständigung gibt die folgende Tabelle noch eine Zusammenstellung der Einstellungen, die derzeit in den Modi „Data Protection“ und Performance“ in ServerView RAID implementiert sind. Man beachte, dass die Einstellungen bei den Controllern mit Controller-Cache auch von der Existenz einer BBU abhängen und unabhängig vom RAID-Level gesetzt werden. ControllerAlias BBU? Data Protection Read mode Write mode Cache mode Performance Disk cache Read mode Write mode Cache mode Disk cache Onboard-Controller ICH10R Read ahead off Read ahead on Onboard-Controller Ibex Peak Read ahead off Read ahead on Onboard-Controller Cougar Point Read ahead off Read ahead on LSI1064 off LSI1068 on off LSI1078 Read ahead Writethrough Direct Read ahead Writeback Direct LSI2008 on off Read ahead Always Write-back Direct on off Read ahead Writeback Direct on off LSI2108 on Read ahead Writethrough Direct off Read ahead Always Write-back Direct on Read ahead Writeback Direct off Read ahead Writeback Direct on © Fujitsu Technology Solutions 2011 Seite 9 (33) WHITE PAPER RAID-CONTROLLER-PERFORMANCE VERSION: 1.0A 2011-09-07 Besonderheiten der Onboard-Controller Einige PRIMERGY Modelle bieten mit einem Onboard-Controller – ICH10R, IbexPeak oder CougarPoint – eine einfache, kostengünstige Einsteigerlösung für den Betrieb mit bis zu vier SATA-Festplatten. Mit der Unterstützung von RAID 0, RAID 1 und RAID 10 bietet ein solcher Onboard-Controller eine Reihe von gebräuchlichen RAID-Levels an und belegt keinen PCIe-Steckplatz. Alle Controller, die über die PCIe-Schnittstelle angebunden sind, werden hier nicht als Onboard-Controller behandelt, auch wenn sie auf dem Motherboard integriert sind (siehe Tabelle im Kapitel „Vorstellung der RAID-Controller“). Der Onboard-Controller ist als eine Firmware-/Treiber-basierte Software-RAID-Lösung realisiert. Sie ist typischerweise im „Southbridge“-Chip integriert, der zum Motherboard-Chipsatz gehört. In allen hier behandelten Fällen bietet er vier SATA-Ports (3 Gbit/s). Während der Boot-Phase werden Zugriffe auf den RAID-Verband durch die Firmware realisiert. Sobald das Betriebssystem aktiv ist, übernehmen geeignete Treiber diese Aufgabe. Der Onboard-Controller hat keinen eigenen Prozessor, sondern nutzt die CPU des Serversystems für die RAID-Funktionalität. Der anteilige Konsum von Prozessorleistung des Servers fällt bei neueren Servern immer weniger ins Gewicht. Als Beispiel sei eine PRIMERGY TX200 S6 mit 2 × Xeon E5506 (2.13 GHz), also mit einer CPU aus dem Jahre 2009, und einem ICH10R-Chip genannt. Selbst wenn man auf diesem System die maximal möglichen vier SATA-SSDs mit Festplattenaufträgen auslastet, werden nicht mehr als 10% der CPU-Leistung zur Unterstützung des Onboard-Controllers konsumiert. Obwohl zur effektiven Benutzung dieses Typs von Controllern nur der Modus „RAID“ in Frage kommt, seien der Vollständigkeit halber alle Modi dieser SATA-Controller vorgestellt. Die fortgeschrittenen SATA-Features „Native Command Queuing“ (NCQ) und „hot swapping“ werden nicht in allen Fällen unterstützt. Es können bis zu vier Modi sein: RAID Aufgrund seiner Flexibilität empfehlenswerter Modus. Nur hierbei ist eine problemlose Migration einer SATA-HDD von einer Nicht-RAID- zu einer RAID-Konfiguration möglich. Alle Funktionalitäten von SATA werden unterstützt, also auch NCQ und „hot swapping“. Für die unterstützten RAID-Levels ist bei den PRIMERGY Servern eine Firmware namens „LSI Logic Embedded MegaRAID“ im Controller-BIOS integriert. Nur in diesem Modus sind RAID-Verbände bereits während der Boot-Phase möglich, und nur in diesem Modus sind Controller und Festplatten in der RAID-Manager-Software „ServerView RAID“ sichtbar und können dort verwaltet werden. Es sind spezielle Treiber notwendig. AHCI AHCI steht für „Advanced Host Controller Interface“ und ist ein herstellerübergreifender Schnittstellenstandard für SATA-Controller. NCQ und „hot swapping“ werden unterstützt. Auch für AHCI sind spezielle Treiber im Betriebssystem notwendig. Compatible Die SATA-Ports werden als PATA-Ports (PATA = parallel ATA, Vorgänger des SATAStandards) emuliert. Als Konsequenz dieser Emulation wird NCQ nicht unterstützt. Dieser Betriebsmodus sollte nur dann verwendet werden, wenn das verwendete Betriebssystem keine SATA-Treiber für den verwendeten „Southbridge“-Chip bietet oder diese aus anderen Gründen nicht eingesetzt werden sollen. Native In dieser Betriebsart werden die SATA-Ports als solche dem Betriebssystem sichtbar gemacht. NCQ wird nicht unterstützt. Es werden entsprechende SATA-Treiber benötigt, die auf der Fujitsu „ServerStart DVD“ für verschiedene Betriebssysteme mitgeliefert werden. Seite 10 (33) © Fujitsu Technology Solutions 2011 WHITE PAPER RAID-CONTROLLER-PERFORMANCE VERSION: 1.0A 2011-09-07 Messumfeld Nachdem nun die unterschiedlichen Controller vorgestellt und ihre technischen Eigenschaften erläutert worden sind, wollen wir im nachfolgenden Kapitel „Controller-Vergleich“ die Controller in verschiedenen Anwendungsszenarien diskutieren und dies anhand von Messergebnissen untermauern. Daher seien zuerst das Messverfahren und die Messumgebung an dieser Stelle kurz vorgestellt. Alle Details des Messverfahrens und Grundlagen zur Disk-I/O-Performance sind im White Paper „Grundlagen Disk-I/O-Performance“ beschrieben. Messverfahren Standardmäßig werden Performance-Messungen von Disk-Subsystemen bei PRIMERGY Servern mit einem definierten Messverfahren durchgeführt, das die Festplattenzugriffe realer Anwendungsszenarien anhand von Kenndaten modelliert. Die wesentlichen Kenndaten sind: Anteil von wahlfreien Zugriffen / sequentiellen Zugriffen Anteil der Zugriffsarten Lesen / Schreiben Blockgröße (kB) Anzahl paralleler Zugriffe (# of Outstanding I/Os) Eine gegebene Wertekombination dieser Kenndaten heißt „Lastprofil“. Die folgenden fünf Standardlastprofile lassen sich typischen Anwendungsszenarien zuordnen: Standardlastprofil Zugriff Zugriffsart read write Blockgröße [kB] Anwendung File copy wahlfrei 50% 50% 64 Kopieren von Dateien File server wahlfrei 67% 33% 64 File-Server Database wahlfrei 67% 33% 8 Datenbank (Datentransfer) Mail Server Streaming sequentiell 100% 0% 64 Datenbank (Log-File), Datensicherung; Video Streaming (teilweise) Restore sequentiell 0% 100% 64 Wiederherstellen von Dateien Zur Modellierung parallel zugreifender Anwendungen mit unterschiedlicher Belastungsintensität wird die „# of Outstanding I/Os” mit 1, 3, 8 beginnend bis 512 gesteigert (ab 8 in Zweierpotenzschritten). Die Messungen des vorliegenden Dokumentes beruhen auf diesen Standardlastprofilen. Die wichtigsten Ergebnisse einer Messung sind: Throughput [MB/s] Transactions [IO/s] Latency [ms] Datendurchsatz in Megabytes pro Sekunde Transaktionsrate in I/O-Operationen pro Sekunde mittlere Antwortzeit in ms Für sequentielle Lastprofile hat sich der Datendurchsatz als übliche Messgröße durchgesetzt, während bei den wahlfreien Lastprofilen mit ihren kleinen Blockgrößen meist die Messgröße „Transaktionsrate“ verwendet wird. Datendurchsatz und Transaktionsrate sind direkt proportional zueinander und lassen sich nach der Formel Datendurchsatz [MB/s] = Transaktionsrate [IO/s] × Blockgröße [MB] Transaktionsrate [IO/s] = Datendurchsatz [MB/s] / Blockgröße [MB] ineinander überführen. © Fujitsu Technology Solutions 2011 Seite 11 (33) WHITE PAPER RAID-CONTROLLER-PERFORMANCE VERSION: 1.0A 2011-09-07 Messumgebung Alle in diesem Dokument diskutierten Messergebnisse wurden mit den im Folgenden aufgelisteten Hardware- und Software-Komponenten ermittelt: System under Test (SUT) Modelle PRIMERGY RX300 S6 PRIMERGY TX120 S3 PRIMERGY TX150 S7 PRIMERGY TX200 S6 Betriebssystem Windows Server 2008, Enterprise Edition Version: 6.0.6001 Service Pack 1 Build 6001 RAID Manager Software ServerView RAID Manager 5.0.2 Initialisierung von RAIDRAID-Verbände werden vor der Messung mit einer elementaren Blockgröße von 64 kB Verbänden („Stripe Size“) initialisiert Dateisystem NTFS Messwerkzeug Iometer 2006.07.27 Messdaten Messdateien von 32 GB bei 1 – 8 Festplatten; 64 GB bei 9 – 16 Festplatten Onboard SATA Controller Intel 82801JR I/O Controller Hub, ICH10R (in PRIMERGY TX200 S6) „ICH10R“ Driver Name: megasr1.sys, Driver Version: 13.2.0614 BIOS: A 09.04151432R SATA RAID Modus Onboard SATA Controller Intel BD3420 PCH, Ibex Peak (in PRIMERGY TX150 S7) „Ibex Peak” Driver Name: megasr1.sys, Driver Version: 13.2.0614 BIOS: A 09.07211059R SATA RAID Modus Onboard SATA Controller Intel BD82C202 PCH, Cougar Point (in PRIMERGY TX120 S3) „Cougar Point“ Driver Name: megasr1.sys, Driver Version: 14.04.0322 BIOS: A. 10.03031333R SATA RAID Modus Controller Driver Name: lsi_sas.sys, Driver Version: 1.32.00.04 „RAID 0/1 SAS based on LSI Firmware Version: 1.30.00.00 MegaRAID 4Port” BIOS Version: 2D.35 (LSI MegaRAID SAS 1064) Controller Driver Name: lsi_sas.sys, Driver Version: 1.25.06.22 „RAID 0/1 SAS based on LSI Firmware Version: 1.30.00.00 MegaRAID 8Port” BIOS Version: 2D.35 (LSI MegaRAID SAS 1068) Controller Driver Name: megasas2.sys, Driver Version: 4.23.0.64 „RAID Ctrl SAS 6G 0/1” Firmware Version: 20.7.1-0025 (LSI MegaRAID SAS 2008) BIOS Version: 4.18.00 Controller Driver Name: megasas2.sys, Driver Version: 4.23.0.64 „RAID 5/6 SAS based on LSI Firmware-Paket: 11.0.1-0028 MegaRAID 256 MB” Firmware Version: 1.40.152-0827 (LSI MegaRAID SAS 1078) BIOS Version: 2.07.00 Controller Cache: 256 MB Controller Driver Name: megasas2.sys, Driver Version: 4.23.0.64 „RAID 5/6 SAS based on LSI Firmware-Paket: 11.0.1-0028 MegaRAID 512 MB” Firmware Version: 1.40.152-0827 (LSI MegaRAID SAS 1078) BIOS Version: 2.07.00 Controller Cache: 512 MB Controller Driver Name: megasas2.sys, Driver Version: 4.23.0.64 „RAID Ctrl SAS 5/6 512MB Firmware-Paket: 12.4.0-0031 (D2616)” Firmware Version: 2.40.33-0894 (LSI MegaRAID SAS 2108) BIOS Version: 2.07.00 Controller Cache: 512 MB SATA-HDD Seagate ST9500530NS, 2.5, 500 GB, 7200 rpm, 3 Gb/s SAS-2.0-HDD Seagate ST3146356SS, 2.5, 146 GB, 15000 rpm, 6 Gb/s SATA-SSD Intel SSDSA2SH064G1GC, 2.5, 64 GB, 3 Gb/s Seite 12 (33) © Fujitsu Technology Solutions 2011 WHITE PAPER RAID-CONTROLLER-PERFORMANCE VERSION: 1.0A 2011-09-07 Die für den Controller-Vergleich verwendeten Festplattenmodelle sind im Folgenden noch einmal ausführlich zusammen mit ihren grundlegenden Performance-Daten zusammengestellt, da diese für das Verständnis der mit den Controllern erzielten Performance-Werte wichtig sind. Bei den klassischen Festplatten (HDDs) wurden je eine leistungsfähige SATA- und eine SAS-2.0-Festplatte ausgewählt, und eine 64 GB SATA-SSD repräsentiert die Klasse der SATA-SSDs. Dargestellt sind jeweils die mit einer einzelnen Festplatte gemessenen Maximalwerte für die fünf Standardlastprofile im vorhergehenden Unterkapitel „Messverfahren“. In allen Fällen ist der FestplattenCache eingeschaltet, da dies fast immer die optimale Performance garantiert. Festplattentyp KurzBezeichnung (Alias) Sequentieller MaximalDurchsatz [MB/s] 64 kB Blockgröße Lesen Schreiben Maximale Transaktionsraten für wahlfreie Zugriffe [IO/s] 8 kB Blockgröße 64 kB Blockgröße Leseanteil: Leseanteil: 67% HDD SATA, 3 Gb/s, 2.5 500 GB, 7200 rpm hot-plug-fähig Kategorie geschäftskritisch (BC) 67% 50% SATA-HDD 96 MB/s 93 MB/s 181 IO/s 180 IO/s 171 IO/s HDD SAS, 6 Gb/s, 2.5 146 GB, 15000 rpm, Kategorie Enterprise (EP) SAS-2.0-HDD 155 MB/s 155 MB/s 589 IO/s 470 IO/s 454 IO/s SSD SATA, 3 Gb/s, 2.5 64 GB, hot-plug-fähig, Kategorie Enterprise (EP) SATA-SSD 252 MB/s 187 MB/s 8083 IO/s 2023 IO/s 1580 IO/s Diese und weitere Informationen zu den für die PRIMERGY Server freigegebenen Festplatten finden sich im White Paper „Performance einzelner Festplatten“. © Fujitsu Technology Solutions 2011 Seite 13 (33) WHITE PAPER RAID-CONTROLLER-PERFORMANCE VERSION: 1.0A 2011-09-07 Controller-Vergleich In den bisherigen Kapiteln sind alle wesentlichen Vorinformationen zu den Controllern gegeben worden. Diese Informationen werden schon in vielen Fällen die Controller-Auswahl für einen gegebenen Anwendungsfall einengen. Wenn weitere kundenseitige Informationen über den geplanten Controller-Einsatz hinzugenommen werden, lässt sich schon sehr viel mehr über die mit den einzelnen Controllern zu erwartende Performance sagen. In diesem Kapitel sollen daher die Controller differenziert für verschiedene RAID-Levels, Anwendungsszenarien, Belastungsintensitäten, Festplattenanzahlen sowie Festplattentechnologien verglichen werden. Die Aussagen werden dabei mit Hilfe von Messergebnissen veranschaulicht. Die Vergleiche sind gegliedert in drei Unterkapitel „RAID 0, 1 und 10 (bis zu vier Festplatten)“, „RAID 0 und 10 (mehr als vier Festplatten)“ und „RAID 5“, die unabhängig voneinander gelesen werden können. Allgemeine Vorbemerkungen zu den Vergleichen: Bei den Vergleichen werden meist die im Kapitel „Messverfahren“ beschriebenen fünf Lastprofile, File copy, Database, File server, Streaming und Restore verwendet. Damit wird eine angemessene Abdeckung der wahlfreien und sequentiellen Anwendungsszenarien erreicht. Wenn das kundenseitige Belastungsprofil wesentlich hiervon abweicht, gelten die hier gemachten Aussagen nicht mehr uneingeschränkt. Als Maß für die Leistungsfähigkeit eines Disk-Subsystems wird wie allgemein üblich bei wahlfreien Lastprofilen die Transaktionsrate in IO/s angegeben, und bei sequentiellen Lastprofilen der Durchsatz in MB/s. Es werden jeweils alle Controller diskutiert, die den gerade betrachteten RAID-Level und Festplattentyp unterstützen. Zwecks besserer Überschaubarkeit beschränken sich die Grafiken des aktuellen Kapitels meist auf die erreichbaren Maximalwerte. Diese werden in der Regel erst bei einer hohen Belastungsintensität des Disk-Subsystems erreicht. Exemplarisch für die Festplattentechnologien werden die drei im Kapitel „Messumgebung“ näher behandelten Festplattentypen benutzt (SATA-HDD, SAS-2.0-HDD und SATA-SSD). Dort sind auch deren wesentliche Performance-Daten zusammengestellt. An einigen Stellen in den folgenden Vergleichen werden die erreichten Performance-Werte auf Basis der Performance-Daten dieser Festplattentypen erklärt. Da die maximal mit den Controllern erreichbare Performance Gegenstand dieses Dokumentes ist, wurden für die Messungen die unveränderten Cache- und Festplatteneinstellungen von „ServerView RAID“ im Modus „Performance“ zugrunde gelegt, und nicht die des Modus„ „Data Protection“. Bei ausreichender kundenseitiger Absicherung gegen Stromausfälle ist diese Einstellung sinnvoll. Wenn eine Änderung dieser Einstellungen vorteilhaft ist, wird das im Einzelfall erwähnt. Konventionelle Festplatten (im Gegensatz zu SSDs) werden bei den nun folgenden ControllerVergleichen nur noch kurz als „HDDs“ bezeichnet. Seite 14 (33) © Fujitsu Technology Solutions 2011 WHITE PAPER RAID-CONTROLLER-PERFORMANCE VERSION: 1.0A 2011-09-07 RAID 0, 1 und 10 (bis zu vier Festplatten) Diesen Bereich von Festplattenanzahlen lohnt es gesondert zu betrachten, da nur hier die OnboardController mit den PCIe-Controllern verglichen werden können. Dies geschieht mit der im Kapitel „Messumgebung“ näher beschriebenen SATA-HDD, da alle zu betrachtenden Controller SATA unterstützen. Die Performance-Werte für die einzelnen Lastprofile werden größtenteils durch die HDDs bestimmt, da die Controller bei dieser HDD-Anzahl noch nicht an ihren Grenzen arbeiten. Wahlfreie Zugriffe RAID 1 mit zwei SATA-HDDs Die Grafik zeigt einen Controller-Vergleich für zwei SATA-HDDs konfiguriert als RAID 1. Die drei Säulengruppen in der Grafik stellen die Transaktionsraten für die Standardlastprofile „File copy“ (wahlfreier Zugriff, 50% read, 64 kB Blockgröße), „File server“ (wahlfreier Zugriff, 67% read, 64 kB Blockgröße) und „Database“ (wahlfreier Zugriff, 67% read, 8 kB Blockgröße) dar. Die erreichbare Performance hängt hier nur wenig vom Controller ab. Maximale Transaktionsraten, wahlfreier Zugriff, RAID 1, 2 SATA-HDDs Transaction rate [IO/s] 500 450 400 350 300 250 50 ICH10R IbexPeak CougarPoint LSI1064 LSI1068 LSI2008 LSI1078 LSI2108 100 ICH10R IbexPeak CougarPoint LSI1064 LSI1068 LSI2008 LSI1078 LSI2108 150 ICH10R IbexPeak CougarPoint LSI1064 LSI1068 LSI2008 LSI1078 LSI2108 200 File copy File server Database 0 Im Falle von RAID 1 haben die Controller mit Cache in der Regel eine bessere Performance, wenn man den Controller-Cache abschaltet. Daher beruhen die Transaktionsraten des LSI1078- und des LSI2108Controllers in dieser Grafik auf folgenden Änderungen gegenüber den Standardeinstellungen des Modus„ „Performance“ von ServerView RAID: Read Mode von „Read ahead” nach „No read ahead“ Write Mode von „Always write back” nach „Write through“ Diese Änderungen sind für RAID 1 generell empfehlenswert. © Fujitsu Technology Solutions 2011 Seite 15 (33) WHITE PAPER RAID-CONTROLLER-PERFORMANCE VERSION: 1.0A 2011-09-07 RAID 0 mit vier SATA-HDDs Die nächste Grafik stellt die mit den verschiedenen Controllern erreichbaren Transaktionsraten des Festplattenverbandes für RAID 0 bei wahlfreien Lastprofilen dar. Die drei Säulengruppen zeigen die Transaktionsraten für die Standardlastprofile „File copy“ (wahlfreier Zugriff, 50% read, 64 kB Blockgröße), „File server“ (wahlfreier Zugriff, 67% read, 64 kB Blockgröße) und „Database“ (wahlfreier Zugriff, 67% read, 8 kB Blockgröße). In diesen Fällen liefern alle Controller etwa die gleiche Performance. Maximale Transaktionsraten, wahlfreier Zugriff, RAID 0, 4 SATA-HDDs Transaction rate [IO/s] 1000 900 800 700 600 500 100 ICH10R IbexPeak CougarPoint LSI1064 LSI1068 LSI2008 LSI1078 LSI2108 200 ICH10R IbexPeak CougarPoint LSI1064 LSI1068 LSI2008 LSI1078 LSI2108 300 ICH10R IbexPeak CougarPoint LSI1064 LSI1068 LSI2008 LSI1078 LSI2108 400 File copy File server Database 0 RAID 10 mit vier SATA-HDDs Die nächste Grafik stellt die mit den verschiedenen Controllern erreichbaren Transaktionsraten des Festplattenverbandes für RAID 10 bei wahlfreien Lastprofilen dar. Die drei Säulengruppen zeigen die Transaktionsraten für die Standardlastprofile „File copy“ (wahlfreier Zugriff, 50% read, 64 kB Blockgröße), „File server“ (wahlfreier Zugriff, 67% read, 64 kB Blockgröße) und „Database“ (wahlfreier Zugriff, 67% read, 8 kB Blockgröße). In diesen Fällen liefern alle Controller etwa die gleiche Performance. 700 600 500 LSI2108 LSI1078 LSI2008 CougarPoint IbexPeak ICH10R LSI2108 LSI1078 LSI2008 CougarPoint IbexPeak ICH10R LSI2108 LSI1078 100 LSI2008 200 IbexPeak 300 CougarPoint 400 ICH10R Transaction rate [IO/s] Maximale Transaktionsraten, wahlfreier Zugriff, RAID 10, 4 SATA-HDDs 0 File copy Seite 16 (33) File server Database © Fujitsu Technology Solutions 2011 WHITE PAPER RAID-CONTROLLER-PERFORMANCE VERSION: 1.0A 2011-09-07 Sequentielle Zugriffe RAID 1 mit zwei SATA-HDDs Die nächste Grafik zeigt einen Controller-Vergleich für zwei SATA-HDDs konfiguriert als RAID 1. Die zwei Säulengruppen in der Grafik stellen die Durchsätze für die Standardlastprofile „Streaming“ (sequentieller Zugriff, 100% read, 64 kB Blockgröße) und „Restore“ (sequentieller Zugriff, 100% write, 64 kB Blockgröße) dar. Insgesamt liegen in der Mehrzahl der Fälle bei diesem RAID-Level die maximalen Durchsätze nahe bei den Grenzwerten einer einzelnen Festplatte. Beim Lesen nutzen der LSI2008-, der LSI1078- und der LSI2108-Controller bei höheren Belastungsintensitäten beide Festplatten und zeigen dadurch einen höheren maximalen Durchsatz. Maximale Durchsätze, sequentieller Zugriff, RAID 1, 2 SATA-HDDs 180 Throughput [MB/s] 160 140 120 100 80 LSI2108 LSI1078 LSI2008 LSI1068 LSI1064 IbexPeak CougarPoint ICH10R LSI2108 LSI1078 LSI2008 LSI1068 LSI1064 CougarPoint 20 ICH10R 40 IbexPeak 60 0 Streaming Restore Im Falle von RAID 1 haben die Controller mit Cache in der Regel eine bessere Performance, wenn man den Controller-Cache abschaltet. Daher beruhen die Transaktionsraten des LSI1078- und LSI2108-Controllers in dieser Grafik auf folgenden Änderungen gegenüber den Standardeinstellungen des Modus„ „Performance“ von ServerView RAID: Read Mode von „Read Ahead” nach „No read ahead“ Write Mode von „Always write back” nach „Write through“ Diese Änderungen sind für RAID 1 generell empfehlenswert. © Fujitsu Technology Solutions 2011 Seite 17 (33) WHITE PAPER RAID-CONTROLLER-PERFORMANCE VERSION: 1.0A 2011-09-07 RAID 0 mit vier SATA-HDDs Die nächste Grafik stellt die mit den verschiedenen Controllern erreichbaren maximalen Durchsätze des Festplattenverbandes für RAID 0 bei sequentiellen Lastprofilen dar. Die beiden Säulengruppen in der Grafik zeigen die Durchsätze für die Standardlastprofile „Streaming“ (sequentieller Zugriff, 100% read, 64 kB Blockgröße) und „Restore“ (sequentieller Zugriff, 100% write, 64 kB Blockgröße). In diesen Fällen liefern alle Controller etwa die gleiche Performance. Maximale Durchsätze, sequentieller Zugriff, RAID 0, 4 SATA-HDDs Throughput [MB/s] 500 400 300 LSI2108 LSI1078 LSI2008 LSI1068 LSI1064 IbexPeak CougarPoint ICH10R LSI2108 LSI1078 LSI2008 LSI1068 LSI1064 IbexPeak CougarPoint 100 ICH10R 200 0 Streaming Restore RAID 10 mit vier SATA-HDDs Die nächste Grafik stellt die mit den verschiedenen Controllern erreichbaren maximalen Durchsätze des Festplattenverbandes für RAID 10 bei sequentiellen Lastprofilen dar. Die beiden Säulengruppen in der Grafik zeigen die Durchsätze für die Standardlastprofile „Streaming“ (sequentieller Zugriff, 100% read, 64 kB Blockgröße) und „Restore“ (sequentieller Zugriff, 100% write, 64 kB Blockgröße). In diesen Fällen liefern alle Controller etwa die gleiche Performance. Maximale Durchsätze, sequentieller Zugriff, RAID 10, 4 SATA-HDDs 200 LSI2108 LSI1078 LSI2008 CougarPoint IbexPeak ICH10R LSI2108 LSI1078 LSI2008 50 IbexPeak 100 CougarPoint 150 ICH10R Throughput [MB/s] 250 0 Streaming Seite 18 (33) Restore © Fujitsu Technology Solutions 2011 WHITE PAPER RAID-CONTROLLER-PERFORMANCE VERSION: 1.0A 2011-09-07 RAID 0 und 10 (mehr als vier Festplatten) Zum Betrieb von mehr als vier Festplatten in den jetzigen PRIMERGY-Servern reichen die OnboardController nicht mehr aus, daher werden im Folgenden ausschließlich die PCIe-Controller verglichen. Da hierbei speziell die Grenzwerte bei höherem Performance-Bedarf interessieren, werden zur Verdeutlichung Messungen mit meist zwölf leistungsfähigen SAS-2.0-HDDs oder SATA-SSDs benutzt. Diese Festplatten sind im Kapitel „Messumgebung“ näher beschrieben. Die Performance-Aussagen zum LSI1068-Controller beruhen auf Messungen mit acht statt zwölf Festplatten, da acht die maximale Festplattenanzahl des Controllers in Verbindung mit derzeit verfügbaren PRIMERGY Modellen ist. Im Gegensatz zum LSI1068-Controller wird der LSI1064-Controller hier nicht mehr betrachtet, da letzterer in allen freigegebenen Konfigurationen maximal den Anschluss von vier Festplatten erlaubt. Die Performancerelevanten Aspekte dieses Controllers sind ausreichend im vorigen Unterkapitel „RAID 0, 1 und 10 (bis zu vier Festplatten)“ behandelt worden. Wahlfreie Zugriffe Bei der Betrachtung der wahlfreien Zugriffe für größere Anzahlen von Festplatten ist es sinnvoll, zwischen HDDs und SSDs zu unterscheiden, da die Grenzwerte bei SSDs in einer ganz anderen Größenordnung liegen. HDDs Im Folgenden werden die Controller bei wahlfreien Zugriffen auf HDDs verglichen. Hierbei sind die maximalen Transaktionsraten des Speichermediums für das verwendete Lastprofil der wichtigste begrenzende Faktor. Dennoch ist die Performance in solchen Fällen nicht ganz unabhängig vom Controller, da es bei den Controllern ohne Cache (LSI1068 und LSI2008) noch einen zusätzlichen Einfluss gibt, auf den an den entsprechenden Stellen noch hingewiesen wird. Obwohl die nun folgenden Resultate mit bis zu zwölf SAS-2.0-HDDs gewonnen wurden, kann man sie auch verwenden, um für andere Festplattentypen und anzahlen die zu erwartenden maximalen Transaktionsraten abzuschätzen. Die Durchsätze, die bei wahlfreien Zugriffen auf HDDs entstehen, sind so niedrig, dass eventuelle Limitierungen an der PCIe- oder SAS-Schnittstelle der Controller keine Rolle spielen. © Fujitsu Technology Solutions 2011 Seite 19 (33) WHITE PAPER RAID-CONTROLLER-PERFORMANCE VERSION: 1.0A 2011-09-07 RAID 0 mit bis zu zwölf SAS-2.0-HDDs Die nächste Grafik stellt die mit den verschiedenen Controllern erreichbaren Transaktionsraten des Festplattenverbandes für RAID 0 bei wahlfreien Lastprofilen dar. Wie bereits zuvor erwähnt, wurde der LSI1068-Controller mit acht Festplatten betrieben. Die verwendeten SAS-2.0-Festplatten haben für das Lastprofil „Database“ (wahlfreier Zugriff, 67% read, 8 kB Blockgröße) die maximale Transaktionsrate 589 IO/s. Theoretisch sollte also ein Verband aus zwölf solchen Festplatten maximal 589 IO/s × 12 = 7068 IO/s schaffen. Die maximale gemessene Transaktionsrate für das Lastprofil „Database“ beträgt 6951 IO/s; die Überschlagsrechnung wird also gut bestätigt. Für die Lastprofile mit der Blockgröße 64 kB ist bei den hier vorgestellten Messungen nur etwa die halbe Transaktionsrate möglich wie bei dem Lastprofil mit 1 der 8 kB Blockgröße. Maximale Transaktionsraten, wahlfreier Zugriff, RAID 0, bis zu 12 SAS-2.0-HDDs * = 8 HDDs Transaction rate [IO/s] 8000 7000 6000 5000 4000 LSI2108 LSI1078 LSI2008 LSI1068 * LSI2108 LSI1078 LSI2008 LSI1068 * LSI2108 LSI1078 1000 LSI2008 2000 LSI1068 * 3000 0 File copy File server Database Die zwei rechten Säulen in jeder der drei Säulengruppen dieser Grafik stellen die zwei Controller mit Cache dar (LSI1078 und LSI2108). Beide erreichen für jedes der drei Lastprofile ungefähr die maximale Transaktionsrate dieses RAID-Verbandes. Die beiden anderen Controller (LSI1068 und LSI2008) erreichen jeweils nicht mehr als etwa 70% davon. Eine genauere Analyse der Transaktionsraten würde zeigen, dass diese beiden Controller für wahlfreie Lastprofile im Bereich bis zu etwa 32 parallelen Zugriffe ähnliche Performance-Werte haben wie die drei Controller mit Cache. Für höhere Parallelitäten behalten dann der LSI1068- und der LSI2008-Controller die bis dahin erreichten Transaktionsraten bei. Dieser prinzipielle Unterschied zwischen den beiden Gruppen von Controllern bei wahlfreien Zugriffen ist hier exemplarisch für zwölf (bzw. acht) Festplatten dargestellt. Der Unterschied ist auch für RAID-Verbände mit kleineren Festplattenanzahlen relevant, sofern diese eine Performance-Steigerung oberhalb von 32 parallelen Zugriffen zeigen können. Bei den Messungen im Kapitel „RAID 0, 1 und 10 (bis zu vier Festplatten)“ war diese Voraussetzung nicht erfüllt, da dort der kleinere RAID-Verband schon bei etwa 16 parallelen Zugriffen seine maximale Performance erreichte. Daher gab es dort keine signifikanten Performance-Unterschiede zwischen den Controllern ohne Cache (LSI1068 und LSI2008) und den Controllern mit Cache (LSI1078 und LSI2108). 1 Der Grund ist die Initialisierung des RAID-Verbandes mit der elementaren Blockgröße von 64 kB („stripe size“). Das wahlfreie Lastprofil mit der Blockgröße 8 kB, die klein ist gegenüber der „stripe size“, kann direkt nach der Formel HDD-Anzahl × HDD-Performance abgeschätzt werden. Verwendet das Lastprofil die gleiche Blockgröße, mit der der RAID-Verband initialisiert wurde, kann nur etwa die Hälfte davon erreicht werden. Eine ausführliche Begründung würde hier zu weit führen. Die Grundlagen der RAID-Verbände sind ausführlich in dem Dokument „RAIDPerformance“ beschrieben. Seite 20 (33) © Fujitsu Technology Solutions 2011 WHITE PAPER RAID-CONTROLLER-PERFORMANCE VERSION: 1.0A 2011-09-07 RAID 10 mit zwölf SAS-2.0-HDDs Die nächste Grafik stellt die mit den verschiedenen Controllern erreichbaren Transaktionsraten des Festplattenverbandes für RAID 10 bei wahlfreien Lastprofilen dar. Die drei Säulengruppen in der Grafik zeigen die Transaktionsraten für die Standardlastprofile „File copy“ (wahlfreier Zugriff, 50% read, 64 kB Blockgröße), „File server“ (wahlfreier Zugriff, 67% read, 64 kB Blockgröße) und „Database“ (wahlfreier Zugriff, 67% read, 8 kB Blockgröße). Der LSI1068-Controller ist hier nicht mehr vertreten, da er RAID 10 nicht unterstützt. Maximale Transaktionsraten, wahlfreier Zugriff, RAID 10, 12 SAS-2.0-HDDs Transaction rate [IO/s] 6000 5000 4000 3000 LSI2108 LSI1078 LSI2008 LSI2108 LSI1078 LSI2008 LSI2108 LSI1078 1000 LSI2008 2000 0 File copy File server Database In der Grafik zeigt sich dasselbe prinzipielle Verhalten wie bei RAID 0. Das heißt: Der Controller ohne Cache (LSI2008) erreicht für alle drei dargestellten Lastprofile maximal etwa 70% der Transaktionsrate der anderen beiden Controller mit Cache. Auch für diesen RAID-Level ist das ein Performance-Unterschied, der sich erst oberhalb von 32 parallelen Zugriffen auf den RAID-Verband ergibt. © Fujitsu Technology Solutions 2011 Seite 21 (33) WHITE PAPER RAID-CONTROLLER-PERFORMANCE VERSION: 1.0A 2011-09-07 SATA-SSDs Während bei wahlfreien Zugriffen auf eine einzelne HDD die maximal mögliche Transaktionsrate bei eingeschaltetem Festplatten-Cache normalerweise < 700 IO/s ist, ist sie bei einer SATA-SSD ungefähr um den Faktor zehn größer. Durch eine so hohe Transaktionsrate können Verbände aus mehreren SATA-SSDs auch bei wahlfreien Zugriffen Durchsätze von mehreren hundert MB/s liefern. Das wiederum bedeutet, dass die Ressourcen und Schnittstellen der Controller in viel höherem Maße ausgelastet werden als bei HDDs und die Unterschiede zwischen den Controller-Generationen erkennbar werden. Für diese Fälle hängt die Performance der Controller mit Cache (LSI1078 und LSI2108) wesentlich von der richtigen Wahl der Cache-Einstellungen ab. Gegenüber den Standardeinstellungen des Modus„ „Performance“ von ServerView RAID ist zu ändern: Read Mode von „Read Ahead” nach „No read ahead“ Write Mode von „Always write back” nach „Write through“ Diese Änderungen sind für die RAID-Level 0 und 10 bei wahlfreien Lastprofilen im Zusammenhang mit SSDs generell empfehlenswert. RAID 0 mit bis zu zwölf SATA-SSDs Die nächste Grafik stellt die mit den verschiedenen Controllern erreichbaren Transaktionsraten des SATASSD-Verbandes für RAID 0 bei wahlfreien Lastprofilen dar. Wie bereits zuvor erwähnt, wurde der LSI1068Controller mit acht Festplatten betrieben. Die drei Säulengruppen zeigen die Transaktionsraten für die Standardlastprofile „File copy“ (wahlfreier Zugriff, 50% read, 64 kB Blockgröße), „File server“ (wahlfreier Zugriff, 67% read, 64 kB Blockgröße) und „Database“ (wahlfreier Zugriff, 67% read, 8 kB Blockgröße). Am leistungsfähigsten sind hier der LSI2008- und der LSI2108-Controller. Der erste hat einen Vorsprung beim Lastprofil „File copy“, und der zweite einen deutlicheren Vorsprung beim Lastprofil „Database“. Maximale Transaktionsraten, wahlfreier Zugriff, RAID 0, bis zu 12 SATA-SSDs * = 8 HDDs Transaction rate [IO/s] 50000 45000 40000 35000 30000 25000 20000 LSI2108 LSI1078 LSI2008 LSI1068 * LSI2108 LSI1078 LSI1068 * LSI2008 LSI2108 LSI1078 5000 LSI2008 10000 LSI1068 * 15000 0 File copy File server Database Es ist auch interessant, sich die Durchsatzwerte klarzumachen, die mit diesen Transaktionsraten verbunden sind. Trotz der geringeren Transaktionsraten haben die beiden Lastprofile mit 64 kB Blockgröße die höheren Durchsätze. Der LSI2008-Controller bewältigt beispielsweise beim Lastprofil „File copy“ etwa 1062 MB/s Durchsatz. Drückt man die maximalen Transaktionsraten in Form von SATA-SSD-Anzahlen aus, heißt das: Um beispielsweise im Falle von RAID 0 die Möglichkeiten des LSI2108-Controllers auszuschöpfen, sind je nach wahlfreiem Lastprofil sechs bis neun SATA-SSDs nötig. Seite 22 (33) © Fujitsu Technology Solutions 2011 WHITE PAPER RAID-CONTROLLER-PERFORMANCE VERSION: 1.0A 2011-09-07 RAID 10 mit zwölf SATA-SSDs Die nächste Grafik stellt die mit den verschiedenen Controllern erreichbaren Transaktionsraten des SATASSD-Verbandes für RAID 10 bei wahlfreien Lastprofilen dar. Die drei Säulengruppen zeigen die Transaktionsraten für die Standardlastprofile „File copy“ (wahlfreier Zugriff, 50% read, 64 kB Blockgröße), „File server“ (wahlfreier Zugriff, 67% read, 64 kB Blockgröße) und „Database“ (wahlfreier Zugriff, 67% read, 8 kB Blockgröße). Am leistungsfähigsten sind hier der LSI2008- und der LSI2108-Controller. Der erste hat einen geringen Vorsprung beim Lastprofil „File copy“, und der zweite einen leichten Vorsprung beim Lastprofil „File server“ und einen großen Vorsprung beim Lastprofil „Database“. Maximale Transaktionsraten, wahlfreier Zugriff, RAID 10, 12 SATA-SSDs Transaction rate [IO/s] 45000 40000 35000 30000 25000 20000 LSI2108 LSI1078 LSI2008 LSI2108 LSI1078 LSI2008 LSI2108 5000 LSI1078 10000 LSI2008 15000 0 File copy © Fujitsu Technology Solutions 2011 File server Database Seite 23 (33) WHITE PAPER RAID-CONTROLLER-PERFORMANCE VERSION: 1.0A 2011-09-07 Sequentielle Zugriffe Bei der Betrachtung der sequentiellen Zugriffe für größere Anzahlen von Festplatten braucht nicht zwischen HDDs und SATA-SSDs unterschieden zu werden, da die jeweiligen Grenzwerte noch in einer ähnlichen Größenordnung liegen. Im Folgenden werden anhand von Messungen mit bis zu zwölf SAS-2.0-HDDs allgemeingültige Aussagen über die Controller zusammengestellt. Für andere Festplattentypen und -anzahlen kann man sich die zu erwartenden maximale Durchsätze hieraus durch geeignete Multiplikation errechnen. Wenn der so errechnete Durchsatz den Grenzwert des Controllers übersteigt, wird der Controller-Grenzwert wirksam. RAID 0 mit bis zu zwölf SAS-2.0-HDDs Die nächste Grafik stellt die mit den verschiedenen Controllern erreichbaren Durchsätze des Festplattenverbandes für RAID 0 bei sequentiellen Lastprofilen dar. Wie bereits zuvor erwähnt, wurde der LSI1068-Controller mit acht Festplatten betrieben. Die beiden Säulengruppen in der Grafik zeigen die Durchsätze für die Standardlastprofile „Streaming“ (sequentieller Zugriff, 100% read, 64 kB Blockgröße) und „Restore“ (sequentieller Zugriff, 100% write, 64 kB Blockgröße). Um die Controller mit und ohne Cache fair zu vergleichen, beruhen die Werte für die Controller mit Cache (LSI1078 und LSI2108) in dieser Grafik auf folgenden Änderungen gegenüber den Standardeinstellungen des Modus„ „Performance“ von ServerView RAID: Read Mode von „Read Ahead” nach „No read ahead“ Write Mode von „Always write back” nach „Write through“ Hierdurch wird für RAID 0 beim sequentiellen Schreiben ein höherer Durchsatz ermöglicht. Beim sequentiellen Lesen wird hierdurch nichts verändert. Daher sind diese geänderten Einstellungen für RAID 0Verbände bei sequentiellen Lastprofilen generell empfehlenswert. Maximale Durchsätze, sequentieller Zugriff, RAID 0, bis zu 12 SAS-2.0-HDDs * = 8 HDDs 2000 Throughput [MB/s] 1800 PCIe 2.0-x4 1600 1400 1200 1000 PCIe 1.0-x4 800 LSI2108 LSI1078 LSI2008 LSI1068 * LSI2108 LSI1078 200 LSI2008 400 LSI1068 * 600 0 Streaming Restore Üblicherweise werden die internen RAID-Controller in einem Steckplatz für PCIe 2.0-x4 betrieben, und es sind damit Durchsätze bis zu der grau gestrichelten waagerechten Linie möglich. Man erkennt, dass die PCIe-Schnittstelle so abgestimmt ist, dass selbst in dieser maximalen Konfiguration die Möglichkeiten der HDDs praktisch voll nutzbar sind. Würde man die beiden neueren Controller (LSI2008 und LSI208) in einem Steckplatz für PCIe 2.0-x8 betreiben, würden diese nur einen minimal höheren Durchsatz erreichen (siehe Länge der Säulen über der grau gestrichelten Linie). Damit erreichen diese Controller annähernd den Durchsatz, der von den HDDs her möglich ist (der maximale Lese-/Schreibdurchsatz einer solchen SAS-2.0HDD ist 155 MB/s, d. h. der RAID-Verband könnte maximal 155 MB/s × 12 = 1860 MB/s schaffen). Die Controller der Vorgängergeneration (LSI1068, LSI1078) erreichen ca. 860 MB/s und nutzen damit die Möglichkeiten ihrer PCIe-Schnittstelle vollständig aus (PCIe 1.0, x4, schwarze gestrichelte waagerechte Linie). Seite 24 (33) © Fujitsu Technology Solutions 2011 WHITE PAPER RAID-CONTROLLER-PERFORMANCE VERSION: 1.0A 2011-09-07 RAID 10 mit zwölf SAS-2.0-HDDs Die nächste Grafik stellt die mit den verschiedenen Controllern erreichbaren Durchsätze des Festplattenverbandes für RAID 10 bei sequentiellen Lastprofilen dar. Die beiden Säulengruppen in der Grafik zeigen die Durchsätze für die Standardlastprofile „Streaming“ (sequentieller Zugriff, 100% read, 64 kB Blockgröße) und „Restore“ (sequentieller Zugriff, 100% write, 64 kB Blockgröße). Maximale Durchsätze, sequentieller Zugriff, RAID 10, 12 SAS-2.0-HDDs 1200 Throughput [MB/s] 1100 1000 900 PCIe1.0-x4 800 700 600 500 400 LSI2108 LSI1078 LSI2008 LSI2108 100 LSI1078 200 LSI2008 300 0 Streaming Restore Beim sequentiellen Lesen und Schreiben erreichen oder übertreffen der LSI2008- und der LSI2108Controller den erwarteten Durchsatz von 930 MB/s (= 155 MB/s × 6). Der LSI1078-Controller erreicht beim sequentiellen Lesen 840 MB/s; also etwa den Durchsatz, den ihm seine PCIe-Schnittstelle erlaubt (gestrichelte Linie „PCIe 1.0-x4“ in der Grafik). Beim sequentiellen Schreiben mit diesem Controller bei RAID 10 kann der Durchsatz nicht über 471 MB/s erhöht werden, auch nicht mit einer geänderten Cache-Einstellung. © Fujitsu Technology Solutions 2011 Seite 25 (33) WHITE PAPER RAID-CONTROLLER-PERFORMANCE VERSION: 1.0A 2011-09-07 RAID 5 Bei den RAID-Levels 0, 1 und 10 kann sich der Controller darauf beschränken, die logische Position der Datenblöcke einer physikalischen Position im RAID-Verband zuzuordnen („Striping“) und ggf. ganze Blöcke gespiegelt zu schreiben („Mirroring“). Demgegenüber muss ein Controller bei RAID-Levels wie RAID 5 erheblich höhere Anforderungen bewältigen, und zwar hauptsächlich beim Schreiben. Das liegt daran, dass solche RAID-Levels zusätzliche Blöcke mit Paritätsdaten benötigen, die aus den eigentlichen Daten erst berechnet werden müssen. Die Messungen dieses Unterkapitels wurden mit dem LSI1078- und dem LSI2108-Controller durchgeführt, da nur sie standardmäßig RAID 5 unterstützen. Da speziell die Grenzwerte bei höherem PerformanceBedarf interessieren, werden zur Verdeutlichung Messungen mit zwölf leistungsfähigen SAS-2.0-HDDs oder SATA-SSDs benutzt. Diese Festplatten sind im Kapitel „Messumgebung“ näher beschrieben. Wahlfreie Zugriffe Transaction rate [IO/s] Bei RAID 5 wird aus einem Schreibauftrag des Anwendungsszenarios eine spezifisch erhöhte Anzahl von Zugriffen auf den RAID-Verband erzeugt. Das wirkt sich besonders bei wahlfreien Zugriffen aus. Dadurch bedingt sinkt die maximal mögliche Transaktionsrate aus Sicht der Anwendung auf einen bestimmten Prozentsatz, wenn man dieselbe Menge an Festplatten zuerst als RAID 0, und danach als RAID 5 konfiguriert. Diese Prozentsätze sind in erster Näherung spezifisch für den Vergleich mit RAID 5 und das verwendete wahlfreie Lastprofil, hängen aber auch vom Controller ab. Die folgende Grafik stellt die maximalen gemessenen Transaktionsraten für einen Verband aus zwölf SAS2.0-HDDs dar, der einmal als RAID 0 und dann als RAID 5 konfiguriert wurde, beide Male in Verbindung mit dem LSI2108-Controller. Die Werte Vergleich VergleichRAID RAID00und undRAID RAID5,5,wahlfreier wahlfreierZugriff, Zugriff, für RAID 0 sind annähernd das 12 12SAS-2.0-HDDs SAS-2.0-HDDs technische Maximum für diesen HDD-Verband. Die drei Säulen8000 gruppen in der Grafik stellen die RAID 0 × 55% 7000 Transaktionsraten für die StandardRAID 5 lastprofile „File copy“ (wahlfreier 6000 Zugriff, 50% read, 64 kB Blockgröße), „File server“ (wahlfreier Zugriff, 67% 5000 read, 64 kB Blockgröße) und × 59% × 48% 4000 „Database“ (wahlfreier Zugriff, 67% read, 8 kB Blockgröße) dar. Für jedes 3000 dieser drei Lastprofile ist der 2000 gemessene Wert für RAID 5 ein bestimmter Prozentsatz des Wertes 1000 für RAID 0. Diese vergleichenden 0 Prozentsätze sind über den Pfeilen in der Grafik eingetragen. File copy File Server Database Für das Lastprofil mit 50% Schreibanteil („File copy“) ermöglicht der LSI2108-Controller einen vergleichenden Prozentsatz von 48%; für die Lastprofile mit einem Schreibanteil von 33% („File server“ und „Database“) ermöglicht er vergleichende Prozentsätze von 59% bzw. 55%. Mit einer Abschätzung auf Basis von Vervielfachungsfaktoren für die Schreibaufträge könnte man herleiten, dass dieser vergleichende Prozentsatz im ersten Fall theoretisch 40% betragen müssten, und in den beiden anderen Fällen theoretisch 50%. Die mit dem LSI2108-Controller erreichten Prozentsätze liegen also jeweils eindeutig darüber. Dies ist nur möglich aufgrund des (standardmäßig eingeschalteten) Controller-Caches. Je höher diese Prozentsätze, umso besser ist das Controller-Design. Eine ausführliche Herleitung der theoretischen Prozentsätze von 40% bzw. 50% würde hier zu weit führen. Die Grundlagen der einzelnen RAID-Levels sind ausführlich in dem Dokument „RAID-Performance“ beschrieben. Seite 26 (33) © Fujitsu Technology Solutions 2011 WHITE PAPER RAID-CONTROLLER-PERFORMANCE VERSION: 1.0A 2011-09-07 HDDs Die bei RAID 5 erreichbaren Performance-Werte für wahlfreie Lastprofile sollen nun als erstes für den Fall von HDDs verdeutlicht werden. Wie bei den RAID-Levels 0, 1 und 10 (ohne Paritätsberechnung) ist auch für diesen RAID-Level bei HDDs im Gegensatz zu SSDs die maximale Performance des Speichermediums dominierend, daher ist eine getrennte Behandlung beider Festplattentechnologien sinnvoll. RAID 5 mit zwölf SAS-2.0-HDDs Die nächste Grafik stellt die mit den verschiedenen Controllern erreichbaren Transaktionsraten des Festplattenverbandes für RAID 5 bei wahlfreien Lastprofilen dar. Die drei Säulengruppen in der Grafik zeigen die Transaktionsraten für die Standardlastprofile „File copy“ (wahlfreier Zugriff, 50% read, 64 kB Blockgröße), „File server“ (wahlfreier Zugriff, 67% read, 64 kB Blockgröße) und „Database“ (wahlfreier Zugriff, 67% read, 8 kB Blockgröße). Die Transaktionsraten für den LSI2108-Controller wurden bereits etwas weiter oben bei dem Vergleich RAID 0 mit RAID 5 verwendet. Der LSI2108-Controller, also der neuere Controller mit dem größeren Cache, hat einen leichten Vorsprung. Maximale Transaktionsraten, wahlfreier Zugriff, RAID 5, 12 SAS-2.0-HDDs Transaction rate [IO/s] 4000 3500 3000 2500 2000 1500 LSI2108 LSI1078 LSI2108 LSI1078 LSI2108 500 LSI1078 1000 0 File copy © Fujitsu Technology Solutions 2011 File server Database Seite 27 (33) WHITE PAPER RAID-CONTROLLER-PERFORMANCE VERSION: 1.0A 2011-09-07 SATA-SSDs Als nächstes sollen die mit SATA-SSDs erzielbaren Transaktionsraten diskutiert werden (nach wie vor im Falle von RAID 5 bei wahlfreien Lastprofilen). Ganz ähnlich wie bei den zuvor behandelten RAID-Levels 0 und 10 treten auch bei RAID 5 durch die Verwendung von SATA-SSDs die Unterschiede zwischen den verschiedenen Controllern deutlich hervor. Die folgende Grafik stellt die maximalen Transaktionsraten für die verschiedenen Controller am Beispiel eines Verbandes aus zwölf SATA-SSDs zusammen. Die drei Säulengruppen in der Grafik zeigen die Transaktionsraten für die Standardlastprofile „File copy“ (wahlfreier Zugriff, 50% read, 64 kB Blockgröße), „File server“ (wahlfreier Zugriff, 67% read, 64 kB Blockgröße) und „Database“ (wahlfreier Zugriff, 67% read, 8 kB Blockgröße). Maximale Transaktionsraten, wahlfreier Zugriff, RAID 5, 12 SATA-SSDs Transaction rate [IO/s] 15000 12000 9000 LSI2108 LSI1078 LSI2108 LSI1078 LSI2108 3000 LSI1078 6000 0 File copy File server Database Drückt man diese Maximalwerte in Form von SATA-SSD-Anzahlen aus, heißt das: Bei RAID 5 ermöglicht es der LSI2108-Controller – je nach wahlfreiem Lastprofil – drei bis sieben SATA-SSDs auszulasten, ohne dass ein Engpass am Controller entsteht. Diese Abschätzung beruht neben den SATA-SSD-spezifischen Grenzwerten aus dem Kapitel „Messumgebung“ auch auf den für RAID 5 gültigen Prozentsätzen für die Verminderung der maximalen Transaktionsrate vom Anfang des aktuellen Unterkapitels „Wahlfreie Zugriffe“. Die Unterschiede zwischen den beiden Controller-Generationen wären auch schon bei drei SATA-SSDs deutlich erkennbar, daher ist im betrachteten Fall zum Erreichen optimaler Performance der LSI2108Controller zu empfehlen. Seite 28 (33) © Fujitsu Technology Solutions 2011 WHITE PAPER RAID-CONTROLLER-PERFORMANCE VERSION: 1.0A 2011-09-07 Sequentielle Zugriffe Auch bei RAID 5 braucht bei der Betrachtung der sequentiellen Zugriffe für größere Anzahlen von Festplatten nicht zwischen HDDs und SATA-SSDs unterschieden zu werden, da die jeweiligen Grenzwerte noch in einer ähnlichen Größenordnung liegen. Im Folgenden werden anhand von Messungen mit zwölf SAS-2.0-HDDs allgemeingültige Aussagen über die Controller zusammengestellt. Die zu erwartenden maximale Durchsätze lassen sich auf andere Festplattentypen und -anzahlen umrechnen. Wenn der zu erwartende Durchsatz den Grenzwert des Controllers übersteigt, wird der Controller-Grenzwert wirksam. Im Falle von RAID 5 befinden sich in einer logisch zusammengehörigen Gruppe von Blöcken in einem Verband aus N Festplatten immer (N-1) Blöcke mit den eigentlichen Daten und 1 Block mit Paritätsdaten. Bei einer vollständigen sequentiellen Bearbeitung einer solchen Gruppe enthält also immer ein Anteil von 1/(N-1) die Paritätsdaten. Demnach kann eine solche sequentielle Bearbeitung nie mehr als den (N-1)-fachen Datendurchsatz einer einzelnen Festplatte für die Anwendung bereitstellen. Die beiden nächsten Grafiken zeigen die Controller in sequentiellen Anwendungsszenarien mit verschieden großen RAID 5-Verbänden aus SAS-2.0-HDDs. RAID 5 mit drei SAS-2.0-HDDs Die beiden Säulengruppen in der Grafik zeigen die Durchsätze für die Standardlastprofile „Streaming“ (sequentieller Zugriff, 100% read, 64 kB Blockgröße) und „Restore“ (sequentieller Zugriff, 100% write, 64 kB Blockgröße). Im Falle der drei HDDs kann in allen Fällen annähernd der erwartete zweifache Maximaldurchsatz des verwendeten HDD-Typs erreicht werden (155 MB/s × 2 = 310 MB/s). Bei dieser geringen Festplattenanzahl ist noch kein nennenswerter Unterschied zwischen den Controllern vorhanden. Maximale Durchsätze, sequentieller Zugriff, RAID 5, 3 SAS-2.0-HDDs Throughput [MB/s] 400 300 200 LSI2108 LSI1078 LSI2108 LSI1078 100 0 Streaming © Fujitsu Technology Solutions 2011 Restore Seite 29 (33) WHITE PAPER RAID-CONTROLLER-PERFORMANCE VERSION: 1.0A 2011-09-07 RAID 5 mit zwölf SAS-2.0-HDDs Im Falle der zwölf HDDs zeigt sich wieder der Grenzwert des LSI1078-Controllers. Der LSI2108-Controller erreicht beim Lesen 1611 MB/s, also fast den hier maximal möglichen Durchsatz von 1705 MB/s (= 155 MB/s × 11). Der LSI1078-Controller erlaubt beim Lesen maximal 858 MB/s und nutzt damit die Möglichkeiten der PCIe 1.0-x4-Schnittstelle optimal aus (gestrichelte Linie „PCIe 1.0-x4“ in der Grafik). Beim sequentiellen Schreiben für diesen RAID-Level erreicht der LSI1078-Controller einen maximalen Durchsatz von etwa 400 MB/s, und der LSI2108-Controller von etwa 1200 MB/s. Streaming LSI2108 LSI1078 PCIe1.0-x4 LSI2108 1700 1600 1500 1400 1300 1200 1100 1000 900 800 700 600 500 400 300 200 100 0 LSI1078 Throughput [MB/s] Maximale Durchsätze, sequentieller Zugriff, RAID 5, 12 SAS-2.0-HDDs Restore Für Festplattenanzahlen N zwischen drei und zwölf kann man die zu erwartenden Durchsatzwerte für die hier betrachteten sequentiellen Lastprofile wie bereits erwähnt abschätzen als das (N-1)-Fache des Durchsatzes einer einzelnen Festplatte. Grenzwerte der Controller können dabei nicht übertroffen werden. Seite 30 (33) © Fujitsu Technology Solutions 2011 WHITE PAPER RAID-CONTROLLER-PERFORMANCE VERSION: 1.0A 2011-09-07 Geringere Lastniveaus Die Unterschiede zwischen den Controllern zeigen sich nicht nur in den erreichbaren Maximalwerten bei hoher Belastung, sondern auch schon bei geringerer Belastung. Die folgende Tabelle stellt daher für die einzelnen Controller die Grenzen für die sequentiellen Durchsätze einer einzelnen Anwendung zusammen, die bei ihren Zugriffen ohne Parallelität arbeitet (im weiteren Verlauf mit „1 Outstanding IO“ bezeichnet). Diese Grenzwerte gelten für alle RAID-Level, die von den Controllern unterstützt werden, und können nicht überschritten werden. Bei RAID 0 können diese Durchsätze erreicht werden; bei anderen RAID-Levels bleiben die Durchsätze meist darunter. Controller Grenzen des sequentiellen Durchsatzes, 1 Outstanding IO, 64 kB Blockgröße 100% Lesen (Lastprofil „Streaming“) 100% Schreiben (Lastprofil „Restore“) LSI1068 230 MB/s 180 MB/s LSI2008 310 MB/s 340 MB/s LSI1078 290 MB/s 250 MB/s LSI2108 670 MB/s 670 MB/s Die Unterschiede zwischen den Controllern werden dann bedeutsam, wenn der verwendete RAID-Verband groß genug ist, um mehr als 300 MB/s sequentiellen Durchsatz für „1 Outstanding IO“ zu ermöglichen. In solchen Fällen kann ein unpassend ausgewählter Controller als Einschränkung wirken. Das folgende Beispiel illustriert dies anhand von Durchsatzmessungen bei einem RAID 5-Verband aus drei SAS-2.0-HDDs für das Lastprofil „Restore“ (sequentieller Zugriff, 100% write, 64 kB Blockgröße). Verglichen werden der LSI1078- und der LSI2108-Controller bei verschiedenen Anzahlen von parallelen Zugriffen („Outstanding IO“). Lastprofil Restore, RAID 5, 3 SAS-2.0-HDDs, bei verschiedenen Belastungsintensitäten Throughput [MB/s] 350 300 250 200 150 100 50 0 1 2 4 8 LSI1078 175 284 301 300 LSI2108 305 305 304 305 Outstanding IO Man erkennt deutlich, dass in diesem Fall der LSI1078-Controller für 1 und 2 Outstanding IOs nicht denselben Durchsatz erreicht wie der LSI2108-Controller. Letzterer erreicht schon für 1 Outstanding IO den maximalen Durchsatz des RAID 5-Verbandes (hier das Zweifache des Durchsatzes der verwendeten SAS2.0-Festplatte, also 155 MB/s × 2 = 310 MB/s), während der LSI1078-Controller nur etwas mehr als die Hälfte davon erreicht. Aus dem Blickwinkel der Antwortzeiten hieße das: Für geringe Belastungsintensitäten bei sequentiellen Zugriffen kann man mit dem LSI2108-Controller im Vergleich zum LSI1078-Controller die Antwortzeiten etwa halbieren. © Fujitsu Technology Solutions 2011 Seite 31 (33) WHITE PAPER RAID-CONTROLLER-PERFORMANCE VERSION: 1.0A 2011-09-07 Fazit Mit dem „Modular RAID“ Konzept bieten die PRIMERGY Server eine Fülle von Möglichkeiten, um den Anforderungen verschiedener Anwendungsszenarien gerecht zu werden. Ein Onboard-Controller ist eine kostengünstige Einstiegsalternative für die RAID-Levels 0, 1 und 10, die einen PCIe-Steckplatz spart, aber auf vier SATA-Festplatten beschränkt ist. Der anteilige Konsum von Prozessorleistung des Servers fällt bei neueren Servern immer weniger ins Gewicht. Die „SAS 0/1“-RAID-Controller ohne Controller-Cache unterstützen die Basis-RAID-Lösungen RAID 0, RAID 1 und RAID 1E bzw. RAID 10 an, und liefern bei diesen RAID-Levels eine gute Performance. Im High-End-Bereich bieten die „SAS 5/6“-RAID-Controller alle heute gängige RAID-Lösungen RAID 0, RAID 1, RAID 5, RAID 6, RAID 10, RAID 50 und RAID 60 an. Diese Controller haben einen Controller-Cache und können optional mit einer BBU gesichert werden. Vielfältige Möglichkeiten, die Nutzung des Caches einzustellen, erlauben eine flexible Anpassung der Controller-Leistung an den verwendeten RAID-Level. In vielen Anwendungsszenarien, beispielsweise wenn wahlfreie Zugriffe auf konventionellen Festplatten mit hoher Belastungsintensität stattfinden, ermöglichen diese Controller eine um 30% höhere Transaktionsrate als die „SAS 0/1“-RAID-Controller. Beim Einsatz von PRIMERGY Servern mit internen Festplatten sind mit dem Aufkommen der Technologien SAS-2.0 und PCIe 2.0 sowie mit dem zunehmenden Einsatz von Solid State Disks (SSDs) auch die Anforderungen an die RAID-Controller gewachsen, daher empfiehlt sich in diesem Fall ein Controller der SAS-2.0-Generation (6G-Variante). Die Mehrzahl der Anwendungsszenarien, die das Disk-Subsystem beanspruchen, sind mit einem wahlfreien Schreib-/Lesezugriff verbunden. Wenn zur Bewältigung sehr hoher IO-Raten SSDs verwendet werden, hat der Controller einen erheblichen Einfluss auf die maximale Transaktionsrate. So kann beispielsweise bei einem RAID 5-Verband aus drei SSDs und datenbanktypischen Zugriffen die Verwendung des Controllers „RAID Ctrl SAS 6G 5/6 512 MB“ (LSI2108) anstelle eines Controllers der Vorgängergeneration eine Verdoppelung der maximalen Transaktionsrate bewirken. In Anwendungsfällen mit sequentiellem Lesezugriff sind nicht nur mit SSDs, sondern auch bereits mit etwa sechs aktuellen SAS-2.0-Festplattenlaufwerken Durchsätze von 900 MB/s und mehr möglich. Ohne die neue Generation der PCIe 2.0-fähigen Controller würde hier bei etwa 850 MB/s die Begrenzung von PCIe 1.0 mit x4-Anschluss wirksam. Ein weiterer Aspekt der schnelleren Controller bei sequentiellen Zugriffsprofilen ist der erhöhte Durchsatz bereits bei geringer Parallelität der Zugriffe. Sofern der RAID-Verband leistungsfähig genug ist, bedeutet dies in diesem speziellen Anwendungsfall, dass beim Lesen und beim Schreiben über 600 MB/s möglich sind. Für diese Spezialfälle bedeutet das mehr als eine Verdoppelung der maximalen Durchsätze gegenüber den Controllern der Vorgängergeneration. Zur Konfiguration von Controllern und Festplatten empfiehlt sich die für aktuelle PRIMERGY Server mitgelieferte RAID-Manager-Software „ServerView RAID“. Dieses Dienstprogramm ermöglicht Controllerunabhängig für die Mehrzahl der Anwendungsszenarien eine komfortable Anpassung der Controller- und Festplatteneinstellungen an die kundenseitigen Erfordernisse bezüglich Performance und Datensicherheit. Bei Verwendung von BBUs und USVen als Puffer bei Stromausfällen lässt sich die maximale Performance mit Datensicherheit vereinbaren. Seite 32 (33) © Fujitsu Technology Solutions 2011 WHITE PAPER RAID-CONTROLLER-PERFORMANCE VERSION: 1.0A 2011-09-07 Literatur PRIMERGY Systeme http://de.fujitsu.com/primergy PRIMERGY Performance http://de.fujitsu.com/products/standard_servers/primergy_bov.html Grundlagen Disk-I/O-Performance http://docs.ts.fujitsu.com/dl.aspx?id=3d4fbad8-2a7e-465f-b9ee-d43b711f636d Performance einzelner Festplatten http://docs.ts.fujitsu.com/dl.aspx?id=664c076d-f57b-4dcc-beeb-c40451554d92 RAID-Performance http://docs.ts.fujitsu.com/dl.aspx?id=146e8bf9-0431-4a33-a8cc-59588050e528 Informationen über Iometer http://www.iometer.org Kontakt FUJITSU Technology Solutions Website: http://de.fujitsu.com/ PRIMERGY Product Marketing mailto:[email protected] PRIMERGY Performance und Benchmarks mailto:[email protected] Alle Rechte vorbehalten, insbesondere gewerbliche Schutzrechte. Änderung von technischen Daten sowie Lieferbarkeit vorbehalten. Haftung oder Garantie für Vollständigkeit, Aktualität und Richtigkeit der angegebenen Daten und Abbildungen ausgeschlossen. Wiedergegebene Bezeichnungen können Marken und/oder Urheberrechte sein, deren Benutzung durch Dritte für eigene Zwecke die Rechte der Inhaber verletzen kann. Weitere Einzelheiten unter http://de.fujitsu.com/terms_of_use.html 2011-09-07 WW DE © Fujitsu Technology Solutions 2011 Copyright © Fujitsu Technology Solutions GmbH 2011 Seite 33 (33)
