| Home | Wissen |
| Bearbeitung | Karin Wenzel, Xtelligent |
| Datum | 28.07.2004 |
| Originaldokument | www.xtelligent.de/wissen/xlet_p5.htm |
| Abstract | Einführender, technischer Überblick über die neuen Begriffe, technischen Konzepte und Möglichkeiten der Partitionierung und Virtualisierung auf IBM eServer p5-Systemen. |
Wir wünschen eine interessante Lektüre!
Das Team von Xtelligent
Für Ende August hat IBM die ersten Modelle der neuen Serverlinie p5 für AIX angekündigt: IBM eServer p5-520, p5-550 und p5-570. Die Systeme beruhen auf dem neuen Prozessor POWER5, einer Weiterentwicklung des POWER4, der in den Regatta-Systemen (z.B. IBM eServer pSeries 690) eingesetzt wird. Neben den damit verbundenen Leistungsverbesserungen bieten die neuen Systeme auch erhebliche und grundsätzliche Erweiterungen des Partitionierungskonzepts, das mit AIX 5L v.5.1 und den POWER4-Systemen eingeführt wurde.
Dieser X-Letter gibt einen einführenden Überblick über die neuen Begriffe, technischen Konzepte und Möglichkeiten der Partitionierung und Virtualisierung auf p5-Systemen.
Die Begriffe Partitionierung und Virtualisierung werden je nach Kontext in der IT in zahlreichen verschiedenen Bedeutungsnuancen verwendet. Die folgenden Erklärungen beziehen sich auf den Sprachgebrauch der IBM in Hinsicht auf AIX-Server, wie er auch in den folgenden Absätzen verwendet werden wird.
Unter Partitionierung versteht man die Aufteilung eines Hardware-Systems in mehrere logische Systeme, die jeweils so unabhängig voneinander betrieben werden, als wären sie auf verschiedenen Hardware-Systemen installiert. Die logischen Systeme fahren dabei jeweils ihre eigenen Betriebssystem-Instanz und sind sicherheitstechnisch von einander separiert. Dies kann genutzt werden, um Hardware-Konsolidierung bei gleichzeitiger vollständiger Separierung der Applikationen zu erreichen. Im Zusammenhang mit dynamischer Partitionierung, also der Umwidmung von Ressourcen zwischen den Partitionen zur Laufzeit, kann die vorhandene Hardware effizienter genutzt werden, ohne Abstriche in Sicherheitsfragen machen zu müssen.
Bei der Virtualisierung wird zwischen der physikalisch vorhandenen Hardware und der Betriebssystem-Instanz eine Abstraktionsschicht eingeschoben, die virtuelle Geräte und Ressourcen bereitstellt. Dadurch kann etwa ein nur einmal vorhandener Prozessor oder Adapter von mehreren Betriebssystem-Instanzen gleichzeitig, oder genauer: abwechselnd, genutzt werden.
Beide Konzepte dienen gemeinsam der flexibleren und effizienteren Nutzung von Hardware, als dies mit einem konventionellen unpartitionierten System ("Full System Partition") möglich wäre.
Wie bisher können die neuen p5-Systeme auch weiterhin unter AIX 5L 5.2 oder 5.3 als konventionelle unpartitionierte Systeme (Full System Partition) gefahren werden. Soll der Server partitioniert werden, so ist der Einsatz einer HMC (Hardware Management Console) notwendig. Dabei handelt es sich um einen separaten Server auf PC-Basis, der eine Appliance zur Verwaltung der verschiedenen Partitionierungs- und Virtualisierungsfunktionen bereitstellt. Auf einem partitionierten Server können dann mehrere Instanzen verschiedener Betriebssysteme parallel betrieben werden. Unterstützt wird die neue Hardware dabei von den Betriebssystemen AIX 5L 5.2, AIX 5L 5.3, SuSE Linux Enterprise Server 9 (SLES 9) und Red Hat Enterprise Linux 3 (RHEL 3), wobei die zugehörigen Linux-Distributionen für POWER5 derzeit noch nicht vollständig verfügbar sind. Die genannten Versionen der Linux-Distributionen werden jeweils den Kernel 2.6, der notwendige Funktionen für die Unterstützung der Virtualisierung enthält, einsetzen. Für die Zukunft wird auch die Unterstützung des Betriebssystems i5/OS (früher OS/400) in Partitionen angestrebt.
Die folgende Abbildung zeigt die Komponenten, die bei Partitionierung und Virtualisierung eine grundsätzliche Rolle spielen. Zentrale Drehscheibe ist der POWER5 Hypervisor, der zwischen den Partitionen und der physikalischen Hardware vermittelt. Er stellt die Ressourcen gemäß der von der HMC vorgegebenen Konfiguration bereit und sorgt gleichzeitig für die Abgrenzung der Partitionen gegeneinander. Der Hypervisor ist Teil der POWER5 Firmware und eine Komponente, deren Ursprünge aus der Mainframe-Welt stammen. Er bringt auch die Möglichkeit zum "virtual LAN" mit.
Sollen die neuen Potentiale der Virtualisierung voll ausgeschöpft werden, muss neben POWER5-System und HMC auch das "Advanced POWER Virtualisation Feature" geordert werden. Zu ihm gehören das Enabling der Firmware für das Micro-Partitioning, der Virtual I/O Server und der (optional erhältliche) Partition Load Manager.
Die folgenden Abschnitte beleuchten diese Konzepte und Möglichkeiten im einzelnen.
Mit AIX 5L 5.1 wurde die Möglichkeit geschaffen, ein POWER4-System in Logische Partitionen (LPAR) einzuteilen, die jeweils ihre eigene Betriebssysteminstanz verwenden. Ressourcen (Prozessoren, Memory, I/O-Geräte) werden dabei dediziert einer bestimmten Partition zugeordnet. Rekonfiguration erfordert den Reboot der betroffenen Partitionen. Jede Partition benötigt ein Boot-Device (und damit einen eigenen SCSI-Adapter) und einen eigenen Netzwerk-Adapter. Prozessoren werden als ganzes einer Partition zugeordnet, Memory in 256 MB Stücken. Mögliche Betriebssysteme sind AIX 5L 5.1 und 5.2, sowie verschiedene Linux Derivate.
AIX 5L 5.2 erlaubt zusätzlich die Dynamische Partitionierung (DLPAR): Die Rekonfiguration von Partitionen, in denen AIX 5L 5.2 läuft, erfordert keinen Reboot mehr. Zur Laufzeit können Prozessoren, Speicher oder Adapter freigegeben und neu eingebunden werden.
POWER5 und AIX 5L 5.3 bieten nun zusätzlich zu den bisherigen Möglichkeiten die Mirco-Partitionierung an. Prozessoren werden hier nicht mehr dediziert einer Partition zugeordnet, sondern der Hypervisor dispatched die virtuellen Prozessoren der Partitionen umschichtig nach vorgegebenen Kapazitätskontingenten auf die physikalischen Prozessoren eines gemeinsam genutzten Pools. Die minimale Leistungszuordnung für eine Partition ist dabei 1/10 eines physikalischen Prozessors. Die Kapazitätskontigente können wiederum dynamisch angepasst werden: Damit sind sehr flexible Konfigurationen und lastabhängige Kapazitätsänderungen möglich. Allerdings kann es durch die Dispatch-Zyklen zu Latenzzeiten kommen, die nicht für alle Applikationen akzeptabel sind. Speicher wird weiterhin dediziert zugeordnet, aber auch hier steht eine feinere Granularität dynamisch zur Verfügung (16 MB).
SMT ist ein Konzept der Prozessor-Virtualisierung mit dem Ziel der besseren Ausnutzung der Rechenkapazität des physikalischen Prozessors.
POWER5 Prozessoren stellen im Verbund mit AIX 5L 5.3 die Möglichkeit zur Verfügung, auf einem physikalischen Prozessor gleichzeitig zwei Threads abzuarbeiten. Für die Prozesse erscheint hierbei ein einzelner physikalischer Prozessor als zwei logische Prozessoren. Ein verwandtes Konzept wird auf Intel-Prozessoren Hyper-Threading genannt, die POWER5-Prozessoren erreichen aber eine noch weiter parallelisierte Abarbeitung.
Da SMT bei stark rechenintensiven Workloads performancetechnisch unerwünscht ist, kann es über Betriebssystemkommandos für jede Partition einzeln deaktiviert werden. Es steht ausschließlich in AIX 5L 5.3 Partitionen zur Verfügung. Es kann auch von Micro-Partitionen und Full-System-Partitionen genutzt werden.
Virtual LAN oder Virtual Ethernet ist eine Funktionalität des Hypervisor, welche die adapterlose Kommunikation zwischen verschiedenen Partitionen innerhalb eines Systems ermöglicht.
Der Hypervisor agiert dabei als Switch gemäß dem VLAN Standard IEEE 802.1Q. Die Ethernet-Kommunikation findet über virtuelle Interfaces in den Partitionen statt, die vom Hypervisor über in-memory point-to-point Verbindungen vermittelt wird. Dabei sind Übertragungsraten von 1-3 Gigabit/sec erreichbar. Soll eine Anbindung an ein externes Netzwerk erfolgen, muss dies über einen Virtual I/O Server oder eine als Router konfigurierte Partition mit dediziertem physikalischen Ethernet-Adapter erfolgen.
Das virtuelle Interface kann für AIX 5L 5.3 Partitionen als Boot-Device und zur Installation via NIM genutzt werden. Es ist auch für Partitionen mit SLES 9 und RHEL 3 nutzbar, nicht aber für AIX 5L 5.2.
Der VIO ist eine Appliance, welche in einer separaten Partition läuft und virtuelle Schnittstellen zu physikalischen I/O-Adaptern (SCSI, Ethernet) und Festplatten zur Verfügung stellt. Die physikalischen Geräte werden dabei dem VIO zugeordnet, der durch die virtuellen Schnittstellen die Nutzung durch mehrere Client-Partitionen ermöglicht. Die Kommunikation erfolgt dabei über den Hypervisor. Clients können AIX 5L 5.3, SLES 9 und RHEL3 sein (nicht aber AIX 5L 5.2). Der VIO ist Teil des "Advanced POWER Virtualization Feature".
Der VIO ist eine spezielle AIX Partition, welche von der HMC aus über einen Linux-basierten NIM von einem speziellen mksysb-Image installiert wird. Auch AIX-Maintenance-Fixes werden in spezieller Form zur Verfügung gestellt. Der Zugriff auf die AIX Partition ist stark limitiert und erlaubt nur einen begrenzten Umfang an Verwaltungsfunktionen. Die Konfiguration erfolgt in großen Teilen über die HMC.
Shared Ethernet:
Der VIO kann einen Ethernet-Adapter
mehreren Partitionen zur Verfügung stellen, um damit ein
Virtual Ethernet an ein externes Ethernet anzubinden. Der VIO
agiert dabei als ein Layer2-Switch. Auf einem physikalischen Adapter
können bis zu 16 virtuelle Adapter definiert werden.
Virtual SCSI:
Der VIO kann für Client-Partition
einen virtuellen SCSI-Adapter zur Verfügung stellen oder in
Erweiterung dazu eine virtuelle Festplatte. Was der Client-Partition
als Festplatte (hdisk) erscheint, ist dabei auf Seiten des VIO ein
AIX LVM - Logical Volume. Interessant ist auch, dass die
Treiber-Komponente nur für den VIO, also auf AIX, verfügbar
sein muss, nicht für das Client-Betriebssystem. So können
etwa Linux-Partitionen an ein EMC-Device angebunden werden, obwohl
keine nativen Linux-Treiber für EMC exisitieren.
Es kann mehrere VIOs auf einem POWER5-System geben, zum Beispiel um single point of failure Problematiken zu umgehen. Jeder VIO braucht dabei hinreichend viele Ressourcen, insbesondere auf Prozessor-Seite, da die Virtualisierung viele Adapter-Funktionen auf den Prozessor verlagert (dies gilt auch für die Client-Partitionen).
Der PLM ist eine Software, welche die automatisierte, lastabhängige Rekonfiguration von Prozessor und Memory Ressourcen in DLPAR und Micro-Partitionen erlaubt. Ressourcen werden dabei von wenig belasteten zu stark belasteten Partitionen verschoben. Er stellt außerdem Monitoring-Funktionen zur Verfügung. PLM ist ein optionalesr separt erwerblicher Teil des Advanced POWER Virtualisation Feature.
Der PLM unterstützt Client Partitionen mit AIX 5L 5.2 und 5.3 auf POWER5 und eingeschränkt auf POWER4. Die Rekonfiguration erfolgt über Eingriffe auf der HMC per ssh.
CoD ist ein quasi finanz-technisches Werkzeug zur flexibleren Hardware-Nutzung. Dabei sind bei Lieferung der Server-Hardware bereits zusätzliche Komponenten eingebaut, die aber erst aktiviert werden, wenn im Betrieb tatsächlich der erforderliche Leistungsbedarf entsteht. CoD ist je nach Modell möglich für Prozessoren und für Speicher. Die Freischaltung der Ressourcen wird auf POWER5-Systemen vom Hypervisor gemanaged. Je nach Modell sind auf POWER5-Systemen bis zu vier verschiedene Ausprägungen von CoD möglich:
CUoD (Capacity Upgrade on Demand): Die inaktiven Komponenten werden einmalig und endgültig aktiviert, sobald dies durch die Leistungsforderung des Systems notwendig wird.
Trial CoD: Die Einsatzmöglichkeiten der inaktiven Komponenten können 30 Tage lang getestet werden, etwa um den endgültig notwendigen Leistungsbedarf zu ermitteln.
Reserve CoD: Reserve-Kapazitäten können jeweils in Blöcken von 30 Prozessortagen aktiviert werden, wenn plötzliche Belastungsspitzen auftreten.
On/Off CoD: Die Aktivierung zusätzlicher Speicher- oder Prozessor-Kapazität wird nur bei tatsächlicher Nutzung (aber in vollen Tagen) vorgenommen und bezahlt.
Der Hypervisor ist ein Teil der Firmware der POWER5 Systeme und zentrales Element der Partitionierung und Virtualisierung. Er stellt Kontroll- und Konfigurationsstrukturen für virtuelle Adapter bereit und garantiert den sicheren und kontrollierten Zugriff auf physikalische Ressourcen. Er ermöglicht die Virtualisierung von I/O-Interrupts und regelt das Dispatching der virtuellen auf physikalische Prozessoren. Die Kommunikation zwischen Hypervisor und Betriebssystem erfolgt über spezielle Hypervisor Calls (hcalls), die vom Prozessor in einem speziellen hypervisor mode abgearbeitet werden.
Einige Funktionen stehen per default bereit (z.B. virtuelles Ethernet), andere müssen erst explizit aktiviert werden (z.B. Micro-Partitioning, virtual I/O). Für letztere muss das Advanced POWER Virtualisation Feature erworben werden.
Die HMC ist ein separater Server auf PC-Basis, der eine Appliance zur Verwaltung der verschiedenen Partitionierungs- und Virtualisierungsfunktionen bereitstellt. Er ist immer notwendig, wenn ein System partitioniert eingesetzt werden soll (bei spezieller Hardware, z.B. p690, auch im Full-System-Partition-Betrieb). Von einer HMC aus können dabei prinzipiell mehrere POWER5-Systeme verwaltet werden (abhängig von der gewünschten Anzahl an Partitionen).
Die HMC fährt ein gekapseltes Red Hat Betriebssystem, das aber für den Administrator unzugänglich ist. Ihm steht lediglich ein beschränkter Umfang an Verwaltungsfunktionen sowie das graphische Interface zur Partitionskonfiguration zur Verfügung.
Für POWER5 und POWER4 Systeme sind unterschiedliche HMCs notwendig. POWER5 Systeme werden nicht mehr wie POWER4 Systeme über die serielle Leitung verwaltet, sondern über einen speziellen Ethernet-Anschluss. Dadurch entfallen die bisherigen engen räumlichen Beschränkungen für die Platzierung der HMC.
|
CoD |
Capacity on Demand, Freischaltung zusätzlich eingebauter, inaktiver Server-Ressourcen bei entsprechendem Leistungsbedarf |
|
DLPAR |
Dynamisches LPAR, Rekonfiguration der Ressourcen-Zuordnung ohne Reboot der Partition |
|
HMC |
Hardware Management Console, separater PC-Server mit Appliance zur Verwaltung von Partitionierungs- und Virtualisierungs-Funktionen |
|
LPAR |
Logische Partition(ierung), Aufteilung eines Hardware-Systems in mehrere logische Systeme, bzw. einzelne logische Partition |
|
NIMOL |
Network Install Management over Linux, Software auf HMC zur Installation des VIO |
|
PLM |
Partition Load Manager, Software zur Automatisierung dynamischer Partitions-Rekonfigurierung |
|
SEA |
Shared Ethernet Adapter |
|
SMT |
Simultanes Multi-Threading, Funktion von POWER5-Architektur und AIX: zwei Threads werden auf einem Prozessor simultan abgearbeitet |
|
SWMA |
Software Maintenance, Teil der Lizenzierung von AIX und Advanced POWER Virtualisation Feature |
|
VIO |
Virtual I/O Server, Appliance zur I/O-Virtualisierung, Teil des Advanced POWER Virtualisation Feature |
|
vSCSI |
virtual SCSI, Feature des VIO |
|
WebSM |
Web-based System Manager, graphisches Benutzerinterface zur Systemverwaltung |
The Complete Partitioning Guide for IBM eServer pSeries Servers (Redbook)
http://publib-b.boulder.ibm.com/Redbooks.nsf/RedbookAbstracts/sg247039.html
Introduction to Advanced POWER Virtualization on IBM eServer p5
Servers (Redbook Draft)
http://publib-b.boulder.ibm.com/Redbooks.nsf/RedpieceAbstracts/sg247940.html