Synthetische Sandra: Ein Review des Benchmarks

17. April 2006 / von BlackBirdSR / Seite 1 von 3

Entgegen dem, was man anhand des Titels vermuten möchte, handelt dieser Artikel natürlich nicht von künstlichen Frauen. Durchaus künstlich ist allerdings die Vorgehensweise, mit der CPUs mittels sogenannter "synthetischen" Benchmarks getestet werden. Eben dieser Aspekt hat unser Interesse geweckt. Denn wie nützlich und realitätsnah sind solche Tests denn eigentlich?

Vielen sollte der Name SiSoftware Sandra ein alter Bekannter sein. Seit Jahren schon findet dieses kostenlose Programm seinen Weg auf die Festplatten von Usern und Testern zugleich. Primär stehen zwar eigentlich diverse Diagnosefunktionen im Vordergrund, richtig bekannt ist Sandra allerdings für die eingebauten Benchmark-Funktionen. Was dem Programm so viel Erfolg beschert hat, sind die einfache Handhabung und leicht überschaubare Benchmarkergebnisse. Das scheint momentan wohl in jeder Hinsicht der Schlüssel zum Erfolg zu sein.

SiSoft Sandra ist sicher nicht der einzige Vertreter seiner Gattung. Allerdings spielt in diesem Feld eigentlich nur das Programm "Everest" noch eine gewichtige Rolle. Im folgenden wollen wir uns nur auf Sandra konzentrieren, schließen jedoch mit unseren Folgerungen andere Programme damit natürlich nicht aus.

Auflistung aller Diagnose und Benchmarkmodule von Sandra

Um die Leistungsfähigkeit von CPUs und deren Umfeld zu testen, bietet Sandra verschiedene Module an. Neben Tests für Speichermedien und Internetverbindungen finden sich auch Module zur Bestimmung der Leistungsfähigkeit von CPU, Cache und Speicherbandbreite. Gerade auf letztere Tests wollen wir uns konzentrieren.

Denn eine große Anzahl an Artikeln setzt auf Sandra als synthetischen Benchmark: Das bedeutet, man versucht die Performance abseits von Einflussgrößen wie Spielen und Anwendungen zu messen. Die entscheidende Frage ist natürlich: Wieviel Bedeutung darf man diesen Methoden beimessen? Und im speziellen: Wie nützlich sind die von Sandra eingesetzten Tests, um gesicherte Aussagen treffen zu können?

Denn es sollte immer folgendes Prinzip gelten: Welche Erkenntnisse bringt ein Test, und welche Rückschlüsse lassen sich daraus ziehen? Das muss für synthetische Tests ebenso gelten wie für Timedemos oder Testläufe mit Anwendungen. Man würde sich selbst ein Bein stellen, präsentiert man Werte aus Messungen, ohne damit wirklich nützliche Ergebnisse zu erhalten. Und so mancher Tester dürfte das wohl schon am eigenen Leib erfahren haben.

Auch in unserem Forum finden sich unzählige Messungen mit Hilfe von Sandra. Und während sich Tendenzen ablesen lassen, scheint deren Praxisrelevanz etwas unklarer. Was genau passiert also, wenn Sandra einen Benchmark durchführt?

Viele Benchmarks haben ein Merkmal gemeinsam: Die mangelnde Dokumentation hinsichtlich Tests und Ergebnissen. Auch Sandra zeigt sich hier erstmal etwas verschlossen. Dabei liefert die FAQ auf der Webpage von SiSoftware durchaus Auskunft - allerdings nicht immer zum besten für Sandra selbst. Was auch eine Möglichkeit darstellt, sich selbst ein Bein zu stellen. Im folgenden werden wir zusätzlich zu jedem Test die Angaben des Herstellers selbst analysieren.

Das erste Test-Modul von Sandra hört auf den Namen "CPU-Arithmetic Benchmark" und basiert auf Integer- und Gleitkomma-Tests.

Dhrystone und Whetstone Tests

Dhrystone-Alu setzt auf die Integer-Fähigkeiten der CPU. Das Ergebnis wird als MIPS-Wert ausgegeben (Million Instructions per Second). Ein MIPS entspricht dabei der Leistung einer DEC VAX CPU von Mitte 1970. Eine CPU mit 10 MIPS wäre dementsprechend theoretisch 10x schneller als eine VAX. Dhrystone selbst wurde allerdings 1984 entwickelt und dürfte es schwer haben, heutige Architekturen korrekt einzuschätzen. Die Sandra FAQ schreibt dazu folgendes:

Demnach ist Dhrystone darauf ausgelegt, eine repräsentative Menge an Berechnungen anzubieten - allerdings auf dem Stand von 1984. Nach eigenen Angaben wurde der Test etwas verändert, wohl um dem Rechnung zu tragen. Es ist jedoch überhaupt nicht ersichtlich, wie die Änderungen ausfallen. Die FAQ behält zudem Recht, wenn sie zugibt, dass diese Messwerte nicht immer den realen Ergebnissen von echten Programmen entsprechen. Diese nutzen eben auch das Speichersubsystem der CPU und eventuell auch eine vollkommen andere Zusammensetzung von Befehlen. Dass dies trotzdem nützlich sei, um die Geschwindigkeit verschiedener CPUs zu vergleichen, widerspricht dem.

Natürlich ist es nützlich, um einen 2.2 GHz K8 mit einem 2.4 GHz K8 zu vergleichen. Allerdings dürfte hier sowieso klar sein, welchen Leistungsanstieg man erwarten darf. Will man verschiedene Modelle innerhalb einer Architektur vergleichen, fällt auf, dass diese gerade bei den hier wichtigen Funktionseinheiten in den seltensten Fällen große Unterschiede aufweisen. Demnach fällt auch der Unterschied zwischen K7 und K8 sehr knapp aus. Bei realen Anwendungen ist zumeist eher das Gegenteil der Fall. Unterschiedliche CPU-Architekturen damit zu vergleichen, läuft also eher auf die Bestätigung bereits bekannter Fakten hinaus. Ohne zu wissen, was den CPUs abverlangt wird, kann man auch keine sicheren Vergleiche anstellen.

Der Test ist multithreaded, was DualCore-, SMP- und SMT-Systemen zu Hilfe kommt. Bisher ist diese Funktion allerdings immer aktiviert, was sich sofort auf die Werte des Pentium 4 (SMT durch HyperThreading) auswirkt. Für Dhrystone fällt der Gewinn allerdings nur gering aus. Besser wäre es trotzdem, wenn man die Funktion nur bei Bedarf zusätzlich nutzen könnte. Gerade solche synthetischen Berechnungen sind in den seltensten Fällen gute Anzeiger für echte SMT-Performance. In Zukunft mag Software mit einem großen Anteil an MultiThreading durchaus häufiger anzutreffen sein. Allerdings gibt sich Sandra schon seit Jahren so "zukunftsgeil" und zeigt damit keineswegs den momentanen Stand an.

Um das alles zu untermauern, dürfen die eigentlichen Testergebnisse natürlich nicht fehlen. Sie wurden direkt der Datenbank von Sandra entnommen.

Zusammenfassung:
• original Dhrystone nicht geeignet um neue Architekturen zu bewerten
• Modifikationen von SiSoftware sind undokumentiert
• geringe Aussagekraft für wirkliche Programme
• zum Vergleich zwischen Architekturen relativ nutzlos
• MultiThreading standardmäßig aktiviert
• 64 Bit Test undokumentiert, liefert fragwürdige Ergebnisse