Timedemos - Das Maß aller Dinge?

22. Januar 2006 / von Madkiller & BlackBirdSR / Seite 1 von 10

   Einleitung

Es gibt Tatsachen, an denen rüttelt man nicht ... einigen Lesern wird dieser Spruch aus einem früheren Artikel bekannt vorkommen. Das letzte Mal haben wir damit an der Bastion der "average fps" gerüttelt.

Dieses Mal wollen wir einen Schritt weiter gehen. Sogenannte "Timedemos" sind feste Bestandteile der meisten Benchmarks. Diese selbständig ablaufenden Szenen sollen das Messen der Performance erleichtern. Der Hersteller oder User nimmt eine Szene in Spielgrafik auf und lässt diese dann abspielen. Am Ende wird die Anzahl der abgespielten Bilder durch die benötigte Zeit geteilt. Es entsteht ein durchschnittlicher Wert für die Performance, welcher "frames per second" oder auch "Bilder pro Sekunde" genannt wird.

Dieser Artikel soll nicht nur bestätigen, dass dieser Durchschnittswert häufig eine oftmals verzerrte Darstellung der Performance liefert. Dieses Mal wollen wir auch dem Timedemo über die Schulter sehen. Wir haben Grund anzunehmen, dass auch Timedemos nur eine verzerrte Einschätzung der Performance erlauben. Die Gründe sind vielfältig - und vernichtend zugleich.

Denn ein Timedemo kommt völlig ohne Benutzereingaben aus. Damit fällt bereits ein Element weg, welches Last für den Rechner erzeugt. Ein gelegentlich auftretendes Problem sind Timedemos, die ganz andere Szenen zeigen, als sie wirklich im im Spiel vorkommen. An sich wäre das noch nicht genug, um das Timedemo an sich anzugreifen. Was aber, wenn das Timedemo nun wichtige Komponenten wie Physik und künstliche Intelligenz vernachlässigt? Wenn die Szene mehr Ähnlichkeit mit einem Film hat, der vom Grafikchip nur noch fertig gerendert werden muss?

Es gilt als relevativ gesichert, dass Bots und Gegner in vielen Timedemos ihre Bewegung gar nicht mehr errechnen müssen. Auch die Physik muss nicht mehr berechnet werden, sondern steht schon fest. Gilt das vielleicht auch für Positionsberechnungen beim Sound? Natürlich will jeder, dass ein Timedemo immer gleich abläuft. Damit soll sichergestellt werden, dass die Werte reproduzierbar sind und für alle vergleichbar. Doch was nützt das schon, wenn der Benchmark Werte ausspuckt, die gar nicht denen im Spiel entsprechen?

Das soll nun unser roter Leitfaden im Artikel sein: Sind die Werte aus Timedemos mit denen vergleichbar, die ein Spieler beim wirklichen Spielen erlebt? Als Gegenprobe zu Timedemos benutzen wir deshalb ein Savegame aus dem jeweiligen Spiel. Wir haben mit diesen versucht, praxisnahe und öfters vorkommende Worstcase-Szenarien darzustellen.

Für unseren Test wurde dann ein dafür erstelltes Savegame mehrmals hintereinander geladen und beim zweiten, dritten und vierten Durchlauf jeweils die ersten 5 Sekunden mit Fraps aufgezeichnet und aus diesen drei Werten das Mittel gebildet. Erwartungsgemäß sollten in diesem Fall KI, Physik und alle sonstigen Belastungen in die Ergebnisse mit einfließen. Die Ergebnisse der Timedemos wurden auf dem herkömmlichen Weg ermittelt, die extra ausgewiesenen minimum fps der Timedemos haben wir wie üblich aus dem Durchschnitt der niedrigsten drei Werte des Timedemos gebildet.

Damit sich der Leser besser vorstellen kann, wann - und in welcher Szene - die minimalen fps aus dem Timedemo erreicht wurden, haben wir von dieser Szene jeweils einen Screenshot gemacht. Auch bei den Savegames wurde von jeder Szene ein Screenshot aufgenommen.

Als Testsystem kam für die nachfolgenden Tests kam dabei folgendes System zum Einsatz:

• AMD Athlon 64 (Winchester-Core, 512 kByte Level2 Cache) auf 1200 MHz, 1800 MHz (3000+) und 2400 MHz (3800+)
• Abit AV8 3rd-Eye (VIA K8T800 Pro Chipsatz)
• Creative Audigy2 (Sound-Details auf Maximum mit EAX 5.1)
• 2x 1 GB RAM auf 200 MHz bei 2.5-3-3-7
• ATI Radeon X800 XT Platinum Edition 256 MB mit 520/560 MHz - und auf 400/490 MHz als Radeon X800 XL
• Microsoft Windows XP
• Catalyst 5.12 auf hohen Qualitätseinstellungen, ohne optimiertem anisotropen Filter und A.I. auf low

Die benutzten Spiele-Settings waren folgende:

• Age of Empires III: Alles auf max, Shader auf High
• F.E.A.R: Alles auf max, Soft Shadow off
• GT: Legends: Alles auf max, Schatten auf hoch, Headlights auf mittel
• Need fpr Speed: Most Wanted: Alles auf Max
• Quake 4: Alles auf max, aber keine Ultra Details

Zum besseren Verständnis für die nachfolgenden vielen Benchmark-Zahlen: Wir haben die Benchmarks jedes Spiels in jeweils vier Abschnitte unterteilt, in welchen dann die Vergleiche mit unterschiedlicher Hardware gegeneinander gefahren wurden:

1. Vergleich Athlom 64 3800 vs. Athlon 64 3000+ auf Radeon X800 XT-PE
2. Vergleich Athlom 64 3800 vs. Athlon 64 3000+ auf Radeon X800 XL
3. Vergleich Radeon X800 XT-PE vs. Radeon X800 XL auf Athlon 64 3800+
4. Vergleich Radeon X800 XT-PE vs. Radeon X800 XL auf Athlon 64 3000+

   Benchmarks Age of Empires III

Für das Savegame wurden hierbei die ersten 50 Sekunden aus dem Kampagnen-Intro aufgezeichnet (Klicken öffnet die Screenshots im Großformat).

Screenshot Timedemo

Screenshot Savegame

Vergleich A64 3800 vs. A64 3000+ auf X800 XT-PE	Savegame average fps	Timedemo average fps	Timedemo minimum fps
A64 3800+ & X800 XT-PE 1280x960 4xAA 16xAF	13,47 fps	40,98 fps	30,3 fps
A64 3000+ & X800 XT-PE 1280x960 4xAA 16xAF	10,67 fps	39,24 fps	25,3 fps
Gewinn 3000+ zu 3800+	26%	4%	20%
A64 3800+ & X800 XT-PE 1280x960 16xAF	13,47 fps	45,66 fps	30,7 fps
A64 3000+ & X800 XT-PE 1280x960 16xAF	10,80 fps	42,24 fps	25,0 fps
Gewinn 3000+ zu 3800+	25%	8%	23%

Die resultierenden Werte zeigen starke Abweichungen, die man so vielleicht gar nicht erwartet hätte. In der Testreihe ohne Anti-Aliasing lässt sich nur eine relativ geringe Steigerung des average fps Werts erkennen. Der minimale Wert steigt jedoch um über 20% an, wie im Frameverlauf gut zu sehen ist - ein spürbarer Unterschied, der dem Spieler auch etwas bringt.

Mit Anti-Aliasing ist der Zuwachs an Frames pro Sekunde verschwindend gering, nimmt man den average-Frameverlauf als Richtlinie. Orientiert man sich jedoch am minimalen Wert, so stellt man eine ähnliche Steigerung fest wie schon zuvor. Im Savegame fällt sofort auf, dass die Bildrate weit unter der des Timedemos liegt. Die Leistungssteigerung fällt hier sogar noch minimal höher aus als bei Betrachtung der minimalen fps im Timedemo.

Nun passiert im Savegame natürlich mehr - Einheiten laufen aufeinander zu, bekämpfen sich und die Physik leistet Schwerstarbeit. Dadurch ist das Savegame direkt vergleichbar mit echten Spielsituationen. Plötzlich zählt jedes Frame - und wirklich hoch ist deren Anzahl jetzt auch nicht mehr.

Performance-Gewinn 1280x960 4xAA 16xAF auf 1280x1024 16xAF	Savegame average fps	Timedemo average fps	Timedemo minimum fps
A64 3800+ & X800 XT-PE	0%	11%	1%
A64 3000+ & X800 XT-PE	1%	8%	-1%

Hier zeigen nur die average fps des Intros einen gewissen Unterschied an, die anderen Werte sind klar CPU-limitiert. Damit würde der average Wert als Richtlinie völlig versagen, wenn es um die Situationen im Spiel geht, an denen die Leistung durch höhere Last einbricht.

Vergleich A64 3800 vs. A64 3000+ auf X800 XL	Savegame average fps	Timedemo average fps	Timedemo minimum fps
A64 3800+ & X800 XL 1280x960 4xAA 16xAF	13,53 fps	34,12 fps	25,7 fps
A64 3000+ & X800 XL 1280x960 4xAA 16xAF	10,67 fps	33,40 fps	24,7 fps
Gewinn 3000+ zu 3800+	27%	2%	4%
A64 3800+ & X800 XL 1280x960 16xAF	13,40 fps	38,46 fps	28,3 fps
A64 3000+ & X800 XL 1280x960 16xAF	10,73 fps	36,82 fps	25,7 fps
Gewinn 3000+ zu 3800+	25%	4%	10%

Durch die schwächere Grafik-Performance der Radeon X800 XL verlieren nun auch die minimalen fps im Timedemo an Aussagekraft. Sowohl ohne wie auch mit Anti-Aliasing fallen die Werte näher zusammen und zeigen in den meisten Fällen nur eine geringe Steigerung beim Wechsel auf die schnellere CPU. Nur im Savegame ist der Performancegewinn exakt so groß wie schon zuvor. Das entspricht mal eben dem 13-fachen Performancegewinn, den die minimalen fps bei beim Timedemo mit Anti-Aliasing vorhergesagt haben. Die schwächere Grafikkarte hat also keinen Einfluss auf spielkritische Situationen.

Performance-Gewinn 1280x960 4xAA 16xAF auf 1280x1024 16xAF	Savegame average fps	Timedemo average fps	Timedemo minimum fps
A64 3800+ & X800 XL	-1%	13%	10%
A64 3000+ & X800 XL	1%	10%	4%

Wie schon bekannt, zeigt die CPU-Limitierung im Savegame keine Reaktion auf die veränderte Auflösung und Anti-Aliasing Einstellung. Nur die beiden Werte des Timedemos zeigen noch einen vermeintlichen Gewinn.