Timedemos - Das Maß aller Dinge? Part 2

11. Juli 2006 / von Madkiller / Seite 1 von 10

   Einleitung

Dass es zu diesem Artikel kam, hat seine Vorgeschichte. Der frühere Artikel "Avg fps - wirklich das Maß aller Dinge?" sollte anfänglich lediglich mit Hilfe von Frameverläufen den Einfluss der CPU bei praxisnahen Grafikeinstellungen aufzeigen. Dabei wurde jedoch auffällig, dass bei stressigen Szenen der CPU verhältnißmäßig mehr abverlangt wird, und sie deswegen auch an Bedeutung gewinnt. Da die stressigen Szenen irgendwie herausgefiltert werden mussten, wurden demzufolge seinerzeit eine besondere Art von "minimalen fps" genutzt, bestehend aus dem Durchschnitt der drei absolut niedrigsten Sekunden-Werte - diese sind schließlich noch die entscheidenden für die letztliche Spielbarkeit.

Da aber bei den fürs Benchmarken gewöhnlich herangezogenen Timedemos prinzipiell gar nicht alle auftretenden Faktoren, welche durch das selber spielen entstehen (KI, Pysik, Eingabegeräte, etc.), auch berechnet werden müssen, war diese Methode immer noch weit davon entfernt, um eine möglichst praxisgültige Aussage treffen zu können. Als mit den Savegames eine vielversprechende Alternative zu Timedemos gefunden wurde, wurden eben diese für den nachfolgenden Artikel "Timedemos - das Maß aller Dinge?" genutzt.

Da dieser Artikel wieder eine recht hohe Praxistauglichkeit aufzeigen sollte, wurde die für die benutzte Hardware übliche Auflösung von 1280x960 genutzt, dazu kam ein 4x Antialiasing. Dann wurden pro Spiel die Werte aus einem ziemlich stressigem Savegame gegen die Werte aus einer für dieses Spiel üblichen und oft genutzten Timedemo verglichen - es sollte schließlich in erster Linie aufgezeigt werden, wie sich die Werte aus einer stressigen Szene gegenüber den Werten aus einer üblichen Timedemo verhalten.

Hierbei offenbarte sich erwartungsgemäß erst einmal, dass die CPU-Last bei den Savegames deutlich höher ist. Überraschenderweise zeigt sich aber auch, dass bei den Savegames die fps bei aktiviertem Antialiasing deutlich stärker einbrechen - dem galt es natürlich auf den Grund zu gehen. Zwischenzeitlich kam noch das Radeon 1900 XTX Review dazwischen, in dem einfach einmal "um sicher zu gehen" zwei Savegames statt nur einem verwendet wurden. Hier zeigte sich dann schon auf, dass jede Karte bei dem einem Savegame eher schneller oder langsamer war als bei einem anderen Savegame - hätten wir nur jeweils ein Savegame benutzt, wäre durchaus auch ein anderes Fazit entstanden.

Dieser nunmehr dritte Artikel auf der Suche nach akkurateren Benchmark-Methoden ist nun dazu gedacht, den Gründen für diese unterschiedliche Performance auf den Grund gehen zu können. Dazu wurde die Zahl der Timedemos pro Spiel auf zwei, die der Savegames auf vier erhöht. Natürlich wurden auch wieder die Frameverläufe dazu hergenommen, um möglichst genau nachvollziehen zu können, was in jeder Sekunde wirklich geschieht.

Um eine Sache vorwegzunehmen: Wir müssen uns auch durch die hier gewonnen Erkenntnisse von den in dem Artikel "Average fps - wirklich das Maß aller Dinge?" erstmals verwendeten "minimalen fps" ein wenig distanzieren. Jene Werte sind zwar überaus hilfreich, wenn es darum geht, wie stark das System bei den jeweiligen Settings einbrechen kann - führt aber zu Verfälschungen, wenn man verschiedene Hardware direkt miteinander vergleichen will. Auch sind die minimalen fps prinzipiell eher CPU-limitiert, es ist aber durchaus möglich und machbar, dass die minimalen fps - unter gewissen Umständen - auch Grafikkarten-limitiert sind.

Zudem ist es möglich, dass wegen den unterschiedlichen Limitierungen völlig verschiedene Szenen miteinander verglichen werden - nämlich dann, wenn je nach Settings und Hardwarekonfiguration die minimalen fps zu einem anderen Zeitpunkt zustande kamen als in dem Durchlauf zuvor. In so einem Fall können die minimalen fps nicht aussagen, wie schnell eine gewisse Hardware genau im Direktvergleich ist. Sinnvoller ist es da, gewisse Szenen 1:1 miteinander zu vergleichen. Dann lässt sich auch genauer sagen, wie die gewisse Szene auf verschiedene Einflüsse - so unterschiedliche Hardware oder Bildqualitätssettings - reagieren.

Das ist auch genau der Grund, warum die Werte aus den Savegames hier immer nur aus einer Länge von 5 Sekunden ermittelt werden, und wir hier auch immer ebenfalls 5 Sekunden aus einer Timedemo miteinander verglichen haben. Um sehen zu können, wie stark sich beispielsweise der Einbruch der fps in einer Timedemo unterscheiden kann, wenn 4x Antialiasing aktiviert ist, wurde von jeder Sekunde aus die nächsten fünf Sekunden zusammengefasst. Danach wurde dann der Durchschnitt dieser Werte ermittelt: Also Sekunde 1-5, dann 2-6, 3-7, 4-8, usw ... - und dies über die gesamte Dauer des Timedemos.

Letztlich wurden dann alle Werte miteinander verglichen, und jeweils die Werte mit dem höchsten und mit dem niedrigsten Unterschied herausgezogen und zum Vergleich gestellt. Wenn verschiedene CPUs oder Grafikkarten verglichen wurden, wurde prinzipiell dasselbe gemacht. Nur wurden dabei diese beiden Werte herausgezogen, in der die eine CPU/Grafikkarte gegenüber der anderen am schnellsten war; sowie der Wert, in der sie am langsamsten war.

Ein Zeitraum von fünf Sekunden wurde deshalb gewählt, weil diese fünf Sekunden ausreichen sollten, um kleine Ausreißer zu kompensieren. Die Zeitspanne ist aber noch kurz genug, um auch wirklich nur eine Szene darzustellen. Denn um so länger der verwendete Zeitraum dauert, desto höher ist die Wahrscheinlichkeit, dass eine neue Szene mit dazu kommt, die völlig anders reagieren kann, und die Messwerte dadurch verfälscht werden können. Diese fünf Sekunden wurden pro Savegame dabei generell fünfmal durchlaufen, und daraus der Mittelwert gebildet - somit wurden Messungenauigkeiten minimiert.

Als Testsysteme kamen folgende PC-Systeme zum Einsatz:

• AMD Athlon 64 (Winchester-Core, 512 kByte Level2-Cache) auf 2000 MHz (3200+) und 2400 MHz (3800+)
• Abit AV8 3rd-Eye (VIA K8T800 Pro Chipsatz)
• Creative SoundBlaster Audigy2 (Sound-Details auf Maximum, wenn möglich mit EAX 5.1)
• 2x 1 GB RAM auf 200 MHz bei 2.5-3-3-7
• Microsoft Windows XP
• ATI Radeon X800 XT Platinum Edition 256 MB (520/560 MHz)
• Catalyst 6.3 auf hohen Qualitätseinstellungen (ohne "optimiertem" anisotropen Filter, "A.I." auf low)

• Intel Pentium 4 Prescott 3400 MHz, 1 MB Level2 Cache, HyperThreading
• MSI 875P Neo-FISR (Intel i875P Chipsatz)
• Creative SoundBlaster Audigy2 (Sound-Details auf Maximum, wenn möglich mit EAX 5.1)
• 2x 1 GB RAM auf 200 MHz bei 2.5-3-3-7
• Microsoft Windows XP
• ATI Radeon X800 XT Platinum Edition 256 MB (520/560 MHz)
• Catalyst 6.3 auf hohen Qualitätseinstellungen (ohne "optimiertem" anisotropen Filter, "A.I." auf low)
• nVidia GeForce 6800 GT @Ultra 256 MB (400/550 MHz)
• Forceware 84.21 auf sehr hohen Qualitätseinstellungen (so weit möglich ohne "Optimierungen")

Die benutzten Spiele und Spiele-Settings waren dabei folgende:

• Age of Empires III
  Alles auf max, Shader auf High, Auflösung 800x600
  Timedemos: Der Falke landet auf Malta & Mitten im Krieg
  Savegames: Letzter Kampf der Knochengarde, Ausbruch, Multiplayer Nr.2 & Multiplayer Nr.1 (Download, 12 MB)
• Call of Duty 2
  Alles auf max, Schatten aus, dynamische Lichter gering, Rauchkanten nur Spielewelt, Auflösung 1280x1024
  Timedemos: geno & dday
  Savegames: Demolierung, Rückeroberung von Toijane, Die Schlacht von Pionte du Hoc & Die Ablenkung (Download, 24 MB)
• F.E.A.R
  Alles auf max, Soft Shadow off, Volumetric Light Density medium, Texture Resolution medium, Auflösung 1280x960
  Timedemo: Performance Test
  Savegames: Extraction Nr.2, Infiltration, Extraction Nr.1 & Redirection (Download, 12 MB)
• GT: Legends
  Alles auf max, Schatten auf hoch, Headlights auf mittel, Auflösung 800x600
  Timedemos: Spa & Monza
  Savegames: Monza-Day, Monza-Night, Spa-Day & Spa-Night (Download, 22 kB)
• Quake 4
  Alles auf max, aber keine Ultra Details, Auflösung 1280x1024
  Timedemos: guru5 & PCGH
  Savegames: Air Defense Bunker Nr.2, Air Defense Bunker Nr.1, Nexus Hub Tunnel & The Nexus (Download, 5 MB)

Zum besseren Verständnis bei den Balkendiagrammen "Maximale Abweichungen in der ...-Timedemo":
Bei "6800Ultra: 1xAA vs 4xAA" und bei "X800XT-PE: 1xAA vs 4xAA", wird immer angegeben, um wie viele Prozent die fps bei 4x Antialiasing einbrechen. Bei "1xAA: X800XT-PE vs 6800Ultra" und bei "4xAA: X800XT-PE vs 6800Ultra" wird immer angegeben, um wie viel Prozent die GeForce 6800 Ultra gegenüber der Radeon X800 XT-PE schneller oder langsamer ist. Genauso wird bei "A64:2000/200 vs P4:3400/200" angezeigt, wie schnell der Pentium 4 gegenüber dem Athlon 64 ist.