Average fps - wirklich das Maß aller Dinge?

12. April 2005 / von Madkiller / Seite 1 von 13

   Intro

Es gibt Tatsachen, an denen rüttelt man nicht. Verschiedenste Naturgesetze fallen unter diese Kategorie. Im PC-Bereich fällt dem Benchmarking so eine Rolle zu - genauer gesagt dem Endresultat eines jeden Testdurchläufs: Der Durchschnittswert aller erreichten Bilder pro Sekunde.

Geht es um die Leistungsbewertung heutiger Hardware, so wird dem Leser in 99% der Fälle durch diesen Mittelwert ein bestimmtes Bild aufgezeigt. Für die Tests scheint dabei oft nur wichtig zu sein, wer am Ende vorne liegt. Ob dieser Sieg überhaupt Sinn macht, verliert oft seine Bedeutung - schließlich ist ein Spiel schon ab 40fps durchaus flüssig.

Gemäß der Definition der "average fps" gibt es allerdings ständig Ausreißer zu beiden Seiten. Dabei kompensieren sich hohe und niedrige Werte. Der unfaire Unterschied: Sehr hohe fps nehmen viele Spieler nicht wahr, niedrige Werte fallen unangenehm auf. Vergisst man nun für einen Moment, dass der Benchmark der Hardware 40 fps bescheinigt, und spielt tatsächlich eine Szene aus dem Spiel, könnte man eine böse Überraschung erleben.

Eine Szene mit wenig Explosionen oder Umgebungsdetails kann demnach weit über 100 fps liegen. Szenen, die die volle Aufmerksamkeit und Kontrolle des Spielers verlangen, können dagegen unter schmerzliche 20 fps abfallen. Dem Endergebnis des Benchmarks tut dies oft nicht sonderlich weh. Es bleibt bei angeblich spielbaren 45 fps. Dazu kommt in vielen Fällen, dass viele Benchmarkdurchläufe die CPU/GPU anders belasten als das Spiel selbst. Oftmals fehlen gar KI- und Physik-Berechnung im Benchmark, welche im Spiel jedoch immer präsent sind.

Vielleicht wird es Zeit, doch einmal an einigen grundlegenden Vorgehensweisen zu rütteln. Inwiefern schildern die bisherigen Durchschnitts-Ergebnisse überhaupt, wie gut man mit einer Hardware spielen kann? Sinkt durch Anti-Aliasing der "average" Wert um 20%, bedeutet dies dann auch direkt, dass man das Spiel wirklich um 20% langsamer empfindet? Sollte man als Tester also eventuell mehr Wert darauf legen, ob und wie ein Spiel spielbar ist?

Falls die Antwort "Ja" lautet, so bietet dieser Artikel vielleicht eine Lösung an. Anstelle des gesamten Mittelwerts lassen sich auch die absoluten Tiefstwerte ermitteln. Eben jene Ergebnisse, die direkt für die Spielbarkeit verantwortlich sind. Und das bei allen nur denkbaren Auflösungen und Einstellungen.

Dieser Artikel soll darüber hinaus noch den Einfluß der CPU bei Spielen in 1280x960 mit 4xFSAA und 16xAF, wohl die Settings, die für die benutzte Radeon X800 XT-PE am üblichsten sein sollte, aufzeigen. Als Vergleich und Orientierung wurde noch mit 1024x768 mit 1xFSAA / 1xAF und 1600x1200 mit 6xFSAA / 16xAF gebencht, um die CPU- und Grafikkartenlimitierung aufzeigen zu können.

Da bei Doom 3 und Far Cry allerdings schon sehr früh die Grafikkarte limitieren, wurde dort noch 1280x1024 mit 16xAF (Doom 3) und 1280x960 mit 2xFSAA / 16xAF (Far Cry) gebencht, um aufzeigen zu können, bei welchen Grafikkarten-Settings die Last-Verteilung zwischen CPU und Grafikkarte weitestgehenst ausgeglichen ist.

Dadurch, dass der gesamte Frameverlauf jedes Benches eingesehen werden kann, werden neben den üblichen average fps auch die minimalen und maximalen fps sichtbar. Wir wollen hier allerdings aus schon genannten Gründen unser Augenmerk auf die minimalen fps legen. Der Wert der minimalen fps, der mit den average fps verglichen wird, wird aus dem Mittel der drei niedrigsten Werte errechnet. Hierbei diente uns die Protokollfunktion von Fraps zur Ermittlung der Einzelwerte.

An dieser Stelle kurz ein Wort zur Minimum-Framerate aus theoretisch-statistischer Sicht: Minimum-Frameraten werden nun nicht erst seit kurzem gebencht, sondern vielmehr gab und gibt es viele Artikel, welche die von einigen Benchmarks ausgeworfenen Minimum-Frameraten ebenfalls mit angeben. Das Minimum-Frameraten eine wertvolle Bereicherung bis hin zur alles entscheidenden Größe sind, ist dabei durchaus eine verbreitete Ansicht unter Hardware-Enthusiasten.

Allerdings wird hierbei in fast allen Fällen der Fehler gemacht, die von einzelnen Benchmark-Programmen ausgeworfenen Minimum-Frameraten als nutzt- und vergleichbaren Wert zu betrachten. Doch die meisten Benchmarks werfen an dieser Stelle in der Tat dann wirklich nur das Ergebnis des allerschlechtesten Frames aus - es ist der Wert wirklich nur noch eines einzelnen Bildes. Eine übliche Durchschnitts-Framerate ist zwar auch nur eine Zahl, diese bildet sich jedoch aus einer Menge von je nach Benchmarks hunderten oder tausenden Einzel-Frames. Statistisch gesehen ist es demzufolge nicht ratsam, dem Wert eines einzelnen Frames zu vertrauen - dies wäre vergleichsweise so, als würde man eine Umfrage zur Sonntagsfrage machen und dabei nur eine einzige Person interviewen.

Auch würde dieser Einzelwert nicht wirklich das treffen, was sich die Anhänger der Minimum-Framerate als Aussage von diesem Wert erhoffen. Denn ein einzelner Wert kann nur eine Aussage darüber abgeben, wie schnell (bzw. langsam) ein Spiel in einer einzigen Zehntelsekunde war. Die ganze Diskussion um Minimum-Frameraten wird jedoch nicht geführt, um zu wissen, wie langsam ein Spiel in seiner lahmsten Zehntelsekunde ist - weil einen solch kurzfristig auftretenden "Lag" kann man wohl verschmerzen. Wirklich interessant ist jedoch, wie langsam das Spiel in seinem, sagen wir, drei langsamsten Sekunden ist.

Damit schlägt man dann zwei Fliegen mit einer Klappe: Zum einen stellt man diese auf den Frames von drei Sekunden basierende Minimum-Framerate auf eine statistisch dramatisch höherwertige Basis, indem für diesen Wert nicht mehr nur ein Einzelframe herangezogen wird, sondern eben die Einzelwerte aus drei Sekunden, was 100 oder mehr Einzelframes sein können. Und zum anderen erhält man mittels dieser Methode die Informationen darüber, welche Leistung noch erreicht wird, wenn das Spiel seine langsamsten Momente hat, ohne dabei jedoch alleinig nur den Wert einer Zehntelsekunde zu betrachten.

Wir haben die nachfolgenden Messungen jedenfalls nach diesem Schema abgehalten, unsere "minimum fps" stellen also immer das den Durchschnitt der schlechtesten drei gemessenen Sekunden dar - und keinen absoluten Einzelwert.

Testsystem:
• AMD Athlon 64 Winchester auf 1800 MHz (3000+) und 2400 MHz (3800+)
• Abit AV8 3rd-Eye (VIA K8T800 Pro)
• 1GB RAM auf 200 MHz
• ATI Radeon X800 XT Platinum Edition 256 MB mit 520/560 MHz

Leider war uns nicht bekannt, wie wir die Timedemos von Doom 3, Unreal Tournament 2004 und Far Cry in der originalen Geschwindigkeit und nicht in der systemabhängigen Geschwindigkeit ablaufen lassen konnten. Dementsprechend ziehen sich die Diagramme, je nach Dauer des Benches, bei diesen Spielen mehr oder weniger in die Länge.