Average fps - wirklich das Maß aller Dinge?

12. April 2005 / von Madkiller / Seite 13 von 13

   Auswertung der Benchmarks  (Forts.)

Wenn man jetzt aber von der Auflösung die relativ ausgewogen CPU- und grafikkartenlimitiert ist (dieses spezielles Setting wurde mit dem A64 @ 2400MHz ermittelt), auf die nächst höhere getestete Auflösung geht, die noch grafikkartenlimitierter ist, zeigt sich folgendes Bild (Half-Life 2 und GTR wurde außen vor gelassen, da bei den Spielen selbst unter 1600x1200 mit 6xAA und 16xAF keine deutliche Grafikkartenlimitierung festgestellt werden konnte):

	1.8 GHz/avg	1.8 GHz/min	2.4 GHz/avg	2.4 GHz/min
Doom 3 von 1280x1024 mit 16xAF auf 1280x960 mit 4x AA und 16xAF	31,5%	45,4%	35,6%	51,5%
Far Cry von 1280x960 mit 2xAA und 16xAF auf 1280x960 mit 4x AA und 16xAF	7,4%	1,9%	6,5%	15,4%
Unreal Tournament 2004 von 1280x960 mit 4xAA und 16xAF auf 1600x1200 mit 6x AA und 16xAF	24,5%	16,0%	30,4%	30,7%

Hier sind die Differenzen zwischen den beiden Werten sehr unterschiedlich. Während bei UT2004 fast kein Unterschied vorhanden ist, ist er bei Far Cry am höchsten. Dort suggestieren die average fps einen Einbruch um gerade mal 6.5%, während es bei den minimum fps schon 15.4% sind.

Aber wie man sehen kann, reicht schon die geringste Änderung an dem System um die Unterschiede zwischen den min und average fps erneut zu verändern. Wenn der A64 auf 1800MHz betrieben wird, bleibt nur bei Doom 3 das Verhältnis der Unterschiede bei den min und average fps etwa gleich. Bei FarCry und UT2004 verändern sie sich allerdings von Grund auf.

Zum Schluss bleibt eine Frage: Wie vergleichbar sind die average fps wirklich? Dazu vergleicht man am Besten die average fps die aus einem eher CPU-limitierenden Timedemo gewonnen wurden, mit ähnlich hohen average fps aus dem selben Timedemo aber diesmal mit dem Grafikchip als Limitierung. Während sich die avg Werte in einem ähnlichen Rahmen bewegen, sollte man einen besonderen Blick auf die minimum fps werfen. Finden sich dort größere Unterschiede, so hätten die average fps als Vergleichsmittel versagt.

Doom 3	average fps	minimum fps
A64@ 2400 MHz auf 1280x960 mit 2xAA und 16xAF	80,4	53,7
A64@ 1800 MHz auf 1024x768	82,6	48,7
Differenz	-2,7%	10,3%

Das wäre aber wenn man die Unterschiede zwischen den beiden average fps verrechnet, immer noch ca. 13% weniger minimum fps unter den CPU-limitierten Settings.

Far Cry	average fps	minimum fps
A64@ 2400 MHz auf 1280x960 mit 2xAA und 16xAF	65,2	45,3
A64@ 1800 MHz auf 1024x768	62,7	35,7
Differenz	4,1%	27,1%

Das wäre aber wenn man die Unterschiede zwischen den beiden average fps verrechnet, immer noch ca. 23% weniger minimum fps unter den CPU-limitierten Settings.

Unreal Tournament 2004	average fps	minimum fps
A64@ 2400 MHz auf 1280x960 mit 2xAA und 16xAF	55,8	41,3
A64@ 1800 MHz auf 1024x768	49,2	33,0
Differenz	13,3%	25,2%

Das wäre aber wenn man die Unterschiede zwischen den beiden average fps verrechnet, immer noch ca. 12% weniger minimum fps unter den CPU-limitierten Settings.

Also selbst wenn jemand mit einem anderen System bei dem selben Timedemo und unterschiedlichen Settings auf die selben average fps kommt wie ein anderer, der eine schwächere CPU aber stärkere Grafikkarte besitzt, können die beiden Systeme mit diesen Settings nicht als gleich schnell betrachtet werden, da das System mit der stärkeren CPU höhere minimum fps erzielt (hier in diesen Beispielen sind das ca. 16%).

   Fazit

Bis auf diese Vergleiche, in welchen sehr stark die CPU oder Grafikkarte limitiert, weichen die Unterschiede der Durchschnittsergebnisse der average fps mit bis dem 2,5fachen von den Unterschieden der minimum fps ab.

Dabei sollte aber noch erwähnt werden, daß bei diesem Artikel absichtlich Timedemos verwendet wurden, die möglichst CPU-limitiert sind. D.h., dass bei Timedemos, die eher Grafikkarten-limitiert, können die Unterschiede, welche die average fps und die minimum fps aussagen, noch deutlich weiter auseinandergehen (man denke nur an GTR mit 1600x1200 6xAA 16xAF und dem Unterschied zwischen dem A64 3000+ und 3800+: minimum fps 15%, average fps nur 1% Differenz).

Bei den Gamesettings, in welchen die CPU eher limitiert, suggerieren die average fps einen kleineren Unterschied zwischen verschiedenen CPUs, als unter den minimum fps existieren. Bei den Gamesettings, in welchen die Grafikkarte eher limitiert, suggerieren die average fps auf einmal einen deutlich größeren Unterschied zwischen den verschiedenen CPUs als denjenigen, den die minimum fps aufzeigen.

Die average fps stimmen somit lediglich in absolut CPU- wie auch absolut grafikkartenlimitierten Gamesettings, die in der Praxis aber eher selten zu finden sind. Man könnte also auch sagen, dass in nahezu jeden alltagsüblichen Grafiksettings die average fps nur als grobe Richtlinie hergenommen werden können, aber als exakter Vergleich nahezu wertlos sind.

Schlimmer noch, läßt man sich das alles noch einmal durch den Kopf gehen, muß man sich fragen, inwiefern average fps überhaupt noch als Bewertungsmittel relevant sein dürfen. All die CPU-Tests, die nur minimale Unterschiede zwischen verschiedenen Modellen aufzeigen - haben sie überhaupt noch Gültigkeit? Beispielsweise beim direkten Vergleich zwischen Athlon XP und Athlon 64 verliert ersterer mal mehr, mal weniger deutlich. Aber um wie viel spielbarer wird ein Spiel durch das Upgrade dann wirklich?

Gerade im Hinblick auf DualCore CPUs, 64 Bit und immer neueren Grafiktechnologien muss man sich als Benutzer wahrlich fragen, was man denn nun wissen will. Als Hardware-Tester sollte man sich vorwiegend durch den Kopf gehen lassen, ob man den Lesern überhaupt ein realitätsnahes Bild schildert, oder vielleicht doch nur grobe Anhaltspunkte. Für mehr als nur Anhaltspunkte können wir nach diesem Artikel die "average fps" nicht mehr ansehen.