Max Payne Benchmarking

20. August 2001 / von Leonidas / Seite 6 von 6

      Schlussgedanken

Um kurz auf die ebenfalls angezeigte minimale Framerate einzugehen: Manchmal steht da "0.00" und manchmal wird sie angezeigt - ein System habe ich da noch nicht herausgefunden. Im Zweifelsfall sollten jene, welche unbedingt diese minimale Framerate benötigen, den Benchmark einfach so lange wiederholen, bis es funktioniert :-).

Bei dieser Gelegenheit sei es mir aber gestattet, kurz ein paar Worte gegen minimale Frameraten vom Stapel zu lassen: Ein üblicher Benchmark mit einer Durchschnittszahl ist ein Schnitt aus meist einigen tausenden Einzelwerten. Eine minimale Framerate ist aber nur ein einziger Wert! Jeder Mathematiker und Statistiker stürzt sich freiwillig aus dem Fenster, wenn man zu diesem mit der Idee geht, eine Bewertung auf der Grundlage nur eines einzigen Wertes aus einer Masse von einigen tausend Werten zu bilden. Das ist so ähnlich wie eine repräsentative Umfrage, an welcher nur eine Person teilnimmt ;-).

Falls diese meine Worte (wieder einmal) mißverstanden werden: Ich streite nicht gegen eine vernünftige Minimal-Framerate. Aber ich streite entschieden dagegen, daß dafür nur ein einziger Wert benutzt wird, dies ist mathematisch-statistischer Wahnsinn. Vielmehr sollte man z.B. die 100 schlechtesten Werte aus den tausenden insgesamten Werten eines Benchmark-Durchlaufs nehmen und daraus eine Minimal-Framerate bilden. Es gibt da noch andere Modelle, entscheidend ist aber, daß niemals ein einziger Wert, der ja nur eine Zehntelsekunde des gesamten Benchmark-Demos repräsentiert, die letztlich meinungsbildende Aussage sein darf.

Zurück von diesem kleinen Exkurs zu einer sinnvollen Minimal-Framerate zu Max Payne und dessen Benchmark-Demos: Ich für meinen Teil präferiere die erste Demo, also PCGH´s Final Scene No.1 (VGA-Demo). Die zweitere Demo ist mir zu kurz, die dritte zu wenig actionhaltig und die vierte wirft zu hohe, unrealistische Frameraten aus. Entscheidend sollte beim Benchmarking meiner Meinung immer sein, daß mit der Wahl des Benchmark-Demos auch das gesamte Spiel und dessen insgesamte Frameraten repräsentiert werden - und dies ist mit der ersten Demo am besten verwirklicht.

Irgendwelche Benchmark-Demos auf Krampf zu erstellen, nur um Unterschiede zwischen Grafikkarten zeigen zu können, halte ich dagegen für wenig sinnvoll - wenn das Spiel eine gewisse CPU-Limitierung hat (und Max Payne braucht sicherlich eine starke CPU), dann sollte dies auch in den Benchmarks gezeigt werden. Der Leser erwartet schließlich vom Reviewer, daß dessen Aussage, die Grafikkarte X schaffe 70 fps im Spiel Y, in der Realität auch zutreffend ist - und nicht daß diese 70 fps nur in seltenen "1-vs-1" Matches erreicht werden.

Dies ist allerdings nur meine private Meinung. Um keine Meinung unbeachtet zu lassen, haben wir in unserem Benchmark-Mod alle vier Demo-Sequenzen integriert, so daß jeder seine eigene Wahl treffen mag.

Bleibt mir abschließend noch, mich bei allen Beteiligten zu bedanken:
• SirElvis für die Erstellung des Benchmark-Mods für Max Payne und für die Engelsgeduld gegenüber meinen immer wieder neu auftauchenden Änderungs-Wünschen.
• Turrican, Webmasters der Site´s Max Payne Zone und 3DActionZone für den kurzfristigst organisierten Kontakt zu SirElvis.
• Thilo Bayer von der PC Games Hardware für das erste und zweite Benchmark-Demo und viele wertvolle Anregungen.
• Raphael auf der Maur von 3D Concept für das dritte Benchmark-Demo.

 

Nachtrag vom 9. November 2001:

Um wie versprochen die Frage des anisotropischen Filterings zu klären, hierzu die Antwort von Markus Stein, Mitglied des Max Payne Programmiererteams:

Wenn Du anisotropisches Filtern einschaltest, wird automatisch immer auf die hoechste Qualitaetsstufe geschaltet. Anisotropisches Filtern zu benchmarken ist also problematisch.

Insofern lassen wir wie schon vorab so geschehen die Finger vom anisotropischen Filtering in Max Payne. Wenn man dieses immer beliebter werdende Feature benchmarken will, sollte man es über den Grafikkartentreiber aktivieren und nicht über Max Payne selber.

PS: Damit ist auch unsere "offizielle" Benchmark-Anleitung für Max Payne fertiggestellt und unsere Benchmark-Charts sind ready für Eure Benchmark-Einsendungen.

Nachtrag vom 25. November 2001:

An dieser Stelle gleich noch einmal ein paar Worte zu einer Eigenart von Max Payne: Die Max Payne Engine stellt niemals unter 10 fps dar. Falls die Grafikkarte (oder der Prozessor) nicht ausreichend Leistung für diese 10 fps liefern, wird einfach die Spiel-interne Zeitrechnung entsprechend verlangsamt. Sprich, das das Spiel wird zähflüssig, stellt aber immer (in der realen Zeit gemessen) 10 Bilder pro Sekunde dar. Dieser Engine-bedingte Effekt hat auch entsprechende Auswirkungen auf den Max Payne Benchmark - dort funktioniert dies genauso und beeinflußt damit auch die Frameraten bei langsameren Grafikkarten oder sehr fordernden Settings (z.B. FSAA). Sprich: Es gibt keine Resultate unterhalb von 10.00 fps, da das Spiel immer mindestens 10 fps darstellt. Dieser Effekt ist wie gesagt Engine-bedingt und wird nicht durch den Benchmark-Mod hervorgerufen und kann von diesem auch nicht unterbunden werden. Messungen von älteren oder/und leistungsschwachen Grafikkarten in Max Payne mit sehr fordernden Settings oder hohen Auflösungen sind also nicht unbedingt empfehlenswert.

Nachtrag vom 23. Juni 2002:

Auch beim Benchmarking lernt man nie aus: Wie wir im Rahmen der aktuell laufenden Benchmark-Serie eines demnächst vorzustellenden Produkts :-) herausfanden, reagiert der Benchmark zu Max Payne regelrecht enorm auf den Einsatz eines NoCD-Patches: Wir erhielten so z.B. unter 1024x768 mit Pentium 4 Willamette 1.98 GHz und GeForce4 Ti4600 normal 42,1 fps und mit NoCD-Patch satte 52,4 fps - das sind satte 24 Prozent Unterschied. Zum Benchmarking von Max Payne kann der Einsatz eines NoCD-Patches deshalb nur angeraten werden - von anderen Benchmarks ist uns dieser Effekt im übrigen gänzlich unbekannt.