Serious Sam Test2 Benchmarking

17. Dezember 2000 / von Leonidas / Seite 1 von 3 / english short instructions

Endlich ist er da, der heißerwartete Test2 zu Serious Sam. Primär soll der Test2 zum ausgiebigen Hardware-Testen unter MultiPlayer-Bedingungen dienen, aber natürlich enthält er auch endlich eine funktionierende Benchmark-Funktion (beim Test1 funktionierten die entsprechenden Kommandos noch nicht). Das MultiPlayer-Feature der Test2 ist auch der einzige Grund, weshalb wir uns überhaupt mit einer non-Vollversion beschäftigen (wir benchen im gewöhnlichen keine Demoversionen) - als MultiPlayer-Spiel wird die Test2 ein gespieltes Spiel darstellen und findet somit als große Ausnahme in unser Benchmark-Portfolio Einlaß. In unserer Selbst benchmarken! - Sektion und damit in unseren Benchmark-Charts wird der Test2 allerdings nicht auftauchen - dies bleibt der Vollversion von Serious Sam vorbehalten.

Grund für die letztere Entscheidung ist auch ein Gespräch meinerseits mit einem der Entwickler von Serious Sam, Dean Sekulic vom kroatischen Croteam. Darin sagte er unter anderem, daß die Demos der Test2 nicht mit dem entgültigen Spiel kompatibel sein werden. Genauso sagte er aber auch, daß sich die Demos des entgültigen Spiels nicht durch Updates aus der Ruhe bringen lassen werden - wie z.B. momentan bei Q3A zu beobachten. Wir werden also die Test2 intern benutzen, solange es noch keine Vollversion gibt. Wenn diese erscheint (Frühjahr 2001), werden wir sowohl intern auf die Vollversion wechseln, als auch Serious Sam zum selbst benchen "freigeben".

Ein was noch vorab: Ich hatte mich wie gesagt noch vor der Test2 mit den Entwicklern über die Benchmark-Features des Spiels unterhalten. Dazu muß gesagt werden, daß das Croteam hier sehr zuvorkommend ist und nicht wie andere Spiele-Entwickler die lächerlichen 100 Zeilen Code für das Benchmark-Feature vergißt. Vielmehr haute man mir gegenüber sogar auf die große Pauke bezüglich der Benchmark-Features der Vollversion von Serious Sam, was mich dazu veranlaßte, aufs ganze zu gehen:

Nun gut, derart heiß gemacht machte ich mich an die Begutachtung der frisch installierten Test2. Sofort fielen die massig 3D-Rendering-Optionen auf, welche über die Menüs einstellbar sind. Dies macht die Sache zwar auf den ersten Blick nicht gerade einfacher, weil man so viele Optionen erst einmal kennenlernen muß, dafür kann man aber auch als Spieler das Spiel so weit tweaken, daß es auf jeder Hardware läuft. Und die Schreiber von Tweak Guides können sich an so was langfristig festbeißen :-))

Die Auswahl eines geeigneten Demos gestaltete sich denkbar einfach: Flyover ist sehr schön, zeigt aber keine Spielszene, gleiches gilt für Photo session. Alle Demos mit einem DM-cut im Namen sind leider viel zu kurz (zwischen 8 und 12 Sekunden) für ein Timedemo, gleiches gilt für Coop party 03, welches mit 20 Sekunden leider doch noch etwas zu kurz ausfällt, um Meßfehlern wirklich sicher vorzubeugen. Deathmatch one on one zeigt auf einem Splitscreen beide Sichten eines 1-1-Matches - für ein Demo eine herausragende Idee, zum Benchmarken weniger geeignet. Aus ähnlichem Grund fallen auch Coop party 02 und 03 heraus - beide sind mehrheitlich in der eher unüblichen ThirdPerson-Sicht gestaltet.

Bleibt letztendlich nur noch das Demo Coop party 04, welche alle Grund-Anforderungen zum Benchmarken erfüllen (ist das automatisch ablaufende Demo beim Game-Start). Die Numerierung der "Coop party" - Demos ist im übrigen etwas verwirrend - in den Description-Dateien stehen andere Nummern als wie sich die Dateien eigentlich nennen. D.h. in den Demo-Menüs gilt der Inhalt der Description-Datei, auf der Konsole der Dateiname. Sinnvollerweise habe ich bei mir die Dateinamen entsprechend der Description angepasst.

Das reine Benchmark-Kommando war nicht ganz so einfach zu finden, immerhin ist der komplette Ausdruck aller Konsolen-Variablen inklusiver kurzer Beschreibung der möglichen Option lockere 40 Seiten lang (zu finden in der Datei "ShellSymbols.txt" im "Help"-Verzeichnis). Die Lösung: Man öffnet die Konsole mit der aus Quake & Co. bekannten Tilde-Taste und gibt dort ein: dem_bProfile=1. Wonach man sich in das Demo-Menü begeben und nach Herzenslust Demos abspielen kann. Vorteilhafterweise kann man diese Eingabe automatisieren - alles an Kommandos, was in der Datei "PersistentSymbols.scr" im "Scripts"-Verzeichnis steht, führt Serious Sam beim Starten mit aus.

Nach dem Ablauf des Demos (das automatisch neu startende Demo mit "ESC" abwürgen) stehen die erreichten Bilder pro Sekunde in der Konsole, außerdem werden alle diese Zahlen in der Datei "SERIOUSSAM.log" im Sam-Hauptverzeichnis gespeichert, neuere Ergebnisse stehen unten. Das in der Konsole ausgeworfene Ergebnis sieht ungefähr so aus:

Dies sieht erst einmal nach der vom Croteam versprochenenen intelligenten Durchschnitts-Findung aus. Leider fällt bei genauerem Hinsehen und einigen Dutzenden Timedemo-Durchläufen auf, daß dies zumindestens im Test2 alles noch nicht so richtig funktioniert. Unter "High sustained" und "Low sustained" werden zwar die jeweiligen "Ausreißer"-Frames zusammengefaßt, einen Zusammenhang zu der Durchschnitts-Framerate "without excessive peaks" kann ich allerdings nicht feststellen.

In unserem Beispiel ergeben die low & high peaks zusammen 50 Frames, der Durchschnitt ohne Peaks hat aber nur 18 Frames weniger als der echte Durchschnitt alles Frames. Da dies bei allen Demodurchläufen so war, betrachte ich diese Funktion als momentan noch nicht funktionierend. Darüber hinaus hat der Durchschnitt ohne Peaks den paradoxen Effekt, immer höher zu sein als der echte Durchschnitt aller Frames. Die Idee eines Durchschnitts ohne Peaks sollte allerdings im eigentlichen eine Abschneidung der vielen High-Peaks sein und damit den Gesamt-Durchschnitt um einiges senken. Bleibt zu hoffen, daß diese Funktion in der Vollversion erstens funktioniert und zweitens sauber dokumentiert ist. Momentan basiert einfach zu viel auf Annahmen und Beobachtungen. Trotzdem gilt: Aktuell ist ausschließlich der erste Durchschnittswert interessant.