ATi & nVidia im "Optimierungs"-Wettstreit

26. Juli 2003 / von Leonidas / Seite 1 von 9

   Einleitung

Im Zuge eines demnächst bei uns anstehenden neuen Grafikkarten-Roundup der aktuellen HighEnd-Grafikkarten von ATi und nVidia standen und stehen wir erstmals vor der eher ungewöhnlichen Frage, welche Benchmarks man denn überhaupt noch einsetzen kann. Denn aufgrund der letzten Informationen zum Thema Treiber-"Optimierungen" kann man sich leider überhaupt nicht mehr sicher sein, in welchen Benchmarks die Grafikchip-Hersteller erlaubte oder unerlaubte Optimierungen einsetzen.

Der hauptsächliche Auslöser für diese Unsicherheit ist dabei natürlich ein Artikel seitens Digit-Life, in welchem jene ATi wie auch nVidia unzulässige Treiber-"Optimierungen" unter 3DMark2001 nachweisen konnten. Aber auch einige Benchmark-Ergebnisse aus dem 3DCenter Forum unter dem Einsatz der von Digit-Life mit vorgenanntem Artikel zur Verfügung gestellten AntiCheat-Scripte, welche Applikations-spezifische Optimierungen aus den Treibern entfernen können, stimmten uns bedenklich, wiesen diese doch auf deutliche Leistungsunterschiede zwischem originalen Treiber und modifizierten AntiCheat-Treiber bei 3DMark03, Unreal Tournament 2003 und dem Codecreatures Benchmark hin.

Um für die von uns benutzten Benchmarks für unser Grafikkarten-Roundup wenigstens eine gewisse Unbedenklichkeit zu erreichen, haben wir nachfolgend das Testszenario von Digit-Life für eine größere Anzahl von Benchmarks übernommen, also einmal mit originalen Treibern (nVidia 44.65 und ATi 03.4, wie im Artikel bei Digit-Life) und einmal mittels mit AntiCheat-Scripten modifizierten Treibern getestet.

Daß jene AntiCheat-Scripte womöglich nicht alle Optimierungen umgehen können, ist uns dabei vollkommen bewußt - allerdings sind jene Scripte momentan auch das einzige und beste, was zur Bewältigung dieser Aufgabe überhaupt zur Verfügung steht. Auch muß ein "Anschlagen" dieser Scripte noch keine unerlaubte Optimierung bedeuten - es weist erst einmal nur darauf hin, daß überhaupt eine Optimierung vorliegt. Ob diese als erlaubt oder unerlaubt zu werten ist, wäre dann erst noch mittels Screenshots nachzuweisen.

Dieser Artikel geht damit allerdings davon aus, daß die AntiCheat-Scripte von Digit-Life ihre Funktion der Deaktivierung vom Applikations-spezifischen Optimierungen einwandfrei erfüllen und keine unerwünschten Nebenwirkungen haben. Sollte sich nachträglich herausstellen, daß die AntiCheat-Scripte dies nicht garantieren können, würden sich die einige Aussagen dieses Artikels natürlich nicht mehr halten lassen.

Leider funktionieren die AntiCheat-Scripte auch nur unter Direct3D, so daß wir in diesem Fall sowohl Serious Sam: The Second Encounter als auch Counter-Strike unter Direct3D laufen lassen haben. Eine Kontrolle der OpenGL-Versionen dieser Spiele wie auch von reinen OpenGL-Spielen ist uns leider jedoch mit den AntiCheat-Scripten nicht möglich.

Vorab sei angemerkt, daß für Teile unseres Artikels ein Verständnis dessen notwendig ist, was bilineare und was trilineare Filterung ist. Dazu sei die Lektüre unseres Grundlagenartikels Grafik-Filter: Bilinear bis Anisotrop im Detail empfohlen.

Die Aussagen dieses Artikels gelten für folgende Treiberversionen, sofern nicht in Ausnahmen etwas anderes im Text steht: nVidia 44.03, 44.65, 44.67, 44.68, 44.71, 44.90, 45.23 und 45.24 sowie ATi 03.4, 03.5 und 03.6. Original wurde dieser Artikel mit den Treiber-Versionen nVidia 44.65 und ATi 03.4 begonnen und dann mit den Treiber-Versionen nVidia 44.03, 44.67, 44.68, 44.71 und 44.90 sowie ATi 03.5 und 03.6 gegengecheckt. Mit Update vom 14. August 2003 sind dann zusätzlich noch die Treiber-Versionen nVidia 45.23 und 45.24 gegengecheckt worden, welche aber keine Veränderungen zu den anderen getesteten Treibern aufweisen.

   nVidia-Optimierungen

Es wurde bei den nachfolgenden Benchmarks extra ein 8x anisotroper Filter gewählt, um eher Grafikchip-limitierte Szenarien zu erreichen, da sich so Treiber-Optimierungen am ehesten erkennen lassen:

Es läßt sich eindeutig erkennen, daß die beiden 3DMarks wie auch Unreal Tournament 2003 mit den modifizierten Treibern deutlich niedrigere Leistungswerte erzielten, damit also der nVidia-Treiber für diese Spiele definitiv Applikations-spezifische Optimierungen enthält. Für die anderen Spiele scheint dies nicht der Fall zu sein - oder aber die AntiCheat-Scripte können diese Applikation-spezifischen Optimierungen bei den anderen Spielen nicht erkennen, was sich leider nicht wirklich ausschließen läßt.

Die Erkenntnis, daß eine Applikations-spezifische Optimierung bei 3DMark2001, 3DMark03 und Unreal Tournament 2003 vorliegt, bedeutet jedoch erst einmal nicht, daß diese unerlaubt wäre - fast jedenfalls. Denn Applikations-spezifische Optimierungen haben prinzipiell nichts in theoretischen Benchmarks wie den beiden 3DMarks zu suchen und gelten dort gemäß derzeitiger Mehrheits-Auffassung als unerlaubte Optimierung. Denn bei theoretischen Benchmarks soll von der Hardware immer nur genau dieses Programm abgespult werden, welches sich die Programmierer des Benchmarks ausgedacht haben.

Jegliche Vereinfachungen, auch wenn sie die Grafikqualität nicht verändern, widersprechen diesem Prinzip und unterlaufen den eigentlich Sinn eines theoretischen Benchmarks. Genauso hat auch der Hersteller der beiden 3DMarks, Futuremark, klargestellt ("3DMark03 Audit Report", PDF, 1 MB), daß jener alle Applikations-spezifischen Optimierungen an seinen zwei Benchmarks für "unerlaubte Optimierung" hält, welcher Ansicht wir uns in Bezug auf theoretische Benchmark-Programme auch anschließen möchten.

Anzumerken wäre noch, daß unsere 3DMark03-Benchmarks natürlich mit dem Build 330 vorgenommen wurden, welcher von Futuremark eigentlich nur deshalb veröffentlicht wurde, um den Treiber-"Optimierungen" von ATi und nVidia ein Ende zu setzen. Leider hat man bei Futuremark dabei offenbar nicht alle "Optimierungen" von nVidia entdeckt - und die "Optimierungen" im 3DMark2001 offenbar überhaupt nicht.