ATi-Treiber cheatet bei Q3A-Benchmarks

24. Oktober 2001 / von Leonidas / Seite 3 von 3

Momentan gehen wir wie gesagt davon aus, daß ATi für seinen Treiber-Cheat 16 Bit Texturen und eine niedrigere MipMap-Stufe verwendet, wobei natürlich noch andere Lösungen denkbar sind. De facto ercheatet sich ATi dabei aber in Q3A-Benchmarks einen gewissen Vorteil, wie bei [H]ard|OCP nachgewiesen. Und spätestens hier hört die Freundschaft auf: Benchmarks sollten eine Performance-Vergleichsmöglichkeit für den User und Käufer ergeben - und zwar immer auf Basis der gleichen Bildqualtät. Mittels des neuen "optimierten" ATi-Treibers ist dies aber definitiv nicht mehr gegeben. ATi setzt einfach die Bildqualität herunter, um in den Benchmarks besser dazustehen.

An dieser Stelle ist es eigentlich gar keine Frage mehr, daß alle Q3A-Benchmarks der Radeon 8500 prinzipiell abzulehnen sind, wenn nicht nachweislich die Q3A-Optimierung umgangen wurde. ATi cheatet nachweislich - und nur Benchmarks unter Umgehung dieses Cheats sollten beachtet werden.

Gleichzeitig ergeht hiermit die Aufforderung an ATi, diesen groben Unfug schleunigst zu unterlassen! Und ich sage dies an diese Stelle nicht nur wegen der Cheaterei in den Benchmarks, sondern auch aus Sicht der HQ++ User: Wir wollen faire Benchmarks und ein Teil von uns will genauso auch die 32 Bit Texturen und die hohen MipMap bzw. LOD-Stufen in Quake III Arena! Beides verwehrt uns ATi momentan mit der Radeon 8500.

 Abschließend ein paar allgemeine Gedanken:
Was zum Henker hat ATi nur geritten, sich auf ein solches Harakiri-Spiel einzulassen? Konnte man sich nicht denken, daß die Grafikkarten-Spezis dies innerhalb kürzester Zeit herausbekommen? Wir hatten seinerzeit in unseren Radeon 64MB DDR Review ATi schon einmal ein paar halbseidene Treiber-Tricks vorwerfen müssen - daß man es aber nun gar mit so einem direkten Cheat versucht, hätten wir ehrlicherweise nicht erwaretet. Wir sind absolut tief enttäuscht von ATi, daß man sich auf dieses niedrige Niveau herabbegeben hat.

Dies mag nicht bedeuten, daß man deren Produkte nicht kaufen sollte, wenn das Preis-/Leistungsverhältnis stimmt - aber das einstmals positive Image der Radeon 8500 und genauso die gute Reputation von ATi ist natürlich damit hinüber. Hoffentlich zieht man bei ATi aus diesem kapitalen Fehler wenigstens die richtigen Lehren und versucht es beim nächsten Male lieber mit Ehrlichkeit. Die Radeon 8500 ist auch so eine gute Karte (wenn der Preis stimmt) und benötigt derartige Tricks eigentlich überhaupt nicht.

Noch einmals Dank an Kyle Bennett von [H]ard|OCP für die Bereitstellung der Screenshots.

Nachfolgendes Statement erschien am 24. Oktober gegen 19 Uhr auf der 3DCenter Startseite und bezieht sich auf die Aufregung und kontroversen Meinungen, die der vorstehende Artikel auslöste.

Ein paar Worte noch zum aktuellen Artikel "ATi-Treiber cheatet bei Q3A-Benchmarks": Wir haben heute gegen 18 Uhr zusätzlich ein paar Vergleichs-Screenshots einer nVidia GeForce2 Ultra dem Artikel hinzugefügt. Aus diesem Vergleich ergibt sich allerdings nichts wirklich neues: Die nVidia-Shots sehen aus wie die ATi-Shots ohne Q3A-"Optimierung", ATi und nVidia nehmen sich hier bei der Bildqualität mehr oder weniger nichts. Es wird aber so eventuell noch deutlicher, daß ATi´s Q3A-"Optimierung" nichts anderes ist als ein bewußter Verzicht auf ein ganzes Stück Bildqualität.

Außerdem möchten wir an dieser Stelle auch gleich zu einigen Vorwürfen Stellung beziehen, wir würden uns einseitig auf ATi einschiessen: Dies ist aus unserer Sicht bei weitem nicht so. Es gab und gibt hier beim 3DCenter immer wieder genügend kritische Artikel und News auch zu nVidia und anderen Herstellern, gleich welcher Colour. Wer Kritik abbekommt und wer nicht, entscheiden dabei in dem Sinne gar nicht einmal wir selber, sondern die Hersteller: Wer ehrlich und fair durchs Leben geht (oder sich nicht erwischen läßt), bekommt an dieser Stelle auch keine Kritik ab, so einfach läuft das.

Um speziell auf nVidia einzugehen: Wir halten es für nicht richtig, diesen ATi Treiber-Cheat unter den Teppich zu kehren, nur weil nVidia halbwegs ähnliches (nicht gleiches!) auch in seinen Treibern hat - sprich das "Q3A-Himmel-Problem". Hierzu gilt anzumerken, daß wir uns auch mit diesem Problem seinerzeit beschäfigt haben und auch an passender Stelle immer wieder mit erwähnen (die Benchmarks unsere bisherigen Grafikkarten-Reviews liefen mit Rücksicht auf dieses Problem immer ohne S3TC). Gleichfalls gilt anzumerken, daß dieses Problem sich ab der Quake III Arena Version 1.25 de facto erledigt hat, weil dort per default die Texturenkompression ausgeschaltet ist. Von einer einseitigen Berichterstattung kann in unseren Augen keine Rede sein.

Außerdem sehen wir diese beiden Probleme von nVidia und ATi doch als jeweils ein wenig anders gelagert an. Nach allen vorliegenden Informationen geht das "Q3A-Himmel-Problem" auf einen Fehler in der OpenGL S3TC-Implementierung im ursprünglichen GeForce1 Chip zurück, welche bis heute beim GeForce3 Chip von nVidia mitgeschleppt wird. Die Frage, ob dies von nVidia so gewollt war, ist reine Spekulation und läßt sich weder positiv noch negativ beweisen. Bei ATi ist dieser Fall unserer Meinung prinzipiell anders gelagert: ATi hatte mit dem Radeon I Chip in Q3A eine saubere Bildqualität und sicher war diese auch in früheren Versionen der Radeon 8500 Treiber verhanden. Man entschied sich aber bewußt dafür, extra für die Q3A-Benchmarks ein Stück Bildqualität zu opfern.

Zudem liegt die Sachlage noch so, daß der normale User dem nVidia-Fehler durch Abschaltung von S3TC begegnen konnte, was wie gesagt in Q3A ab Version 1.25 sogar Standard ist. Der ATi-Fehler läßt sich allerdings nur durch einen ernsthaften Trick umgehen (im Prinzip ein Hack) - rein von den im Spiel angebotenenen Optionen her hat der User aber keine Chance, mit dem bewußten Radeon 8500 Treiber die maximale Bildqualität in Q3A zu erreichen. Wir denken, dies ist eine ganz andere Qualität eines Fehlers als bei nVidia. ATi handelte bewußt (bei nVidia wissen wir dies nicht) und unter Ausschluß der Möglichkeit, daß der User etwas gegen den Treiber-Trick unternehmen kann (im Gegensatz zu nVidia).

Allgemein betrachtet macht es zudem unserer Meinung nach keinen Sinn, Fehler gegeneinander aufzurechnen. Beide Grafikkarten-Hersteller versuchen in den Benchmarks so gut wie möglich dazustehen und optimieren ihre Treiber bewußt vorwiegend auf die am meisten eingesetzten Benchmark-Programme. In jedem Fall, wo man einem Hersteller hier die Überschreitung gewisser Grenzen nachweisen kann, sollte dies zur Sprache kommen. Wenn dies morgen der nächste Hersteller macht, werden wir auch darüber berichten (müssen), so lange sich etwas nachweisen läßt.

Und damit zum letzten Punkt: Wir sehen es nicht so, daß hier beim 3DCenter vorwiegend Artikel im Revolver-Stil erscheinen, wo das Thema egal ist solange es genügend schockiert. Im Gegensatz zu mancher Enthüllungs-Show im TV sind wir wirklich an diesen Themen interessiert und kritisieren auch niemanden, wenn es keine Kritikpunkte gibt. Um das eindeutig klarzustellen: Wir können auf solche Artikel wie "ATi-Treiber cheatet bei Q3A-Benchmarks" problemlos verzichten. Wenn jemand glaubt, wir müssten wegen solcher Artikel neue Geldspeicher bauen - momentan bringt uns jeder User mehr nur mehr Kosten, aber nicht mehr Einnahmen.

Wir sehen das Ganze klar aus der Sicht des Users, welcher sich hier von ATi schlicht verkohlt vorkommt - und dabei geht es weniger um die 5 fps mehr als um die schlechtere Bildqualität. Denn auch wir gehören zu den ganz normalen Grafikkarten-Käufern und wollen ein möglichst breites Angebot an hochklassigen Grafikkarten am Markt vorfinden können. Diese Grafikkarten sollen im Idealfall gute Performance und hohe Bildqualität mit einem christlichen Preis verbinden und dabei auf irgendwelche Tricks prinzipiell verzichten. Uns wäre es also in diesem Zusammenhang eindeutig lieber, ATi und andere Hersteller würden auf solche Spielchen verzichten - wir können problemlos auch auf dieserart Artikel verzichten. Falls es aber vorkommt und es sich nachweisen läßt, sehen wir es als unsere Pflicht an, darüber zu berichten.

Leonidas, 24. Oktober 2001

PS: Weshalb ist der Titel des Artikels so reißerisch? Mir ist schlicht auf die Schnelle nichts besseres eingefallen, was den Sachverhalt auch wirklich trifft.

Update vom 5. November

Die FiringSquad hat sich mit ATi zum Interview getroffen, das Thema war natürlich der auf Q3A "optimierte" Treiber für die Radeon 8500. Unter vielen wohlklingenden, aber letztlich nichtssagenden Marktingaussagen findet man dabei sogar ein paar wahre Worte seitens ATi: So mußte ATi nach Betrachtung der derzeit gängigen Reviewpraxis bei Grafikkarten feststellen, daß die Frameraten speziell von Q3A - und dabei nicht die Bildqualität! - maßgeblich über ein Produkturteil entscheiden. Dies kann man durchaus als einen kleinen Seitenhieb an jene Hardwaretester werten, bei welchen die "üblichen Verdächtigen" Q3A und 3DMark die Benchmarks eindeutig dominieren. Derartige Reviews - da dürften sich wohl alle einig sein - sind letztlich schuld an der reinen Optimierung von Treibern auf die genannten zwei Anwendungen ...

... Gleichzeitig sagte ATi, daß die schlechtere Darstellungsqualität der Radeon 8500 Treiber unter Q3A auf einen Fehler bei der Interpretation der Texturenqualität zurückzuführen wäre und man mittels des nächsten Treiberrelease diesen Fehler beheben will. Gleichfalls solle die neue ATi-FSAA-Methode "Smoothvision" (zu Details über Smoothvision siehe das Radeon 7500/8500 Preview bei within3D) mit dem nächsten Treiberrelease aktivierbar sein, auf den kürzlich aufgetauchten inoffiziellen 6.13.3281 Windows XP Radeon-Treiber trifft dieses ja schon zu.

Update vom 6. November

Von einer Fehlinterpretation der Texturenqualität bei ATi´s Radeon 8500 Q3A-"Optimierung", wie die FiringSquad im gestern angesprochenen Interview seitens ATi zu hören bekam, scheint jene "Optimierung" allerdings relativ weit entfernt. Laut den Screenshots beim Tech Report hat ATi in den bewußten Treibern eine sehr seltsame MipMapping-Auflösung implementiert, welche weit von der üblichen Definition einer MipMap (Details zum Thema "MipMapping und Texturenfilterung allgemein") entfernt scheint (ohne an dieser Stelle jetzt noch einmal eine Wertung abgeben zu wollen, das Thema ist mit dem Versprechen ATi´s erledigt, diese "Optimierung" im nächsten Treiber wieder herauszunehmen).