Interview mit Greg Ellis von ATI

31. März 2005 / von Leonidas / Seite 1 von 2

Wenn man bei den diversen Computerfirmen Interviews führt, bekommt man meistens als Gesprächspartner Presseleute oder Entwickler und Ingeniere aus den Bereichen Entwicklung und Treiber vor das (bei einer Internet-Publikation) virtuelle Mikrofon. Mit jemanden aus dem Benchmark-Labor zu sprechen, hat dagegen regelrecht Seltenheitswert. Wir hatten jedoch über die letzten Wochen die Gelegenheit, mit Greg Ellis, dem Manager des ATI Benchmarking-Teams in Toronto, Kanada, einen recht ausführlichen eMail-Plausch zu führen ...

3DCenter:  Wie sieht Ihre hauptsächliche Arbeit aus?

Greg Ellis:  Ich leite ein Benchmark-Labor, welches alle ATI-Produkte betreut, egal ob integriert oder für den Mobile- oder Desktop-Markt bestimmt.

Es gibt allerdings noch andere Benchmark-Labore bei ATI, welche die Bedürfnisse der Entwickler und Designer erfüllen. Mein Labor ist jenes, welches meistens diese Benchmarks erstellt, welche dann für ATI-Veröffentlichungen benutzt werden.

Ich habe 4 Mitarbeiter, welche Benchmarks laufen lassen und deren Ergebnisse analysieren. Wir setzen dabei ein breites Spektrum an aktueller und älterer ATI-Hardware ein, genauso aber auch Produkte von Wettbewerbern.

Wir testen ebenfalls intensiv alle neuen Catalyst Treiber, welche durchschnittlich mit 15 verschiedenen ATI-Produkten getestet werden, um die Performance-Gewinne für die jeweiligen Catalyst Release Notes herausfinden zu können.

Ebenfalls erstellen wir die Benchmark Guides, welche die Tests zu neuen Produkten begleiten sollen. Diese Guides umfassen Referenz-Ergebnisse, so daß die Hardware-Tester nachprüfen können, ob das Testobjekt mit der richtigen Geschwindigkeit arbeitet. Gleichzeitig geben diese Guides Benchmark-Tips zu einigen ausgewählten Titeln, sowie eine Zusammenfassung, was wir im ATI Benchmark-Labor alles getestet haben.

Ab und zu erstellen erstellen wir zudem Modelle, um die Performance zukünftiger Hardware vorauszusagen.

3DCenter:  Ab welcher Phase einer Produktvorbereitung ist intern durch Ihre Messungen bekannt, auf welche RealWorld-Performance das Produkt kommt?

Greg Ellis:  Die Performance ist vom Beginn der Produktentwicklung an ein wichtiger Aspekt. Wir müssen die Bedürfnisse des Marktes und die möglichen Schritte unserer Wettbewerber lange Zeit vorher wissen, bevor wir uns für eine Chip-Architektur entscheiden. Das bedeutet, daß wir schon über die Performance eines Produkts nachdenken, mehr als zwei Jahre bevor es in den Markt kommt.

Auf verschiedenen Stufen des Entwicklungs-Prozesses wird die Performance sowohl mit Software-Modellen als auch Hardware-Simulatoren gemessen, um zu gewährleisten, daß wir auf dem richtigen Weg sind. Sobald wir erste Chips haben, starten wir die echten Performance-Messungen. Oftmals gibt zu diesem Zeitpunkt noch keine finalen Taktraten, so daß wir die Performance mit einer großen Anzahl an Taktungen untersuchen.

Erst kurz bevor das Produkt vor seiner Auslieferung steht, werden diese Dinge endgültig festgelegt. Die finalen Taktraten werden dabei dahingehend festgelegt, daß sie der angetrebten Chip-Ausbeute sowie der angestrebten Performance entsprechen. Um diese Zeit wird an dem Tuning des finalen BIOS gearbeitet, genauso wie ein finaler Treiber aus einer Auswahl an Kandidaten ausgewählt wird. Oftmals haben wir nur einen oder zwei Tage, welche zwischen diesen Entscheidungen und dem Produktlaunch für die Medien und die Öffentlichkeit liegen, um die finalen Referenz-Ergebnisse zu erzeugen.

3DCenter:  Wie breit ist das Benchmark- und Testfeld gestreut? Besonders im Gegensatz zu den üblichen Hardware-Tests, die nur 3-4 Benchmarks enthalten.

Greg Ellis:  Wir erzeugen Benchmark-Ergebnisse auf automatischen Weg für etwa 40 unterschiedliche Benchmarks. Im Normalfall arbeiten wir mit 3 bis 6 Auflösungen bei einem Produkt sowie einer variierenden Anzahl an AA- und AF-Settings, ausgehend von der Leistungsklasse des Produkts. Ältere, leistungsschwächere Produkte (eine Radeon 7000 beispielsweise) bekommen einen etwas simplen Test-Set, während neuere und leistungsstärkere Karten intensiver getestet werden.

Wir führen zudem noch viele manuelle Benchmarks durch und prüfen mit Tools wie Fraps die Performance in neuen Spielen, welche über keinen eingebauten Benchmark verfügen. Wir denken, daß dies wahrscheinlich der wichtigste Teil unserer Arbeit ist, weil unsere Endkunden in erster Linie an realer Spiele-Performance interessiert sind und weniger an Benchmark-Scores.

3DCenter:  Welche Benchmarks außerhalb der bekannten Titel können Sie mir empfehlen?

Greg Ellis:  Unsere Auswahl-Methoden für Titel zur Benchmark-Analyse sind simpel. Wir schauen nach neuen Titeln (Release-Zeitpunkt dieses Jahr) mit gut aussehender Grafik und vernünftigem Gameplay. Die Popularität eines Spiels ist ebenfalls wichtig - ein sich gut verkaufendes Spiel bedeutet viel mehr Nutzer, welche von unserer Performance in diesem Titel profitieren (oder darunter leiden).

Wir versuchen zudem eine Auswahl von Titeln verschiedener Genres zu erreichen. Die meisten Benchmarks, welche wir in Reviews sehen, sind auf FirstPerson-Shooter fokussiert, aber es gibt eine Menge an Spielern, welche RTS, Renn-Simulationen, RPG und Sport-Titel spielen.

Ihr findet eine Liste von Titeln, welche wir zur Performance-Analyse ausgewählt haben, im X700 Benchmarking Guide. Dies ist natürlich nur ein Anfang. Wir hoffen, daß andere Analysten denselben Auswahl-Prinzipien folgen werden (neue Spiele mit guter Grafik, gutem Gameplay und Popularität) und somit eigene Listen mit auswertbaren Titeln erstellen.

3DCenter:  Wie oft entdecken Sie Performance-Anomalitäten, also Benchmark-Ergebnisse, die so eigentlich gar nicht sein dürften? Wird denen nachgegangen, bis die Lösung gefunden ist?

Greg Ellis:  Klar, das passiert öfters, innerhalb unseres Labors und anderswo. Normalerweise ist dies ein Problem der System-Konfiguration, der Treiberinstallation oder basiert auf falschen Annahmen.

Ein Beispiel für den letzteren Fall hatten wir bei der Half-Life 2 Engine - eine frühe Version von Counter-Strike: Source hat in der Auto-Konfiguration bei einer HighEnd NVIDIA Karte 6x AA eingeschaltet, ein Modus, welcher auf dieser Karte nicht unterstützt wird. Die resultierenden Benchmark Ergebnisse waren viel zu hoch, speziell im Vergleich zu einer ATI Karte, welche wirklich in 6x AA gerendert hat. Als wir erst einmal herausgefunden hatten, wo das Problem lag, war es relativ einfach zu lösen.

3DCenter:  Wie stark evaluieren Sie selber Benchmarks? Oder verlassen Sie sich auf das, was von den Spiele-Entwicklern oder aus dem Web kommt?

Greg Ellis:  Wir verbringen einen großen Teil unserer Zeit mit dem Testen von Benchmarks - das ist letztlich eine unserer größten Pflichten. Es gibt natürlich mehrere andere Gruppen innerhalb ATIs mit Benchmark-Interessen und wir arbeiten alle zusammen und teilen gewisse Daten und Analysen.

Wir sind natürlich offen für neue Benchmarks und Benchmark-Methoden, und wenn wir etwas interessantes auf Review-Seiten oder von Spieleentwicklern sehen, dann evaluieren wir dies natürlich bei uns.

3DCenter:  Sprechen Sie mit Spiele-Entwicklern über den Einbau zusätzlicher Benchmark-Funktionen in deren Spiele? Gab es diesbezüglich Erfolge?

Greg Ellis:  Ich stehe teilweise in Kontakt mit Spiele-Entwicklern, aber nicht sehr viel. Bei ATI gibt es viele Leute, deren Aufgabe es ist, mit Entwicklern über alles zu sprechen, wo diese Hilfe brauchen, und dabei bringen wir natürlich von Zeit zu Zeit das Thema Benchmarking auf den Tisch.

3DCenter:  Warum gibt es keine (bessere) Zusammenarbeit mit erfahrenen Benchmarkern bei Hardwaretest-Webseiten? Gerade eine Firma, die aussagt, daß ihre Produkte besonders mit der breiten Masse an Spielen sehr gut läuft (und nicht nur den paar üblichen Benchmark-Spielen), sollte doch daran interessiert sein, so viele wie möglich verschiedene Benchmarks (bzw. Anleitungen dazu) unters Volk zu streuen.

Greg Ellis:  Unser Reviewer Guide, welchen wir mit Presse-Muster mitschicken, enthält diese Art von Information. Dieses Dokument enthält eine Liste neuer Spiele, wie diese als Benchmark benutzt werden können, generelle Benchmark-Tips durch den Einsatz verschiedener Tools, wie die Videobeschleunigung gemessen werden kann und mehr. Aber wir können den Journalisten natürlich nicht den Einsatz bestimmter Benchmarks vorschreiben, wir können lediglich Hilfestellung leisten und Gedanken anstoßen.