Interview mit Greg Ellis von ATI

31. März 2005 / von Leonidas / Seite 2 von 2

3DCenter:  Besitzt ATi im Testlab ein Mainboard, welches einen gleichzeitig einen PCIe- und einen AGP-Slot enthält (den AGP aber nicht per PCI angebunden, sondern regulär an die Northbridge), so daß man AGP- und PCIe-Karten auf dem selben Mainboard testen kann?

Greg Ellis:  Ich kann natürlich nicht für die gesamte Firma sprechen, aber ich habe kein solches Biest in meinem Labor.

Es ist eine interessante Idee, aber es würde einige Zeit in Anspruch nehmen, um die Resultate zu kalibirieren, um sicherzustellen, dass die PCI-E und AGP Slots in einem solchen Mainboard die gleiche Performance zeigt wie bei traditionellen nur-PCI-E und nur-AGP Mainboards.

3DCenter:  Habt Ihr Meßinstrumente für den exakten Stromverbrauch rein nur der Grafikkarte - oder wie ermittelt Ihr diese Angaben? Warum publiziert ATI keine exakten Angaben zum Stromverbrauch, dieses Thema wird immer wichtiger. Bei den X-bit Labs gab es im übrigen diesbezüglich kürzlich einen schönen Artikel.

Greg Ellis:  Es gibt verschiedene Wege, die Leistungsaufnahme zu messen, von sehr einfach und billig bis sehr komplex und teuer. Wie X-bit es gemacht hat, scheint eine gute Lösung für deren Ansprüche zu sein. Andere haben einfachere Methoden gewählt. Genauso wie es keinen einzig richtigen und falschen Weg gibt, ein bestimmtes Spiel zu messen, wäre es auch hier falsch, wenn wir "die einzig richtige Art und Weise die Stromaufnahme zu messen" diktieren würden.

Wir publizieren keinen "exakten Stromverbrauch", weil es schwer wäre, eine einzelne, exakte Zahl zu ermitteln. Die Stromaufnahme variiert je nach Umständen.

3DCenter:  Wie stark fließen die Vorab-Messungen des ATI Testlabs in die Entscheidung zu den endgültigen Taktraten eines neuen Produkts ein?

Greg Ellis:  Ich bin nicht ganz sicher, wie ich dies beantworten soll. Performance ist natürlich ein wichtiger Faktor, um finale Taktraten festzulegen, aber es gibt eine Vielzahl anderer Faktoren wie Chipausbeute, Hitze und Kosten, die eine Rolle spielen.

3DCenter:  Wie schnell habt Ihr die Hardware Eurer Konkurrenten nach deren Vorstellung bei Euch im Labor?

Greg Ellis:  "Sobald wie möglich" ist das genaueste, was ich sagen kann. Es ist immer anders. Wir sind offensichtlich sehr daran interessiert, was unsere Mitbewerber machen. Es ist für uns ein großer Tag, wenn wir ein neues Produkt in das Labor bekommen, ob ein eigenes oder das eines Wettbewerbers.

3DCenter:  Wie wäre es, in Eure Benchmark-Guides zukünftig Listen von Spielen einzufügen, welche in der einen oder anderen Art Benchmark-Probleme machen? Wichtig wäre dies insbesondere für Spiele, die kein Anti-Aliasing unterstützen und für Spiele mit eigener Steuerung für den anisotropen Filter (damit man in diesem Fall das Control Panel auf "Anwendungs-gesteuert" stellt).

Greg Ellis:  Wenn Sie durch einen unserer Benchmark Guides durchgehen, werden Sie sehen, das eine solche Liste existiert. Wenn Sie Fehler finden oder Ergänzungen vorschlagen möchten, schicken Sie uns bitte eine Rückmeldung.

3DCenter:  Welche Philosophie habt Ihr bezüglich der Auswahl der jeweiligen Benchmark-Ergebnisse? Viele benutzen einen Mittelwert der getätigten Durchläufe, andere den zweiten oder dritten erreichten Wert. Ich persönlich benutze im übrigen immer den höchsten erreichten Wert (weil schneller als höchstmöglich eben niemals geht).

Greg Ellis:  Das kommt ganz auf den Benchmark an und unsere Erfahrung, wieviel dieser zwischen den Testläufen variiert.

Einige Benchmarks kommen jedes Mal zum gleichen Ergebnis, es ist nicht notwendig, mehrere Durchläufe zu machen. Andere variieren erheblich, also ist eine der beschriebenen Methoden notwendig.

Ich glaube nicht, dass es eine korrekte Antwort zu dieser Frage gibt. Jede der erwähnten Mehtoden ist wahrscheinlich OK. Es gehört jedoch dazu, die Methode zu beschreiben, wenn die Resultate veröffentlicht werden, genauso wie AA-Einstellungen oder die gewählten Optionen im Spielemenü erwähnt werden.

3DCenter:  Was denkt ihr über die teilweise Zahlenhörigkeit der Hardware-Szene bei Benchmarks neuer Grafikkarten? Ab welchem Level sind für Euch messbare Unterschiede wirklich relevant für die Bewertung einer Grafikkarte?

Greg Ellis:  Performance ist nur ein Element unter vielen, das zur Produktdifferenzierung benutzt werden kann. Natürlich sollten andere Elemente wie Treiber-Unterstützung, Kompatibilität, Preis, Bedienungsfreundlichkeit usw. ebenfalls beachtet werden.

Wann ein Performance-Unterschied relevant ist, hängt von mehreren Faktoren ab, viele davon sind subjektiv. Ich glaube wir können uns darauf einigen, dass sehr niedrige Frameraten (z.B. 6 fps vs 5) keinen realistischen Unterschied zeigen, da in einem solchen Test bei diesen Einstellungen offensichtlich beide Produkte unbrauchbar sind.

Das gleiche trifft auf sehr hohe Frameraten zu (z.B. 275 fps vs 240), wo eigentlich nicht die falsche Wahl getroffen werden kann, da beide Produkte offensichtlich gut sind, in was auch immer getestet wurde.

In der Mitte wird Subjektivität wichtig. Ein Anwender findet 50 fps erheblich besser als 40 fps in einem bestimmten Spiel, während der gleiche Anwender keinen Unterschied zwischen 38 fps und 32 fps in einem anderen Spiel erkennen kann. Ein anderer Anwender hat dazu vielleicht eine andere Meinung.

Ich habe gemerkt, dass einige Journalisten ihre persönlichen Eindrücke zusammen mit den Resultaten geben. Ich glaube das ist etwas Gutes. Gleichzeitig möchte ich jedoch nicht die Gruppe der Enthusiasten bremsen, welche Zeit und Geld für das Tuning ihrer Maschinen ausgeben, um in einem bestimmten Test das beste Resultat zu erreichen. Das kann aufregend sein und Spaß machen.

3DCenter:  Was haltet ihr von den derzeitig im Web zu beobachtenden Auswertungsformen für Benchmarks? Zu viele oder zu wenige Zahlen, zu viel oder zu wenig Kommentar? Oder habt Ihr Ideen für neue Auswertungsformen?

Greg Ellis:  Jede Webseite ist anders, lässt andere Tests laufen, präsentiert diese anders etc.

Persönlich sehe ich es lieber, wenn sich die Tests auf das konzentrieren, was für das fragliche Produkt relevant ist. Frameraten im Bereich 30-90 sind für mich interessanter als sehr hohe oder sehr niedrige Resultate, ganz einfach weil ich glaube, dass Unterschiede in diesem Bereich den subjektiven Eindruck des Kunden höher beeinflussen.

Zum Kommentar, nun, ich mag es immer zu sehen, was für einen Eindruck der Tester von dem Produkt hatte. Wie sah das Bild auf dem Monitor aus? Warum hat er diese Map oder jene Timedemo benutzt? Warum benutzt er dieses Spiel und nicht ein anderes? Wenn es Performance-Unterschiede gab, was bedeutet dies für ihn? Wird es das Erlebnis des Endkunden beeinflussen oder nicht?

3DCenter:  Abschließend: Wird im Testlab auch ab und zu mal gespielt - oder nur gebenchmarkt? ;-)

Greg Ellis:  Versucht Ihr mich in Schwierigkeiten mit meinen Chefs zu bringen? ;-)

Eine der besten Sachen beim Testen der Performance in Spielen ist, dass man diese eine Weile spielen muss, um zu sehen, was für Performance typisch ist, wie viel sich diese von Sektion zu Sektion ändert, wie die verschiedenen Grafikoptionen funktionieren usw. Also ja, wir haben die Chance, etwas zu spielen, um ein Gefühl für das Spiel zu bekommen, bevor wir anfangen, Daten zu sammeln. Und natürlich gibt es noch Zeit nach Dienstschluss ...

... in welchem wir Greg Ellis hiermit entlassen. Wir danken für die Beantwortung unserer Fragen und noch viel mehr für die sehr interessanten Antworten zu einem eher selten beachteten Themengebiet.