Zum 3DCenter Forum
Inhalt




Interview mit Futuremark

20. September 2003 / von aths / Seite 1 von 1

Unser Interviewpartner ist Patric Ojala von Futuremark, dem Hersteller der 3DMark-Benchmarkserie.


1) Hallo und willkommen bei 3DCenter. Bitte sei so freundlich und stelle Dich unseren Lesern vor, und erzähle uns über Deinen Job bei Futuremark.

Futuremark: Danke, es ist schön hier zu sein.

Mein Name ist Patric Ojala, Senior Manager vom Benchmark Development bei Futuremark. Ich bin der Produzent der 3DMark Produkt-Serie, außerdem der Leiter des 3D-Entwicklungsteams unseres Unternehmens. Zusammen mit unserem hochtalentierten Team entwickeln wir die bekannten 3DMark-Benchmarks, welche einige der zukunftsweisendenden und bestaussehenden Echtzeit-3D-Grafiken bieten, die es gibt.


2) Kannst du uns eine Vorstellung von Futuremarks Größe geben, und die Unterschieden zwischen dem US- und dem Finnland-Büro erklären?

Futuremark: Wir sind insgesamt 28 Beschäftigte, 3 Marketing- und Verkaufsleute in Saratoga (Kalifornien) mitgezählt. Die anderen 25 sind hier in Finnland, erledigen die Forschung und Entwicklung sowie das Managment.


3) Futuremark, Remedy und die Bitboys gingen alle aus der "Future Crew" hervor. Sowohl 3DMark2001 als auch Max Payne nutzen "Max FX"-Technologie. Kooperieren Futuremark and Remedy bezüglich 3D-Engines noch, und wenn ja, in welcher Hinsicht?

Futuremark: Wir kooperieren noch, aber wir nutzen nicht mehr die gleiche Engine. Das gesamte geistige Eigentum an Max Payne wurde soweit ich weiß dem Publisher verkauft, und das schnelle Fortschreiten der 3D-Technologie ermutigte uns, eine neue DX-Wrapper-Engine zu implementieren. Diese Art von Engine ist einfach eine dünne Programm-Schicht, die wir über DirectX legen, welche dann das Artwork und die Shader lädt. DirectX handhabt den Rest. Man kann sagen, dass 3DMark03 im Grunde DirectX-Leistung misst, und nicht die Performance einer bestimmten "3D-Engine".

Remedys Büro und unseres sind noch direkt nebeneinander, und die Tür zwischen unseren Unternehmen steht immer offen. Wir borgen uns gegenseitig Dinge aus, und versuchen auch uns gegenseitig zu helfen, aber wir sind zwei einzelne Unternehmen.


4) Persönlich mag ich die eingebauten Demos vom 3DMark 99 MAX und dem 3DMark 2000 lieber, als die Demos in der 2001er und 2003er Version. "XL-R8R" kann sogar als astreine Demo gesehen werden. Wird es eine Wiederkehr von Demos mit durchgehender "Geschichte" geben, wird Futuremark sich mehr auf Game-Test-Demos konzentrieren wie in den letzteren 3DMarks, oder Demos sogar ganz streichen?

Futuremark: Früher, in den Zeiten von 3DMark 99 und 2000, war es unser Ziel, auf dem Markt durch das Herausbringen toller Demos bekannt zu werden. Dafür investierten wir mehr in die Programmierung von Demos, und weniger in die Produktion von Benchmark-Tests. Als wir ein wichtigerer Mitbewerber in der Benchmark-Industrie wurden, brauchten wir all unsere Mittel um die Tests zu perfektionieren. Auch wenn es Spaß machen würde, bleibt da kaum Zeit übrig für reine Demo-Entwicklung. Ich denke nicht, dass wir die Demos jemals ausrangieren, aber wir werden mehr Zeit für Game Tests als für die Demo aufwenden, verglichen mit der Zeit der 3DMark 99 oder 2000-Entwicklung.


5) In DEM Audit-Report hat Futuremark nVidia Cheating vorgeworfen und das Wort "Cheat" dabei selbst benutzt. Später ruderte Futuremark zurück und änderte die Ausdrucksweise in "Optimierungen". Unsere Leser fragen, ob sie den originalen Audit Report für ungenau halten sollen, oder Futuremark den neuen Ausdruck "Optimierung" aus reinen semantischen Grunden wählte? Oder war da irgendein anderer Grund, die Ausdruckweise zu ändern?

Futuremark: Das wirklich wesentliche dieses Audit Reports war korrekt und stimmt auch heute noch. Aber wir merkten, dass es keine klare Definition dieser Begrifflichkeiten gab. Also, das 'C-Wort' war vielleicht ein bisschen unsachgemäß. Viele Leute haben die Absicht des Berichtes missverstanden und vermuteten irgendwas anderes als eine Verteidigung des 3DMarks. Wir haben eine weit zurückreichende und produktive Beziehung mit nVidia, genauso wie auch mit den anderen großen PC-Hardware-Herstellern.


6) Bestimmte Aspekte vom 3DMark03 wurden ziemlich heftig von einigen der 3D-Online-Gemeinde kritisiert, ebenso von einem bestimmten Hardware-Hersteller. Wir fänden es toll, wenn du uns deine persönliche Meinung zu folgenden zwei Dingen sagen könntest: a) Game Test 1 nutzt eine Menge Single-Texturing, wobei fast alle aktuellen echten Spiele Multitexturing verwenden. b) Es sieht so aus, als enhält der 3DMark03 nur ein Set DirectX9-Shader für alle DX9-Karten, aber scheinbar haben "echte" Spiele auch für CineFX optimierte Shader.

Futuremark: Ich habe über die in jenem "Lab Report" angekreideten Dinge im letzten Halbjahr nichts mehr gehört, nicht mal von diesem 'bestimmten Hardware-Hersteller' :-).

a) Die meisten Polygone in diesem Test (ich schätze, über 90%) sind quad-textured (haben also 4 Texturschichten). Außerdem ist es für ein Flug-Spiel üblich, die meisten Bildschirm-Pixel für den Himmel zu haben. Skyboxen waren fast immer single-textured und sind es meistens noch heute. Es gibt keinen Grund, künstlich Texturschichten hinzuzufügen, um Multitexturing zu erreichen, weil Spiele das auch nicht nutzen. Während der Entwicklung probierten wir eine zweite Texturschicht zum Himmel hinzuzufügen, aber die gemessene Leistung änderte sich um keine 3%. Game Test 1 wurde entwickelt, um ein leichtgewichtiger DX7-kompatibler Test zu sein, der anständige Frameraten auch auf Einsteiger-Hardware bietet. Die Flugszene, die wir in Game Test 1 haben, erfüllt die an sie gestellten Anforderungen sehr gut.

b) Die Hochsprache von DirectX ist HLSL, und das ist was wir nutzen werden. Ich sehe nicht, wie ein unabhängiger Benchmark Hardwarehersteller-spezifische APIs verwenden kann, wenn nicht alle konkurrierenden Hersteller die Chance haben, das gleiche zu tun. Die wichtigsten Hersteller haben uns ihre Unterstützung für die Verwendung von HLSL im 3DMark zugesichert.


7) Andere Leute behaupten, dass die Framerate im 3DMark anbetrachts der tatsächliche Grafik zu niedrig sei. Futuremark entschied gerüchteweise, die Rechenlast mit zusätzlichen "unnützen" (da "unsichtbaren") Berechnungen zu steigern, um den Benchmark für heutige und vor allem zukünftige Grafikkarten schwieriger zu machen. Wenn das stimmt, wie sichert Futuremark dass die Balance der verschiedenen Berechnungs-Arten mit zukünftigen DX9-Spiele-Engines vergleichbar ist?

Futuremark: Und wieder kommen wir auf die 6 Monate alte Diskussion zurück, die aus diesem 'Lab Report' erwuchs. Ich denke, dass sich jeder daran erinnert, wie wir schon damals bewiesen, dass alle Behauptungen in diesem Report ohne Grundlage sind. Später zeigten wir, dass der gleichen Hardwarehersteller Produktlaunch-Demos mit exakt gleich implementierter Schatten-Berechnung hat. Der eine Weg, Stencil-Schatten zu implementieren, schont die Grafikkarte, fordert aber die CPU. Diese Implementierung setzt außerdem einige Beschränkungen bezüglich des Artworks.

Die andere Möglichkeit ist rechenaufwändiger, läuft aber rein auf der GPU und gibt uns mehr Freiheiten in Bezug auf die Grafik-Gestaltung. Wir wählten die letztere, da die bei der 3DMark03-Entwicklung verfügbare DX9-Hardware uns mit der Grafikkarten-lastigen Schatten- Implementierung ziemlich vernünftige Frameraten bot (~ 30 fps.) Da die 3DMark03 Game Tests letztlich die Grafikleistung testen sollen, dürfte es keine Frage sein, welche Umsetzung wir verwenden.


8) Die 3DMark03-Ergebnisse beinhalten auch die Taktfrequenzen für GPU, CPU und auch den FSB. Allerdings ist es ziemlich einfach, an den Resulten zu drehen, indem man die Taktfrequenzen direkt vor der Ergebnisveröffentlichung ändern. Ist Futuremark dies bekannt und sind Verfahren geplant oder schon in Kraft, die solche Fälschungen verhindern?

Futuremark: Das sollte bereits der 330er Build vom 3DMark verhindern. Der Benchmark-Client hat vielleicht in einigen Fällen eine inkorrekte Anzeige, aber unsere Online Result Database liest es richtig aus. Wenn Deine Absicht wiederum ist, zu versuchen, falsche Ergebnisse zu produzieren und Du dann Hacker-Befriedigung verspürst, wenn Dein eigener PC falsche Ergebnisse anzeigt, veralberst Du Dich nur selbst :-).


9) Der 3DMark misst die Leistung von 3D-Beschleunigern, aber die Bildqualität zählt nicht in die Endergebnis-Vergleichsbewertung für einen Standard-Durchlauf. Bildqualitäts-Features wie Anti-Aliasing und anisotropes Filtern wird selbst für Gelegenheitspieler immer wichtiger, allerdings, für vergleichende BQ-Analyse und Gegenüberstellungen unterscheiden sich die Methoden der großen Hersteller unglücklicherweise zu sehr. Wie wird Futuremark dieses Problem zukünftig angehen und wird es bequeme Möglichkeiten geben, die Leistung mit (beinahe) gleicher sichbarer Bildqualität zu vergleichen?

Futuremark: Das ist eines meiner Lieblingsthemen, und ich schätze, darüber könnte ich ein ganzes Buch schreiben. Das Problem ist, wie man ein automatisches BQ (Bildqualitäts-) Tool für Features wie AA und fortschrittliche Texturfilterung realisieren soll. Wäre denn eine verlässliche Umsetzung gewährleistet, würden wir sie sicher nutzen, aber bislang wurde keine gute Lösung gefunden.

Es ist daher am Anwender, selbst nachzuprüfen, dass die BQ ist wie sie sein soll. 3DMark03 enthält die Tools für solche Nachforschungen, aber es braucht einiges Wissen des Users, um diese Aufgabe zu bewältigen. Was Textur-Filterung angeht, der 3DMark03 Pro hat ein gesondertes Werkzeug, um die Unterschiede mit den verschiedenen Texturfilter-Methoden hervorzuheben. Bitte lies das 3DMark03 Helpfile für weitere Informationen über die Verwendung dieses Werkzeugs und wie die Ergebnisse zu deuten sind.


10) Wir danken Dir für deine Zeit. Wäre da noch irgendwas, was Du unseren Lesern mitteilen möchtest?

Futuremark: Es gab viele kontroverse Diskussionen um den 3DMark03, aber ich würde darum bitten, eine Sache im Kopf zu behalten: Der 3DMark03 wurde in Zusammenarbeit mit allen großen PC-Hardware-Herstellern entwickelt, wie auch der 3DMark2001. So konnten wir ein Produkt zu gestalten, das seiner Zeit voraus war. Wir wissen, dass viele Leute die Benchmark-Zahlen nicht glaubten, als der 3DMarks damals im Februar erschien. Erst jetzt tauchen einige DX9-Spiele auf, und, wer hätte das gedacht, ihre Leistungswerte scheinen dem zu entsprechen, was der 3DMark schon im Februar zeigte :-).






Kommentare, Meinungen, Kritiken können ins Forum geschrieben werden - Registrierung ist nicht notwendig 3DCenter-Artikel - Index Home

Shortcuts
nach oben