Open Source im professionellen Einsatz
Linux-Magazin 12/2006
Quelle: obs/Handicap International

Quelle: obs/Handicap International

Verbote, Fallen und Mogeleien bei Benchmarks

Stochern im Minenfeld

Die beste Basis für eine Kaufentscheidung sind Tests und Benchmarks aus verlässlichen Quellen. Wer der Werbung nicht traut, sondern selbst testet und die Ergebnisse veröffentlicht, gerät aber schnell in ein Minenfeld aus Lizenzfallen, Testverboten und Mogeleien der Hersteller.

642

Die Industrie investiert viel Geld in die Werbung, die den Käufer von den Vorzügen ihrer Produkte überzeugen soll, und scheut auch nicht vor mancher Halbwahrheit oder Übertreibung zurück. Bei vielen Anschaffungen im Computerbereich genügt es nicht, die Prospekte und technischen Daten der Hersteller durchzublättern, um eine weise Kaufentscheidung zu treffen. Hier helfen Testergebnisse aus glaubwürdigen Quellen wie Zeitschriften oder eigene Benchmarks - wobei die Tests gut vorbereitet sein müssen, um später auch aussagekräftig und vor allem beständig zu sein.

Hassliebe der Hersteller

Beim Verhältnis von Software- und Hardware-Herstellern zu Benchmarks kann man ohne Übertreibung von einer Hassliebe sprechen: Gerade bei sehr ähnlichen Produkten, etwa Tintenstrahldruckern, können sich die Hersteller kaum durch Features von der Konkurrenz abgrenzen. Gibt es hingegen einen allgemein anerkannten Test kann der Hersteller bei einem Sieg oder einer guten Platzierung mit dem Testergebnis oder gar einem Logo werben, zudem erfährt das Produkt durch die Veröffentlichung des Tests viel Aufmerksamkeit.

Der Standardbenchmark des Linux-Magazins für den Test von Workstation-Grafikkarten ist die Spec Viewperf Suite [1]. Deren Stärke ist, dass sie echte Anwenderdaten aus weit verbreiteten CAD- und Render-Programmen für den Test verwendet: Hersteller Spec hat die Grafikdaten von Programmen wie Catia, Pro/Engineer (Abbildung 1) oder Maya (Abbildung 2) unmittelbar vor dem Grafikkartentreiber abgefangen (gesnifft) und als Testdatensatz gespeichert.

Die Viewperf Suite überträgt diese Daten beim Test lediglich mit maximaler Geschwindigkeit zur Grafikkarte, die CPU des Rechners muss sich also nicht mit den aufwändigen 3D-Berechnungen der CAD-Programme herumschlagen. Auch lässt sich mit der Viewperf Suite die Grafikleistung unter verschiedenen Betriebssystemen testen und vergleichen, unabhängig davon, ob die Basisanwendung überhaupt auf das jeweilige System portiert wurde.

Abbildung 1: Die Spec Viewperf Suite verwendet sehr praxisnahe Testdaten. Der Hersteller fängt die Grafikbefehle bekannter Programme wie zum Beispiel des Konstruktionsprogramms Pro/Engineer ...

Abbildung 2: ... oder des Render-Programms Maya unmittelbar vor dem Grafikkartentreiber ab. Der Testrechner muss die Grafikbefehle nur noch mit maximaler Geschwindigkeit zum Treiber übermitteln.

Mit gezinkten Karten

Die Frame-Raten bei Spielen überprüfte das Linux-Magazin in der Vergangenheit mit den Demo-Levels von Quake 3 Arena und Parsec. Zwei mit verschiedenen Testprogrammen ermittelte Werte helfen etwaige Manipulationen in den Treibern aufzudecken: So "optimierte" ATI im Jahr 2001 den Treiber für den Radeon-8500-Prozessor: Erkannte der Treiber die Demosequenz von Quake, verringerte er selbsttätig die Bildqualität und lieferte somit bessere Ergebnisse [2].

Auch Nvidia hat keine weiße Weste, 2003 überführte Futuremark den Grafikkarten-Hersteller des Betrugs: Der Treiber erkannte spezielle Sequenzen des 3D-Mark-Bench und ersetzte einige Befehlsfolgen, sodass letztlich nur ein Teilbild mit geringerer Farbtiefe berechnet wurde, was die Ausgabegeschwindigkeit drastisch erhöhte.

Für den Test anderer Komponenten und Dienste eines Systems bedarf es weiterer spezialisierter Benchmarks, die Standard Performance Evaluation Corporation, kurz Spec [1], hat eine Reihe fertiger Benchmark-Suites im Programm, allerdings laufen viele nur unter Windows. Eine der Ausnahmen neben der Viewperf Suite ist die CPU Suite, sie eignet sich deutlich besser für die Einschätzung der Rechenleistung als die beliebte Methode, die Kompilier-Zeit des Kernels als Maß für die Geschwindigkeit des Rechners zu verwenden.

Die Zeit, die ein bestimmter Rechner zum Übersetzen des Kernels benötigt, ist zwar durchaus stabil und wird von Randbedingungen wie der Datentransferrate der Festplatte oder auch der Fragmentierung des Dateisystems kaum beeinflusst. Zum Vergleichen mit Zeiten aus früheren Tests oder mit verschiedenen Prozessor-Architekturen taugt das Kernel-Kompilieren aber kaum: Zu groß sind die Unterschiede zwischen dem aktuellen Kernel und etwa der Version von vor einem Jahr. Zudem werden auch die Compiler ständig weiterentwickelt.

Nicht zuletzt verändert sich auch die Standardkonfiguration des Kernels und es kommen immer wieder neue Kernelmodule hinzu. Daher sind die Zeiten, die beim Übersetzen des Kernels ermittelt werden, nur dann vergleichbar, wenn zwei Rechner den gleichen Kernel mit den gleichen Konfigurationsoptionen, dem gleichen Compiler und der gleichen Zielplattform übersetzen.

Diesen Artikel als PDF kaufen

Express-Kauf als PDF

Umfang: 3 Heftseiten

Preis € 0,99
(inkl. 19% MwSt.)

Linux-Magazin kaufen

Einzelne Ausgabe
 
Abonnements
 
TABLET & SMARTPHONE APPS
Bald erhältlich
Get it on Google Play

Deutschland

Ähnliche Artikel

  • TPCx-HS: Neuer Big-Data-Benchmark

    Das Transaction Processing Performance Council (TPC) hat einen neuen Benchmark vorgestellt, mit dem sich kommerzielle Hadoop-Systeme direkt vergleichen lassen sollen.

  • Erste!

    Am 13. November hat ATI eine neue Grafikkarten-Generation mit FGL-9700-Chipsatz vorgestellt. Das Linux- Magazin hat exklusiv ein Vorserienmodell im Test unter Linux heiß laufen lassen.

  • Schnellzeichner

    Die Tester im Labor nahmen - diemal ganz sortenrein - fünf Grafikkarten mit Nvidia-Chipsätzen unter die Lupe. Sie gingen dabei primär der Frage nach, ob Linux aktuelle 3D-Grafikkarten auszureizen vermag.

  • Testflug

    Der GNU-Compiler GCC hat neben dem Dialekt Objective C++ eine Menge Neuerungen an Bord. Ein handgeschriebener Parser für C und Verwandte soll die erste Stufe der Übersetzung beschleunigen, andere Erweiterungen die Sicherheit eigener Programme verbessern.

  • Inside Intel

    Ein Riese ist in Aufbruchstimmung. Am Ende der 32-Bit-Ära will Intel auch im 64-Bit-Zeitalter weiter an vorders-ter Front mitmischen. Der größte Prozessorhersteller gewährte dem Testlabor des Linux-Magazins Zugang zu seinem Solution Center, um den neuen Itanium-Prozessor unter die Lupe zu nehmen.

comments powered by Disqus

Ausgabe 08/2017

Digitale Ausgabe: Preis € 6,40
(inkl. 19% MwSt.)

Artikelserien und interessante Workshops aus dem Magazin können Sie hier als Bundle erwerben.