Testparkour

Im folgenden möchte ich näher auf die einzelnen Tests eingehen, was sie messen, wie ich sie durchführe und was eventuelle Besonderheiten sind.

Performance

SunSpider: Ein JavaScript-Test der sich auf die Kernelemente der Sprache spezialisiert hat und den Anspruch erhebt realitätsbezogen zu sein. Der Test wird von der Seite selbst ingesamt 5x durchlaufen. Das Ergebnis ist die Zeit in ms die der Browser benötigt den Test 5x zu durchlaufen. Ich selbst führe den Test 10x durch und mittel das Ergebnis. Dabei darf die Abweichung von eventuellen Ausreißern höchstens 2% betragen. In der Regel kommt dies hierbei nicht vor.

SpeedBattle: Ebenfalls ein JavaScript-Test der die Geschwindigkeit misst und Punkte in den Kategorien „Rechnen“, „Speichern“ und „Darstellen“ unterteilt. Ich lasse diesen Test ebenfalls 10x durchlaufen und gebe das Gesamtergebnis wieder. Hierbei darf die Abweichung ebenfalls 2% betragen was bei diesem doch sehr schwankenden Test sehr häufig passiert.

V8 Benchmark: Ein weiterer JavaScript-Test der von Google entworfen wurde um die hauseigene V8-Engine zu testen und anzutreiben. Daher ist es nicht verwunderlich, dass Google Chrome hier die besseren Resultate abwirft. Der Test enthält verschiedene Einzeltests deren Ergebniss als geometrisches Mittel wiedergegeben wird und wird von jedem Browser 10x durchlaufen, die Abweichung von 2% ist hierbei unproblematisch.

GUIMark 2: Dieser Test wurde laut den Entwicklern entworfen um „Ein Loch in die CPU zu brennen“. Er ist also sehr von der verwendeten CPU abhängig. Dieser Test unterteilt sich in die drei Einzeldisziplinen „Vector-„, „Bitmap-“ und „Text rendering“ die von mir jeweils 3x durchlaufen werden und als Mittelwert ausgegeben werden. Hierbei werden die APIs Flash 10 und HTML5 strapaziert und die Ergebnisse auf 60 FPS limitiert.

Maze Solver: Der CSS Layout Performance Test stellt die Performance im Umgang mit CSS 2.1 und CSS 3.0 dar. Ursprünglich hab ich hier immer nur das erste Labyrinth getestet bis ich vor kurzem einen kleinen „Aktualisieren“-Button entdeckt habe, der das Labyrinth neu entwirft. Fortan werden also 10 Labyrinthe pro Testdurchlauf gebencht und der Mittelwert ausgegeben. Da die Labyrinthe immer nach dem gleichen Schema durchlaufen werden und je nach Aufbau dieses mal komplett durchlaufen werden muss und mal sofort der richtige Weg „gefunden“ wird, würde eine maximale Abweichung von 2% eine wochenlange Arbeit nach sich ziehen. Daher hab ich hier die Abweichung auf maximal 50% festgelegt. Dies wird der Charakteristik dieses Tests eher gerecht.

Peacekeeper: Dies ist der JavaScript-Test schlechthin. Es werden jede Menge verschiedene Szenarien wie der Umgang mit Formularen, Videoformate, Grafikleistung und vieles mehr getestet und stellt somit einen sehr umfangreichen Test dar. Da die Schwankungen hier recht niedrig sind wird er lediglich einmal durchgeführt.

Kraken: Ein JavaScript-Test der viele verschiedene Einzeltests durchführt und angibt in welcher Zeit (in ms) all diese Tests durchlaufen werden, ähnlich wie SunSpider. Obwohl von Mozilla entworfen stellt Google Chrome hier den Platzhirsch. Er wird ebenfalls nur einmal durchgeführt.

Flash Benchmark ’08: Bei diesem grafischen Test wird die Flash-API ausgereizt in einer Art und Weise die bei mir sogar hin und wieder zum Systemabsturz führt. Dieser wird bloß einmal durchlaufen.

Asteroids HTML5: Der „Asteroids HTML5 Canvas 2D Rendering and JavaScript Benchmark“ ist ein weiterer grafischer Test der die 2D Canvas Performance eines Browser misst und das Ergebnis sowohl als Punktestand als auch in FPS ausgibt. Er wird einmal durchlaufen.

Dromaeo JavaScript: Ebenfalls von Mozilla entworfene Testsuite die gleich mehrere (fremde) Benchmarks enthält wie SunSpider, V8 Benchmark und einen eigenen. Letzter wird von mir einmal durchlaufen. Hierbei werden die Durchläufe pro Sekunde ermittelt. Wie auch beim Kraken ist hier Google Chrome besser dran als der hauseigene Firefox.

Hardwarebeschleunigung

Webvizbench: Auf den Internet Explorer abgestimmter Test der die Musikdatenbank eines amerikanischen Radiosenders durchforstet und auf HTML5 aufbaut.

Psychedelic Browsing: Ein Hardwarebeschleunigter Test unbekannter Durchführungsweise (Vorsicht: Anfallgefahr für Epileptiker). Nur Browser mit Hardwarebeschleunigung können im Anschluss den folgenden Test durchführen.

Haluzinogetic Mode: Erweiterter Test zum Psychedelic Browsing.

FishBowl: Ähnlich wie der mittlerweile aus dem Parkour genommene „FishIE“ ein Fischtank, dieser ist aber besser. Ich wähle hierzu die Einstellung „Auto“ und nehme den am höchsten beobachteten Wert (Anzahl Fische).

HWACCEL: Von Mozilla erstellter einfacher Beschleunigungstest. Messwert in FPS auf 60 limitiert.

Speichermanagement

Von mir entworfener Test um den Speicherverbrauch in vier Schritten zu ermitteln. Damit soll ein möglichst realistischer Eindruck davon entstehen, wieviel Arbeitsspeicher ein Browser in der täglichen Anwendung benötigt. Hierzu müssen noch etwaige Erweiterungen, Plugins oder Apps hinzugerechnet werden.

  1. Der Speicherverbrauch im „Leerlauf“, also lediglich mit einem leeren Tab oder – falls möglich – ohne Tabs
  2. Der Speicherverbrauch bei 20 geöffneten Tabs. Bei diesen handelt es sich um einen leeren Tab und 19 typische, nicht zu sehr überladene Websteiten, genauer um:
  3. Die Differenz aus den ersten beiden Werten.
  4. Die Freigabe. Hier werden alle Tabs bis auf den leeren geschlossen und der Speicherbedarf nach einer Minute ermittelt. Die Angabe in der Tabelle ist in Prozent.

Conformance

Acid3: Mittlerweile in die Jahre gekommener Test um die Konformität zu den Standards des W3C zu überprüfen.

HTML5-Test: Ähnlich wie der ACID3-Test nur in ständiger Weiterentwicklung und in Bezug auf den HTML5-Standard.

CSS3-Test: Wie der HTML5-Test, nur auf CSS3 bezogen.

Browserscope (Security): Dieser Test untersucht den Browser auf Sicherheitsfeatures wie z.B. Sandboxing.

ECMAScript test 262: Test zur Standardkonformität der JavaScript-Implementierungen.

CSS3 Selectors Test: Test zur Standardkonformität von CSS3-Selektoren.

  1. Hinterlasse einen Kommentar

Schreibe einen Kommentar

Trage deine Daten unten ein oder klicke ein Icon um dich einzuloggen:

WordPress.com-Logo

Du kommentierst mit Deinem WordPress.com-Konto. Abmelden / Ändern )

Twitter-Bild

Du kommentierst mit Deinem Twitter-Konto. Abmelden / Ändern )

Facebook-Foto

Du kommentierst mit Deinem Facebook-Konto. Abmelden / Ändern )

Google+ Foto

Du kommentierst mit Deinem Google+-Konto. Abmelden / Ändern )

Verbinde mit %s

%d Bloggern gefällt das: