Ist Phoronix eine verlässliche Quelle?

Sowohl Heise als auch pro-Linux berichten heute über einen Ressourcen Test verschiedener Desktopumgebungen auf Phoronix. Während pro-Linux Teile des Tests anzweifelt, stellt Heise den Test überhaupt nicht in Frage und fragt nur ob KDE ein Ressourcenfresser ist. Diese Frage kann der Test nicht beantworten.

Bevor man mich hier gleich mit Kommentaren bombardiert: ja ich bin davon überzeugt, dass der KDE Workspace mehr Speicher verbraucht als andere Desktopumgebungen. Ich denke dass das auch OK ist und den Anforderungen gerecht wird.

Lese ich den Test so stelle ich mir einige Fragen:

  • Wie oft wurden die Tests wiederholt? Nach dem Artikel sieht es so aus, als ob jeder Test nur einmal durchgeführt wurde
  • Warum wurde eine Testversion einer Distribution verwendet?
  • Warum wurde nur eine Distribution verwendet?
  • Warum wurde nur ein System getestet?
  • Warum hat man nicht für jede Desktopumgebung ein eigene Installation aufgesetzt?

Jede Frage einzeln betrachtet, stellt die Testergebnisse komplett in Frage. Aber gerade die letzte Frage sollte doch einiges aufzeigen. Liest man den Test so hat man ein Ubuntu verwendet und kubuntu-desktop nachinstalliert. Nun ist Ubuntu + kubuntu-desktop nicht das gleiche wie Kubuntu. In dieser Situation wird zuerst GDM geladen (und somit große Teile von GNOME) und anschließend der KDE Desktop. Hier stellt sich nun die Frage, ob GDM nach dem Anmelden beendet wird. Wenn nicht, dann sind die Messergebnisse komplett verfälscht. Kennt man sich ein bißchen mit dem Speichermanagement aus, so weiß man, dass der Kernel selbst wenn GDM beendet wird, den Speicher nicht unbedingt freigibt. Leerer Speicher ist unnützer Speicher. Wie auch immer das mit GDM aussieht, ist es ziemlich egal, denn die Test-Suite scheint in GTK+ geschrieben zu sein. Man sieht also: traue keiner Statistik, die du nicht selbst gefälscht hast.

Noch amüsanter ist die Betrachtung des Stromverbrauchs. Der Artikel erwähnt nicht, dass mit einem externen Tool getestet wird, sondern es klingt eher danach, dass mit Software gemessen wird. Auch wird nicht erwähnt ob das Netzkabel angeschlossen ist oder nicht. Hier sei erwähnt, dass KDE zum Beispiel bei Batterienutzung die Indizierung der Dateien ausschaltet. Was natürlich gleich zum nächsten Punkt führt: Nepomuk. KDE liefert eine komplette Desktopsuche mit, welche bei mir nach dem Start anspringt. Kein Wunder also, dass nach dem Start der Ressourcenverbrauch höher ist als bei anderen Systemen.

Auch ist die Wahl der Distribution sehr merkwürdig. Die Ubuntu GNOME Variante als GNOME zu bezeichnen, grenzt schon an Frechheit. Meines Wissens nach verwendet Ubuntu z.B. Compiz anstatt Metacity, Notify-OSD anstatt GNOME Benachrichtigungen, Ubuntu GTK Theme anstatt Clearlooks. Ähnlich schlimm ist es die Ubuntu+KDE Variante als KDE zu bezeichnen. Von Kubuntu ist ja bekannt, dass die Python Hintergrundprogramme ärger bereiten. Diese sind in Kubuntu zum Glück am Abnehmen, aber das System ist ja ein Ubuntu+KDE, also müsste man davon ausgehen, dass die von Ubuntu im Autostart hängenden Anwendungen (z.B. Apport) auch in KDE ihr Unwesen treiben und Speicher verschwenden.

Ich könnte jetzt eigentlich hier noch viel mehr aufzählen, jedoch denke ich, dass es reicht um zu zeigen, dass der Test nicht seriös ist. Von Phoronix bin ich hier eigentlich nicht enttäuscht – dass die Tests nichts aussagen ist eigentlich bekannt. Wovon ich enttäuscht bin, ist die schlechte Recherche unserer sogenannten Redakteure bei Heise. Selbst wenn sie den Test nicht selbst durchgeführt haben, hätten die systematischen Testfehler auffallen müssen und ein kurzer Blick in das Phoronix Forum hätte gezeigt, dass viele begründet die Testergebnisse anzweifeln. Ich möchte hier einfach nur mal an Ziffer 2 des Pressekodex erinnern: Sorgfalt

Recherche ist unverzichtbares Instrument journalistischer Sorgfalt. Zur Veröffentlichung bestimmter Informationen in Wort, Bild und Grafik sind mit der nach den Umständen gebotenen Sorgfalt auf ihren Wahrheitsgehalt zu prüfen und wahrheitsgetreu wiederzugeben. Ihr Sinn darf durch Bearbeitung, Überschrift oder Bildbeschriftung weder entstellt noch verfälscht werden. Unbestätigte Meldungen, Gerüchte und Vermutungen sind als solche erkennbar zu machen.

=-=-=-=-=
Powered by Blogilo

18 Replies to “Ist Phoronix eine verlässliche Quelle?”

  1. Da ist schon was dran. Nur, wo ich gerne widersprechen würde: Ubuntu benutzt standardmäßig auch Metacity, schaltet aber um, wenn die Desktop-Effekte aktiviert werden. Ob das automatisch passiert, weiß ich nicht (ich glaube nicht), aber auf jeden Fall nur mit 3D-Beschleunigung, die ja auf vielen Systemen erst mit proprietären Treibern gegeben ist. Und die wiederum müssen nachinstalliert werden.

    1. Ubuntu verwendet wenn die Grafikkarte es unterstützt Compiz. Ist auch notwendig, denn sonst gibt es ein Problem mit Notify-OSD. Das von Phoronix getestete System hat eine Intel Grafikkarte, womit man davon ausgehen kann, dass Compiz aktiviert war.

      1. Gut, kann sein, dass die Effekte automatisch aktiviert werden, da bin ich mir nicht sicher. Notify-OSD funktioniert aber auch ohne Compositing (sprich Compiz), nur dann natürlich ohne Transparenz und verwischten Hintergrund. Wenn man mit der Maus drüber fährt, verschwinden sie komplett, statt transparenter zu werden.

  2. Ja, man sieht mal wieder was die Presse anrichten kann und auch die so “seriösen” Heise News sind nicht frei von der Nachlässigkeit der Redakteure.
    Dein Artikel wird hoffentlich viele Leser zum Nachdenken anregen.
    Mit freundlichen Grüßen
    Wolfgang

    1. was spielt das zur Sache? Dieser Blog Post kritisiert die fehlerhafte Testmethodik. Ich hätte genausogut die schlechten Ergebnisse für LXDE zur Argumentation verwenden können, kenne mich aber als KDE Entwickler mit KDE etwas besser aus

  3. Martin, dein Enthusiasmus in allen Ehren, aber du weißt schon, wie und warum solche Artikel entstehen? Da wird kurz ein Praktikant hingesetzt, kriegt die Messtools kurz erklärt und darf dann einen “Artikel” schreiben.

    Wie du schon richtig feststellst: Was sagt der Speicherverbrauch der Desktop-Umgebung über Performance und Benutzbarkeit aus? Gar nix. Kann man so was wie Speicherverbrauch im normalen Desktopbetrieb überhaupt sinnvoll und objektiv messen? Eher nicht. Macht es überhaupt einen Unterschied, wenn im Großteil der Rechner sowieso >1GB RAM stecken? Eher nicht. Hat so ein Test irgendeine Auswirkung auf die Desktop-Umgebung, die ich benutze? Mit Sicherheit nicht.

    Was glaubt ihr wohl, warum die solche Vergleiche schreiben und warum Heise drauf eingeht?
    So was ist ein 100% wirksames Instant-Flamewar-Rezept, genau so wie die monatlich widerkehrenden nVidia vs. AMD oder AMD vs. Intel Benchmark-Marathons. So was bedeutet Klicks und Verlinkungen, und die widerum höhere Werbeeinnahmen, so einfach ist das.

    Wieso sollte Heise die teure Zeit eines Redakteurs für Recherche verschwenden, wo der Test doch sowieso offensichtlich Blödsinn ist? Das Ziel ist klar und mit geringsten Mitteln erreicht, was zum Großteil auch Beiträgen wie diesem hier zu verdanken ist.
    Wieso verschwendest du eigentlich Zeit und Gehirnschmalz für so einen Schrott? Ist nur schlecht für den Blutdruck…

    1. Wieso verschwendest du eigentlich Zeit und Gehirnschmalz für so einen Schrott? Ist nur schlecht für den Blutdruck…

      Weil ich ganz ehrlich für das nächste Mal, wenn mir jemand mit tollen Phoronix Ergebnissen kommt, was habe zum drauf verlinken 😀 (Außerdem lasse ich mich durch sowas gerne vom Lernen ablenken)

  4. Pingback: Dirks Logbuch
    1. Meinen Blogpost gelesen? Ich weise doch sogar darauf hin, dass ich davon ausgehe, dass KDE den größten RAM Verbrauch habe. Dieser Blogpost kritisiert die Messmethodik und die unseriöse Berichterstattung, die darauf aufbaut.

      1. Ich finde deine Kritik(deinen Beitrag) gut, aber unseriös ist es, wenn es mit Absicht geschieht. Hier wird meistens etwas verschleiert bzw. muttwillig Falschausagen getätigt.

        In den beiden Artikeln findet das nicht statt, wie ich finde. Jedoch sind sie völlig schlampig recherchiert, da würde ich zustimmen.

        1. Bei beiden Artikeln sehe ich sehr viele Kommentare, die darauf hinweisen, dass die Zahlen nichts, aber auch gar nichts aussagen. Dennoch sehe ich kein Update, die die Testergebnisse in Frage stellen. Da könnte man ja schon Absicht vermuten…

  5. Ich mache eben eine Tour durch die Blogs um mich unbeliebt zu machen, dabei habe ich doch eine frohe Botschaft: Der Speicher wird nicht verbraucht – er wird nur temporär belegt.

    Seltsam, daß das alle falsch machen. Man sollte doch wissen was ‘verbraucht’ bedeutet.

    1. Stimmt! Im Prinzip hast du Recht…

      Laut dieser Sichtweise wird Energie ja auch nicht verbraucht, sondern nur in eine andere Energieform umgewandelt 😉

  6. Wenn für den Test wirklich Ubuntu (also die GNOME-Version) verwendet wurde und dann das Paket KDE-Desktop nachinstalliert wurde ist das natürlich total Quatsch.

    Wer sich schon mal ein bisschen damit beschäftigt hat weiß, dass es fast unmöglich ist, alle GNOME / GTK-Abhänigkeiten, inkl. Diensten und Autostarts) loszuwerden. Andersrum übrigens genaus so, also wenn man aus Kubuntu Ubuntu machen will.

    Kennt jemand einen Test, wo der Ressourcen-Verbrauch eines Grafik-freien Systems getestet ist?

    Gruß, Jochen

Comments are closed.