Update 27.07.2017 – Check24 hat seine Pseudo-Testsieger nun alle gelöscht, bzw. zeigt die „Auszeichnung“ nicht mehr auf der Webseite an.

Anzeige

Originalartikel vom 04.07.2017 – Wann ist ein Fake-Testsieger Fake, wann ein Test Fake? Nur dann, wenn jemand wissentlich einen Testsieger erfindet und wissentlich einen Vergleich oder kurzen Meinungsbericht verfasst, obwohl er weiß, dass man es gar nicht Test oder Testsieger nennen dürfte? Oder ist z.B. schon das bloße Nachahmen eines Testes ein Fake, ohne dass derjenige wirklich weiß, dass man etwas nicht darf? Der Duden nennt mir ein paar Synonyme zu „Fake“: Fälschung, Kopie, Nachahmung, Plagiat, Schmu, Schwindel. Ich denke, die Grenzen sind fließend. Gerade in den vergangenen 6 Monaten nach meinem ersten Bericht über den hohen Anteil von Fake-Testseiten in den Google Suchergebnissen wurden Testseiten, die auf keinerlei Tests beruhen, Fake-Testseiten genannt. Bei Eindeutschungen ist es manchmal schwierig, trennscharf zu definieren.

Aber ob man es jetzt erfundene Testsieger nennt, Fake-Testsieger, Pseudo-Testsieger. Allen ist gemein, dass es keinen Test durch den „Aussteller“ des jeweiligen Gütesiegels bzw. der Testsieger-Auszeichnung gibt.

Ahnunglosigkeit über die rechtlichen Rahmenbedingungen scheint es aber nicht nur bei Kleinunternehmern zu geben, auch größere Firmen scheinen den Unterschied zwischen Tests, Studien, Meta-Zusammenfassungen leicht durcheinanderzuwerfen.

Auch Check24 scheint den Unterschied noch nicht verstanden zu haben (wie eine Stellungnahme des Pressesprechers von Check24 zeigt, siehe weiter unten).

Die Pseudo-Testsieger

Was ist das Problem? Im „Shopping“ Bereich werden bei Produkten „Testsieger“ Gütesiegel angezeigt, bei denen User den Eindruck erhalten könnten, dass es sich um echte Tests von Check24 handelt, aufgrund derer eine Check24-Testredaktion Testsieger Auszeichnungen vergibt.

Anzeige

Der Shopping-Vergleich ist laut Impressum ein Angebot CHECK24 Vergleichsportal Shopping GmbH, die von den Geschäftsführern Dr. Bernhard Langwallner, Dr. Toni Schmidt und Dr. Timm Sprenger geleitet wird.  Die GmbH führt allerdings keine eigenen Tests durch, man führt lediglich Tests, Redaktions- und Usermeinungen auf und bildet daraus eine Bewertung.

Grundsätzlich finde ich einen solchen Meta-Vergleich auch sinnvoll, ermöglicht es den Usern doch, Testberichte in Testpublikationen schnell zu finden, bzw. einen schnellen Überblick über die grundsätzliche Wertigkeit eines Produkte zu bekommen.

Irreführend hingegen finde ich es, wenn Meta-Testportale mit einer „Testsieger“ Auszeichnung den Eindruck erwecken, dass man selber getestet habe. Wenn User nämlich solche Auszeichnungen auf der Seite sehen, sollten sie auch darauf vertrauen können, dass hier wirklich von Check24 getestet wurde.

Beispiel 1: Der Telefonanlagen Testsieger

Die „Check24 Testsieger“ werden nicht in allen Kategorien angezeigt, aber in vielen. Wie z.B. in der Kategorie „Telefonanlagen“ (https://preisvergleich.check24.de/telefonanlagen/). Dort wird dem User die Anlage „Agfeo AS 45“ als Testsieger mit der Note 1,3 präsentiert . Das Siegel selber ist in meinen Augen so gestaltet, dass der User den Eindruck erhalten könnte, dass Check24 selber getestet hat.

Auch auf der Produktseite sehen die User dasselbe Siegel. Erfahrene Verbraucher könnten natürlich stutzig werden, dass auf dem Siegel ein Datum fehlt.

Anzeige

Erst wenn ein User mit der Maus über das Siegel fährt, könnte er erahnen, dass es keinen Check24 Test gegeben hat und demzufolge eigentlich auch kein Testsieger ausgezeichnet werden sollte, bzw. kann. Auf der mobilen Seite wird mir hingegen noch nichtmal so ein „Overlay“ angezeigt. Dort wird das „Testsieger“ Siegel im Bereich „Ihre Vorteile“ ohne weitere Erklärung angezeigt.

Schon hier könnte man eigentlich den Artikel beenden. Wenn man keine Tests durchführt, darf man auch nicht den Eindruck erwecken, man habe Tests durchgeführt. Und das macht man, wenn man Produkte als Testsieger auszeichnet. Ich möchte aber dennoch ein paar weitere Ungereimtheiten aufzeigen, die darlegen sollen, wie unzureichend das „Pseudo-Testsieger-System“ von Check24 ist.

Der „Telefonanlagen-Testsieger“ zeigt z.B. noch einen weiteren Fehler bei den Auszeichnungen: Check24 hat seine „Testsieger“ Auszeichnungen nicht nur auf echten Testberichten echter Publikationen basiert, sondern scheinbar auch auf bloßen „Redaktionsmeinungen“ der „testsieger.de“ Redaktion der „Testsieger.de GmbH“, einer Tochterfirma von Check24.

Diese „Redaktionsmeinungen“ sortiert testsieger.de auf dem eigenen Portal zwar in den Bereich „Testberichte“, laut Facebook Kundenservice von testsieger.de (Februar 2017) basieren diese Meinungen, damals noch „Redaktionsfazit genannt) aber nicht auf echten Tests.

Check24 vergibt hier also einen Testsieger aufgrund einer Redaktionsmeinung der eigenen Tochterfirma aus 2015 und einer Kundenbewertung, die wahrscheinlich von einem amazon.de User und aus dem Jahre 2012 stammt.

Ist das bei Check24 noch Kundeinformation oder Kundendesinformation?

Sucht man bei anderen Meta-Testportalen, entdeckt man durchaus einen Test, bei dem die Anlage getestet wurde und zumindest mit „Gut“ (507 von 600 Punkten) abgeschnitten hat: Bei einer Spezialausgabe der Zeitschrift „Facts“. Allerdings ist dort der Test schon im September 2009 erschienen und dort auch nur auf den zweiten Platz gelandet, hinter dem „Samsung OfficeServ 7100“, der mit „Sehr Gut“ und 566 von 600 Punkten als Testsieger ausgezeichnet wurde. (siehe z.B. testberichte.de)

Beispiel 2: Der „automatische Displayschutzfolien-Testsieger“

Fehler bei einer hohen Anzahl von Produkten und Produktseinen können immer passieren, gerade bei der Zuordnung von externen Testberichten zu Produkten. Wenn man aber in einem solchen automatisierten System Testsieger Auszeichnungen anzeigt, wirken solche Fehler zusätzlich unglücklich. Wie beim „Testsieger“ der Displayschutzfolien: einer Schutzfolie von Hama für das Nokia Lumia 630 bzw. 635. Dort wurde ein Testbericht der Computer Bild aus dem Jahr 2015 falsch zugeordnet. Eigentlich hat Computerbild 2015 das Nokia Lumia 630 getestet und mit der Note „befriedigend“ (2,96) bewertet.

Bei testsieger.de hat allerdings daraus abgeleitet die Displayschutzfolie FÜR das Nokia Lumia 630 den 1. Platz (testsieger.de/testberichte/hama-nokia-lumia-630-635.html), bei Check24 sogar den „Testsieg“ errungen. (preisvergleich.check24.de/displayschutzfolien/hama-nokia-lumia-630-635.html). Zusätzlich komisch wirkt dann auch noch, dass es einen Testsieger mit der recht schlechten Note „befriedigend“ gibt.

Beispiel 3: Noch ein „befriedigender Testsieger“

Getoppt wird der automatische Testsieger dann durch einen ebenfalls „befriedigenden Testsieger“ in der Kategorie „Audiokabel“. (https://preisvergleich.check24.de/audio-kabel/oehlbach-silver-express-plus-composite-audio-kabel-verschiedene-laengen.html). Das „Oehlbach Silver Express Plus Composite Audio Kabel “ schafft es sogar mit der Bewertung 3,5 Testsieger zu werden. Diese Bewertung vergibt Check24 aufgrund eines Berichtes in der Zeitschrift „Stereoplay“ aus 09/2016, in der das Kabel laut Check24 mit „befriedigend“ (3,5) und  50 von 100 Punkten bewertet wurde und die „Preis/Leistung“ Note „sehr gut“ erhalten hat.

Diese Darstellung ist allerdings falsch, ich habe mir den Testbericht gekauft, und zwar aus zwei Gründen:

1. Stereoplay hat bei bei dem Test ein dreigliedriges Testurteil abgegeben, das aus einer Bewertung des Klangcharakters, der Wertigkeit und des Preis-Leistungsverhältnisses besteht. D.h. die Bewertung „Wertigkeit“ ist keine Gesamtnote, sondern nur ein Teil einer letztlich nicht vergebenen Gesamtnote. Diese Wertigkeit bezieht sich aber nur auf die äußere Verarbeitungsqualität, nicht auf den sich ergebenen Klang durch das Kabel. Bei der Wertigkeit hat das Stereoplay-Magazin 5 von 10 Punkten vergeben, was Check24 scheinbar in eine Gesamtnote 50 von 100 Punkten und in die Wertung befriedigend umgemünzt hat. Obwohl es keine Gesamtnote gibt.

2. Die meisten Leute werden „Sehr gut“ bei Tests als die beste Note verstehen. Das trifft auf viele Tests zu, aber nicht auf den von Stereoplay. Dort wurden das Preis-Leistungsverhältnis von 7 von 9 bewerteten Produkten als „Sehr gut“ bezeichnet, zwei Produkte wurden hinsichtlich des Verhältnisses allerdings als besser bewertet: „Überragend“.

Beispiel 4: Der schlechtere Testsieger

Jetzt wird es reichlich kompliziert.

In den Übersichten sieht man manchmal Testsieger, die schlechtere Noten als andere Produkte in derselben Kategorie haben. Im Bereich Bodenstaubsauger ist der „Philips FC8728/09 Performer Expert“ „Check 24 Testsieger“ mit der Bewertung 1,4. Obwohl es in der gleichen Kategorie noch 3 andere Staubsauger mit der Bewertung 1,3 gibt und noch 4 mit der Bewertung 1,4. Diese Bewertungen beziehen sich allerdings ausschließlich auf die Redaktionsmeinung von testsieger.de und und (bis auf ein Produkt) zusätzlichen Kundenmeinungen. Der „Philips FC8728/09 Performer Expert“ hingegen hat zwar nur die Bewertung 1,4, aber die hat er auch bei echten Test von „Das Testmagazin“ bekommen.

Abgeleitet von der Stellungnahme von Check24 ist der Grund dafür wohl, dass ein Produkt nur Testsieger werden kann, wenn es wirklich einmal getestet wurde (Beispiel 1 ist eigentlich ein Gegenbeispiel dafür).

Allerdings heißt das aber Check24 nicht, dass wenn es zumindest einen echten Test gibt, die Redaktionsmeinung von testsieger.de nicht zählt. Das sieht man schön am Kärcher WD 5 P, der scheinbar von „selbst ist der Mann“  in 11/2016 mit 1,0 bewertet wurde, bei dem die testsieger.de Redaktion aber mit einer 1,7 Bewertung „dazwischengrätschte“.

Das heißt: die testsieger.de Redaktionsmeinung ist kein Test und deshalb darf kein Produkt allein damit als Testsieger ausgezeichnet werden, aber wenn es einen Testbericht gibt, wird sie gleichwertig zum anderen Testbericht in die Wertung für einen Testsieger einbezogen. Finde nur ich das verworren? Wer denkt sich denn ein Notensystem aus, bei dem eine 1,4 besser als eine 1,3 ist?

Wenig Glaube ans eigene Punkte bzw. Notensytem beweist Check24 auch bei der Kategorie Reisezoom-Objektive.

Testsieger: „Sony 18 – 135 mm / F 3,5-5,6 Sam (SAL-18135) für Sony A-MountCheck“ mit der Check24 Bewertung 1,8. Das Objektiv „Olympus 40-150 mm / F 2,8 M.ZUIKO DIGITAL ED PRO“ hat allerdings die Check24 Bewertung 1,6.

Merkwürdig. Beide sind aber auch von der Stiftung Warenteste getestet. Der TESTSIEGER in 03/2013 mit 2,5, der das andere Objektiv laut Check24  in 07/2017 mit 2,1. Der TESTSIEGER auch in Chip Foto Video in 07/2016 mit der Bewertung 1,7, das andere Objektiv ebenfalls in Chip Foto Video, 2 Monate später und mit der besseren Bewertung 1,6. Bei beiden Objektiven werden 11 Testberichte aufgeführt, beim Testsieger erreichen diese die Teilnote 1,9, beim anderen Objektiv erreichen die 11 Testberichte die Teilnote 1,7. Vielleicht sind ja die Kundenmeinungen wichtiger? Beim Testsieger gibt es 48 Kundenmeinungen mit der Teilnote 1,5, beim anderen Objektiv nur 11 Kundenbewertungen mit der Teilnote 1,3. Ist die Anzahl der Kundenbewertungen so mächtig oder hat hier der Check24 Testsieger Algorithmus einfach einen mächtigen Fehler gemacht?

Bitte um Stellungnahme

Bei vielen anderen als „Testsieger“ ausgezeichneten Produkten handelt es sich aber durchaus um Produkte, die von seriösen Testmagazinen und -portalen auch mit sehr guten Noten ausgezeichnet worden sind. Aber bei allen gab es keinen Check24 Test, was Check24 nach einer Anfrage auch in einer Stellungnahme vom 30.06.2017 bestätigt (Markierung in fetter Schrift durch mich):

„Als Vergleichsportal ermöglicht CHECK24 Shopping Verbrauchern einen kostenlosen Überblick über Preise, Anbieter und Testberichte von Produkten aus über 500 Kategorien. Auf der Seite werden die Testberichte und Meinungen aus Hunderten von Online und Offline Quellen aggregiert und die unterschiedlichen Bewertungsschemata auf ein einheitliches Schulnotensystem normiert. Zu den Quellen gehören auch Meinungen und Tests der testsieger.de-Redaktion, die als solche gekennzeichnet sind. Die testsieger.de-Redaktion verfasst neben Meinungen auch Berichte zu eigenen Produkttests (Beispiele findet man u.a. hier: https://www.testsieger.de/testportal/). Als Testsieger in einer CHECK24 Kategorie wird jeweils das Produkt mit der besten CHECK24 Note markiert. Dabei werden ausschließlich Produkte berücksichtigt, bei denen mindestens eine Quelle einen physischen Produkttest durchgeführt hat. CHECK24 führt keine eigenen Produkttests durch. Details zur Zusammensetzung der Note werden angezeigt, wenn der Nutzer mit der Maus über das Notensiegel fährt.

Als Testberichte-Aggregator grenzt sich CHECK24-Shopping ausdrücklich gegenüber irreführenden Testberichtsseiten ab, die eigene Tests suggerieren. Auch die Stiftung Warentest unterscheidet diese beiden Website-Kategorien und erkennt Aggregatoren im Rahmen des Zitatrechts als rechtlich einwandfreie Verbraucherinformation an (ein beispielhaftes Zitat dazu findet man hier: https://www.teltarif.de/vergleichsportal-vzbv-kunden-recht-test/news/68470.html).“

Fazit und Kommentar zur Stellungnahme

Check24 tut sich selber keinen Gefallen, automatisch Testsieger zu erzeugen, die es gar nicht gibt. Die Stellungnahme zeigt leider wenig Einsicht in dieses doch heikle Thema. Ich verstehe persönlich nicht, warum Check24 nicht einfach Punkte vergibt und ein Check24 Ranking erstellt. Das wäre doch transparenter und vor allem: seriös.

Dass man bei Check24 auf höchster Ebene die eigenen Fehler im System nicht kennt und deshalb fehlerhafte Aussagen trifft, ist kein Beinbruch, aber man sollte doch die eigenen Aussagen noch einmal hinterfragen, die auf dem jetzigen Stand der Technik nicht immer zutreffen.

„Als Testsieger in einer CHECK24 Kategorie wird jeweils das Produkt mit der besten CHECK24 Note markiert.“

Nicht immer zutreffend, siehe Beispiel 4. Dort hat ein anderes Produkt (mit mindenstens einem Test) eine bessere Check24 Note und trotzdem wird eine anderes Produkt „Testsieger“ (Reisezoom-Objektive).

„Dabei werden ausschließlich Produkte berücksichtigt, bei denen mindestens eine Quelle einen physischen Produkttest durchgeführt hat.“

Nicht immer zutreffend, siehe Beispiel 1. Dort hat das Produkt, zumindest im Check24 System, keine Testbewertung einer Quelle, die einen physischen Produkttest durchgeführt hat. Denn es liegt nur eine Meinung der testsieger.de Redaktion vor.

Ein ähnliches Beispiel hatte ich Check24 bei meiner Anfrage auch übermittelt. Einen „Testsieger“ bei Seniorenhandys. (https://preisvergleich.check24.de/seniorenhandys/doro-5030.html) Auch dort war nur eine Meinung der Testsieger.de Redaktion auffindbar.  Die Testsieger Auszeichnung ist nach meiner Anfrage allerdings verschwunden.

Screenshot vom 29.06.2017

Genauso wie folgende Testsieger verschwunden sind, bei denen es auch nur eine Meinung der testsieger.de Redaktion gab.

https://preisvergleich.check24.de/analog-telefone/panasonic-kx-tg6591.html

Screenshot vom 29.06.2017

https://preisvergleich.check24.de/isdn-telefone/agfeo-systemtelefon-st-42-silber.html

Screenshot vom 29.06.2017

https://preisvergleich.check24.de/voip-headsets/logitech-pc-headset-960-usb.html

Screenshot vom 29.06.2017

 

4 von 9 Testsiegern, nach denen ich mich bei meiner Anfrage erkundigt habe, sind also innerhalb der letzten Tage verschwunden. Hätte man hier nicht einfach in der Stellungnahme darauf eingehen können? So wirkt die Stellungnahme doch sehr intransparent auf mich.

Dass die Produkte Ihre Testsieger Auszeichnung verloren haben, kann natürlich auch daran liegen, dass sie durch ein dynamisches Verfahren (neue Kundenbewertungen und dadurch ein neuer Schnitt) neu bewertet worden sind. Aber macht das Sinn? Ich denke nicht.

Meine Bitte an die Check24-Manager: fragen Sie sich doch mal selber, wo wir denn hinkommen, wenn sich jedes Meta-Testportal oder jeder Online-Shop aus fremden Bewertungen Testsieger basteln würde. Löschen Sie die „Testsieger“, denn es sind keine Testsieger. Auch wenn Sie noch so fest daran glauben. Sie dürfen „Top-Produkt“ Auszeichnungen vergeben, „die Check24 Nr. 1“, den „Liebling der Woche“ oder das „Produktbienchen des Monats“. Aber solange Sie keine eigenen Tests machen, lassen Sie doch die Testsieger-Siegel lieber in der Schublade stecken.

Leave a Reply