TU Dortmund vergleicht Ergebnisse der Stiftung Warentest mit Sternvergabe bei Amazon

Tester und Kunden kommen oft zu unterschiedlichen Bewertungen

Pressemitteilung der Stiftung am 25. Februar 2018

Wissenschaftler der Tech­nischen Universität Dort­mund haben Bewertungen für 1 322 Elektronik­produkte wie Smartphones, Kopf­hörer und Toaster verglichen, die von der Stiftung Warentest in den Jahren 2014 bis 2017 geprüft wurden und bei Amazon Rezensionen erhielten. Fazit: Tester und Kunden kommen oft zu ganz unterschiedlichen Bewertungen. Uns wundert das nicht. Hier erklären wir, warum.

Zum Vergleich: Die Süddeutsche Zeitung hat die Pressemitteilung der Warentester zur Grundlage weiterer Recherchen genommen und diesen Beitrag am 26. Februar 2019 veröffentlicht.

 Man weiß nie, was man kriegt!

Beim Internet­shopping ist es wie mit der berühmten Pralinenschachtel von Filmheld Forrest Gump: Man weiß nie, was man kriegt! Die Ware lässt sich nur auf Fotos bestaunen und nicht anfassen. Weit und breit kein Verkäufer, der berät. Bloß gut, dass es Produktbe­wertungen gibt – neben denen der Stiftung Warentest auch solche von Kunden, die den Artikel gekauft und ausprobiert haben. Bei Internethändler Amazon etwa lassen sich Produkte auf einer Skala von bis zu fünf Sternen bewerten, ein Stern bedeutet Murks, fünf Sterne Topqualität. Viele Kauf­interes­senten orientieren sich daran.

Neutral statt emotional

Nur in knapp einem Drittel der Fälle ist unser Testsieger auch das Produkt mit der besten Amazon-Bewertung. Die Macher der Studie „Should We Reach for the Stars?“ (Sollten wir nach den Sternen greifen?) – an der wir als Stiftung übrigens nicht beteiligt waren – kommen zu dem Schluss, dass sich Sterne-Bewertungen von Amazon nicht gut eignen, um die Qualität eines Produkts einzuschätzen. Aus unserer Sicht ist es völlig logisch, dass sich Kundenbe­wertungen und Urteile der Stiftung Warentest unterscheiden. Denn unser Warentest ist ganz anders gestrickt als eine Kundenrezension.

So gegen­sätzlich sind Test­urteile und Amazon-Sterne

Wie gravierend der Unterschied zwischen test-Qualitäts­urteil und Kundenbe­wertung sein kann, zeigen wir an drei Beispielen: einem schwächelnden Drucker, einer unsicheren Über­wachungs­kamera und einem brandgefähr­lichen Haarglätter – alle drei Geräte erhielten mindestens vier Sterne auf Amazon.

Das Mittel­maß ist bei Amazon unterre­präsentiert

Internet­shopper äußern sich oft emotional und vertreten häufig extreme Meinungen zu den gekauften Produkten. Wer sich den Aufwand macht, eine Rezension zu schreiben, hat sich meist über eine Ware wahn­sinnig gefreut oder geärgert. Das Mittel­maß ist in vielen Sterne-Bewertungen unterre­präsentiert. Die Stiftung Warentest prüft dagegen nach wissenschaftlichen und trans­parenten Kriterien. Unsere Tester bevor­zugen keine bestimmte Marke und sind nicht sauer, weil die teure Neuanschaffung nicht ihren Vorstel­lungen entspricht. Außerdem bewerten wir in einem Test mehrere Geräte unter­einander, unsere Urteile sagen auch etwas darüber aus, wie gut etwa ein Radio im Vergleich zu anderen getesteten Radios ist.

Laien stoßen an Grenzen

Manche Produkt­eigenschaften können Laien zudem gar nicht selbst prüfen. Im Labor zerlegen wir zum Beispiel Kopf­hörer und unter­suchen sie auf Schad­stoffe. Unsere IT-Cracks entschlüsseln den Daten­strom von Baby-Webcams und probieren aus, ob Fremde die Videos abfischen können. Ingenieure nehmen in unserem Auftrag die elektrische Sicherheit von Haartrock­nern unter die Lupe. Ottilie und Otto Normal fehlt hier die Expertise.

Kundenbe­wertungen vs. Test­urteile Special

Zerschnittene Kopf­hörer. Für unseren Schad­stoff­test entfernen wir Proben vom Ohrmuschelbe­zug und analysieren sie im Labor. Laien können nicht beur­teilen, ob ein Kopf­hörer krebs­er­regende Stoffe enthält.

Von den Sternen nicht blenden lassen

Nützliche Hinweise liefern Kundenkritiken dennoch – etwa zur Alltags­tauglich­keit der Produkte. Wir raten aber, ganz genau hinzusehen und sich nicht von den ange­zeigten Sternen blenden zu lassen. Das kann daneben­gehen, wie im Falle eines Toasters, der zum Zeit­punkt der Recherche von 442 Amazon-Kunden mit vier Sternen bewertet wurde. Unter den Rezensionen sind 56 mit nur einem Stern, sie enthalten Kritik­punkte wie „kaputt“ oder „nach einem Monat defekt“. 19 weitere unzufriedene Rezensenten vergeben zwei Sterne. 75 von 442 Käufern sind also vom Gerät enttäuscht, dennoch erhält es vier Amazon-Sterne.

So filtern Sie hilf­reiche Rezensionen heraus

Kundenrezensionen sind hilf­reich, wenn man sie richtig nutzt. Lesen Sie quer­beet – egal ob positive, neutrale oder negative Kritik. Nur so erhalten Sie einen Eindruck von der Produktqualität. Einige Kniffe erleichtern die Kauf­entscheidung:

Mängel suchen. Lassen Sie sich nicht von vielen positiven Bewertungen beein­drucken. Suchen Sie bei den negativen Kritiken nach Über­einstimmungen. Klagen mehrere Nutzer über denselben Mangel, ist das ein Indiz für eine Schwach­stelle am Produkt.

Gezielt abklopfen. Fahnden Sie über die Such­funk­tion Ihres PCs oder Handys in den Kommentaren nach Schlagwörtern, die Ihnen wichtig sind. Etwa nach dem Begriff „kaputt“, wenn Sie heraus­bekommen wollen, wie lange die Ware gehalten hat.

Gekonnt aussieben. Blenden Sie im Kopf Bewertungen wie „Ware flott geliefert“ aus. Sie beein­flussen die Sterne-Berechnung, sagen aber nichts über die Qualität des Produkts aus.

Täuschungen erkennen. Vorsicht bei besonders langen Bewertungen, üblicher­weise haben Käufer dafür keine Zeit und halten sich kurz. Bezahlte Rezensenten schildern die Ware dagegen gern ausführ­lich. Klingt eine Formulierung merkwürdig, geben Sie sie in eine Such­maschine ein – taucht sie im selben Wort­laut auch bei anderen Produkten auf, ist das sehr verdächtig. Klicken Sie auf das Amazon-Profil eines zweifelhaften Rezensenten, dort lassen sich seine übrigen Kritiken einsehen. Wer etwa in einem Monat zehn Handys bewertet, ist sehr wahr­scheinlich kein gewöhnlicher Verbraucher.

Amazon bildet keinen Durch­schnitt

Wir haben bei Amazon nachgefragt, wie die Gesamt­zahl der Sterne zustande kommt. Die Antwort: Amazon rechnet anstelle des Durch­schnitts mit einem Modell, das verschiedene Kriterien berück­sichtigt – etwa wie alt eine Bewertung ist, wie nützlich andere Kunden eine Kritik fanden, ob es sich um einen verifizierten Kauf handelt und wie authentisch Rezensenten wirken.

Kundenbe­wertungen vs. Test­urteile Special

Amazon klärt auch auf seiner Internetseite über die Zusammenset­zung der Gesamt­sterne-Bewertung auf. Leicht zu finden ist die Info nicht. Links neben den aktuellsten Kundenbe­wertungen steht diese Sterne­über­sicht, wer mit der Maus über den kleinen Pfeil fährt, erhält Auskunft.

Manchmal trügt der Schein

Grund­sätzlich gilt: Vertrauen Sie eher negativen Kundenrezensionen, positive werden häufiger manipuliert. Die britische Verbraucher­organisation Which deckte auf, dass selbst Amazon-Kritiken mit dem Hinweis „verifizierter Kauf“ nicht echt sein müssen (Gefakte Amazon-Rezensionen). Firmen hatten Amazon-Kunden über das soziale Netz­werk Facebook angeworben und dafür bezahlt, bestimmte Produkte zu kaufen und mit fünf Sternen zu bewerten.

Das könnte Sie auch interessieren 
Testportale
Gefälschte Test­ergeb­nisse und Tests, die es nie gab

Im Internet gibt es Tests zu allem und jedem – viele angeblich original von der Stiftung Warentest. Aber Zuckerdosen, Zwiebeltöpfe, Zigarren­schneider? Das haben wir nie untersucht. Dennoch präsentieren Seiten wie eburg.de Bestenlisten. Andere Portale fälschen dreist die Qualitäts­urteile der Stiftung Warentest und machen aus einem mangelhaften Produkt ein empfehlens­wertes.

Zur Meldung
Gefakte Amazon-Rezensionen
Firmen bezahlen Kunden für gute Noten

Viele verlassen sich beim Einkaufen im Internet auf Nutzerbe­wertungen. Doch oft sind diese scheinbar persönlichen Erfahrungs­berichte von Anbietern gekauft, wie eine Unter­suchung unserer britischen Part­ner­organisation Which zeigt. Die Anbieter tun einiges, damit gekaufte Kundenrezensionen authentisch wirken.

Zur Meldung