Tipps gegen Test-Fallen

Klare Definition des Tests

Stell ganz am Anfang eine Hypothese auf, die möglichst wenige Variablen enthält („Rote Buttons werden häufiger geklickt als meine derzeitigen grauen Tasten“). Wenn du größere neue Pakete prüfen möchtest, versuch, diese in Einzelteile zu zerlegen. Ist dies nicht möglich, empfiehlt sich auf jeden Fall die Interview-Methode statt vieler A/B-Tests.

Während des Tests nichts verändern

Ist der Test gestartet, verändere nichts mehr. Wenn du beispielweise während der Testphase ein attraktives Sonderangebot platzierst, kann es sein, dass es häufiger gekauft wird – unabhängig von der Optimierung, die du testen wolltest. Solltest du bemerken, dass irgendetwas schief läuft, brech ab und starte neu. Ansonsten erhältst du Ergebnisse unter verschiedenen und somit falschen Voraussetzungen.

Testergebnisse richtig interpretieren

Bei Interviews ist die Auswertung meist nicht schwer. Die Aussagen der Testpersonen stehen für sich und man kann in der Regel direkte Schlussfolgerungen ableiten. Bei A/B-Tests erhältst du eine Statistik – und die ist oft breiter interpretierbar.

Grundsätzlich kannst du nicht damit rechnen, dass ein gemessener positiver Effekt („Rote Buttons werden dreimal häufiger geklickt.“) den gleichen „Uplift“ (Tester-Jargon) im späteren Betrieb erzeugt. Auch Profis können nicht genau erklären, woran dies generell liegt, – es hängt tatsächlich oft vom Einzelfall ab.

Daher stellt sich immer die Frage, ab welchem positiven Wert sich eine Umstellung aufgrund der Testergebnisse lohnt. Eine Faustregel hierfür gibt es nicht, da ist dein Fingerspitzengefühl gefragt.

Nicht zu viel erwarten: Ein einzelner Test macht noch keine Super-Seite

Oft beobachtet man nach Einführung einer Neuerung, dass sich der positive Effekt nach einiger Zeit abschwächt. Web-Seiten scheinen eine Art „Mittelpunkt“ zu haben, zu dem sie nach einiger Zeit zurückkehren. Nur durch beständige Optimierung kann dieser Mittelwert gehoben werden. Eine Einzelmaßnahme verpufft über längere Zeit.

Ein einzelner Test macht also noch keine Super-Seite. Regelmäßige und klug geplante Tests aber schon.