Daten sind der Schlüssel zur Entscheidungsfindung in vielen Bereichen – sei es im Online Marketing, in der Wissenschaft oder in der Wirtschaft.
Doch wenn wir uns bei der Datenauswertung irren, können unsere Entscheidungen weitreichende Konsequenzen haben. In meinem Google Trends Artikel habe ich gezeigt, wie schwierig es sein kann, Daten richtig zu interpretieren.
Aber keine Sorge, in diesem Artikel werde ich dir helfen, typische Fehlschlüsse zu vermeiden und bessere Entscheidungen auf der Grundlage von Daten zu treffen.
Inhaltsverzeichnis
Das Wichtigste in Kürze zusammengefasst:
- Jede Korrelation sollte kritisch bewertet werden, da Korrelation und Kausalität nicht dasselbe sind und zu falschen Annahmen führen.
- Oft werden falsche Datensätze verwendet, die nicht im Kontext betrachtet werden. Dies führt zu falschen Schlussfolgerungen. Das Simpson Paradox spielt hier oft eine Rolle.
- Durchschnittswerte sind gefährlich, weil sie oft wichtige Details ausblenden. Daten sollten immer differenziert und im Kontext betrachtet werden.
- Man sollte nicht zu lange nach einer Lösung suchen, aber oft lohnt es sich, über den Tellerrand zu schauen und nicht die erste Lösung als einzige Lösung zu sehen.
Problem #1: Korrelation != Kausalität
Zur Einordnung möchte ich kurz definieren, was Korrelation und Kausalität sind.
Korrelation beschreibt die Stärke des Zusammenhangs zwischen zwei Variablen. Sie kann positiv oder negativ sein.
Eine positive Korrelation besagt, dass wenn eine Variable X steigt, dann steigt auch eine Variable Y. Umgekehrt kann es auch sein, dass die Zunahme der Variablen X zu einer Abnahme der Variablen Y führt. Dies wird als negative Korrelation bezeichnet.
Kausalität hingegen drückt eine eindeutige und wechselseitige Beziehung zwischen zwei Variablen aus. Beispielsweise steigt die Variable X und aufgrund des Ursache-Wirkungs-Verhältnisses steigt auch die Variable Y.
Das Problem: Korrelation und Kausalität werden oft synonym verwendet, obwohl es sich um unterschiedliche Beobachtungen handelt.
Nur weil etwas korreliert, muss es noch keinen eindeutigen statistischen Zusammenhang geben, der beschreibt, dass die beiden Variablen sich gegenseitig bedingen.
Wenn dem so wäre, dann müssten wir mehr Schokolade essen, weil dies mit der Anzahl der Nobelpreisträger pro Land korreliert.
Oder der Konsum von Margarine, der zu Scheidungen führen könnte.
Natürlich sind solche Korrelationen keine Kausalzusammenhänge. Dennoch lese ich sie immer wieder und ertappe mich dabei, wie ich selbst dieser Bananenschale zum Opfer falle.
Zum Beispiel glaubte man lange Zeit, dass Nutzersignale wie Bounce Rate und Avg. Time on Site Metriken sind, die Google als Ranking-Faktoren verwendet. Dafür gibt es jedoch keine konkreten Belege.
Bei der Avg. Time on Site kann Google jedoch messen, wie lange es dauert, bis Nutzerinnen und Nutzer wieder in den Suchergebnissen sind und weitersuchen.
Auch der Irrglaube, die Anzahl der Wörter sei ein Ranking-Faktor, wurde von John Müller offiziell widerlegt. Die Anzahl der Wörter korreliert zwar mit einem guten Ranking, aber das ist noch keine Kausalität und die Anzahl der Wörter ist daher kein Ranking-Faktor.
Was aber logisch ist: Ein längerer Artikel kann ein Thema ganzheitlicher abdecken und mehr Relevanz für eine bestimmte Suchanfrage aufbauen. Hier eine Korrelation abzuleiten, ist also nicht abwegig.
Ähnlich wie die Meta Description handelt es sich nicht um einen direkten Ranking-Faktor. Trotzdem spielt es für die Suchmaschinenoptimierung und die Nutzererfahrung eine Rolle, wie kurz oder lang ein Artikel ist.
Natürlich gibt es auch andere Faktoren, bei denen die Annahme einer Kausalität sinnvoll erscheint. Domains mit vielen verweisenden Domains haben tendenziell ein besseres Ranking in den Suchergebnissen. Das ist logisch, denn Signale wie Backlinks und Erwähnungen sind Signale bzw. Stimmen für Google, dass ein Inhalt gut und beliebt ist.
Problem #2: Die Verwendung falscher Datensätze
Fehlschluss Nummer #2, den ich oft beobachte, ist die Verwendung falscher Datensätze.
Wann kann das ein Problem sein? Wenn wir uns einen allgemeinen Datensatz ansehen anstatt zu segmentieren. Viele kennen das: Segmente sind ein guter Freund in den Analysewerkzeugen unserer Wahl.
Wir können uns beispielsweise anschauen, wie sich User:innen von mobilen Endgeräten im Vergleich zu anderen Devices schlagen.
Auch unterschiedliche Channels, Quellen, etc. kann man sich im Vergleich anschauen. Oder man wirft einen Blick auf die neuen vs. die rückkehrenden Nutzer:innen.
Was hier oft zu beobachten ist: Nutzer:innen, die meine Website bereits kennen, schauen sich mehr Inhalte an, sind länger auf der Seite und im Fall von E-Commerce Websites kaufen sie häufiger, als neue Besucher:innen.
Problematisch wird es, wenn Daten ohne Kontext betrachtet werden und man den eigenen Hausverstand nicht einsetzt. Man spricht bei diesen Dingen auch vom Simpson Paradox.
Dieses tritt auf, wenn es Faktoren gibt, die das Ergebnis beeinflussen können. Zum Beispiel Alter, Geschlecht, sozialer Status, Beziehung zum Unternehmen usw.
Betrachtet man also die Stichprobe nach weiteren Variablen, kommt man bei der Interpretation der Daten zu anderen Ergebnissen.
Weil es bereits angesprochen wurde, hier ein exemplarisches Beispiel für neue vs. rückkehrende Nutzer:innen:
Folgende Zielsetzung wird aufgestellt: Wir müssen mehr Umsatz generieren und versuchen neue Kunden zu gewinnen. Aktuell haben wir eine Conversion Rate von 3% und einen ROAS von durchschnittlich 3,5.
Um das Ziel zu erreichen, wird eine Kampagne gestartet, die Neukunden anspricht.
Nach der Durchführung der Kampagne sinkt die Conversion Rate auf 2,5% und der ROAS hat sich auf nur noch 3,0 verschlechtert.
Fazit: Die Kampagne ist gescheitert. Oder doch nicht?
Wenn man die Zahlen basierend auf neuen und wiederkehrenden Nutzer:innen analysiert hätte, würde man feststellen, dass die Conversion Rate bei wiederkehrenden Nutzer:innen höher ist als bei neuen Besucher:innen.
Das ist auch logisch. Wenn nun aber durch die bezahlte Kampagne viele neue Nutzer:innen auf die Seite kommen, sinkt der relative Anteil der rückkehrenden Nutzer:innen und damit auch die Conversion Rate insgesamt. Es wurde nur das Verhältnis aus neuen und rückkehrenden Nutzer:innen verschoben.
Auch in der SEO-Welt gibt es Beispiele, warum auf einzelne Segmente zurückgegriffen werden sollte. Eine der wichtigsten Komponenten für das Ranking ist der Content und dessen Qualität. Der Content soll bei nachfrageoptimiertem Content Marketing in der Regel für bestimmte Schlüsselbegriffe organische Rankings aufbauen.
Das Ziel: Wir wollen mehr organischen Traffic.
Die Lösung: “Wir müssen auf Platz 1 ranken”.
Das Problem: Was ist, wenn Platz 1 gar nicht zu Klicks führt oder nur zu wenig Klicks?
“Ja aber die durchschnittliche Klickrate auf Platz 1 ist doch fast 30%?”
Das stimmt, aber das gilt für den Durchschnitt aller untersuchten Keywords. Für die Keywords, für die man ranken möchte, muss man sich andere, spezifischere Datensätze ansehen.
Nicht alle organischen Suchanfragen können so großzügige CTRs der organischen Ergebnisse vorweisen. Es gibt viele Suchen, in denen überhaupt nicht geklickt wird. Dies wird als Null-Klick-Suche oder Zero-Click-Search bezeichnet.
SEMRush hat kürzlich eine umfangreiche Studie zu diesem Thema veröffentlicht. Zwischen Desktop und Mobile liegt der Anteil an Zero-Click Suchergebnissen bei ca. 17-26%.
Das Suchergebnis für “average organic ctr position 1” ist vermutlich auch ein Suchergebnis, auf das häufig nicht geklickt wird, da hier ein Featured Snippet ausgespielt wird.
Was auch noch nicht geklärt ist: Wie wirken sich Chat Bots auf diese Zahlen aus?
Hier hat Microsoft aber verkünden lassen, dass dies in naher Zukunft der Fall sein wird, da diese Zahlen Teil der Bing Webmaster Tools werden sollen.
Ein weiterer Fall, in dem rein organische Platzierungen weniger Klicks erhalten, sind Suchanfragen, in denen viele SERP Features ausgespielt werden. Damit sind Suchen gemeint, die andere Elemente außer den 10 blauen organischen Links präsentieren.
Google ist hier verstärkt bemüht, die Suchergebnisse dynamischer zu gestalten, um den Search Intent optimal zu befriedigen. Daher kann es sein, dass die organischen blauen Links weit nach unten geschoben werden.
Das Beispiel zeigt das Suchergebnis für das Keyword “kücheneinrichtung”. Was man schnell feststellt: Auf meinem Desktop PC und meinem großen Monitor kann ich die organischen Ergebnisse kaum sehen. Gerade mal ein Link ist unten wenig prominent vorzufinden.
Die Folge: Die anderen Elemente in den Suchergbnissen sind optisch deutlich prominenter und werden dementsprechend auch häufiger angeklickt.
Ein allgemeines Gefühl, wie sehr sich die CTR verändert, wenn mehr als nur organische Ergebnisse angezeigt werden, kann man sich bei Advanced Web Ranking holen.
Das oben gezeigte Beispiel enthält neben den organischen Ergebnissen auch Bilder, ein Local Pack, "Nutzer fragten auch" und Produkte. Da die Bilder in diesem Beispiel deutlich mehr Platz einnehmen als im Durchschnitt, würde ich hier von einer CTR von unter 10% bei einem organischen Ranking auf Platz 1 ausgehen.
Hier macht es dann auch wenig Sinn, die Keywords nach ihrem Ranking zu bewerten, sondern auf andere Metriken zurückzugreifen. Gut geeignet ist beispielsweise der Pixel Rank. Mit diesem wird berechnet, wie viele Pixel ein Ergebnis unter dem Anfang der Suchergebnisse liegt.
Je nach Endgerät wird es hier Unterschiede geben. Als Basis sollte man daher den individuellen Pixel Rank für feste Bildschirmgrößen berechnen, also bspw. einmal für Mobile und einmal für Desktop.
Was man sich aber auch fragen sollte: Wie kann ich mich in den anderen Features der Suche positionieren? Denn dass Google und andere Suchmaschinen solche Integrationen ausspielen, hat damit zu tun, dass Nutzer:innen bestimmte Erwartungen an ihre Suche haben.
Problem #3: Analyse von Durchschnittswerten
Durchschnittswerte können ein weiteres Problem darstellen.
Ein Beispiel: Wir betrachten Personen mit einem Durchschnittsalter von 35 Jahren.
An sich eine gute Idee, wenn das z.B. die Zielgruppe sein soll. Dumm nur, wenn in einem Topf Personen landen, die sehr alt, sehr jung oder genau 35 Jahre alt sind und im Durchschnitt eben 35 Jahre herauskommen.
Oder alle relevanten Keywords in einem Topf inkl. durchschnittlichem Ranking. Sagen wir mal das liegt bei #5.
Was ist nun, wenn einige dieser Keywords Platzierungen Richtung #10 und schlechter haben, dies aber wichtige Keywords sind? Hier fehlt die Differenzierung, dass einige Suchbegriffe mehr Wert haben als andere.
Natürlich ist dies stark vereinfacht und dennoch gibt es viele solcher problematischer Beispiele.
Schon in den späten 1940er Jahren hat die US Army versucht, ein Cockpit für alle Flugzeuge zu bauen, das eine allgemeine Durchschnittsgröße von Piloten verwenden sollte.
Das hat überhaupt nicht funktioniert.
Diese Aussage ist mir besonders im Gedächtnis geblieben:
If you’ve designed a cockpit to fit the average pilot, you’ve actually designed it to fit no one.
Ein weiteres Beispiel aus dem SEO-Bereich sind Sichtbarkeitsindizes. Grundsätzlich habe ich kein Problem mit diesen Metriken. Aber die durchschnittliche Sichtbarkeit sagt nichts aus, wenn sie ohne Kontext betrachtet wird.
Der eigentliche Sichtbarkeitsindex, den man sich anschauen sollte, bezieht sich idealerweise auf das für mich relevante Keyword-Set. Wenn ich z.B. Schrauben verkaufe und damit mein Geld verdiene, brauche ich keine Rankings für “Was ziehe ich am ersten Arbeitstag an”.
Es geht also vor allem darum, Daten im richtigen Kontext und differenziert zu betrachten. Wie bereits bei Problem #2 beschrieben, kann dies z.B. über Segmente erfolgen.
Problem #4: Die erste Lösung ist nicht (immer) die beste Lösung
Context is King (oder: der Kontext ist König).
Eigentlich kennt man dieses Zitat in einem anderen Kontext (sorry, der musste sein), aber wenn es um Daten geht, passt das hier glaube ich besser.
Oft gibt es diese beiden Fälle:
- Die erste Lösung ist die beste und einzige Lösung
- Vieles ist zu offensichtlich, um die richtige Lösung zu sein
Beides kann problematisch sein.
Wenn der Kontext fehlt, wird die gleiche Situation völlig anders bewertet. Oder man versucht vorschnell, eine Lösung zu finden und kommt dadurch möglicherweise zu falschen Schlussfolgerungen.
Ein interessantes Beispiel hierfür ist im Buch “How Not To Be Wrong” zu finden. Im Zweiten Weltkrieg wurden getroffene Flugzeuge, die es zurück in die Heimat geschafft hatten, analysiert. Dabei wurden die häufigsten Trefferzonen ermittelt.
Die Schlussfolgerung: Da wo die Flugzeuge am häufigsten getroffen werden, sollte verstärkt werden. Das war aber nur die erste und möglicherweise nicht richtige Lösung. Das nennt man den Survivorship Bias. Die Frage, die eigentlich gestellt werden sollte, lautet: Was ist mit den Flugzeugen, die nicht zurückgekommen sind?
Es ging um den Motor. Wenn der Motor getroffen wird, ist die Wahrscheinlichkeit gering, dass das Flugzeug nicht abstürzt. Die richtige Schlussfolgerung ist also:
Wir müssen versuchen, die schwächsten Bereiche zu verstärken, damit mehr Flugzeuge nach Hause kommen.
Um dies auf die Welt des digitalen Marketings zu übertragen, hier ein einfaches Beispiel:
- Wir haben aktuell eine Conversion Rate von 2% und werben in Google Ads und Meta (Facebook & Instagram)
- Unser Ziel ist es, dass unsere bestehenden Kunden zufrieden sind
- Um Wiederholungskäufe auszulösen, nutzen wir Remarketing Ads
- Wir stellen uns die Frage: “Wie können wir unsere Conversion Rate noch weiter steigern?”
Eine mögliche Antwort wäre nun, dass wir mit unseren aktuellen Kunden sprechen und versuchen herauszufinden, was sie noch zufriedener machen könnte.
Das ist an sich keine schlechte Idee. Aber was ist mit den 98%, die noch nicht konvertiert sind? Vielleicht macht es auch Sinn, die mal zu befragen, um die Konversionsrate insgesamt zu erhöhen.
Es geht also oft auch darum, über den Tellerrand zu schauen, um bisher ungenutzte Potenziale zu nutzen, die nicht immer auf der Hand liegen.
Augen auf und Kopf einschalten bei der Datenauswertung
Es gibt Fettnäpfchen bei der Datenauswertung, in die man besser nicht tritt.
Große Medienportale veröffentlichen oft reißerische Schlagzeilen. Das gilt auch für digitales Marketing und SEO.
Viele Einzelaussagen werden ohne Kontext weitergegeben und sind unter anderem ein Grund, warum sich bis heute so viele Mythen gehalten haben.
Ich persönlich bringe oft eine gewisse Grundskepsis mit und versuche, mir ein Thema auch genauer anzuschauen. Vor allem, um zwei Dinge zu vermeiden:
- Falsche Fakten aufzugreifen und in meinem Kopf zu speichern und
- mir keine eigene Meinung zu bilden
In einer Welt, die von Daten und Informationen dominiert wird, ist es entscheidend, eine kritische Haltung zu bewahren und sich nicht von vermeintlichen Wahrheiten blenden zu lassen.
FAQ zu Fehlschlüssen bei der Datenauswertung
Korrelation beschreibt die Stärke des Zusammenhangs zwischen zwei Variablen. Diese kann sowohl positiv, als auch negativ sein.
Kausalität ist die Beziehung zwischen Ursache und Wirkung.
Nur weil etwas korreliert, muss es keine eindeutige Bedingung einer Variable zu einer anderen Variable geben.
