Web-Metriken spielen für Marketing und Vertrieb eine wichtige Rolle. Beispielsweise lässt sich mit Analyse-Software wie Google Analytics Webseiten-Traffic „messen“. Es gibt eine Vielzahl unterschiedlicher Messwerte – oder neudeutsch: Metriken, die per Mausklick blitzschnell abrufbar sind.
Zugleich existieren unzählige Blog Posts, die sich mit solchen quantitativen Werten befassen. Gelegentlich kann man den Eindruck erhalten, dass diese Metriken echte „Super-Tools“ sein müssen. Sie stehen in Sekundenschnelle praktisch kostenlos zur Verfügung und sind, so scheint es, geeignet, Buyer Personas zu bilden, Landing Pages zu optimieren, Webseiten-Traffic zu erhöhen, Google-Rankings zu verbessern und und und.
In diesem Blogbeitrag werfen wir einen nüchternen Blick auf gängige Web-Metriken. Eines gleich vorweg: Diese simplen mathematischen Entitäten sind für Marketing und Vertrieb durchaus wertvoll. Aber kleine, problemlösende Superhelden sind sie beileibe nicht.
Web-Metriken sind Summen oder Quotienten
Web-Metriken sind quantitative Werte, entweder
- Summen (z. B. Visits bzw. Sessions) oder
- Quotienten (z. B. Pages/Session oder %Exit [Ausstiegsrate]).
Visits bzw. Sessions geben die Anzahl an Webseiten-Besuchen für einen ausgewählten Zeitraum (z. B. die letzten 30 Tage) an. Pages/Session ist der Quotient aus der Anzahl der aufgerufenen Seiten und der Anzahl der Sitzungen.
Angenommen, eine Webseite hat zehn verschiedene Seiten und jede ist mit einem Tracking-Code versehen. Wenn es in dem ausgewählten Zeitraum (z. B. letzte Woche) insgesamt acht Sessions (0 Sekunden bis 30 Minuten) gab und in diesen Sessions insgesamt 47 Seiten aufgerufen wurden (auch Mehrfachaufrufe einer Seite in einer Sitzung zählen), wird diese Metrik wie folgt berechnet: 47 dividiert durch 8 = 5,88. Es wurden dann also im Schnitt 5,88 Seiten pro Sitzung aufgerufen. Das ist ein einfacher Mittelwert (arithmetisches Mittel).
Viele Quotienten-Metriken sind Prozentwerte. Angenommen, fünf der acht Sitzungen begannen auf Seite A. Weiter angenommen: In zwei Sitzungen, die auf A starteten, wurden keine weiteren Seiten aufgerufen. Die Bounce Rate für Seite A ist dann der Quotient aus 2 und 5. Also: 2 dividiert durch 5 = 0,4. Dieser Wert multipliziert mit 100 gibt den Verhältniswert in Prozent an: 40%.
%Exit für Seite A ist der Quotient, der sich ergibt, wenn Sie alle Sitzungen, in denen A die Ausstiegsseite war, durch alle Sitzungen teilen, in den A aufgerufen wurde. Die verschiedenen Web-Metriken basieren zumeist auf solchen sehr einfachen Berechnungsformeln.
Web-Metriken registrieren Webseiten-Interaktionsmerkmale
Web-Metriken sind quantitative Werte, die „Clickstreams“ – Klick-Sequenzmuster – repräsentieren. Sie beschreiben diese Streams – genauer gesagt: Aspekte dieser Streams – zahlenmäßig.
Wenn ein Besucher von Google aus auf Seite A Ihrer Webseite landet, nach drei Minuten Seite B besucht und danach wieder zu Google zurückkehrt, wird dieses Interaktionsmuster registriert und füllt unterschiedliche Metrik-Schubladen: Die Metrik „Unique Visitor“ (User) wird um die Zahl 1 erhöht, die Metrik „Landing Page A“ wird um die Zahl 1 erhöht, „Exit Page B“ wird um die Zahl 1, „Bounce A“ wird nicht erhöht, die Zeitdauer für A (180 Sekunden) wird gezählt usw.
Darüber hinaus registriert Google Analytics auch sogenannte Dimensionen. D. h. die Software notiert, ob der interagierende Browser auf einem Computer oder Smartphone installiert ist, um welchen Browsertyp es sich handelt, aus welchem Land der Browser-Zugriff erfolgt usw. Dimensionen sind keine Metriken, denn sie sind keine Zahlenwerte.
Metriken sind zunächst neutral
Web-Metriken, die quantitative Werte sind, sind deskriptiv – beschreibend – und nicht normativ – wertend. Sie sind in sich weder gut noch schlecht. Das ist ein wichtiger Punkt. Die monatliche Anzahl an Webseiten-Besucher:innenn für eine Seite X, z. B. 1002, ist an und für sich kein guter oder schlechter Wert, sondern spiegelt schlicht die Anzahl an unterschiedlichen Browser-Zugriffen auf diese Webseite wider.
Diese Metrik kann nur dann eine normative Qualität erhalten, wenn sie mit einer spezifischen Zahl verglichen wird. Wenn es mein Wunsch ist, dass mehr als 1000 Besucher:innen pro Monat auf meine Webseite kommen, dann ist der Wert 1002 (bezogen auf den Zeitraum von einem Monat) ein guter Wert. Ich habe mein Ziel endlich erreicht. Wunderbar!
Aber wenn ich mit einem Freund um 500 Euro gewettet habe, dass ich auch in diesem Monat wieder weniger als 1000 Besucher:innen haben werde, dann ist der Wert 1002, zumindest wenn ich knapp bei Kasse bin, gar nicht gut.
Wenn manche Werte ohne Vergleichswerte als „zu hoch“, „zu niedrig“ oder als „schlecht“ eingestuft werden, dann liegt das daran, dass ein impliziter Vergleich vorgenommen wird. Wenn jemand sagt: „eine Bounce Rate von 70 % oder mehr auf der Home-Seite ist eine Katastrophe“, dann heißt das, dass die Home-Seiten von „guten“ (erfolgreichen) Webseiten eine Bounce Rate von deutlich unter 70 % aufweisen. Ohne explizite oder implizite Vergleichswerte ist eine „Gut/Schlecht-Einstufung von Metriken nicht möglich.
Das kann man sich an folgender Überlegung klar machen: Wenn auch die besten Homepages eine Bounce Rate von 93 bis 97 % hätten, dann wäre eine Bounce Rate von „nur“ 70 % sensationell gut.
Web-Metriken bilden keine User Experience ab
Manchmal wird ein Wert auch ohne expliziten oder impliziten Vergleich als schlecht bezeichnet. Der Wert, z. B. eine hohe Absprungrate, wird dann mit einer negativen „User Experience“ gleichgesetzt. Das ist aber ein riskanter Schluss. Er kann richtig sein, muss es aber nicht.
Wenn ein metrischer Wert, z. B. eine Bounce Rate von x %, ohne expliziten oder impliziten Vergleich (mit Absprungraten erfolgreicher Webseiten) für gut oder schlecht befunden wird, dann liegt dies daran, dass er mit einer spezifischen Besucher:innen-Erfahrung assoziiert wird. Nicht die Metrik selbst ist dann also gut oder schlecht, sondern die Erfahrung, die in diese Metrik Eingang gefunden haben soll. Es wird also unterstellt, dass die Metrik der gemessene Ausdruck eines bestimmten Nutzer-Erlebens ist.
Ein Bounce z. B. wird zumeist mit Desinteresse assoziiert. Die Schlussfolgerung sieht wie folgt aus: Jemand, der eine Webseite uninteressant, verwirrend oder sonst wie abstoßend findet, springt ohne weiteren Seitenaufruf wieder ab und wird als Bounce registriert. Also repräsentiert ein Bounce eine solche Erfahrung. Das mag auch häufig bei bestimmten Seiten, z. B. Home-Seiten, so sein.
In anderen Kontexten, z. B. im Blog, muss das aber keineswegs zutreffend sein. Wenn ein Besucher:innen über eine Google-Suche auf einer Blogseite landet, den Blogbeitrag interessiert liest und dann mit gestillter Neugierde zufrieden wieder zu Google zurückkehrt, wird er als Bounce gezählt. Aber er hatte in diesem Fall durchaus eine positive „User Experience“ und wird vielleicht bald wieder auf diese Webseite zurückkehren.
Sie müssen sich hier folgendes vor Augen führen: Eine Web-Metrik misst kein qualitatives Erleben, denn sie kann Besucher:innen weder in den Kopf schauen noch kann sie wahrnehmen, inwiefern User zufrieden oder unzufrieden sind. Sie registriert lediglich – über einen Tracking-Code – browserspezifische Klick-Sequenzen: z. B. Eintritt Seite A, kein weiterer Seitenaufruf, Austritt Seite A.
Der Schluss von einer Web-Metrik auf ein dahinter liegendes Nutzer-Erleben ist riskant
Ein negatives Erleben kann zu einem Klick-Sequenzmuster X führen, aber nicht jedem Klickmuster X liegt ein negatives Erleben zugrunde. Der Rückschluss von einer Web-Metrik auf ein spezifisches Erleben ist daher immer riskant – wie das Bounce-Rate-Beispiel zeigt.
Das heißt nicht, dass der Rückschluss von einer Metrik auf ein typisches Erleben nicht plausibel sein kann. Der Punkt ist vielmehr der, dass ein solcher Rückschluss radikal die deskriptive statistische Ebene überschreitet.
Dieser Rückschluss ist eine sogenannte Abduktion. Eine Abduktion ist eine Schlussform, die mehr oder weniger plausibel sein kann. Aber absolut sicher ist sie nie. Abduktionen haben im Unterschied zu Deduktionen (notwendig wahre Schlüsse) immer eine Wahrscheinlichkeit, die kleiner 1 (100 %) ist. Kurz, sie sind stets mit mehr oder weniger großem Risiko behaftet.
Sir Arthur Conan Doyles berühmter Detektiv Sherlock Holmes, der seine kriminalistischen Schlüsse fälschlich gerne als Deduktionen bezeichnet, schließt tatsächlich zumeist abduktiv.
Die Abduktion, die nicht nur beim Lösen detektivischer Rätsel zum Einsatz kommt, sondern auch z. B. in der wissenschaftlichen Forschung und im Alltagsdenken, hat folgende logische Form: Wenn A eintritt, dann tritt auch B ein. (Das ist eine gültige Regel, die ich kenne.) Ich weiß, dass B ist eingetreten. Also (= Folgerung) wird auch A eingetreten sein. Der Schluss auf den Eintritt des Ereignisses A ist also das Ergebnis der Abduktion.
Metriken liefern keine Problemlösung
Metriken können also Ansatzpunkte für abduktive Folgerungen liefern, aber sie sind mit diesen Folgerungen weder identisch noch beweisen sie sie. Ein abduktiver Schluss z. B. auf Desinteresse kann aber natürlich durchaus sinnvoll sein und durch das Aufwerfen von Fragen Fingerzeige zu weiteren Such-Hypothesen führen. Warum dieses mutmaßliche Desinteresse? Vielleicht ist die Schriftgröße sehr klein und der Text daher mühsam zu lesen? Oder der Inhalt ist verwirrend oder passt nicht zur Buyer Persona usw. Um solche Hypothesen zu plausibilisieren, bedarf es aber weiterer Informationen.
Metriken beschreiben zwar keine Nutzererfahrungen, sind aber, wie gerade gezeigt, durchaus geeignet, auf mutmaßliche Problembereiche hinzuweisen. Wenn die Homepage meiner Webseite eine vergleichsweise hohe Bounce Rate aufweist, dann ist das schon ein Indiz für ein Problem. Eine Problemlösung liefert mir die Metrik aber nicht. Dazu benötige ich weitere Daten: qualitative Text-Bild-Analyse, Usability Tests usw.
Eine qualitative Analyse der Homepage kann z. B. zu der Erkenntnis führen, dass der Text zwar gut sichtbar, aber voller Rechtschreib- und Grammatikfehler und insofern nicht gut lesbar ist. Ein solches Ergebnis legt dann wie selbstverständlich eine Problemlösungshypothese nahe: Wenn der Text durch einen fehlerfreien Text ersetzt wird, wird sich die Nutzerzufriedenheit erhöhen (und dadurch die Bounce Rate sinken).
Metriken und Key Performance Indicators (KPIs)
Hinweise auf mutmaßliche Problembereiche – Ist das alles, was Web-Metriken leisten können?
Nein. Umgewandelt in KPIs – Key Performance Indicators – können Metriken auch Erfolg oder Misserfolg von digitalen Kampagnen messen. In Form von KPIs spielen Metriken erst ihre wirkliche Stärke aus.
Die Ausdrücke „Metrik“ und „KPI“ werden häufig synonym verwendet. Es sind aber zwei verschiedene Dinge. Dazu eine klare und kurze Beschreibung der Gemeinsamkeit und Differenz dieser Ausdrücke von Web-Analytics-Ninja Avinash Kaushik:
… a metric is a quantitative measurement of statistics describing events or trends on a website. A key performance indicator (KPI) is a metric that helps you understand how you are doing against your objectives. That last word – objectives – is critical to something being called a KPI, which is also why KPIs tend to be unique to each company.
Eine Metrik ist eine quantitative statistische Messung, die Ereignisse oder Trends auf einer Webseite beschreibt. Ein Key Performance Indicator (KPI) ist eine Metrik, die Ihnen dabei hilft, zu verstehen, wie Sie im Hinblick auf Ihre Ziele vorankommen. Das vorletzte Wort – Ziele – ist der entscheidende Punkt. Er muss erfüllt sein, um etwas eine KPI zu nennen. Deshalb sind KPIs auch tendenziell unternehmensspezifisch.
Avinash Kaushik, “Web Analytics 2.0”, Sybex / Wiley 2010”, S. 37
Kampagnen, Kern-Metriken, Erfolgsmessung
Sie müssen also zunächst ein (realistisches) Ziel definieren. Da Sie nicht davon ausgehen werden, dass dieses Ziel „durch Zufall“ oder „automatisch“ erreicht wird, werden Sie zudem Maßnahmen entwickeln, die Sie für geeignet halten, das gesteckte Ziele zu erreichen. Ob Sie Ihrem Ziel Schritt für Schritt näher kommen oder nicht, können Ihnen gut gewählte KPIs anzeigen.
Wenn Sie z. B. ein E-Commerce-Unternehmen betreiben, das noch recht unbekannt ist, dann könnte Ihr primäres Ziel lauten, X % mehr Traffic auf Ihre Seite zu ziehen. Wenn Sie schon etabliert sind und eine große Kundenbasis haben, könnte Ihr Ziel wiederum darin bestehen, mehr Umsatz pro Kunde zu generieren.
Wenn Sie Maßnahmen ergreifen, um diese Ziele zu erreichen, haben Sie den Anfang einer Wegstrecke. Und wenn Sie Ihr Ziel erreicht haben, dann ist das das Ende dieser Wegstrecke und der Start einer neuen.
Diese zeitlich ausgedehnte Strecke kann man als eine Kampagne bezeichnen. Es kann sich dabei z. B. um eine Online-Werbekampagne oder um eine Inbound-Marketing-Kampagne oder Ähnliches handeln. Ob diese Kampagnen Früchte tragen oder nicht, können Sie also – zumindest tendenziell – über KPIs messen. Vorausgesetzt, die ausgewählten KPIs sind dafür geeignet.
Es gibt eine Überfülle an Metriken. Wichtig ist, aus den infrage kommenden Messwerten nur einige wesentliche auszuwählen. Dazu wieder Avinash Kaushik:
Critical few metrics are so important because they give the entire organization a sense of focus and direction. They kill confusion. […] You shouldn’t have more than three or four critical few metrics. If you have more than four, then you have not done your job well enough. Go back and try again.
Wenige entscheidende Metriken auszuwählen, ist extrem wichtig, denn sie geben der gesamten Organisation einen Fokus und eine Richtung. Sie zerstören Konfusion. […] Sie sollten nicht mehr als drei oder vier Kern-Metriken haben. Wenn Sie mehr als vier haben, dann haben Sie Ihren Job nicht richtig gemacht. Fangen Sie nochmal von vorne an.
Avinash Kaushik, “Web Analytics 2.0”, Sybex / Wiley 2010”, S. 148
Eine über KPIs messbare Kampagne kann zeitlich so ausgedehnt sein, dass sie mit der Entstehung des Unternehmens beginnt und solange anhält, bis sich der Unternehmenszweck ändert oder das Unternehmen aufhört zu existieren. Ob man eine solche „Dauer-Kampagne“ noch eine Kampagne nennen sollte, ist eine Frage, über die man diskutieren kann.
Der Punkt ist aber, dass die Logik jeweils die gleiche bleibt: Es muss ein Ziel geben und es müssen Maßnahmen bekannt sein, die die Zielerreichung befördern oder behindern. Aus der Menge der Maßnahmen, die zur Zielerreichung beitragen, müssen einige ausgewählt und umgesetzt werden. Dann und nur dann können Sie über geeignete KPIs Erfolg oder Misserfolg messen.
Wenn die Maßnahmen die gewünschten Früchte tragen, werden die KPIs sich positiv verändern. Je nach Ziel wird im Erfolgsfall z. B. die Anzahl an Webseiten-Besuchern, die Visitors-to-Leads-Rate oder die Zahl der Returning Visitors usw. steigen.
Erfolgsmessung ist kampagnenspezifisch
Welche KPIs benötigt werden, hängt stets von der Kampagne ab. Wenn Sie z. B. eine Inbound-Kampagne starten und fünf Whitepaper als Download-Angebote bereitstellen, Calls-To-Action-Buttons und Landing sowie Thank You Pages dafür einrichten, dann werden Sie damit ein bestimmtes Ziel verfolgen. Ein naheliegendes Ziel könnte lauten: mehr Leads generieren oder genauer: X % mehr Leads über die Webseite generieren.
Wenn Sie den Erfolg dieser Inbound-Kampagne bewerten wollen, sollten Sie sich nicht nur anschauen, wie viele der Besucher das Whitepaper A, B usw. heruntergeladen haben (Visitor-to-Leads-Rate). Sie sollten sich auch betrachten, wie viele Besucher den CTA-Button gesehen haben und wie viele ihn angeklickt haben (Views-to-Click-Rate). Und natürlich werden Sie auch wissen wollen, wie viele derjenigen, die den Button geklickt haben und auf die Landing Page geführt wurden, das Formular vollständig ausgefüllt haben (Click-to-Submission).
Wenn z. B. die Click-to-Submission-Rate vergleichsweise gering ist, dann weist dies auf ein Problem mit dem Formular hin. Vielleicht wird dort eine Information abgefragt, die die Interessenten nicht preisgeben möchten. Der Punkt, auf den es hier ankommt, ist der: Die Metriken, die beobachtet werden müssen, um den Erfolg oder Erfolgsgrad zu bestimmen, sind stets kampagnenspezifisch. Es gibt nicht „die 3 wichtigsten KPIs“, auch wenn viele Blogbeiträge derartiges suggerieren mögen.
Wenn Sie für die jeweilige Kampagne passende Metriken auswählen, können Sie erstens messen, ob Erfolg eintritt oder nicht – wenn niemand oder so gut wie niemand die Formulare ausfüllt, wäre das z. B. ein Misserfolg. Das Ziel (mehr Leads generieren) wurde dann mit dieser Kampagne klar verfehlt.
Aber KPIs können noch mehr leisten. Angenommen, die Visitor-to-Leads-Rate ist im Benchmark-Vergleich akzeptabel, aber die Views-to-Click-Rate deutlich zu niedrig. Die Beobachtung der Views-to-Click-Rate liefert dann einen Hinweis auf einen optimierbaren Bereich. Vielleicht ist der CTA-Button zu klein oder die Farbe zu unauffällig oder sie ist für Ihre Buyer Persona zu grell usw. Die KPI als solche wird hier keine Lösungshypothese liefern, aber anzeigen, wo es mutmaßlich Schwachstellen gibt, deren Beseitigung Sie womöglich einen entscheidenden Schritt näher ans Ziel bringen wird.
Ihr Unternehmen kann in diesem Fall mithilfe geeigneter KPIs z. B. den Erfolg oder mangelnden Erfolg einer Kampagne messen, die Ihre Inbound-Agentur für Sie durchgeführt hat.
Wenn die Inbound-Agentur gut ist, wird sie im Übrigen selbst diese Web-Analytics-Messungen durchführen. Sie kann dadurch ihren Kunden erstens Transparenz kommunizieren, zweitens Erfolge belegen und drittens lernen, wo nachzujustieren ist, um den Erfolg weiter zu steigern (z. B. besser funktionierende CTA-Buttons oder kürzere Formulare).
Sequenzielles Messen (Pre-Post-Tests)
Wenn in einer Kampagne ein Business-Blog mit dem Ziel installiert wird, mehr Traffic auf die Webseite zu ziehen, können Sie z. B. einen Monat nach dem Kampagnenende, das durch den zehnten veröffentlichten Blog Post markiert wird, vergleichen, ob die Anzahl an Unique Visitors (Users) und Visits (Sessions) gestiegen ist.
Wenn Sie in den Monaten bis zum Start der Kampagne z. B. stets um die 1000 Besucher:innen hatten und danach 1300, spricht das für einen positiven Effekt der Kampagne.
Aber solche sequenziellen Messungen bzw. Pre-Post-Tests – also Vorher-Nachher-Vergleiche – sind nicht unproblematisch. Der Vorteil ist, dass sie sehr schnell durchgeführt werden können. Der Nachteil ist, dass Sie durch solche Vergleiche leicht auf die falsche Fährte geführt werden können. Womöglich wäre auch ohne diese Kampagne die Anzahl der Besucher:innen auf 1300 gestiegen – aus welchen Gründen auch immer. Vielleicht ist ein Wettbewerber vom Markt verschwunden oder er hat die Produktpreise drastisch erhöht oder aus Kostengründen eine Pay-Per-Click-Anzeigenkampagne eingestellt oder Google hat seine Algorithmen zu Ihrem Vorteil verändert.
In diesem Fall würden Sie bei einem Pre-Post-Test den Anstieg um ca. 300 Besucher:innen fälschlich der Blog-Kampagne zuschreiben. Es könnte aber auch sein, dass die Anzahl an Besucher:innenn ohne Kampagne auf 800 geschrumpft wäre. In diesem Fall wäre der positive Effekt, den die Kampagne auf den Traffic ausgeübt hat, sehr viel höher zu veranschlagen als der Vorher-Nachher-Vergleich anzeigt.
Kurzum, es gibt eine Vielzahl möglicher Einflussfaktoren, die Sie mit sequenziellem Testen nicht kontrollieren können.
Das Problem beim parallelen Testen besteht darin, dass es nur für Seiten mit hohem Traffic in einem annehmbaren Zeitrahmen auf statistisch saubere Weise durchführbar ist. Für B2B-Seiten mittelständischer Unternehmen gilt zumeist, dass die Besucherzahlen und andere Metriken über einen längeren Zeitraum ziemlich stabil sind.
Wenn parallele A/B-Tests hier nicht praktikabel sind und sich im Wettbewerbsumfeld keine Änderungen (oder andere Einflussfaktoren) identifizieren lassen, ist eine sequenzielle Messung aber durchaus als empirischer Indikator zu werten, der in Richtung Kampagnen-Erfolg oder -Misserfolg deutet. Wenn man hinzunimmt, dass Kampagnen mit mehreren Metriken gemessen werden und alle drei oder vier verwendeten Metriken in die gleiche Richtung weisen, ist dies also schon ein echtes Indiz für Erfolg oder Misserfolg einer durchgeführten Kampagne.
A/B/n Split-Tests und Multivariate Tests
A/B/n-Tests und Multivariate Tests sind statistische Experimente, sich ebenfalls mit den gängigen Web Analytics-Tools durchführen lassen.
Aber schon einfache A/B-Tests, bei denen Sie z. B. Ihre Original-Landing-Page (Kontrollseite) gegen eine neue Landing Page-Variante (Challenger) testen können, benötigen wie gesagt hohes Traffic-Volumen, um einen statistisch signifikanten Sieger in einem akzeptablen Zeitrahmen zu ermitteln.
Bei A/B/C- oder A/B/C/D-Tests usw., bei denen also mehrere Varianten gegen die Originalseite getestet werden, dauert es bei gleichem Traffic entsprechend länger bis ein Sieger feststeht, denn der ankommende Traffic wird auf mehr Seiten (A, B, C…) verteilt. Bei einem A/B-Test, den Sie z. B. mit Google Analytics durchführen können, werden 50 % der Besucher:innen nach dem Zufallsprinzip auf die Kontroll- und 50 % auf die Challenger-Seite geleitet. Bei einem A/B/C-Test werden 33,3% auf jede Seite geleitet und bei einem A/B/C/D-Test 25%.
Statistisch komplexer sind sogenannte Multivariate Tests (MVT), die ein noch höheres Traffic-Volumen als A/B/n-Split-Tests voraussetzen:
The difference between A/B/n testing and MVT is that MVT swaps content within multiple sections on the same page and compares all the possible combinations. With MVT, each variable is tested against each other variables.
Der Unterschied zwischen A/B/n-Tests und MVT besteht darin, dass MVT Inhalte innerhalb mehrere Abschnitte auf derselben Seite vertauscht und alle möglichen Kombinationen miteinander vergleicht. Bei MVT wir jede Variable gegen jede andere Variable getestet.
– Ebd., S. 289
Wenn eine Testseite z. B. aus drei „Sections“ besteht ( z. B. Abschnitt 1 oben, Abschnitt 2 Mitte rechts, Abschnitt 3 unten) und für jede „Section“ 3 inhaltliche Alternativen getestet werden (A1/2/3; B1/2/3; C1/2/3), dann gibt es zahlreiche unterschiedliche Testkombinationen. Eine ist z. B. A1-B2-C2, eine andere, A3-B1-C2 , eine weitere A3-B3-C3 usw. Insgesamt gibt es 3 (A1/2/3) mal 3 (B1/2/3) mal 3 (C1/2/3) = 27 Kombinationen. MVT ist mathematisch komplexer als A/B/n und stellt daher höhere Ansprüche an die Test-Software.
Selbst bei statistischen Experimenten mit hohen Konfidenzintervallen (typisch: 95 %) haben Sie selbstverständlich keine Garantie, dass Ihr Sieger, z. B. die Challenger-Seite in einem A/B-Test, wirklich die bessere bzw. konversionsstärkere Seite ist. Aber Sie werden (bei einem Konfidenzintervall von 95 %) in 19 von 20 Fällen richtig liegen, wenn Sie sich dazu entschließen, Ihre Originalseite durch die Sieger-Seite zu ersetzen.
QUELLE DES BEITRAGSBILDS:
https://images.nasa.gov/#/details-PIA16008.html