Vanity Metrics haben ihre Vorteile
Die Verteufelung der sogenannten “Vanity Metrics” kann ich nicht ganz nachvollziehen.
Eric Ries hat in seinem Buch The Lean Startup den Begriff “Vanity Metrics” geprägt. Die meisten Start-ups werden anhand dieser Vanity Metrics bewertet. Das sind z. B. Dinge, wie die Anzahl der Seitenaufrufe, der registrierten Nutzer oder der Aktivierungen von Benutzerkonten.
Das Gegenteil von „Vanity Metrics“ sind “Actionable Metrics”. Diese definiert Ries als Kennzahlen, bei denen es einen eindeutigen Zusammenhang zwischen Ursache und Wirkung gibt. Wenn also klar ist, warum sich die Kennzahlen verändern, handelt es sich um Actionable Metrics. Alles andere sind Vanity Metrics.
Die Herausforderung bei Vanity Metrics
Bis hierher bin ich noch mit allem einverstanden, denn grundsätzlich bin ich ein großer Fan von Interaktion. Ich habe schon häufiger darüber geschrieben, dass man Kennzahlen (u. a. auch Einschätzungen) aber gar nicht erst mühsam in Erfahrung bringen muss, wenn sie ohnehin keinerlei Auswirkungen auf unser Handeln haben werden.
Mit den Definitionen von “Actionable Metrics” und “Vanity Metrics” bin ich also einverstanden. Mich stört jedoch, dass viele Dinge als reine Vanity Metrics abgetan werden.
Als ich nach “Vanity Metrics” gegoogelt habe, stieß ich als Erstes auf einen Artikel über TechCrunch. Dort werden Vanity Metrics, wie z. B. eine Million Downloads oder zehn Millionen registrierte Nutzer, verwendet.
Sind solche Zahlen wirklich Vanity Metrics?
Spät- und Frühindikatoren können einem helfen, das herauszufinden.
Ein Spätindikator kann erst gemessen werden, nachdem etwas getan wurde. Dann kann man feststellen, ob man sein Ziel erreicht hat.
Ein Spätindikator für bessere Qualität könnte die Menge der Defects, also Fehlern sein, die innerhalb der ersten 30 Tage nach dem Release auftreten. Daran würde man erkennen, ob man sein Ziel erreicht hat. Allerdings erfährt man das erst nach 30 Tagen.
Ein Frühindikator zeigt einem jedoch schon vorher, ob man auf dem richtigen Weg ist.
Eine gewisse Menge an gut verlaufenen Nightly Tests (Erklärung?) wäre ein Frühindikator für die Verbesserung der Qualität. Dieser Faktor könnte aber auch als Vanity Metric verstanden werden, denn er kann leicht manipuliert werden. Das Team kann einfach die gleichen oder sehr ähnliche Tests durchführen und so absichtlich die Anzahl bestandener Tests in die Höhe treiben. Es gibt also keinen eindeutigen Zusammenhang zwischen Ursache und Wirkung. Mehr bestandene Tests garantieren in diesem Fall nicht automatisch eine bessere Qualität.
Ist die Anzahl bestandener Tests wirklich eine Vanity Metric?
Nein, sie ist relevant. Um das zu verdeutlichen, betrachten wir einmal die folgenden Werte als Beispiel:
- Cholesterinwert
- Blutdruck
- Ruhepuls
- Gewicht
Ein Arzt kann anhand dieser Werte etwas über Ihren Gesundheitszustand erfahren. Mit einem Cholesterinwert von 160 ist ein Herzinfarkt nicht sonderlich wahrscheinlich. Bei einem Wert von 300 war der Arztbesuch aber wohl eine ganz gute Idee.
Das sind Frühindikatoren. Sie sind keine Garantie für irgendetwas: Auch mit einem Cholesterinwert von 160 könnte man theoretisch jederzeit einen Herzinfarkt bekommen. Der einzig wahre Beweis wäre ein Spätindikator – z. B. wie viele Infarkte man in einem Jahr tatsächlich hatte. Das ist natürlich ein viel verlässlicherer Indikator. Er ist aber eben erst am Ende des Jahres verfügbar.
Sollten wir Vanity Metrics also gar nicht beachten? Doch. – Auch Vanity Metrics können wichtige Informationen liefern. Häufig sind sie Frühindikatoren. Wenn das Verkaufen von Mitgliedschaften das Ziel einer Website ist, ist die Anzahl der verkauften Mitgliedschaften die entscheidende Actionable Metric für diese Unternehmung.
Die Anzahl von Unique New Visitors ist jedoch eine Art von Vanity Metrics und kann ein großartiger Frühindikator sein. Mehr New Visitors sollten zu mehr Mitgliedschaften führen. Ebenso sollten mehr bestandene Tests eine bessere Qualität zur Folge haben. Es ist keine Garantie, aber ein guter Indikator.
Fazit zu den Vanity Metrics
Vanity Metrics sind also keineswegs nutzlos. Man darf sich nur nicht von ihnen täuschen lassen. Das Problem ist nämlich, dass Vanity Metrics manipulierbar sind. Man kann Tests durchführen, die immer gut verlaufen. Und auch wenn z. B. durch das Kaufen von Traffic niemals bezahlte Mitgliedschaften entstehen, können die Traffic Metrics auf diese Weise aber geschönt werden.
Solange man so etwas jedoch nicht tut, können Vanity Metrics gute Frühindikatoren sein. Denken Sie nur immer daran, dass damit keine Fakten gemessen werden. Man erfährt nur, ob man auf dem richtigen Weg ist.
Dieser Text stammt aus dem Blog von Mike Cohn und wurde von uns ins Deutsche übersetzt.
Product Owner Training
=> Besuche eins unserer Trainings und werde Certified Scrum Product Owner mit der Agile Academy!
User Stories formulieren
=> Hier ist meine Lieblingsstruktur für User Stories!
Definition of Done
=> Wieso ist eine Definition of Done einerseits sehr simpel, aber andererseits so komplex?