01 · AUSGANGSLAGE
Kontext & Problemstellung
Photovate 2.0 (eine ERP-Software für Solar- und PV-Installationsbetriebe) befand sich im MVP-Stadium, drei Monate vor dem geplanten Go-Live. Die Nutzer kannten bis dahin ausschließlich die Abläufe aus Photovate 1.0, welche als sehr komplex und unintuitiv wahrgenommen wurden. Das habe ich mithilfe System-Usability-Scale-Analyse in Form einer Umfrage im Vorfeld festgestellt (siehe Infografik). Ziel des Usability-Beta-Tests war es, die erste Wahrnehmung von Photovate 2.0 zu testen und folgende Hypothesen zu prüfen:
Können Nutzer die neuen Workflows eigenständig abschließen?
Hintergrund: Photovate 1.0 hatte einen hohen Onboarding-Aufwand. Photovate 2.0 soll auch komplett ohne Onboarding funktionieren und damit Support-Stunden einsparen.
Wie hoch ist die Fehlerrate beim ersten Kontakt mit den neuen Flows?
Erwartung: niedrige Fehlerrate, unter fünf kritische Fehler pro Session.
Würden Nutzer freiwillig auf Photovate 2.0 wechseln wollen?
Umstiegswunsch als Signal für eine echte Verbesserung im Flow, nicht nur für ein visuelles Update.
Ist die Usability besser als in Photovate 1.0?
Hintergrund: Photovate 1.0 hatte einen hohen Onboarding-Aufwand. Photovate 2.0 soll auch komplett ohne Onboarding funktionieren und damit Support-Stunden einsparen.
Photovate 1.0 hat eine schlechte Usability
System Usability Score (SUS)
Mithilfe einer SUS-Umfrage wurde die Gebrauchstauglichkeit von Photovate 1.0 vor dem Usability Testing als Vergleichswert erhoben. Das Ergebnis: Der SUS-Score liegt bei 49,95 (Schulnote 5), während der globale Durchschnitt bei etwa 68 Punkten liegt.
Kernprobleme
Die Nutzer empfinden Photovate 1.0 als zu komplex, inkonsistent und wenig intuitiv. Sie mussten viel lernen, bevor sie das System nutzen konnten. Zudem fühlen sie sich bei der Nutzung nicht sicher und benötigen verstärkt Unterstützung. Gleichzeitig ist der Bedarf sowie die Bereitschaft, das Produkt weiterhin zu nutzen, vergleichsweise hoch.
02 · VERANTWORTUNG
Meine Rolle & Team
Eigenständig
SUS Umfragebogen für Photovate 1.0 und Photovate 2.0 (nach Testingabschluss) versendet und ausgewertet
Aufteilung der Kern-Workflows in 3 Pakete
Leitfäden je Paket geschrieben inkl. idealem Weg und Erfolgskriterien pro Aufgabe
Durchführung von internen Pilotentests
Rekrutierung & Durchführung (remote, moderiert)
Auswertung, Priorisierung und Pitch der Ergebnisse ans C-Level
Im Team
Gemeinsam im Product Team Testing-Strategie inkl. Zielsetzung, Metriken (Aufgabenabschlussrate, Fehlerrate, Verständlichkeit, SUS, Umstiegswunsch) und Hypothesen ausgearbeitet
Definition der Kern-Workflows mit Product Team, C-Level und Customer Success
Interne Pilottests mit Customer Success, Marketing und Buchhaltung
03 · Prozess
Herangehensweise
1
Testing Strategie
Ziele, Metriken, Hypothesen und Kernworkflows vorab mit dem Product Team definiert.
2
Drei thematische Pakete geschnürt und Leitfäden geschrieben. Pro Aufgabe idealer Weg und Erfolgskriterium vorab skizziert und kernrelevante Aufgaben markiert.
3
Rekrutierung
Zunächst Mailumfrage mit den typischen Arbeitsabläufen der Tester, anschließend Rekrutierung der Teilnehmenden basierend auf den Paketen.
4
Durchführung von 3 internen Pilottests und 16 remote Usability Sessions. Anschließende Auswertung, Priorisierung und Aufbereitung der Ergebnisse für einen Pitch.
5
Prototyping
Konzeptionierung der kritischsten Usability Probleme und Verantwortung der QA.
Ausschnitt der Auswertung und Priorisierung der Usability-Probleme in Dovetail
04 · Entscheidungen
Zentrale Entscheidung
Aufteilung in drei Testingpakete
Entscheidung
Workflows im Detail durchgehen und in drei Testingsessions aufgeteilt.
Verworfene Alternative
Ein einziger (gekürzter) Testlauf über alle Workflows
Grund
Ein komprimierter Gesamtdurchlauf hätte 2+ Stunden gedauert und die Workflows nur oberflächlich angeschnitten. Das Risiko für unentdeckte Usability Fehler war zu groß. Zudem nutzt nicht jede Rolle jeden Workflow, deswegen punktuelle Rekrutierung basierend auf den Usability Workflows.
Paket 1
Kernaufgaben
Onboarding abschließen, Startseite verstehen, Kontakte und Termine anlegen und bearbeiten
Zielgruppe
Alle Rollen
Paket 2
Kernaufgaben
Leads & Deals anlegen, Angebote erstellen, Auftrag generieren, Prozessaufgaben steuern
Zielgruppe
Vertrieb(-leitung), Projektmanagement, Geschäftsführung
Paket 3
Kernaufgaben
Artikel anlegen und bearbeiten, Freie und auftragsbezogene Rechnungen (inkl. Storno, Gutschrift Mahnung) anlegen
Zielgruppe
Buchhaltung, Geschäftsführung
05 · Lösung
Priorisierte Usability-Probleme & Kundenbindung
54 identifizierte Usability-Probleme über 3 Kern-Workflow-Bereiche, jeweils mit Empfehlung und Verlinkung zu Ticket bzw. Figma-Design dokumentiert.
Priorisierung der Dringlichkeit nach folgenden Kriterien:
Häufigkeit des genannten Problems
Schweregrad des Problems (z.B. Aufgabe konnte nicht eigenständig abgeschlossen werden)
Relevanz der Aufgabe (Kernworkflow oder Edge Case)
Konzeptions und Entwicklungsaufwand der Lösungen (Wording ändern vs. komplettes Konzept neu denken)
SUS-Nacherhebung direkt im Anschluss an die Tests, um die Verbesserung gegenüber der PV1-Baseline sichtbar zu machen.
Ergebnisse und Empfehlungen in einem Pitch ans C-Level priorisiert vorgestellt.
Nachbereitung für alle Testteilnehmenden in Form von exklusiven Product-Newslettern, in denen ich aufgezeigt habe, was bisher umgesetzt wurde und was noch in Planung ist.
Aus dem Testing heraus resultierende Product Jour-Fixe Termine mit Key-Usern, die ich alle 2 Wochen durchgeführt habe.
Photovate 2.0 hat eine deutlich bessere Usability
System Usability Score (SUS)
Photovate 2.0 hat eine gute Gebrauchstauglichkeit: Der SUS-Score liegt bei 76,75 (Schulnote 2+), was über dem Durchschnitt von 68 Punkten liegt. Mit einer Steigerung von +26,8 Punkten weist Photovate 2.0 eine deutliche Verbesserung der Usabilty zu 1.0 auf (49,95; Schulnote 5).
Transparenz zur Erhebung
Der SUS für Photovate 1.0 wurde im Rahmen einer Umfrage während laufender Live-Nutzung erhoben (n=49). Für 2.0 wurde die Erhebung direkt im Anschluss ans Testing und mit deutlich kleinerer Stichprobe durchgeführt (n=12). Die Verbesserung bleibt so nur als Richtungsindikator aussagekräftig.
Einige Beispiele von behobenen Usability Problemen
07 · REFLEXION
Was ich mitnehme
Ein Leitfaden muss nicht immer strikt eingehalten werden
Die größte Herausforderung in diesem Projekt entstand für mich im Testing: Trotz sorgfältig aufgebauter Leitfäden sprangen Teilnehmende häufig zwischen den Aufgaben. Mein wichtigstes Learning ist, dass die Testaufgaben nicht strikt der Reihenfolge folgen müssen. Eine flexible Struktur wirkt im Gespräch oft natürlicher, trotzdem müssen die Teilnehmenden natürlich so gelenkt werden, dass alle Aufgaben in der zeit abgedeckt werden.
Der Outcome von einem Usability-Testing ist viel als nur Usability-Probleme aufdecken
Weiterhin nehme ich mit, dass der Erstkontakt von den Kunden mit dem Produkt viel mehr ist, als nur Usability-Probleme aufzudecken. Aus den Gesprächen sind durch die Skizzierung der Use Cases ganz viele neue Impulse, Anforderungen und Wünsche an das Produkt aufgekommen, die wir anschließend evaluiert und auf die Roadmap gesetzt habe.
Kundenbindung entsteht durch Transparenz nach dem Testing
Abschließend war mein größter Erfolg in dem Projekt, dass ich durch strategische Nachbereitung der Testings in Form von exklusiven Product Newslettern die Kundenbindung an das neue Produkt gestärkt habe. Soweit, dass einige der Teilnehmenden bereit waren, mir in regelmäßigen Product Jour-Fixes Produktfeedback zu geben, um das Produkt noch weiter zu verbessern.
