Fallstudie: Usability-Tests bei der T-Systems MMS

Letzte Änderung: 08/2019

Am 18. April fand ein Workshop von Team Usability und der T-Systems Multimedia Solutions (T-Systems MMS) GmbH in Dresden statt. Das Ziel für das Projekt war, sich genauer über den dort praktizierten Prüfansatz auszutauschen.

Hoher Aufwand

Generell sind sowohl die Planung als auch die Durchführung von Usability-Tests mit Nutzern aufwändig. Die Kunden sind häufig nicht bereit, die Beträge zu bezahlen, die dem tatsächlichen Aufwand entsprechen würden. Das Fehlen verbindlicher Standards für Nutzertests kann außerdem dazu führen, dass Anbieter mit geringeren Ansprüchen einen Kostenvorteil haben. Für Kunden sind Qualitätsunterschiede oft nicht leicht zu bewerten.

Einbeziehung von Menschen mit Behinderungen

Beim Einsatz von Probanden mit Behinderung kommen weitere Aspekte hinzu: Der Test muss mit den gewohnten Werkzeugen und Einstellungen des Nutzers durchgeführt werden, da sich sonst relevante Usability-Probleme nicht von den Problemen unterscheiden ließen, die mit der Gewöhnung an neue Hilfsmittel, Browser oder Settings einhergehen. Erst einmal aber müssen geeignete Probanden mit Behinderung gefunden werden, die mitunter gleichzeitig auch dem Zielgruppenprofil des Tests entsprechen sollten, was nicht einfach ist. Für den Test verwendete Rechner müssen ggf. mit benötigten Hilfsmitteln eingerichtet werden – oder Nutzer müssen ihre eigenen Geräte und Hilfsmittel mitbringen. Bei der Auswertung und Vergleichbarkeit ist zu berücksichtigen, dass die Nutzung unterschiedlicher Browser, Hilfsmittel, Hilfsmittel-Versionen bzw. Hilfsmittel-Einstellungen das Ergebnis beeinflussen können.

Planung

In der Planung von Nutzertests wird mit dem Kunden die Zielsetzung und der Umfang des Tests abgesprochen (Scope) – was will er erreichen? Der Kunde definiert Aufgaben oder hat spezifische Fragestellungen, etwa ob bestimmte Angebote wahrgenommen bzw. gefunden werden. Die Aufgabenstellung sollte dabei nicht zu kleinteilig sein und Suggestionen vermeiden.

Auch der Kontext der praktischen Anwendung sollte in den Test-Szenarien abgebildet werden, etwa weitere Arbeitsmittel oder Informationen, die zum Workflow gehören.

Bei Fachanwendungen gibt es mehrere Zielgruppen, z.B. solche mit Vorwissen (Probanden, die das Vorgänger-System kennen) und solche, die es nicht kennen, also Pilotnutzer. Bei bestimmten Anwendungen, etwa einem Einkaufsportal, gibt es beispielsweise Poweruser aus dem Einkauf, Teamassistenten, die Einkaufswagen einstellen, Teamleiter, die nur freigeben usw. Diese Gruppen müssen dann jeweils mit einer Ausprägung mit und ohne Vorwissen abgebildet werden, was in dem einfachen Fall schon mal 3*2=6 Zielgruppen ausmacht. Hier entstehen natürlich ganz andere Aufwände als bei einem Expertentest.

Ein anderes Auswahlkriterium kann die Affinität zu bestimmten Nutzungen sein, etwa Online-Shopping. Fragestellungen kann sein, ob etwa ein Link zu einem Ticket-Shop als solcher erkannt oder für Werbung gehalten wird.

In einer zweiten Stufe wird häufiger eine Zielgruppensegmentierung vorgenommen, etwa die Trennung zwischen

IT-affin / nicht IT-affin
Mann/Frau
Nutzer mit Vorwissen, die ein zu ersetzendes System kennen / neue Nutzer

Dies kann dann die Zusammensetzung der Probandengruppe mitbestimmen. Die Probandenakquisition läuft häufig über ein Marktforschungsinstitut.

Durchführung

Für die Testung werden die Probanden eingeladen. Die Tests finden in Zeiteinheiten (Slots) zwischen 45 bis 60 Minuten statt, dazu kommen Vor- und Nachgespräche.

Eine eingesetzte Methode ist SUS (System Usability Scale), ein Fragebogen, über den Nutzer ihre Zustimmung zu bestimmten Aussagen über das System auf einer Skala angeben können. Damit kann z.B. die Einhaltung der Dialogprinzipien eingeschätzt werden. Dies wird im Nachgang kombiniert mit der Methode Attrakdiff, einer qualitativen Bewertung im Interviewstil.

Usability-Tests helfen zwischen persönlichen Meinungen und objektivierenden Bewertungen zu unterscheiden, bzw. von ersteren zu letzteren zu gelangen.

Fokusgruppen

Im Workshop wurde abschließend das Potential der Methode „Fokusgruppe mit Menschen mit Behinderungen“ besprochen. Zum Fokusgruppen-Interview mit Menschen mit Behinderungen liegen unseres Wissens noch keine Erfahrungen vor. Die Methode hätte den Vorteil, dass schon früh Hinweise auf mögliche Usability-Probleme und Barrieren gesammelt werden könnten, nämlich noch bevor die technische Umsetzung beginnt. Sie ist leichter durchführbar als Probandentests, stellt aber hohe Anforderungen an die Moderation.

Für die Einbeziehung von Menschen mit Sehbehinderung z.B. bestünde die Herausforderung darin, Design-Entwürfe und Varianten, die den Fokusgruppen-Teilnehmern typischerweise über eine visuelle Präsentation vermittelt werden, so zu versprachlichen, dass sie für diese Teilnehmer zugänglich werden (ein vergleichbares Problem bestünde für schwerhörige oder gehörlose Teilnehmer, die eine Verschriftlichung des gesprochenen Worts bzw. eine Übertragung in die Deutsche Gebärdensprache benötigen würden). Damit einher ginge ein erhöhter Zeitbedarf. Die Versprachlichung hätte aber möglicherweise für alle Teilnehmer einen Nutzen, denn sie stellt die Entwürfe in einem zweiten Wahrnehmungsmodus vor und erreicht so eine Vertiefung der Wahrnehmung und möglicherweise eine bessere Qualität der Antworten der Fokusgruppen-Teilnehmer.

Eine Stärke eines Fokusgruppen-Interviews besteht auch darin, dass ein typisches Problem bei Probandentests mit Menschen mit Behinderungen entfällt: Usability ließe sich in Probandentests eigentlich nur dann bewerten, wenn die Anwendung zuvor komplett technisch barrierefrei wäre, da sonst die technischen Barrieren die wahrgenommene Usability der Probanden beeinflussen. Diese Situation ist aber selten gegeben. Das Fokusgruppen-Interview setzt früher ein und basiert nicht auf Interaktion, sondern auf der Präsentation von Konzepten und Entwürfen. Es vermeidet so den negativen Einfluss mangelnder Barrierefreiheit, kann allerdings damit die erst in der tatsächlichen Interaktion auftretenden Usability-Probleme auch nicht bewerten.