Die Effektivität formativer Evaluation
bei der Entwicklung gebrauchs-
tauglicher Software – eine Fallstudie
Kai Kaspar, Kai-Christoph Hamborg, Timo Sackmann und Julia Hesselmann
Zusammenfassung. Die vorliegende Fallstudie befasste sich mit der Effektivita¨t von Usability-Tests als Methodik fu¨r die Gestaltung
gebrauchstauglicher Software. Ein Online-Bookshop wurde zu zwei Zeitpunkten in einem Entwicklungszyklus mithilfe eines Usability-
Tests evaluiert. Aus den im ersten Usability-Test identifizierten Usability-Problemen wurden Gestaltungskonsequenzen abgeleitet und
umgesetzt. Die so u¨berarbeitete zweite Version des Bookshops wurde einem weiteren Usability-Test unterzogen, in dem wiederum
Usability-Probleme erhobenwurden. Die ausgewertete Stichprobe von 22 studentischenVersuchspersonen unterteilte sich in 11Novizen
und 11Experten, 10 Probandenwarenma¨nnlichen und 12weiblichenGeschlechts. Von diesen 22 Probanden nahmen jeweils 11 an einem
der beiden Usability-Tests teil, in denen die gleichen drei aufeinander aufbauenden Testaufgaben bearbeitet wurden. Die Befunde zeigen
wie angenommen, dass sich die Quantita¨t der erkannten Usability-Probleme vom ersten zum zweiten Usability-Test verringerte. Ent-
gegen der Erwartung wurde jedoch keine Vera¨nderung der Bedeutsamkeit der erhobenen Usability-Probleme verzeichnet. Entsprechend
der Untersuchungsannahmen zeigt sich weiterhin ein Effekt der Kombination von Evaluation und Gestaltung auf die subjektive Be-
wertung von Gefallensaspekten und der ergonomischen Qualita¨t des Bookshops durch die Nutzer. Zudem stellt sich die Expertise der
Nutzer als relevanter Faktor fu¨r die Ha¨ufigkeit explizit gea¨ußerter Kritik am Produkt dar. Konsequenzen fu¨r die Praxis und weitere
Forschung im Bereich des Usability-Engineerings sowie die Notwendigkeit einer psychologisch begru¨ndeten Definition des Konstrukts
des Usability-Problems werden diskutiert.
Schlu¨sselwo¨rter: Usability-Engineering, Usability-Test, formative Evaluation, iterative Systemgestaltung, Problembedeutsamkeit,
Mensch-Computer Interaktion
The effectiveness of formative evaluation in the development of usable software: a case study
Abstract. The present case study examines the effectiveness of usability testing as a method for designing usable software. An online
bookshopwas evaluated two times in an iterative development cycle bymeans of usability testing. Design implicationswere derived from
the usability problems identified in the first test and then implemented. The revised version of the bookshop was evaluated again. The
sample included 22 student subjects of whom 11 each were expert and novice users. Ten were male and 12 female. In both usability tests
(with 11 subjects each) the same three consecutive tasks were accomplished and used to evaluate usability-problems of the bookshop. In
line with the hypotheses the quantity of usability problems decreased from the first to the second usability test. Contrary to expectation,
however, no change in the severity of the usability problems was revealed. According to the study’s assumptions an effect of the
evaluation-design cycle on the subjective assessment of the bookshop by the users was also found. The shop’s attractiveness as well as its
hedonic and ergonomic quality were rated higher at the end of the cycle.Moreover, the expertise of the users proved to be a relevant factor
that influences the number of criticisms made regarding the product. Implications for practice and further research in the field of usability
engineering as well as the need for a reasonable definition of the psychological construct of usability problems are discussed.
Key words: usability engineering, usability test, formative evaluation, iterative system design, usability problem, diversity of problems,
human-computer interaction
Der Begriff der Gebrauchstauglichkeit (Usability) be-
schreibt die Qualita¨t von Software aus einer benutzerori-
entierten Perspektive. Software wird dann als gebrauchs-
tauglich bezeichnet, wenn sie in einem bestimmten Nut-
zungskontext effektiv, effizient und in zufriedenstellender
Weise genutzt werden kann (ISO 9241–11, 1999). Fu¨r die
Gestaltung gebrauchstauglicher Software stellt die Hu-
man-Computer Interaction (HCI) als angewandte Wis-
senschaftsdisziplin sowohl ergonomisches Wissen als
auch gestaltungsunterstu¨tzende Methoden bereit. Letztere
werden zusammenfassend der Gestaltungsmethodik des
Usability-Engineering (Nielsen, 1993a; Rosson & Car-
roll, 2002) zugeordnet. Eine wichtige Rolle im Usability-
Engineering spielen neben Methoden fu¨r die Analyse des
Nutzungskontextes und der resultierenden Anforderun-
gen auch Methoden fu¨r die systematische Evaluation von
Gestaltungslo¨sungen. Die Evaluation von Gestaltungslo¨-
sungen wird imUsability-Engineering vorgenommen, um
Fehler und Schwa¨chen der Software, die das Erreichen
von Zielen der Nutzer erschweren oder sogar verhindern,
Wir bedanken uns bei Thomas Schechinger, Anna Blokker, Karin
Bornheimer, Carolin Plate und Frank Ollermann fu¨r die Unterstu¨tzung
bei der experimentellen Durchfu¨hrung.
Zeitschrift fu¨r Arbeits- u. Organisationspsychologie (2010) 54 (N. F. 28) 1, 29 – 38  Hogrefe Verlag, Go¨ttingen 2010
DOI: 10.1026/0932-4089/a000003

fru¨hzeitig erkennen und beheben zu ko¨nnen (Hamborg &
Gediga, 2006). Vorgehensmodelle des Usability-Engi-
neerings sehen vor, dass die Evaluation und nachfolgende
Verbesserung eines Produktes in einem iterativen Ent-
wicklungsprozess und unter Einbeziehung ku¨nftiger
Nutzer so lange zyklisch durchlaufen wird, bis dieses den
Anforderungen des Nutzungskontextes und ergonomi-
schen Gestaltungszielen entspricht (ISO 13407, 1999).
Die in Evaluationsuntersuchungen identifizierten Fehler
und Schwachpunkte werden auch als Usability-Probleme
bezeichnet. Obwohl das Konzept des Usability-Problems
eine zentrale Rolle imUsability-Engineering spielt, fehlen
hierfu¨r derzeit noch allgemein gu¨ltige Definitionskriterien
(Hertzum & Jacobsen, 2001), so dass fu¨r die Erhebung
und Bestimmung solcher Probleme ha¨ufig auf operatio-
nale Definitionen zuru¨ckgegriffen wird.
Iterative Entwicklungsmodelle sehen die Mo¨glichkeit
zur Evaluation von Gestaltungslo¨sungen in Form von
Prototypen zu verschiedenen Zeitpunkten vor. Zu Beginn
einer Entwicklung werden Prototypen ha¨ufig in Form von
Skizzen oder als einfache Simulationen evaluiert. Ist ein
zu evaluierender Prototyp zu einem spa¨teren Zeitpunkt im
Entwicklungszyklus bereits lauffa¨hig, so dass Nutzer ak-
tiv mit der Anwendung interagieren ko¨nnen, erfolgt die
Evaluation ha¨ufig mithilfe sogenannter Usability-Tests
(Dumas & Redish, 1999; Rubin, 1994). Diese umfassen
zumeist eine Kombination von Verhaltensanalysen und
Befragungsmethoden. Zu den am ha¨ufigsten verwendeten
Methoden des Usability-Testing za¨hlt die Methode des
Lauten Denkens (Boren & Ramey, 2000; Nielsen, 1993a;
van den Haak, De Jong & Schellens, 2003). Obwohl die
Durchfu¨hrung von Usability-Tests zeit- und kostenauf-
wendig ist, gilt diese Methode als Ko¨nigsweg der forma-
tiven Evaluation (Nielsen, 1993a), insbesondere auch
deshalb, weil die Evaluation auf der konkreten Interaktion
von Nutzern mit einem Softwareprodukt basiert.
Seit einiger Zeit wird die Qualita¨t von Usability-Tests
jedoch kritisch diskutiert. Eine Reihe von Untersuchun-
gen weist auf die unzureichende Reliabilita¨t dieser Me-
thodik hin (Hertzum& Jacobsen, 2001;Molich &Dumas,
2008; Molich, Ede, Kaasgaards & Karyukin, 2004). Als
Ursachen hierfu¨r werden u. a. die fu¨r die Designer des
Systems wenig handlungsleitenden und missversta¨ndlich
bzw. unklar formulierten Usability-Probleme (Dumas,
Molich & Jeffries, 2004; Molich, Jeffries & Dumas,
2007), uneindeutige Kriterien fu¨r die Bestimmung von
Usability-Problemen sowie die fehlende Standardisierung
der Evaluationsmethoden (Hertzum & Jacobsen, 2001)
genannt.
Neben der Untersuchung der Reliabilita¨t von Usabi-
lity-Tests wurde weiterhin der Frage nachgegangen, ob
Maßnahmen des Usability-Engineerings tatsa¨chlich zu
einer Verbesserung der Gebrauchstauglichkeit von Soft-
waresystemen fu¨hren. Die entsprechenden Befunde, die
vorwiegend aus Fallstudien resultieren, zeigen, dass for-
mative Evaluationsuntersuchungen im Entwicklungspro-
zess zu messbaren Verbesserungen der subjektiv einge-
scha¨tzten Gebrauchstauglichkeit und der Performance
von Software beitragen (Egan et al. , 1989; Nielsen,
1993b). Als weitere Effekte iterativer Systementwicklung
werden die Verku¨rzung des Entwicklungsprozesses sowie
positive Auswirkungen auf die Ergonomie der entwi-
ckelten Software berichtet (Gould, Boies, Levy, Richards
& Schoonard, 1987). Zu beachten ist aber, dass die Ver-
wertung der durch die Evaluation eines Prototyps er-
kannten Schwachpunkte nicht notwendigerweise zu der
Verbesserung der Gebrauchstauglichkeit folgender Ver-
sionen fu¨hren muss; im Gegenteil zeigen experimentelle
Untersuchungen, dass sich dieAnzahl der Schwachpunkte
innerhalb eines Evaluationszykluses sogar erho¨hen kann
(John & Marks, 1997). Befunde aus vier Fallstudien von
Nielsen (1993b) und einer weiteren Studie von Bailey
(1993) weisen aber darauf hin, dass bei mehreren Itera-
tionen die Anzahl der Usability-Probleme oder der Nut-
zerfehler abnimmt. Daru¨ber hinaus geht Nielsen (1993a)
davon aus, dass hierbei zuna¨chst die schwerwiegenden
und im Folgenden die weniger bedeutsamen Usability-
Probleme erkannt werden. Empirisch wurde diese An-
nahme jedoch noch nicht erha¨rtet. Insgesamt liegen damit
bisher nur wenige Vero¨ffentlichungen vor, in denen die
Effektivita¨t der Evaluation von Prototypen unter kontrol-
lierten Bedingungen u¨ber mehrere Iterationen und Eva-
luationszyklen untersucht wurde.
Die vorliegende Arbeit nimmt diese Fragestellung auf.
Untersucht wird die Wirksamkeit der formativen Eva-
luation eines Softwareprodukts in einem iterativen Ent-
wicklungsvorgehen mit zwei Evaluationszyklen. Ausge-
hend von der dargestellten Befundlage wird erwartet, dass
sich die Anzahl der Usability-Probleme einer Anwendung
(Hypothese 1) sowie deren Bedeutsamkeit (Hypothese 2)
von einem ersten zu einem zweiten Evaluationszyklus
verringert. Weiterhin wird angenommen, dass sich die
Vera¨nderungen des Produkts auch in einer besseren sub-
jektiven Bewertung der Qualita¨t der untersuchten Soft-
ware durch die Nutzer niederschlagen (Hypothese 3).
Dem Einfluss der Computer-Expertise von Teilnehmern
auf die Bedeutsamkeit gefundener Probleme wird zudem
exploratorisch nachgegangen.
Methode
Untersuchungsdesign und Vorgehen
Gegenstand der Untersuchung war ein lauffa¨higer Online-
Bookshop, der zu zwei Zeitpunkten in einem Entwick-
lungszyklus mithilfe eines Usability-Tests evaluiert wur-
de. Aus den im ersten Usability-Test erkannten Usability-
Problemen wurden Gestaltungskonsequenzen abgeleitet
und von einem unabha¨ngigen Entwickler umgesetzt.
Diese neue Version des Bookshops wurde im Anschluss
30 Kai Kaspar, Kai-Christoph Hamborg, Timo Sackmann und Julia Hesselmann