Im gerade beendeten 5. Semester von ON09 standen für die Lehrveranstaltung „Human Computer Interaction 3” bei Prof. Dr. Wirth verschiedene Themen für das Semesterprojekt zur Auswahl. Christian, Paul und ich entschieden uns dafür, die Bedienmöglichkeiten eines Smartphones, genauer gesagt die Steuerung des iPhone 4S per Sprachsteuerung „Siri“ mit der normalen Bedienung per Touchbildschirm zu vergleichen: Womit kommt man schneller zum Ziel?
Unser Smartpone unterstützt uns bei Aufgaben wie der Kontaktpflege, dem Abrufen von Informationen oder E-Mails, der Notizverwaltung oder generell dabei, im Internet zu surfen. Vor allem die hohe Verbreitung von Touchscreens hat dazu geführt, dass Smartphones durchgängig für die verschiedensten Aufgaben geeignet sind, da je nach Anwendungsfall passende Bedienelemente auf dem Display angezeigt und genutzt werden können.
Es wird zudem immer wichtiger, dass sich Smartphones auch ohne Berührung des Displays oder „blind“ bedienen lassen, um diese in allen Lebenslagen, wie zum Beispiel beim Autofahren, nutzen zu können. Um die Bedienung eines Smartphones angenehmer zu gestalten, wurde daher kontinuierlich an anderen Bedienungsmethoden wie beispielsweise der Sprachsteuerung geforscht. Wo vor ein paar Jahren nur festgelegte Kommandos nach strikter Grammatik mit hörbaren Pausen zwischen den einzelnen Wörtern benutzt werden konnten (diskrete Sprache), kann das Smartphone heute kontextsensitiv und mit natürlicher Sprache gesprochene Befehle ausführen (kontinuierliche Sprache).
Warum „Siri“?
State-of-the-art ist momentan die Sprachsteuerung „Siri“, welche Apple mit dem iPhone 4S eingeführt hat. Apple beschreibt „Siri“ auf seiner Webseite wie folgt:
„[…] Siri ist anders als eine traditionelle Spracherkennungssoftware, bei der du dir Schlagwörter merken und bestimmte Befehle sprechen musst. Siri versteht […] natürliche Sprache und stellt […] Fragen, wenn es mehr Informationen braucht, um […] Aufgabe[n] zu erledigen.“
Da „Siri“ am ehesten dem aktuellen Forschungsstand entspricht, wurde sie in unserer Studie als Vergleich zur konventionellen Bedienung per Fingerberührung herangezogen.
Vorstudie
Um herausfinden zu können, für welche Apps sich der Vergleich „‚Siri‘ vs. Normale Bedienung“ lohnt, planten und führten wir eine Vorstudie durch. Dabei wurden 39 Onlinemedien-Studenten nach ihrem App-Nutzungsverhalten befragt („Wie oft benutzt du App XYZ?“). Die Daten wurden dann aufbereitet und ausgewertet. Nachdem Apps, mit denen „Siri“ gar nicht umgehen kann (wie zum Beispiel Whatsapp), aussortiert wurden, kamen wir auf die folgenden Testfälle:
- Internetbrowser: Der Proband soll eine Googlesuche nach „Mosbach“ durchführen.
- Mail: Der Proband soll eine E-Mail mit vorgegebenem Betreff und Text an einen bestimmten Adressaten versenden.
- Telefon: Der Proband soll einen bestimmten Kontakt anrufen.
- Nachrichten (SMS): Der Proband soll eine SMS mit definiertem Textinhalt an einen bestimmten Kontakt versenden.
- Musik: Der Proband soll auf dem Gerät vorhandene Musik eines bestimmten Interpreten wiedergeben.
- Wecker: Der Proband soll einen Wecker für einen bestimmten Zeitpunkt stellen.
39 Onlinemedien-Studenten wurden zu ihrer App-Nutzung und ihren Smartphone-Kenntnissen befragt. Außerdem sollten die Probanden ihre Fähigkeiten hinsichtlich der Bedienung von Smartphones einschätzen, damit im späteren Verlauf festgestellt werden kann, ob sehr gute Smartphone-Kenntnisse mit einer geringeren Aufgaben-Bearbeitungszeit korrelieren.
Untersuchungsmethodik / Ablauf
Die Studie hatte insgesamt 13 Teilnehmer (3 weiblich, 10 männlich), allesamt Studenten des Studienfachs „Onlinemedien“, die per E-Mail eingeladen wurden. Es wurden mithilfe der Vorstudie (siehe oben) ausschließlich iPhone-Benutzer ausgewählt, damit der grundsätzliche Umgang mit dem Telefon in der Studie vorausgesetzt werden kann. Acht der Probanden (62 Prozent) gaben an, dass sie Experten bzw. in der Bedienung von Smartphones sehr erfahren seien. Als Anreiz, an dem Experiment teilzunehmen, erhielten die Teilnehmer einen USB-Stick.
Der Versuch wurde in einem Raum durchgeführt, in dem sich zum Zeitpunkt des Versuchs lediglich die Versuchsperson, der Versuchsleiter sowie ein Kamera-Verantwortlicher befanden. Auf der einen Seite des Raums, geteilt durch eine Trennwand, fand der eigentliche Versuch statt. Die Versuchsperson wurde gebeten, an einem Tisch Platz zu nehmen und das iPhone in der Hand zu halten. Auf dem Tisch wurde durch Klebestreifen ein rechteckiger Bereich markiert, in welchem sich die Hand des Probanden während des Versuchs befinden sollte, damit die Bedienung des Smartphones auf der Video-Aufnahme zu erkennen ist, sich das Smartphone also nicht außerhalb des sichtbaren Bereichs der Kamera befindet. Dabei durfte der Proband das Smartphone in der Hand halten wie er wollte. Die DIN-A5 Blätter mit den jeweiligen Aufgaben lagen, je nach Wunsch, vor oder schräg neben dem Aufnahmebereich auf dem Versuchstisch. Zudem gab es einen Spickzettel mit einigen Hilfestellungen zur Bedienung der Sprachsteuerung. Schräg hinter dem Teilnehmer wurde die Kamera platziert und auf den Bildschirm des Handys fokussiert (vgl. Abbildung 5). Neben der Versuchsperson saß der Versuchsleiter, der die Zeit stoppte und auf Abbruchszenarien reagierte. Auf der anderen Seite des Raums befanden sich die Computer für die Eintragung der Ergebnisse und für die Speicherung der Videoaufnahme, die durch den Kameramann gesteuert wurde.
Der Versuch wurde an zwei aufeinander folgenden Tagen morgens bzw. nachmittags durchgeführt. Ein Versuch dauerte im Durchschnitt 25 Minuten. Zwischen den Versuchen gab es jeweils eine kurze Pause.
Unabhängige & abhängige Variablen
Die unabhängigen Variablen in unserem Experiment waren:
- Eingabemethode („Siri“ vs. normale Bedienung): Die Probanden wurden gebeten die Aufgaben zunächst mit normaler Bedienung und im Anschluss mit „Siri“ durchzuführen.
- Fähigkeiten des Probanden in der Smartphone-Bedienung: Dieser Wert (siebenstufige Skala: Anfänger bis Experte) wurde aus der Umfrage unserer Vorstudie übernommen.
- Sprachdeutlichkeit, subjektive Einschätzung des Dialekts im Anschluss an den Versuch
Zudem wurden einige weitere Werte notiert, die jedoch primär nicht für den Versuch relevant waren: Geschlecht, Uhrzeit, Datum und ggf. Bemerkungen zu körperlichen Einschränkungen des Probanden.
Die abhängigen Variablen in unserem Experiment waren:
- Zeit (“time on task”): Die Dauer, die der Proband für die Bearbeitung einer Aufgabe benötigte. Die Endzustände, zu denen gestoppt wurde, wurden vor Beginn des Experiments festgelegt (siehe Kapitel 8.3). Gemessen wurde diese Zeit durch den Versuchsleiter mit Hilfe der Stoppuhr-Anwendung eines weiteren iPhones.
- Fehleranzahl bei Aufgaben mit Texteingabe (siehe Kapitel 8.2)
- Nach Abschicken der Texte (SMS, E-Mail) wurden jeweils die Rechtschreibfehler gezählt und notiert. Was genau als ein Fehler gilt, wurde zuvor definiert (siehe ebenfalls Kapitel 8.2).
- Subjektive Einschätzung der Bedienung
Der Proband füllte nach Bearbeitung der Aufgaben einen Fragebogen aus, in dem er/sie angab, wie er/sie die Bedienung bewertete und welche Variante er lieber benutzte.
Ergebnisse
Für die Aufgaben „E-Mail schreiben“, „Anruf tätigen“ und „Wecker stellen“ zeigt sich eine signifikante Differenz zwischen den Bedingungen „Steuerung durch normale Bedienung“ und der „Steuerung durch Sprachsteuerung“. Somit war Siri bei den Aufgaben „E-Mail schreiben“ und „Wecker stellen“ signifikant schneller. Bei der Aufgabe „Anruf tätigen“ war Siri im Gegensatz zur normalen Bedienung signifikant langsamer. Bei allen anderen Aufgaben ist kein signifikanter Unterschied feststellbar.
Probanden-Erfahrung mit „Siri“ und Zeit pro Aufgabe (Sprachsteuerung)
Die Vorkenntnisse eines Probanden bezüglich der Smartphone-Bedienung mit Siri beeinflussen die Zeitdauer bei den meisten Aufgaben nur geringfügig. Merkliche Korrelationen von „Siri-Erfahrung vor Studie“ mit „Aufgabenzeit Sprachsteuerung“ waren bei den Aufgaben „E-Mail schreiben“ und „SMS verfassen“ feststellbar. Hier war eine Eingabe von Texten erforderlich, was diese Korrelation erklärt. Erfahrungen mit Siri vor dem Experiment haben die Dauer der Eingabe per Sprachsteuerung beschleunigt. Beispielsweise haben Probanden, die bereits Erfahrung mit Siri angaben, die komplette Textaufgabe in einer Interaktion abgehandelt. Unerfahrenere Probanden haben in einem Dialog mit Siri („An wen möchtest du senden?“ und „Wie lautet der Betreff der E-Mail“) die Aufgabe ausgeführt, was zu einer längeren Aufgabenzeit führte.
Vorkenntnisse hinsichtlich der Bedienung eines Smartphones mithilfe von „Siri“ hat also kaum bzw. keinen Einfluss auf die Bearbeitungszeit einer Aufgabe, da nur zwei von sechs Aufgaben eine leichte, die anderen vier jedoch keine maßgebliche Korrelation zeigen.
Ergebnisse des Tippgeschwindigkeits-Performance-Test
Die Durchschnittstippgeschwindigkeit der Probanden lag bei 158 Anschlägen pro Minute.
Die erwartete Gegenläufigkeit von Aufgabengeschwindigkeit und Tippgeschwindigkeit war nur teilweise feststellbar.
| Aufgabe (normale Bedienung) | Korrelation (Aufgabenzeit; Tippgeschwindigkeit) |
| SMS verfassen | -0,50 |
| Im Browser suchen | -0,41 |
| E-Mail schreiben | -0,34 |
| Wecker stellen | -0,22 |
| Anruf tätigen | -0,13 |
| Musik abspielen | 0,09 |
Deutlich erkennbar ist, dass für die Aufgabe „SMS verfassen“ zwischen „Aufgabenzeit“ und „Tippgeschwindigkeit“ eine mittlere negative Korrelation vorliegt (r < -0.5, siehe Tabelle). Daraus lässt sich schließen, dass sich eine schnellere Tippgeschwindigkeit maßgeblich auf eine kürzere Aufgabenzeit auswirkt. Die Aufgaben „Im Browser suchen“ und „E-Mail schreiben“ besitzen für die Korrelation von „Aufgabenzeit“ mit „Tippgeschwindigkeit“ nur eine geringe Gegenläufigkeit (r < -0.3). Dies beruht auf einer wesentlich geringeren Textmenge, die zur Lösung der Aufgabe eingegeben werden muss.
Polaritätenprofil
Das Durchschnittspolaritätenprofil zeigt, dass die einzelnen Polaritäten eher positiv (links) als negativ (rechts) angesiedelt sind.
Am stärksten zur positiven Seite geneigt ist „fehlerfrei“. Dieses Ergebnis ist übereinstimmend mit der gemessenen, geringen Fehleranzahl für beispielsweise die Eingabe einer E-Mail per Sprachsteuerung. Auch die deutlich positiv ausgeprägten Eigenschaften „flüssig“, „mühelos“ und „spaßig“ sprechen für den „Joy of use“-Faktor. Dies entspricht auch der Beobachtung während des Versuchs: Die Probanden waren während der Durchführung des Experiments von den Fähigkeiten der Sprachsteuerung beeindruckt und fanden Gefallen daran, mit Siri zu sprechen.
Sirifunktionen im Alltag?
Zwölf Probanden würden für den Versand einer SMS (Nachrichten) die Sprachsteuerung nutzen. Die überdurchschnittlich Fehlerfreiheit (im Performance-Test machten die Probanden in einem fremden Text im Schnitt 2,6 Fehler bei durchschnittlichen 158,2 Zeichen/Minute) ist wohl ein Grund dafür.
Wir hoffen, ihr habt nun einen kleinen Einblick in unsere Studie erhaschen können. Wenn ihr noch fragen habt, könnt ihr diese gern via Kommentarfunktion stellen. Wir konnten hier leider nicht auf alle Einzelheiten eingehen, daher sind wir offen für alle Arten von Anmerkungen/Wünsche/Fragen.