{"id":16161,"date":"2023-05-24T15:38:28","date_gmt":"2023-05-24T13:38:28","guid":{"rendered":"https:\/\/www.centigrade.de\/?post_type=blog&p=16161"},"modified":"2023-07-27T09:16:18","modified_gmt":"2023-07-27T07:16:18","slug":"chatgpt-und-ux-research-zwischen-kuenstlicher-intelligenz-und-menschlicher-expertise","status":"publish","type":"blog","link":"https:\/\/www-test.centigrade.de\/de\/blog\/chatgpt-und-ux-research-zwischen-kuenstlicher-intelligenz-und-menschlicher-expertise\/","title":{"rendered":"ChatGPT und UX Research \u2013 Zwischen k\u00fcnstlicher Intelligenz und menschlicher Expertise"},"content":{"rendered":"

\"Roboter<\/p>\n

Wie kann ChatGPT den UX Research unterst\u00fctzen? Ich habe mit ChatGPT ein fiktives UX Research-Projekt durchgef\u00fchrt, um mehr dar\u00fcber herauszufinden, welche St\u00e4rken (und Schw\u00e4chen) ChatGPT aktuell bei der Durchf\u00fchrung von UX Research-Aufgaben hat.<\/p>\n

Einleitung<\/h2>\n

AI ist gef\u00fchlt aktuell das<\/em> Thema in der UX-Welt \u2013 sp\u00e4testens, seitdem AI-Tools wie ChatGPT, Midjourney und DALL-E f\u00fcr die breite Masse zug\u00e4nglich und nutzbar geworden sind, stellt sich die Frage, wie AI die Arbeit von UX Professionals zuk\u00fcnftig ver\u00e4ndern wird. In einem vorherigen Blogartikel<\/a> ist Thomas bereits auf die Implikationen von AI f\u00fcr die Arbeit von UX Professionals eingegangen.<\/p>\n

UX Research und AI<\/h2>\n

Auch im UX Research gibt es erste Ans\u00e4tze, AI zu integrieren. Es gibt sogar Tools<\/a>, die anbieten, echten UX Research durch den Einsatz von AI ersetzen zu k\u00f6nnen. Mithilfe von AI und Computerlinguistik werden synthetische User generiert, die echtes menschliches Verhalten imitieren sollen. Dazu m\u00fcssen lediglich einige Merkmale der Persona, die Probleme der Persona und ein L\u00f6sungsansatz eingegeben werden, und das Modell \u201ef\u00fchrt virtuelle Nutzerinterviews durch\u201c, erh\u00e4lt Feedback von den synthetischen Personas und fasst diese in einem Bericht zusammen. User Research ganz ohne die User \u2013 basierend auf Large Language Models (LLMs)<\/a> und ihren Trainingsdaten. Niloufar Salehi, Assistant Professor im Bereich der Human-Computer-Interaction an der UC Berkeley School of Information, hat in ihrem Blogartikel<\/a> das Grundproblem solcher Tools gut zusammengefasst: Ein LLM wei\u00df im Wesentlichen nichts \u00fcber die reale Welt und kann keine Erkenntnisse produzieren, die \u00fcber die in ihren Trainingsdaten vorhandenen Muster hinausgehen. Auch wenn echtes menschliches Verhalten imitiert werden kann, \u00e4ndert das nichts daran, dass die Informationen aus den \u201eInterviews\u201c lediglich auf den Trainingsdaten basieren. Die Antworten solcher synthetischen User auf Interviewfragen beruhen also darauf, was – gegeben der vorhandenen Trainingsdaten – statistisch am wahrscheinlichsten ist. Das Ergebnis sind oberfl\u00e4chliche und stereotype \u201eErkenntnisse\u201c \u00fcber die User. Je spezifischer und komplexer der Nutzungskontext, desto st\u00e4rker ist die Notwendigkeit f\u00fcr echten UX Research. Es braucht einfach den Input von echten Menschen, um neue und relevante Erkenntnisse \u00fcber den Nutzungskontext und die Probleme der User zu erlangen.<\/p>\n

ChatGPT als UX Researcher? \u2013 Ein Experiment<\/h2>\n

Wir brauchen also weiterhin den Input echter User und m\u00fcssen weiterhin unsere Annahmen \u00fcber Benutzer validieren, indem wir beispielsweise Interviews oder Befragungen durchf\u00fchren. Trotzdem sollten UX Researcher das Potential von AIs nutzen, z.B. um Arbeitsschritte zu automatisieren oder Inspiration beim Schreiben von Interviewleitf\u00e4den oder Testszenarios zu erhalten. Um mehr dar\u00fcber zu lernen, wie uns zum Beispiel ChatGPT im UX Research unterst\u00fctzen kann, habe ich ein fiktives UX Research-Projekt mithilfe von ChatGPT durchgef\u00fchrt.<\/p>\n

Das fiktive Start Up kurzreisenbuddy m\u00f6chte eine App entwickeln, die personalisierte Tages- oder Wochenendausfl\u00fcge f\u00fcr ihre Nutzer*innen anbietet. Die personalisierte Planung der Tages- oder Wochenendausfl\u00fcge sollte f\u00fcr die Nutzer*innen interessante Sehensw\u00fcrdigkeiten, Restaurantbesuche und An- und Abreise durch \u00d6PNV ber\u00fccksichtigen. Dabei sollen verschiedene Faktoren, wie z.B. die Interessengebiete der Nutzer*innen, die verf\u00fcgbare Zeit und das Budget ber\u00fccksichtigt werden. Lokale Unternehmen im Bereich des Tourismus und der Gastronomie sollen die App nutzen k\u00f6nnen, um Tourist*innen auf sich aufmerksam zu machen.<\/p>\n

Stakeholder<\/h2>\n

Als erstes bitte ich ChatGPT darum, mir relevante Stakeholder f\u00fcr das Projekt zu nennen.<\/p>\n

\"ChatGPT<\/p>\n

ChatGPT gibt eine nachvollziehbare und vollst\u00e4ndige Liste der Stakeholder aus. Besonders spannend finde ich, dass als weitere Stakeholder die Stadt-\/Gemeindeverwaltungen und m\u00f6gliche Investoren hinzugef\u00fcgt wurden, da ich diese im Prompt nicht benannt habe. ChatGPT kann also auf jeden Fall dabei helfen, relevante Stakeholder f\u00fcr ein Projekt zu identifizieren.<\/p>\n

Protopersonas<\/h2>\n

Als n\u00e4chstes bitte ich ChatGPT darum, zu dem vorherigen Prompt relevante Personas zu generieren. Wichtig ist es an dieser Stelle darauf hinzuweisen, dass es sich nicht um durch UX Research verifizierte Personas, sondern um Protopersonas<\/a> handelt. Protopersonas basieren auf den Annahmen eines Teams (oder in diesem Fall eines LLMs und seiner Trainingsdaten) dar\u00fcber, wer die Benutzer sind und was sie wollen. Diese Annahmen k\u00f6nnen als Hypothesen f\u00fcr den UX Research genutzt werden, um beispielsweise in Interviews mehr \u00fcber die Nutzer*innen und ihren Nutzungskontext zu lernen. Im Anschluss k\u00f6nnen diese Annahmen verifiziert bzw. falsifiziert oder erg\u00e4nzt werden, um aus den Erkenntnissen des UX Research eine verifizierte Persona zu generieren.<\/p>\n

\"ChatGPT<\/p>\n

ChatGPT generiert insgesamt drei Protopersonas \u2013 Julia (28), Marketing-Managerin, Hans (60), Rentner und Maria (23), Studentin im Tourismusmanagement. Die Protopersonas wirken auf den ersten Blick recht passend und zeigen einige Punkte auf, die ich selbst noch nicht ber\u00fccksichtigt hatte. Beispielsweise, dass eine m\u00f6gliche Frustration von Reisenden, die Tagesausfl\u00fcge planen, lange Warteschlangen an den Sehensw\u00fcrdigkeiten sein k\u00f6nnten.<\/p>\n

\"ChatGPT<\/p>\n

Es fallen allerdings auch Unstimmigkeiten auf \u2013 Hans hat IT-Grundkenntnisse und eine seiner Frustrationen ist, dass er \u00fcberfordert durch Technologie sei. Gleichzeitig wird ihm als Pers\u00f6nlichkeitseigenschaft zugeschrieben, dass er technik-affin sein. Au\u00dferdem wird Hans als Motivation zugeschrieben einen einfachen und benutzerfreundlichen Reiseplaner zu suchen, der ihm alle notwendigen Informationen bietet. Das ist etwas zu weitgegriffen \u2013 man k\u00f6nnte annehmen, dass Hans\u2018 Motivation ist, einen sch\u00f6nen Tagesausflug zu verbringen, Informationen dazu zu haben ist lediglich Mittel zum Zweck \u2013 und noch weniger sinnvoll ist es anzunehmen, dass Hans motiviert sei, einen einfachen und benutzerfreundlichen Reiseplaner zu finden.<\/p>\n

Als n\u00e4chsten Schritt frage ich ChatGPT nach passenden Zitaten f\u00fcr unsere Protopersonas, pflege diese bei LeanScope<\/a> ein und versehe sie mit einem passenden Foto.<\/p>\n

\"ChatGPT<\/p>\n

\"ChatGPT<\/p>\n

\"ChatGPT<\/p>\n

Ist-Szenario<\/h2>\n

Als n\u00e4chstes bitte ich ChatGPT, ein Ist-Szenario f\u00fcr Julia zu erstellen. Auch hier gilt, \u00e4hnlich wie bei den Protopersonas, dass es sich bei dem Ist-Szenario im ersten Schritt nur um Annahmen \u00fcber das Ziel und das aktuelle Vorgehen der Persona handelt. Diese Annahmen m\u00fcssen ebenfalls im UX Research validiert werden.<\/p>\n

\"ChatGPT<\/p>\n

ChatGPT bezieht in dem Szenario bereits die fertig entwickelte App mit ein, obwohl im ersten Prompt definiert wurde, dass diese App von dem fiktiven Start Up noch entwickelt werden muss. Ich versuche ChatGPT zu korrigieren, indem ich ChatGPT eine Definition<\/a> f\u00fcr ein Ist-Szenario nenne.<\/p>\n

\"ChatGPT<\/p>\n

Wieder bezieht ChatGPT die App mit ein. Ich versuche es ein drittes Mal:<\/p>\n

\"ChatGPT<\/p>\n

Hurra, ein Ist-Szenario! Das Vorgehen, wie Julia aktuell einen Tagesausflug plant klingt auf den ersten Blick plausibel. Aber auch hier f\u00e4llt eine Unstimmigkeit auf: Warum ist Julia im Schritt 8 frustriert, dass sie so viel Zeit damit verbringt, Informationen zu sammeln, anstatt den Tagesausflug zu planen? Ist das Sammeln von Informationen nicht ein Teil der Aktivit\u00e4t, den Tagesausflug zu planen? Au\u00dferdem w\u00fcrde ich gerne mehr dar\u00fcber wissen, warum Julia sich im Schritt 10 \u00fcberfordert und unorganisiert f\u00fchlt, obwohl sie einen guten Tag hat.<\/p>\n

Das Ist-Szenario liefert insgesamt aber eine relativ realistische Darstellung davon, wie Julia aktuell einen Tagesausflug planen k\u00f6nnte, bleibt aber recht oberfl\u00e4chlich. Dennoch kann ChatGPT einen guten Anhaltspunkt f\u00fcr die Formulierung eines Ist-Szenarios liefern. Auch hier gilt es, die Schritte des Ist-Szenarios als Annahmen zu verstehen, die im UX Research \u00fcberpr\u00fcft werden m\u00fcssen.<\/p>\n

F\u00fcr die weitere Arbeit pflege ich auch das Ist-Szenario in LeanScope ein.<\/p>\n

\"LeanScope<\/p>\n

Generierung von Interview-Fragen<\/h2>\n

Im n\u00e4chsten Schritt m\u00f6chte ich schauen, wie ChatGPT mich bei der Vorbereitung von Interviews unterst\u00fctzen kann:<\/p>\n

\"ChatGPT<\/p>\n

Viele der Fragen sind sehr sinnvoll. Beispielsweise die Einstiegsfrage, ob die Person bereits Erfahrungen mit der Planung von Tages- oder Wochenendausfl\u00fcgen gemacht hat. Besonders im vierten Abschnitt \u201eFragen zur Planung von Tages- oder Wochenendausfl\u00fcgen\u201c schl\u00e4gt ChatGPT viele offene und neutrale Fragen vor, mit denen man viele Information zum aktuellen Nutzungskontext sammeln k\u00f6nnte. Bei der zweiten Frage w\u00e4re es allerdings sinnvoll, keine Beispiele zu nennen, um die Antwort der Person nicht in eine bestimmte Richtung zu lenken.<\/p>\n

Die Fragen aus dem dritten Abschnitt \u201eFragen zur Bedienung der App\u201c sollte man eher nicht stellen. Sie bestehen gr\u00f6\u00dftenteils aus hypothetischen Fragen, die man im UX Research vermeiden sollte<\/a>, da Nutzer ihr zuk\u00fcnftiges Verhalten, ihre zuk\u00fcnftigen Pr\u00e4ferenzen und die zuk\u00fcnftigen Umst\u00e4nde nur schlecht vorhersagen k\u00f6nnen.<\/p>\n

Auch die Abschlussfrage \u201eWie gef\u00e4llt Ihnen die Idee der personalisierten Planung von Tages- oder Wochenendausfl\u00fcgen?\u201c ist eher weniger sinnvoll, da sie die Frage impliziert, ob die Person ein solches Feature auch nutzen w\u00fcrde<\/a>. In 90% der F\u00e4lle w\u00fcrde die gefragte Person wahrscheinlich sagen, dass ihr die Idee gef\u00e4llt \u2013 aus H\u00f6flichkeit oder weil sie vermuten, dass so ein Feature f\u00fcr sie zuk\u00fcnftig interessant sein k\u00f6nnte.<\/p>\n

Auswertung des Interviews<\/h2>\n

Um zu schauen, wie ChatGPT bei der Auswertung von Interviews unterst\u00fctzen kann, f\u00fchre ich das Interview fast wie vorgeschlagen durch \u2013 nur den dritten Abschnitt lasse ich aus den vorher genannten Gr\u00fcnden raus.<\/p>\n

Ich denke mir eine fiktive Userin und Interviewteilnehmerin aus \u2013 Sophie, 23 Jahre alt, studiert P\u00e4dagogik, Hobbys: Reisen, Kochen, Wandern. Um ein halbwegs realistisches Interviewprotokoll zu erstellen, nutze ich die Diktierfunktion von Word und interviewe ich mich selbst in der Rolle als Sophie.<\/p>\n

Zun\u00e4chst bitte ich ChatGPT darum, eine Liste mit Stichpunkten der wichtigsten Erkenntnisse aus dem Interviewprotokoll zu generieren.<\/p>\n

\"ChatGPT<\/p>\n

\"ChatGPT<\/p>\n

Die Zusammenfassung ist ziemlich gut und fasst all die wichtigsten Punkte zusammen, die im zweiseitigen Interviewprotokoll genannt wurden. ChatGPT kann also auf jeden Fall dabei unterst\u00fctzen, die wichtigsten Aussagen aus l\u00e4ngeren Texten zu extrahieren.<\/p>\n

Im n\u00e4chsten Schritt versuche ich herauszufinden, ob ChatGPT es schafft, die Annahmen \u00fcber die Protopersona Julia zu verifizieren oder zu falsifizieren.<\/p>\n

\"ChatGPT<\/p>\n

ChatGPT \u201ehalluziniert\u201c neue Annahmen \u00fcber Julia (z.B. Annahme 2), die vorher nicht so in der Persona definiert wurden. Ich versuche es mit einem zweiten Prompt, in dem ich die wichtigsten Annahmen \u00fcber Julia zusammenfasse:<\/p>\n

\"ChatGPT<\/p>\n

\"ChatGPT<\/p>\n

\"ChatGPT<\/p>\n

ChatGPT verifiziert alle Annahmen \u00fcber die Persona, indem auf Aussagen aus dem Interviewprotokoll verwiesen wird, die nicht gemacht wurden. Im Interviewprotokoll steht nichts davon, dass die Teilnehmerin h\u00e4ufig nach lokalen Veranstaltungen sucht, um neue Erfahrungen zu sammeln. Au\u00dferdem steht im Interviewprotokoll nichts \u00fcber lange Warteschlangen oder davon, Orte fr\u00fch am Morgen oder sp\u00e4t am Abend zu besuchen, um den Ansturm zu vermeiden. Das Ph\u00e4nomen, dass eine AI \u00fcberzeugend-klingenden, aber durch die Trainingsdaten nicht begr\u00fcndeten Output auf Fragen oder Aufgaben generiert wird als \u201eHalluzinieren\u201c<\/a> bezeichnet. Besonders bei LLMs ist das Halluzinieren aktuell eine der gr\u00f6\u00dften Herausforderungen. Die Verbesserung der Trainingsdaten und die Einbeziehung von menschlichem Feedback zur Richtigkeit des Outputs wird die Schwere und H\u00e4ufigkeit von Halluzinationen bei AI vermutlich in Zukunft verbessern.<\/p>\n

Ich gebe es aber an dieser Stelle auf, das Interviewprotokoll von ChatGPT hinsichtlich der Verifizierung und Falsifizierung unserer Annahmen zu Persona und Ist-Szenario auswerten zu lassen. Ich hatte geplant, das Ist-Szenario ebenfalls anhand des Interviewprotokolls zu \u00fcberpr\u00fcfen und die Ergebnisse in LeanScope zu \u00fcbertragen. Je weiter sich ChatGPT entwickelt und je besser die Prompts werden, die wir schreiben, desto eher wird aber auch die \u00dcberpr\u00fcfung der Annahmen in der Zukunft m\u00f6glich sein.<\/p>\n

ChatGPT und Datenschutz<\/h2>\n

Bis hierhin k\u00f6nnen wir also feststellen: ChatGPT kann einige Aufgaben im UX Research ganz gut unterst\u00fctzen, w\u00e4hrend andere aktuell eher weniger gut funktionieren. Eine wichtige Einschr\u00e4nkung f\u00fcr die Nutzung von ChatGPT f\u00fcr den UX Research haben wir aber noch nicht ber\u00fccksichtigt: Wie sieht es datenschutzrechtlich mit dem Einsatz von ChatGPT im UX Research aus?<\/p>\n

Die Informationen, die wir im UX Research von unseren Teilnehmer*innen und Kunden erhalten sind vertraulich. Sowohl teilnehmer- als auch kundenseitig ist es essenziell, den Daten- und Informationsschutz zu wahren. OpenAI<\/a> verwendet die in ChatGPT gesammelten, pers\u00f6nlichen Daten f\u00fcr verschiedene Zwecke, unter anderem f\u00fcr die Weiterentwicklung der AI-Modelle<\/a>. Es ist aktuell noch nicht klar, ob diese gesammelten Daten zuk\u00fcnftig auch f\u00fcr andere Zwecke<\/a> eingesetzt werden k\u00f6nnten. Deutsche Datenschutzbeh\u00f6rden pr\u00fcfen aktuell, ob ChatGPT gegen die DSGVO verst\u00f6\u00dft<\/a>. Au\u00dferdem hatte ChatGPT im M\u00e4rz 2023 eine Datenschutzpanne<\/a>, bei der einige User Chattitel und teilweise auch Nachrichten in neu erstellten Chats anderer User einsehen konnten. Bevor sichergestellt ist, dass ChatGPT DSGVO-konform ist und Informationssicherheit garantieren kann, sollte man davon absehen, echte Interview- oder Testprotokolle mit ChatGPT zu verarbeiten. Vielleicht wird es in Zukunft eine M\u00f6glichkeit sein, unter Ber\u00fccksichtigung des Aufwands und der Kosten, cloud-provided<\/a> oder self-hosted LLMs<\/a> f\u00fcr die Analyse von UX Research einzusetzen und dadurch den Datenschutz und die Informationssicherheit sicherzustellen.<\/p>\n

Fazit<\/h2>\n

Mit dem \u201eExperiment\u201c zum Einsatz von ChatGPT im UX Research konnte ich einen kleinen Einblick dazu geben, wie LLMs zuk\u00fcnftig f\u00fcr UX Research-Aufgaben genutzt werden k\u00f6nnten. Allerdings kann ich das Thema nur anrei\u00dfen \u2013 die Thematik um die Einsatzm\u00f6glichkeiten von AI ist zu komplex, um es in einem einzigen Blogartikel umfassend zu besprechen.<\/p>\n

Das gr\u00f6\u00dfte Potential von ChatGPT im UX Research liegt aktuell vor allem darin, lange Texte wie z.B. Interviewprotokolle zu analysieren und auf die wichtigsten Schl\u00fcsselpunkte herunterzubrechen. Auch bei der Generierung von Protopersonas und Ist-Szenarien kann ChatGPT gute Anhaltspunkte f\u00fcr die weitere Ausarbeitung und \u00dcberpr\u00fcfung liefern.<\/p>\n

F\u00fcr die Analyse von Annahmen \u00fcber Nutzer*innen und Szenarien ist ChatGPT aktuell nicht geeignet \u2013 es treten zu h\u00e4ufig Halluzinationen auf und man macht sich mehr Arbeit damit, die Analyse von ChatGPT auf Richtigkeit zu pr\u00fcfen, als dass man sich Zeit spart. Dies k\u00f6nnte sich allerdings mit der Weiterentwicklung der AI-Modelle \u00e4ndern.<\/p>\n

Das gr\u00f6\u00dfte Problem liegt momentan im unzureichenden Datenschutz. Wenn LLMs f\u00fcr UX Research-Aufgaben eingesetzt werden, muss sichergestellt werden, dass die Daten der Kunden und Teilnehmenden sicher sind, und es muss klar sein, wie die Daten weiterverarbeitet werden. Wie das erreicht werden kann, wird sich in den n\u00e4chsten Monaten und Jahren zeigen.<\/p>\n

 <\/p>\n","protected":false},"author":72,"featured_media":0,"template":"","tags":[984,989,839,419,756],"class_list":["post-16161","blog","type-blog","status-publish","hentry","tag-ai-de","tag-chatgpt","tag-ki","tag-user-research-de","tag-ux-research-de-2"],"acf":[],"_links":{"self":[{"href":"https:\/\/www-test.centigrade.de\/de\/wp-json\/wp\/v2\/blog\/16161","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www-test.centigrade.de\/de\/wp-json\/wp\/v2\/blog"}],"about":[{"href":"https:\/\/www-test.centigrade.de\/de\/wp-json\/wp\/v2\/types\/blog"}],"author":[{"embeddable":true,"href":"https:\/\/www-test.centigrade.de\/de\/wp-json\/wp\/v2\/users\/72"}],"version-history":[{"count":3,"href":"https:\/\/www-test.centigrade.de\/de\/wp-json\/wp\/v2\/blog\/16161\/revisions"}],"predecessor-version":[{"id":16214,"href":"https:\/\/www-test.centigrade.de\/de\/wp-json\/wp\/v2\/blog\/16161\/revisions\/16214"}],"wp:attachment":[{"href":"https:\/\/www-test.centigrade.de\/de\/wp-json\/wp\/v2\/media?parent=16161"}],"wp:term":[{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www-test.centigrade.de\/de\/wp-json\/wp\/v2\/tags?post=16161"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}