Test amb usuaris

Aquesta guia amplia la fitxa de Test amb usuaris. El test amb usuaris és una tècnica que s’inscriu, dins d’un procés de disseny centrat en l’usuari, en la fase d’avaluació. Per tant, es pot aplicar des de les primeres fases de prototipatge (sketching) i es pot repetir, al llarg del procés del disseny, tantes vegades com calgui i els recursos ho permetin.

En el cas de projectes de redisseny (en què es parteix d’un projecte preexistent) és molt recomanable realitzar tests amb usuaris preliminars, ja que els resultats d’aquesta avaluació poden ajudar a definir les bases de la nova proposta.

Definir l’abast

El primer pas per a plantejar un test amb usuaris consisteix en definir el focus, és a dir, per què es realitza l’avaluació: quin és el seu objectiu i quines qüestions específiques es volen comprovar?

També cal determinar com es realitzarà el test:

• Presencial: amb l’avaluador i el participant a la mateixa ubicació.
• Remot: mitjançant eines en línia que permeten fer tests a distància.

Definir el focus permet saber com planificar les sessions i què caldrà observar quan es portin a terme.

Definir el perfil dels participants i fer-ne la captació

Els usuaris que proporcionen informació més rellevant són els que tenen característiques semblants a les de les persones del projecte.

En termes generals, es recomana que en un test participin al voltant de 7 o 9 usuaris, ja que es considera el nombre ideal amb el qual s’obté una major quantitat d’informació rellevant i no reiterativa. No obstant això, aquest nombre s’ha de determinar d’acord amb les condicions de cada projecte i tenint en compte el nombre de persones definides. Perquè els resultats siguin significatius, cal tenir més d’un participant per persona.

El procés de captació d’usuaris per a un test amb usuaris pot implicar un esforç important dins el projecte, ja que a la dificultat de trobar participants amb els perfils requerits s’afegeix la complexitat de la gestió de les agendes. Per a facilitar aquest procés es poden utilitzar diversos recursos:

• En cas que el client disposi d’una base de dades dels seus usuaris, es pot partir d’aquesta per a realitzar la captació.
• Si el pressupost del projecte ho permet, el procés de captació i planificació de les sessions es pot subcontractar a agències especialitzades (generalment, de l’àmbit del màrqueting i la investigació de mercats).

Sigui com sigui, es recomana no realitzar més de 3 tests amb usuaris al dia, ja que acostumen a exigir molta atenció per part de l’avaluador; realitzar-ne més podria conduir a cansament i pèrdua de la capacitat d’observació.

Definir el guió de les sessions

L’avaluador ha de preparar un guió o protocol que determini quines passes cal seguir a la sessió. Perquè sigui eficient, la sessió hauria de durar menys d’una hora, ja que el cansament de l’usuari redueix la seva capacitat de respondre a tasques i preguntes.

Encara que el contingut de les sessions es pot flexibilitzar depenent del comportament del participant, és important partir d’un guió que defineixi el següent:

• Presentació. Com es presenta l’avaluador i com explica l’objectiu de la investigació. És important garantir l’anonimat de la informació que es recull i de l’usuari que participa.
• Qüestionari demogràfic. Abans d’iniciar el test, es pregunta breument a l’usuari sobre qüestions demogràfiques que poden ser rellevants per al projecte (edat, gènere, ocupació, nivell d’experiència amb la tecnologia, entre d’altres). Cal evitar incloure preguntes que no siguin rellevants o excessivament personals.
• Formulari de consentiment. En cas que la sessió s’enregistri o que s’utilitzin dades identificables de l’usuari, cal que aquest signi un full de consentiment. Si l’usuari no vol ser enregistrat, l’observació s’haurà de portar a terme sense registre.
• Tasques del test. Enunciat de les tasques que es plantejaran a l’usuari. Aquestes tasques s’han de redactar de manera que contextualitzin la situació i no esbiaixin els resultats.
  Per exemple, en el test d’un lloc web plantejar una tasca com “Cerca una recepta amb pollastre” no és correcta, perquè no contextualitza la situació (l’usuari haurà de realitzar una tasca sense cap raó concreta). D’altra banda, la paraula “cerca” pot conduir l’usuari a utilitzar directament l’opció de cerca, esbiaixant els resultats.
  Un enunciat millor seria “Aquesta nit tens convidats a sopar i t’agradaria trobar alguna recepta per a preparar el pollastre que aquest dissabte vas comprar al mercat. Com ho faries?”.
• Qüestionari final. Al final de la sessió es fan algunes preguntes obertes a l’usuari sobre qüestions de tipus general i subjectiu: què li ha semblat el prototip en general? milloraria alguna cosa en particular?. Al final és molt recomanable preguntar si vol comentar o afegir alguna cosa més; quan l’usuari parla lliurement por desvetllar qüestions que ens hagin passat desapercebudes.
• Retribució. En cas que s’hagi establert així, es retribueix l’usuari amb un obsequi o amb xecs de compra. El final de la sessió és el moment per a fer-ho. En tot cas, cal agrair sempre a l’usuari la seva participació.

Les sessions de tests amb usuaris segueixen el guió establert en la fase de preparació encara que, ja que hi participen diferents usuaris, cada sessió serà diferent.

Tot i així, cal tenir en compte les pautes fonamentals següents:

Trencar el gel amb l’usuari

Per a actuar normalment, un usuari s’ha de sentir en un entorn de confiança. Cal que l’avaluador li deixi ben clar que no se l’està posant a prova, sinó que la seva participació és fonamental per a millorar el producte o servei en qüestió.

Plantejar les tasques una a una

L’avaluador ha de plantejar les tasques una a una, deixant temps perquè l’usuari intenti resoldre-les. No es passa a la tasca següent fins que no finalitza la que s’estigui realitzant.

Una tasca es pot donar per finalitzada:

• quan l’usuari arriba a l’objectiu plantejat (èxit),
• quan arriba al que li sembla que és l’objectiu encara que en realitat no ho sigui (fals èxit), o
• quan declara que no sap com resoldre-la després d’haver-ho intentat (error).

No intervenir en les accions de l’usuari

L’avaluador no ha de donar pautes o explicar a l’usuari com resoldre una tasca, encara que no se’n surti. L’objectiu és observar com actua l’usuari per a poder millorar el disseny, no ensenyar-li a resoldre problemes d’un disseny deficient.

Observar l’usuari i demanar-li que verbalitzi els pensaments

Comprovar si l’usuari pot completar amb èxit una tasca és tan important com saber com ho fa i quin és el seu procés de pensament.

Observar la seva gestualitat i escoltar el que està pensant permet recollir qüestions emocionals i saber si l’usuari es troba còmode o confús, enfadat, cansat o irritat.

Fer preguntes

L’avaluador ha de preguntar qualsevol qüestió que no vegi clara o sobre la qual necessiti més informació. També ha d’evitar inferir o treure deduccions personals sobre les raons per les quals l’usuari actua d’una manera determinada. És millor preguntar per excés que per defecte.

Les preguntes han de ser neutres i no contenir suggeriments o crítiques, per a evitar esbiaixar les respostes.

Enregistrar les sessions

Per a assegurar que posteriorment es podran revisar, és molt aconsellable enregistrar les sessions amb una càmera de vídeo.

En el cas de projectes digitals, hi ha eines que permeten enregistrar qüestions de detall com el moviment del punter (per exemple, Morae).

A més de l’enregistrament, l’investigador s’ha d’assegurar de prendre notes de les qüestions més rellevants. Unes bones anotacions estalviaran molt temps de revisió dels enregistraments.

De l’anàlisi de les sessions s’obtenen dos tipus de dades fonamentals:

Dades quantitatives

Corresponen a:

• Les dades demogràfiques dels participants (recollides en el qüestionari previ).
• L’anàlisi dels resultats de les tasques:
  • Ràtio d’èxit per tasca (per exemple, un 50 % d’èxit implica que només la meitat dels participants han resolt bé la tasca)
  • Mitjana de temps per tasca (mitjana de temps que necessiten els participants per a finalitzar la tasca)
  • Ràtio d’errors i falsos èxits (percentatge de participants que no han pogut resoldre la tasca o que han obtingut un fals èxit).

Dades qualitatives

• Anotacions sobre les activitats que els usuaris realitzen per a intentar resoldre una tasca.
• Anotacions sobre l’actitud emocional de l’usuari quan ha intentat resoldre una tasca.
• Problemes observats.
• Respostes a les qüestions obertes del final de la sessió.

A mesura que es revisen les dades recollides, cal classificar els problemes segons la seva severitat:

• Crític: si no es resol, els usuaris no podran completar la tasca.
• Seriós: molts usuaris es frustraran si no es resol i poden abandonar l’ús del producte.
• Menor: el problema pot causar molèsties, però no impedeix que es realitzi la tasca; es pot resoldre posteriorment.

L’informe del test amb usuaris ha d’incloure els continguts següents:

• Introducció. Informació fonamental del test: objectius, nombre de participants, on s’han realitzat les sessions, equipament utilitzat en l’enregistrament i avaluadors que hi han participat.
• Metodologia. Guió del test i dades demogràfiques dels usuaris amb els quals s’ha realitzat l’avaluació. No s’inclouran les seves identitats reals, tret que s’hagi plantejat així des de l’inici i els participants hagin signat el consentiment.
• Resultats del test. Dades quantitatives i qualitatives recollides durant les sessions.
• Conclusions i recomanacions. A partir de les dades recollides, indicar qüestions a resoldre i bones pràctiques que cal mantenir en el disseny. És recomanable que les qüestions a resoldre vagin acompanyades de recomanacions sobre com fer-ho. La redacció d’aquest apartat hauria de ser executiva, és a dir, clara, sintètica i estructurada d’una forma àgil (el format llista acostuma a ser el més recomanable).

• Fluid Engage
  Cas real de protocol (guió) per al test d’una aplicació mòbil i el seu corresponent informe de resultats.

Calvo-Fernández Rodríguez, A.; Ortega Santamaría, S.; Valls Saez, A. «Mètodes d’avaluació amb usuaris». <http://openaccess.uoc.edu/webapps/o2/bitstream/10609/12921/9/Usabilitat_Mòdul3_%20Mètodes%20d¿avaluació%20amb%20usuaris.pdf>. [Data de consulta: 25 de gener de 2021].

«Reporting Usability Test Results». Usability.gov. (2013, 9 d’Octubre).  <https://www.usability.gov/how-to-and-tools/methods/reporting-usability-test-results.html>. [Data de consulta: 25 de gener de 2021].

«Running a Usability Test». Usability.gov. (2014, 15 de Maig). <https://www.usability.gov/how-to-and-tools/methods/running-usability-tests.html>. [Data de consulta: 25 de gener de 2021].