Naviga tra le sottosezioni
AURKEB è il mezzo attraverso il quale è organizzata e disseminata la conoscenza e la esperienza accumulata in Auriga. L’elemento su cui è incentrata AURKEB è il Pacchetto di Conoscenza ed Esperienza (KEP) che confeziona la conoscenza elicitata in letteratura ed in azienda circa metodi, tecniche, processi, prodotti strumenti ed esperienza empirica che valida l’efficacia dell’applicazione della conoscenza in pratica.
I tempi di produzione e manutenzione di un KEP non possono essere indagati perché essi sono sempre incrementali e quindi potranno essere oggetto di indagine storica quando AURKEB avrà una storia in Auriga. Per chiarire meglio il concetto, è opportuno evidenziare che la produzione di un KEP avviene normalmente da parte di un autore quando questi ha il compito di disseminare un patrimonio di conoscenza. Tale produzione può essere fatta gradualmente secondo le disponibilità dell’autore ed i limiti di tempo stabiliti insieme al suo impegno. A volte quando si produce un KEP si potrebbero non avere evidenze empiriche o non aver disponibili corsi o documentazione che formalizzi la conoscenza da disseminare; in questo caso il KEP potrà esser pubblicato senza alcune parti costituenti la struttura standard. Il completamento sarà dunque compito della manutenzione dello stesso KEP. La manutenzione del KEP è fatta incrementalmente, man mano che si producono i veicoli di formalizzazione della conoscenza (modelli, corsi, documentazione) o che si producano esperienze empiriche utili ad approfondire la validità delle tesi esposte nel KEP.
I quesiti che gli utilizzatori hanno posto agli autori non sono di interesse in questa indagine perché essi servono a comprendere cosa deve essere migliorato nei contenuti del KEP. Questo aspetto è anch’esso un aspetto storico che conviene indagare quando AURKEB avrà una storia in Auriga.
È necessario indagare quanto la struttura ed il contenuto del KEP sia adeguato al trasferimento di conoscenza ed esperienza e quindi quanto sia efficace nella disseminazione delle innovazioni tra gli addetti ai lavori esperti e delle tecnologie in generale circa uno o più aspetti dei processi produttivi di Auriga tra i neofiti.
In TR3.4 è descritto come è organizzato un KEP, la sua genesi e come esso confeziona i mezzi di formalizzazione della conoscenza (pubblicazioni, documentazione e corsi) e di accumulo di nuova conoscenza ( modelli di qualità, processi, indagini empiriche).Il confezionamento della conoscenza ed esperienza ha una struttura rigorosa in modo che l’autore del KEP sappia quali conoscenze deve confezionare e come lo deve fare, mentre l’utilizzatore sappia dove trovare le conoscenze di cui ha bisogno e sia guidato nella consultazione dei mezzi disponibili in Auriga per apprendere tali conoscenze.
Ciò detto, l’indagine di cui prima si operazionalizza attraverso il seguente quesito:
Q 9.1. - Quale è la User Experience nella consultazione di un KEP?
Non esiste, a nostra conoscenza un questionario che possa essere utilizzato per dare risposta a tale quesito. Pertanto, si è utilizzato un questionario definito ad hoc che si è ispirato allo standard UEQ ma è stato specializzato per la rilevazione delle misure più interessanti per la nostra indagine.
Il questionario è mostrato in figura 9.1. Esso si compone di 12 domande. Ad ogni domanda il soggetto sperimentale può rispondere secondo una scala in 10 punti dipendentemente da quanto tale valutazione sia dissimile dalla risposta a sinistra e simile alla risposta a destra. Per le 6 domande dispari la scala è crescente, la risposta a sinistra è la peggiore e quella a destra è la migliora; viceversa per le restanti 6 domande la scala è decrescente.
Le domande sono raggruppate in 3 aspetti della UX:
- Confezionamento del KEP. Qui si vuole valutare se l’utilizzatore ritiene che i contenuti siano completi per formarlo sulle soluzioni proposte per il/i problema/problemi trattati dal KEP e quanto confezionato sia coerente con gli stessi problemi; infine se la struttura del KEP consente di distinguere le conoscenze che l’utilizzatore deve acquisire, perché sono nuove per lui, da quelle che già conosce. Quest’ultima caratteristica è importante sia per non far sprecare tempo all’utilizzatore sia per attrarre la sua attenzione.
- Stimolazione alla consultazione. Qui si misura quanto la consultazione del KEP sia stimolante per l’utilizzatore così che questi sia favorito nella acquisizione di tali contenuti.
- Novità dei contenuti. Qui si misura quanto valore formativo hanno i contenuti per il consumatore. In particolare per gli addetti ai lavori che devono essere sia attratti dalla consultazione sia indotti ad aggiornare i KEP con le esperienze che essi acquisiscono durante i loro lavori.
Le risposte R al questionario sono trasformate in punti P secondo il seguente criterio:
Per le domande dispari: Pi = 10-Ri+1
Per le risposte pari: Pi = Ri
Il punteggio per ogni domanda, quindi, può andare da 1 a 10. Si calcola il punteggio per ogni aspetto che è pari alla media dei punteggi per ogni domanda appartenente ad esso; questa cadrà anche nell’intervallo da 1 a 10.
Figura 9.1. Questionario per misurare la UX nella consultazione di un KEP
Ciò detto per ogni KEP si indaga con un numero statisticamente significativo di soggetti sperimentali, sia neofiti sia esperti dei problemi trattati dal KEP investigato, e si calcolano:
- La media per soggetto calcolata sul punteggio per ogni soggetto sperimentale. Questa serve per valutare se il soggetto è stato troppo severo o troppo tollerante rispetto alla coorte di valutatori dello stesso KEP. Per i soggetti che dovessero verificare con le loro medi che sono al di fuori delle medie dei punteggi della coorte sono trattati come outlier e, quindi, sono cancellati dalla statistica.
- La media per aspetto calcolata sul punteggio che ogni soggetto sperimentale ha assegnato ad ogni aspetto previsto dal questionario. Questo è valutato secondo una scala che abbiamo dovuto stabilire noi (sempre per la carenza in letteratura di una UX per KEP) e la cui validità sarà sperimentata con l’uso. La tavola di valutazione è mostrata in figura 9.2
La griglia di valutazione finale è dipendente ovviamente dalla media dei risultati ottenuti nei questionari ed è riportata in tabella seguente:
Figura 9.2 Valutazione del punteggio calcolato per ogni aspetto
Sono stati sperimentati 3 KEP, ognuno dei quali è stato consultato da 16 utilizzatori dei quali 4 Esperti dell’argomento trattato dal KEP e 12 neofiti.
I neofiti sono sempre gli stessi nelle tre coorti mentre gli esperti sono cambiati, secondo, l’esperienza nell’argomento creando una coorte complessiva di 18 utilizzatori. La suddivisione degli esperti nelle coorti è quella mostrata in figura 9.3.
Figura 9.3 Suddivisione esperti nei 3 KEP analizzati
I risultati delle sessioni di test sono riportati di seguito suddivisi per KEP analizzato (figura 9.4, figura 9.5 e figura 9.6).
KEP 1
Figura 9.4a Risposte del questionario per utente
Figura 9.4b Punteggi del questionario per utente
Figura 9.4c Risultato del questionario
Punteggio ottenuto = 5,13 (meno che sufficiente)
Il risultato del questionario per il KEP1 è meno che sufficiente su tutti gli aspetti valutati in particolar modo per il confezionamento dello stesso. Questo risultato rispecchia gli analoghi ottenuti con i questionari relativi alla usabilità e conferma quindi la difficoltà da parte dell’utente nel navigare le diverse sezioni componenti il pacchetto. Risulta quindi evidente come sia necessaria una ristrutturazione del pacchetto stesso indipendentemente dall’argomento trattato al suo interno.
KEP 2
Si è proceduto quindi alla ristrutturazione del pacchetto ed all’alleggerimento della struttura stessa. Per evitare di falsare i risultati del test il pacchetto numero 2 è stato inserito direttamente in piattaforma dopo la ristrutturazione in modo che anche l’esperto autore dei contenuti potesse trarre vantaggio dalla nuova struttura evitando di farlo intervenire a posteriori andando a modificare quanto già redatto.
Figura 9.5a Risposte del questionario per utente
Figura 9.5b Punteggi del questionario per utente
Figura 9.5c Risultato del questionario
Punteggio ottenuto = 6,30 (sufficiente)
Il questionario ha visto un netto miglioramento del gradimento e della comprensione da parte dell’utente finale collocandosi nella fascia di sufficienza della griglia di valutazione. Il risultato non è stato comunque ritenuto accettabile da parte del team realizzativo di AURKEB che ha proceduto quindi a una rivisitazione sia grafica che funzionale del prototipo. Per i dettagli di quanto realizzato si rimanda alla sezione relativa alla usabilità. In generale è possibile affermare che i risultati di questo test sono in linea con quelli ottenuti con il questionario SUS e UEQ.
KEP 3
Al termine degli sviluppi è stato introdotto un terzo pacchetto di conoscenza nel sistema e si è provveduto a erogare il questionario alla coorte di utilizzatori selezionati.
I risultati di questa ultima sessione di test sono riportati di seguito.
Figura 9.6a Risposte del questionario per utente
Figura 9.6b Punteggi del questionario per utente
Figura 9.6c Risultato del questionario
Punteggio ottenuto = 8,66 (buono)
Come risulta evidente le ultime iniziative di miglioramento hanno portato a un ulteriore innalzamento del giudizio degli utenti finali nei confronti del prototipo dimostrativo consentendo di raggiungere un livello “Buono” nella griglia di valutazione. I buoni risultati ottenuti sono giustificati sia dall’ulteriore alleggerimento della struttura del pacchetto, ma anche dalla introduzione di link di navigazione trasversali alla piattaforma che consentono all’utente di consultare i documenti a corredo del pacchetto senza abbandonare il flusso di lettura dello stesso e di poter isolare nella lettura le sezioni di interesse senza avere la sensazione di “confusione” e complessità invece presente nelle prime versioni della piattaforma.