Som forsknings-, design- och utvärderingsmetod
Experiment
Introduktion
•Experiment som forsknings-, design- och utvärderingsmetod
•Population, urval, operationalisering, reliabilitet, validitet
•Experiment, teori och design inom MDI
- kommentar till artikeln av Landauer
•Exempel på ett experiment rörande informationsvisualisering
Forskning vs design
•Forskning
- syftar till att beskriva, förklara ellerförstå olika fenomen
- närma sig sanning om detexisterande
- främst deskriptiv
- metoden som kvalitetsgarant
•Design
- syftar till förändring
och skapande av det
icke-existerande
- normativ
- bland annat experimentetsom kvalitetsgarant...
Kvantitativ vs kvalitativ -metod
Kvantitativa metoder
- Precision
- Bredd
- Systematik och struktur
- Det gemensamma
- Avstånd till studieobjekt
- Beskrivning ochförklaring
- Åskådare och/ellermanipulator
- Jag-det relation till
studieobjektet
Kvalitativa metoder
- Följsamhet
- Djup
- Osystematik och ostruktur
- Det säregna och unika
- Närhet till studieobjekt
- Sammanhang och strukturer
- Beskrivning och förståelse
- Deltagare eller aktör
- Jag-du relation
Kvantitativ metod ochexperiment
Kännetecknande drag
•Formaliserade och strukturerade
- strävar efter högre kontroll från forskarens sida
- visst avstånd från informationskällan/källorna
- statistiska mätmetoder viktiga vid dataanalys
- kontroll och tvärsnittsbild
•Operationalisering
- kvantifierbara och mätbara aspekter
Population och urval
• Ett experiment syftar till att säga något om en population baserat på
observationer av ett urval
• Hur kan vi veta att urvalet är representativt?
- Fullständig representativitet kräver att urvalet är detsamma som
hela populationen (orealistiskt)
- Urvalstekniker kan hjälpa oss att finna mer eller mindre representativa
stickprov
Urval
1. Slumpmässigt urval
Baserat på sannolikheten för att vilken enhet som helst ska vara känd
Representativt urval för en population
2. Teoretisk sampling
Val av enheter som man tror har mest kunskaper inom området
för undersökningen
3. Urval genom självselektion
Enheterna själva får ta initiativ att vara med
jfr, en tidning som uppmanar sina läsare att tycka till
4. Tillfällighetsurval
Väljer enheter som är enkla och lätta att få tillgång till
Hypotesprövning
• Kvantitativa studier bygger på hypotesprövning i stor utsträckning
• Hypotetisk-deduktiv teoribildning
Ur en teori genereras en hypotes som testas empiriskt
• Exempel
Teori – deltagande systemutveckling
Hypotes – användare upplever högre kvalitet i informationssystem som
de själva medverkat till
Empirisk testning – forskaren ställer ett antal frågor om upplevd kvalitet
till ett slumpmässigt, representativt urval användare ur en visspopulation
• Experimenthypotes
– en förutsägelse om vilken effekt en viss behandling kommer attorsaka
”De som använder piltangenterna kommer att förflytta sig snabbareän de som använder mus och pekdon”
• Nollhypotes- specifik variant av experimenthypotes
– en förutsägelse om att behandlingen inte har någon effekt
” De som använder piltangenter kommer inte att navigera snabbareän de som använder mus och pekdon”
Hypotesformulering
Reliabilitet
• Reliabilitet avser mätresultatens pålitlighet
- ger upprepade mätningar samma resultat
- kan vara slumpmässiga och systematiska
• Möjliga orsaker till låg reliabilitet
- Observatörer
- Deltagare
- Mätinstrument, utrustning
Validitet
Tre typer:
• Definitionsmässig validitet
- mäter vi vad vi avser att mäta
- är operationaliseringen fruktbar
• Intern validitet
- den utsträckning som experimentet visar attbehandlingen haft effekt på urvaletsexperimentgrupp
• Extern validitet
- den utsträckning som resultaten är möjliga att
generalisera från urvalet till populationen
Experiment, teori och design
inom MDI
Ljud?
Text eller
grafik?
Färger?
Olika vyer?
Hjälp-
funktioner?
Standards?
Designbeslut om gränssnitt
Tre alternativa och
kompletterande synsätt
1. Upprepade experiment är ett led i att formulera generellateorier och lagar
2. Teorier och lagar tillämpas för att informera design av detspecifika
3. Experiment används för att (formativt) utvärdera specifikadesignalternativ
Fitts lag
Uttrycker den tid (T) det tar attträffa ett mål med en markörsom en funktion av:
–målets storlek (S)
–avståndet från startpunkttill mål (D)
–(T=k1+k2log(D/S))
S
D
Hick’s lag
Uttrycker den tid (T) det tar attvälja ett av flera alternativ somen funktion av antalet alternativ
–Tid (T)
–Antal alternativ (A)
1
2
3
4
The Power Law of Practice
• Förutsäger den tid det tar attutföra en uppgift som enfunktion av antalet försök
• Övning ger färdighet
• En van användare förbättrarsig mindre och mindre
• En ovan användare förbättrarsig markant i relation till antaletförsök
Landauers argument mot
teoridriven design
• De flesta användbara teorier är omöjliga!!
- Bredd & precision --- svårt...
• Begränsade och av ringa betydelse
- The keystroke level model
• Vissa teorier har vunnit erkännande och hardärför viss betydelse
•Empiriska experiment däremot må varaspecifika men ger större genomslagskraft.
Ett alternativ: Experiment-
och utvärderingsdriven design
• Iteration--analys, revision
• Kontinuerliga experiment mot användarna
• Systematiska observationer
• Formativa utvärderingar av prototyper
Exempel på experiment
om informationsvisualisering
“Information visualization”
Comparing the use of a traditional and
an advanced visualization technique
Daniel Skog
Department of Informatics
Umeå University
• Traditionell teknik; kartor, ritningar, symbler, etc.
• Avancerad teknik; multimedia, VR, etc.
Frågeställningar:
• På vilket sätt skiljer sig avancerad gestaltningsteknik fråntraditionella tekniker?
• Hur kommunicerar avancerad gestaltningsteknikinformation?
• Vilka är konsekvenserna av att utnyttja avanceradgestaltningsteknik?
Jämförande experiment
• Ett hus beskrevs med hjälp av en traditionell gestaltningsteknik ochmed hjälp av en avancerad gestaltningsteknik.
• De använde ritningar för att representera den traditionella teknikenoch en VR-modell för att representera den avancerade tekniken.
VR-modellen
Ritningen
Experimentet
• Språk
• Rumsuppfattning
• Funktionalitet
• Estetik
VR-gruppen beskrev huset med ett rikt, uttrycksfullt språkoch med grafiska beskrivningar
Ex: “liten mysig stuga”, “trevlig design men alltför stelt”
Ritningsgruppen fokuserade på planeringen av huset ochbeskrev rummens fördelning och storlek.
Ex: “dåligt planerad”, “köket var beläget rakt fram”
Språk
VR-gruppen visade en större förmåga att se huset ur ettestetiskt perspektiv.
Ex: Någon nämnde att huset hade ett ”lustigt tak”, “entrivsam och trevlig veranda” och ”fina pillars” etc.
Ritningsgruppen hade inga kommentarer beträffande husetsutformning och/eller estetik.
Estetik
En skiss gjord av
VR-gruppen
Originalritningen av
huset
En skiss gjord av
ritningsgruppen
Rumsuppfattning
Den virtuella representationen (VR-modellen) kan upplevasoch ritningen endast betraktas.
• Deltagarna i VR-gruppen hade en stark känsla av att“faktiskt” varit i huset, erfarit huset.
• De starka intrycken och känslorna som VR-modellenskapade verkar distrahera användaren och ge enofullständig och felaktig rumsuppfattning och en bristfälligförståelse av husets funktioner
•VR-modellen kommunicerade en känsla av närvaro i huset,och ritningen erbjöd en bättre översikt och bild över huset.
Slutsatser
Det började med en idé...