Forfatter av avsnitt: Danielle J. Navarro and David R. Foxcroft

Diverse emner

• Manglende data: Anta at du gjennomfører en spørreundersøkelse og er interessert i trening og vekt. Du sender data til fire personer. Adam sier at han trener mye og ikke er overvektig. Briony sier at hun trener mye og ikke er overvektig. Carol sier at hun ikke trener og er overvektig. Tim sier at han ikke trener og nekter å svare på spørsmålet om vekten sin. Elaine returnerer ikke undersøkelsen. Du har nå et problem med manglende data. Det mangler en hel undersøkelse, og ett spørsmål mangler i en annen. Hva gjør du med det? Å ignorere manglende data er generelt sett ikke en trygg ting å gjøre. La oss tenke på Tims undersøkelse her. For det første ser det ut til at han, basert på de andre svarene hans, ligner mer på Carol (ingen av dem trener) enn på Adam eller Briony. Så hvis du skulle gjette vekten hans, ville du gjette at han ligger nærmere henne enn dem. Kanskje du ville korrigert for det faktum at Adam og Tim er menn, mens Briony og Carol er kvinner. Det statistiske navnet for denne typen gjetting er «imputering». Det er vanskelig å gjøre imputering på en sikker måte, men det er viktig, spesielt når de manglende dataene mangler på en systematisk måte. På grunn av det faktum at overvektige ofte blir presset til å føle seg dårlig om vekten sin (ofte takket være folkehelsekampanjer), har vi faktisk grunn til å mistenke at det er større sannsynlighet for at de som ikke svarer, er overvektige enn de som svarer. Hvis vi tillegger Tim en vekt, betyr det at antallet overvektige personer i utvalget sannsynligvis vil øke fra 1 av 3 (hvis vi ignorerer Tim) til 2 av 4 (hvis vi tillegger Tims vekt). Det er klart at dette har betydning. Men å gjøre det på en fornuftig måte er mer komplisert enn det høres ut. Tidligere foreslo jeg at du burde behandle Tim på samme måte som Carol, siden de ga samme svar på øvelsesspørsmålet. Men det er ikke helt riktig. Det er en systematisk forskjell mellom dem. Hun svarte på spørsmålet, og det gjorde ikke Tim. Gitt det sosiale presset som overvektige utsettes for, er det ikke sannsynlig at Tim er mer overvektig enn Carol? Og da har vi selvfølgelig ikke tatt hensyn til det faktum at det ikke er fornuftig å tillegge Tim en enkelt vekt, som om du faktisk visste hva han veide. I stedet må du imputere en rekke plausible gjetninger (såkalt multippel imputering), for å fange opp det faktum at du er mer usikker på Tims vekt enn du er på Carols. Og la oss ikke snakke om problemet med at Elaine ikke sendte inn undersøkelsen. Som du sikkert skjønner, er håndtering av manglende data et stadig viktigere tema. Jeg har faktisk blitt fortalt at mange tidsskrifter innen enkelte fagfelt ikke vil godta studier som har manglende data, med mindre en eller annen form for fornuftig ordning for multippel imputering blir fulgt.

• Power analysis. In chapter Hypotesetesting I discussed the concept of power (i.e., how likely are you to be able to detect an effect if it actually exists) and referred to power analysis, a collection of tools that are useful for assessing how much power your study has. Power analysis can be useful for planning a study (e.g., figuring out how large a sample you are likely to need), but it also serves a useful role in analysing data that you already collected. For instance, suppose you get a significant result, and you have an estimate of your effect size. You can use this information to estimate how much power your study actually had. This is kind of useful, especially if your effect size is not large. For instance, suppose you reject the null hypothesis at p < 0.05, but you use power analysis to figure out that your estimated power was only 0.08. The significant result means that, if the null hypothesis was in fact true, there was a 5% chance of getting data like this. But the low power means that, even if the null hypothesis is false and the effect size was really as small as it looks, there was only an 8% chance of getting data like you did. This suggests that you need to be pretty cautious, because luck seems to have played a big part in your results, one way or the other!

• Data analysis using theory-inspired models. In a few places, I have mentioned response time (RT) data, where you record how long it takes someone to do something (e.g., make a simple decision). I have mentioned that RT data are almost invariably non-normal, and positively skewed. Additionally, there is a thing known as the speed-accuracy trade-off: if you try to make decisions too quickly (low RT) then you are likely to make poorer decisions (lower accuracy). So if you measure both the accuracy of a participant’s decisions and their RT, you will probably find that speed and accuracy are related. There is more to the story than this, of course, because some people make better decisions than others regardless of how fast they are going. Moreover, speed depends on both cognitive processes (i.e., time spent thinking) but also physiological ones (e.g., how fast can you move your muscles). It is starting to sound like analysing this data will be a complicated process. And indeed it is, but one of the things that you find when you dig into the psychological literature is that there already exist mathematical models (called “sequential sampling models”) that describe how people make simple decisions, and these models take into account a lot of the factors I mentioned above. You will not find any of these theoretically-inspired models in a standard statistics textbook. Standard textbooks describe standard tools, tools that could meaningfully be applied in lots of different disciplines, not just psychology. ANOVA is an example of a standard tool that is just as applicable to psychology as to pharmacology. Sequential sampling models are not, they are psychology-specific, more or less. This does not make them less powerful tools. In fact, if you are analysing data where people have to make choices quickly you should really be using sequential sampling models to analyse the data. Using ANOVA or regression or whatever will not work as well, because the theoretical assumptions that underpin them are not well-matched to your data. In contrast, sequential sampling models were explicitly designed to analyse this specific type of data, and their theoretical assumptions are extremely well-matched to the data.