Inleiding

Stel je voor: er is ingebroken. Direct wordt een voetafdruk gespot nabij het ingeslagen raam. Deze blijkt van precies het profiel van je buurman zijn schoenen te zijn. Jij weet het zeker: hij is de inbreker! Gelukkig werkt onze rechtspraak niet zo. Men wordt onschuldig bevonden, tot het tegendeel is bewezen. De politie gaat op zoek naar meer informatie. Deze duiden langzaamaan meer in de richting van deze buurman. Wanneer er ook vingerafdrukken blijken te zitten op jouw gestolen sieraden kunnen we er echt niet meer omheen: het is met enige zekerheid te zeggen dat het inderdaad de verdachte buurman is.

Zo werkt het ook bij het doen van onderzoek. Onderzoekers werken zorgvuldig en gaan nooit zomaar ergens vanuit, zullen ook nooit zomaar conclusies trekken of uitspraken doen.  We willen met dit geschreven stuk een kijkje geven achter de schermen.

Bij het doen van onderzoek begin je meestal met een vraag of probleem: je wilt iets weten. Meestal heb je al een vermoeden, maar moet dit nog bevestigd worden. Je maakt een plan waarin je o.a. de dataverzameling bepaalt. Vervolgens verzamel je data. De gewonnen data bieden mogelijkheid om er analyses op los te laten. Je kiest de analyse(s) die helpt/helpen om jouw vraag te beantwoorden. Hierbij toets je dan als het ware in hoeverre je vermoeden klopt. Ten slotte werk je de resultaten uit en heb je een antwoord op je vraag.

Je zult begrijpen dat deze analyses belangrijk zijn voor het hele onderzoeksproces. Statistiek is de wetenschap en techniek van o.a. het bewerken en interpreteren van data. Het wordt gebruikt om (grote) hoeveelheden gegevens die soms op het eerste oog vrij abstract lijken, om te zetten in bruikbare informatie. Zonder statistische methoden zou er een groot gat ontstaan tussen verkregen data en de praktijk.

Maar wat komt er dan uit zo’n statistische toets en hoe weet je dan in hoeverre je vermoeden klopt? Dat gaat o.a. met behulp van statistische significantie.

Statistische significantie

Als het gaat om statistische significantie zit daar een vrij ingewikkelde definitie achter. Het wordt meestal geinterpreteerd als waar of niet waar. Terwijl dat niet helemaal juist is.

In het kort gezegd laat statistische significantie zien dat het onwaarschijnlijk is dat een effect, relatie of verschil alleen door toeval of willekeurige factoren kan worden verklaard.

Het wordt onder andere aangeduid met een p-waarde. De p-waarde wordt ook wel overschrijdingskans of kanswaarde genoemd waarbij er in de onderzoekswereld meestal een grens van 0,05 wordt gehanteerd. Een p-waarde lager dan 0,05 wordt dan als statistisch significant gezien.

Voorbeeld: Stel je vermoeden is dat mannen en vrouwen hetzelfde zijn als het gaat om lichaamslengte, ofwel er is geen verschil tussen mannen en vrouwen in lichaamslengte. Je toetst dit op je gewonnen data met een toets. Daar komt o.a. een p-waarde uit van 0,02. Dit betekent dan dat er een zeer kleine kans is dat dit gevonden verschil tussen mannen en vrouwen voorkomt als er geen verschillen zouden zijn tussen mannen en vrouwen. Je kunt je vermoeden verwerpen en stellen dat mannen en vrouwen verschillen in lichaamslengte.

Nadelen van statistische significantie zijn er ook.

In veel onderzoeken wordt het rapporteren van significantie te pas en te onpas gebruikt, waarbij meestal alleen significanties worden gerapporteerd (terwijl ook niet significante resultaten resultaten zijn!).

Daarnaast kan statistische significantie misleidend zijn, omdat het wordt beinvloed door de steekproefomvang. Daarom kan het worden aangevuld met informatie over de effectgrootte.

Effectgrootte

De effectgrootte is een statistische maat dat het effect laat zien van verschillen tussen groepen en zegt hoe betekenisvol dit verschil is. Het zegt dus eigenlijk iets over de praktische relevantie van een onderzoeksresultaat.

Voorbeeld: Stel er zijn 2 klassen waarbij er in klas A een nieuwe methode van uitleg toegepast wordt voor een wiskundig begrip en in klas B op de oude manier uitleg gegeven wordt voor dit wiskundige begrip. Na verloop van tijd wordt er een toets gehouden onder beide klassen. Klas A scoort een gemiddelde van 7,9 en klas B een gemiddelde van een 7,1.

Kun je nu zeggen dat het toepassen van de nieuwe methode zinvol is, of is het verschil daarvoor te klein?

Met de effectgrootte kun je het effect in een getal uitdrukken waarbij je ook rekening houdt met andere zaken, waaronder de omvang van de groepen en de spreiding. Als globale vuistregel houdt men het volgende aan: een effectgrootte kleiner dan 0,1 is een klein effect, een effectgrootte tussen de 0,1 en 0,3 is een middelmatig effect, en een effectgrootte groter dan 0,3 is een groot effect.

De effectgrootte kan veel aanvullende informatie geven naast de significantie waarde. Zo kunnen de resultaten nog beter worden geinterpreteerd.

Statistische toetsen

Hieronder zullen een aantal statistische toetsen worden uitgelegd. Voordat je een toets kiest, moet je eerst goed weten op welk meetniveau je variabelen gemeten zijn, dit is belangrijk voor je keuze:

• 

  Nominale variabelen: categorieen zonder een (duidelijke) rangorde. Bijvoorbeeld geslacht (man, vrouw);

   

• Ordinale variabelen: categorieen met een duidelijke rangorde. Bijvoorbeeld opleidingsniveau (lager onderwijs, middelbaar onderwijs, hoger onderwijs, etc.) of medailles (goud, zilver, brons);

• Interval variabelen: kwantitatieve waarden (getallen) met geen vast nulpunt. Bijvoorbeeld temperatuur (in graden Celsius, kent ook min- waarden, het kan namelijk ook vriezen. 0 graden is ook een temperatuur);

• Ratio variabelen: getallen met wel een vast nulpunt. Bijvoorbeeld lengte of gewicht (0 betekent hier dat er ook daadwerkelijk geen lengte of gewicht is).

N.B. Interval – en ratio worden vaak samengenomen onder de noemer scale variabelen.

Let op: variabelen die tevredenheid meten op een schaal van helemaal niet mee eens t/m helemaal mee eens bijvoorbeeld, hebben in principe een ordinaal meetniveau maar kunnen op intervalniveau gebruikt worden door aan elke categorie een waarde toe te kennen zodat je er bijvoorbeeld gemiddelden mee kunnen berekenen.

Op basis hiervan kan een juiste keuze gemaakt worden voor een statistische toets.

Bovenstaand is deel 1 uit 3 delen over statistische toetsen. Het hele document is op te vragen door een mail te sturen naar info@triqs.nl