ALGEMENE INFO

Statistisch onderzoek betrouwbaar ?

STATISTISCH BEVOLKINGSONDERZOEK moet met een korreltje zout genomen worden, zeker als er weinig verband gevonden wordt:
Bij het (statistisch) onderzoek zijn er vele keuzemomenten, die sterk gestuurd worden door de omstandigheden rond het onderzoek en de kennis en diepgang van de onderzoeker.

Mijn ervaring is, dat er enorm met de vraagstelling van een onderzoek, de gegevensindeling, en analyse daarvan gemanipuleerd kan worden.

Zo liet ik grootschalige onderzoeksdata eindeloos door de supercomputer lopen, in honderden verschillende indelingen, verwerkt door diverse analyse-instrumenten*.
Het verband, waarnaar ik zocht, liep meestal uiteen van 58-76%. 76% is een redelijk resultaat, maar niet spectaculair.
Opvallend was wel, dat kleine - niet echt fundamentele - veranderingen in de gegevensindeling, soms al grote verschillen in verband lieten zien.
Met eindeloos manipuleren van de data wist ik in twéé gevallen een 82% en 88% verband 'aan te tonen'.
Heb ik dan 'de werkelijkheid' gevonden, door al mijn kunstmatige gemanipuleer?
... en als dat zo is, welke andere onderzoeker zal (mag) zó ver gaan in zijn gegevensverzameling- en analyse ?

En, ook al is openheid wetenschappelijke plicht: welke onderzoeker in dienst van een bedrijf, zal het voor dat bedrijf ongunstige resultaat van 88% presenteren als er ook een resultaat van 58% bestaat ?

* Die analyse-instrumenten verschillen nogal in hun 'verklarende verbanden', en het is aan de onderzoeker, welke gebruikt wordt - wat de resultaten behoorlijk kan beïnvloeden.
Zoiets wordt nooit duidelijk uit de persberichten, die de onderzoeksresultaten presenteren (en is ook nergens te bekijken, zie bijv. Nature hierover).

Het beste voor het aantonen van complexe verbanden (bij 'kunstmatige' gegevens) was de zogenaamde 'discriminantenanalyse'. Daar bestaan een paar varianten van. Zo zit er een in het veelgebruikte pakket 'SPSS-x', waarop kritiek is door verschillende methodische wetenschappers, vanwege het irëele karakter.
Vanuit die kritiek zijn er andere meetinstrumenten ontwikkeld.
Zelf vind ik het werk van Matt Dillon spectaculair, omdat zijn methode (direkte discriminantenfactoren) meer aansluit bij de realiteit... en ik daarmee uiteindelijk goede resultaten behaalde bij mijn gegevensanalyses. (88% 'met 5 * 3 categoriën')
Helaas is Dillon in de vergetelheid geraakt... en handhaaft SPSS(x) sinds 1976 de wetenschappelijk aanvaarde norm in Sociaal Onderzoekend Universitair Nederland, zonder de benodigde bijvoorwaarden voor uitputtende analyse...
deels ook omdat een van de academische eisen aan een onderzoek inhoudt, dat de vraagstelling en de indeling van tevóren bepaald moeten zijn - waarna dan de 'toetsing' plaatsvindt
... waarmee de sociale wetenschappen zich proberen te spiegelen aan de natuurwetenschappen...
pro-actief gegevens verzamelen, vraagstellingen bijstellen en experimenteren met de gegevens is dan 'onwetenschappelijk' !

Er is een aanzienlijk verschil tussen analysemogelijkheden. Bij complexe datastructuren met onbekende interacties en data van verschillende niveau's zijn klassieke technieken voor multivariate analyse ontoereikend. Ook de keuze tussen log-lineaire technieken doet geen recht aan de complexiteit van mogelijke interacties (CANALS werkt hierbij beter dan GLIM).

HOMALS (meervoudige correspondentie-analyse ) is beter om complexe clusters te analyseren. Dat is al iets meer richting speltheoretische modellering.

NIEUWS
Datum
{datum} {inhoud}
PAGINA OVERZICHT
laden...