Risto Tuominen kirjoitti:
Kerrotko muuten miten voisi oikeaoppisesti tutkia tätä tilannetta ja mielellään todista vielä päätelmäni vääriksi jos erittäin pätevänä ja Talebinkin kaverina pystyt?
Viitaten antamiisi pelitilastoihin (voitot, tappiot, tasapelit): perustavanlaatuinen ongelma näissä tilastossa on, että olet valinnut tarkasteluusi datapisteet käsin käyttäen lähteenä huomattavasti suurempaa, ja etenkin tilastomuuttujiltaan rikkaampaa, aineistoa.
Käytännössä kaikki muut ongelmat ovat seurausta tästä perimmäisestä syystä.
Tämä toimenpiteesi on tismalleen mitä termillä "cherry picking" tarkoitetaan:
https://en.wikipedia.org/wiki/Cherry_picking
Cherry picking is the act of pointing to individual cases or data that seem to confirm a particular position...
Miksi sitten tuollainen kirsikoiden poiminta suuresta otanta-aineistosta on ongelmallista? Mietitään asiaa joka lauantaisen lottoarvonnan näkökulmasta.
Yksittäisen pelaajan näkökulmasta loton pääpotin voittamisen todennnäköisyys on 1 / 16 000 000. Eli häviävän pieni todennäköisyys. Kun nyt sitten pihtiputaalainen mummo tuosta äärimmäisen pienestä todennäköisyydestä huolimatta jättipotin voittaa, voimme tarkastella tapahtunutta kahdesta näkökulmasta:
1) pihtiputaalainen mummon näkökulmasta hänen voittonsa todennäköisyys oli tilastollisesti niin pieni, että on syytä epäillä häntä huijaamisesta. Todennäköisyys sille, että hän rehellisesti voitti jättipotin, on tuo 1 / 16 000 000. Vastakkainen todennäköisyys on 15 999 999 / 16 000 000. Tuo rehellisesti voittamisen todennäköisyys on mennen tullen alle kaikkien merkitsevyys/luotettavuus-rajojen. Sinisilmäisesti voidaan siis todeta yksikantaan; mummo on huijari!
2) laajemmasta, koko Suomen näkökulmasta todennäköisyys sille että joku voitti loton pääpotin on paljon enemmän kuin 1 / 16 000 000. Sanotaan, että se on 1/2. Eli keskimäärin joka toinen lottoarvonta päätyy jonkun päävoittoon.
Eli onko pihtiputaalainen mummo huijari vai ei? No ei.
Hän vain todistaa oikeaksi matemaattisen totuuden siitä, että suuressa määrässä aineistoa äärimmäisen epätodennäköisetkin satunnaisilmiöt tuppaavat tapahtumaan.
Sama logiikka pätee Zhoun tapauksessa. Sanotaan karkeasti arviolta, että maailmassa on miljoonaa shakinpelaajaa.
Jokainen noista miljoonasta shakinpelaajasta kerää peliuransa aikansa historiallista dataa, jota sitten Risto Tuominen voi jälkikäteen tutkailla. Ja mitä enemmän tutkailet, sitä nopeammin törmäät ylläolevaan pihtiputaalainen mummo ja lotto -ongelmaan. Kuten itse aiemmin totesit:
Risto Tuominen kirjoitti:
Olen myös perehtynyt tuhansiin turnaustuloksiin ja tällaisia säännöllisiä poikkeavuuksia ei löydy näin laajassa mittakaavassa (yksittäisessä turnauksessa toki).
Tässä on ilmeinen
paradoksi; mitä enemmän perehdyt "tuhansiin turnaustuloksiin", sitä enemmän saat mielestäsi pontta väitteelle, ettei poikkeava turnaustulosten sarja (kuten Zhoun tapauksessa) voi tapahtua sattumalta.
Mutta samaan aikaan TISMALLEEN tämä tuhansiin turnaustuloksiin tutustuminen lisää todennäköisyyttä sille, että törmäät tuollaiseen täysin sattumalta tapahtuneeseen poikkeavaan tulossarjaan!
Toinen ongelma syntyy siinä, kun valitset suuresta tilastollisten muuttujien joukosta juuri "valtio"-muuttujan tarkasteluun.
Miksi juuri valtio (Unkari/Serbia vs. muu maailma)? Olisit voinut valita myös iän, sukupuolen, hiusten pituuden, kengän koon, ... ja perustaa tilastollisen tarkastelusi johonkin näistä tilastollisista muuttujista.
Mutta valitsit juuri valtion. Ja valtio-muuttujan vastakkainasetteluksi valitsit juuri Unkari/Serbia vs. muu maailma.
Mieti itse - kaikista kymmenistä, jopa sadoista muuttujista valitsit juuri "valtio"-muuttujan.
Sitten kaikista eri kahden valtion kombinaatioista - joita on tuhansia - valitsit juuri Unkari + Serbia -kombinaation.
Kysymys on relevantti, koska:
https://en.wikipedia.org/wiki/Selection_bias
Selection bias is the selection of individuals, groups or data for analysis in such a way that proper randomization is not achieved, thereby ensuring that the sample obtained is not representative of the population intended to be analyzed.
Tismalleen sama selection bias muuten pätee paitsi tilastollisen muuttujan valinnassa, myös itse datapisteiden valinnassa.
Risto Tuominen kirjoitti:
Kerrotko muuten miten voisi oikeaoppisesti tutkia tätä tilannetta ja mielellään todista vielä päätelmäni vääriksi jos erittäin pätevänä ja Talebinkin kaverina pystyt?
(Kopioin tämän lainauksen uusiksi tähän)
Tämä on hiukka omintakeinen pyyntö, sillä yleensä todistustaakka on väitteen esittäjällä, ei väitteen kumoajalla.
Yritän silti tehdä laskelmat. En itsekään ole alan ammattilainen, joten sovellan pitkälti - maalaisjärjen lisäksi - internetin tietolähteitä.
Tilastollinen analyysi
Tehdään analyysi oikein, eli aloitetaan asettamalla seuraava hypoteesi: Zhoun oikea pelitaso on 2150, ja mitään vilppiä ei ole tapahtunut. Tämä on siis hypoteesi, joka odottaa todistustaan.
Valitsin eloluvun sellaiseksi, että Zhoun voisi olettaa ihan aidosti vähintään tuolla tasolla olevan - tietenkin tämä oletus ei ole 100% varma, mutta siitä lähtekäämme liikkeelle, jotta hypoteesi saadaan aikaan.
Vastaavasti vastustajien oletan olevan keskimäärin tasolla 2350. Uskon, että arvio on suht lähellä todellisuutta.
Seuraavaksi teen oletuksen, että nuorelle pelaajalle 100 elopisteen keskihajonta pelitasossa on tyypillistä. Toisin sanoen, Zhou pelaa 95% ajasta ( = 2 keskihajontaa) 1950 ja 2350 elopisteen välisellä tasolla. Loput 5% ajasta hänelle sattuu todella hyviä tai todella huonoja pelipäiviä; eli alle 1950 tai yli 2350 elon tasoista pelaamista.
Tämä on puhdas oletus siitä kuinka nuoren, kehittyvän pelaajan taso vaihtelee yksittäisestä pelistä toiseen.
Saamme normaalijakauman muotoa N(2150, 100).
Nyt tutkitaan seuraavaa: onko odotettavissa, että "Unkari/Serbia vs. muu maailma" otannat ovat peräisin ylläolevasta normaalijakaumasta.
Jos on, niin olemme todistaneet, että Zhoun tuloksissa ei ole mitään erikoista; ne ovat normaalin satunnaisvaihtelun seurausta.
Aineisto kertoo, että Unkari/Serbia -akselilla Zhou on kerännyt 16.5/25 pistettä. Muualla hän on kerännyt vaivaiset 4.5/33 pistettä.
Intuitiivisesti varsin vakuuttavan tuntuinen ero. Lasketaan otantajakaumien keskiarvot ja vertaillaan niitä oletettuun globaaliin normaalijakaumaan.
Ensin täytyy muuttaa pistetulokset jonkinlaisiksi keskimääräisiksi elotasoluvuiksi.
Jotta tämän voisi tehdä luotettavasti, pitäisi tuntea tarkat todennäköisyydet ja odotustulokset. Käytän hyväksi tämän sivuston taulukkoa:
https://www.chess.com/forum/view/genera ... ifferences
Täten Unkari/Serbia-akselilla: 16.5/25 = 0.66 -> taulukosta katsottuna vastaa 120 eloeroa -> Zhoun sovitettu pelitaso noin 2350 + 120 = 2470 elo.
Muu maailma-akselilla: 4.5/33 = 0.14 -> taulukosta vastaa 300 eloeroa -> Zhoun sovitettu pelitaso noin 2350 - 300 = 2050 elo.
Nämä luvut eivät välttämättä vastaa suorituslukuja, vaan ovat laskennallisia välituloksia analyysissamme.
Nyt on mielenkiintoista laskea z-arvo kummallekin anomalialle. Hyödyntäen keskeistä raja-arvolausetta (
https://fi.wikipedia.org/wiki/Keskeinen_raja-arvolause):
Anomalia #1 (Unkari-Serbia): (2150 - 2470) / (100 / sqrt(25)) -> -16
Anomalia #2 (Muu maailma): (2150 - 2050) / (100 / sqrt(33)) -> -5
Nyt olemme päätyneet matemaattisesti siihen mihin Risto päätyi intuitiivisesti.
Kuudentoista keskihajonnan päässä oleva vaihtelu ei todellakaan näytä normaalilta; kaikki viittaa vilppiin.
Eli todistin juuri, että Risto on matemaattisesti tismalleen oikeassa? Kyllä. Mikäli tutkitaan näitä tuloksia tyhjiössä, yksittäisinä datapisteinä.
Mutta seuraavaksi päästään siihen kysymykseen, oliko tässä laskennassa ylipäätänsä mitään mieltä?
Ensinnäkin ilmiselvät ongelmat: jätin kokonaan vastustajan "pelivireen" pois laskelmista, koska se menisi aika sotkuiseksi. Samalla ja samasta syystä jätin pois Zhoun itsensä pelivireen; huonosti alkaneet turnaukset luultavasti jatkuvat huonosti, hyvin alkaneet jatkuvat hyvin.
Tämä osaltaan kertoo ongelmallisuudesta sen suhteen, että lasketaan korrelaatioita
yksittäisten pelien tasolla (versus
yksittäisten turnausten tasolla). Yksittäinen turnaus tapahtuu aina tietyssä valtiossa, joten myös kaikki sen pelit tapahtuvat tuossa samassa valtiossa. Tämä on omiaan luomaan tilastoharhaa.
Jos yksittäisen turnauksen yksittäiset pelit eivät ole itsenäisiä satunnaistapahtumia (ja minä väitän, että eivät ole), koko analyysimme menee päin honkia jo tässä kohtaa.
Toisekseen eri 25 pelien kokoisten otantojen lukumäärä kaikkien pelien joukossa (25 + 33 = 58) on luokkaa 10 potenssiin 16. Eli karkeasti noin kymmenen miljoonaa miljardia. Nyt valittu otanta on yksi kymmenen miljoonan miljardin joukossa.
Kolmannekseen tämäkin 10 potenssiin 16 kombinaatioita ovat vain piskuinen osa suuremmasta kokonaisuudesta, johon kuuluvat kaikki Zhoun urallaan pelaamat pelit.
Neljännekseen, Zhou on yksi pelaaja tuhansista ja taas tuhansista shakinpelaajista, joilta pelituloksia kerätään.
Yhtäkkiä todennäköisyys sille, että joku tuhansista shakinpelaajista osana tuhansia pelituloksia pitkää tuloshistoriaansa osuu 16 keskihajonnan päässä olevaan anomaliaan ei enää tunnu niin epätodennäköiseltä. Tosin intuitio pettää herkästi, koska luvut ovat niin kaukana nollasta (kombinaatioiden määrä) tai lähellä nollaa (todennäköisyys 16 keskihajonnan päässä).
Ja kun tämä joku pelaaja siihen osuu, Risto Tuominen (tai jonkun muun valtion vastaava tuhansia turnaustuloksia läpi koluava tilastonikkari) sen huomaa, ja nostaa syytöksen vilpistä.
Ja juuri tästä syystä katson hiukan arveluttavana, että nuorta pelaajaa epäillään vilpistä näillä perusteilla. Mielestäni julkisella shakkifoorumilla on tälläisten epäilyjen suhteen parempi erehtyä viattomuuden puolelle kuin syyllisyyden puolelle, ellei ole täysin 100% varma analyyseistään.
Kaiken kaikkiaan tämä analyysini todistaa lähinnä vain sen, miksi virallisia tieteellisiä tutkimuksia ei koskaan tehdä näin, että ensin kerätään data, ja sitten louhitaan sopivat johtopäätökset.
Tieteelliset kokeet tehdään asettamalla ensin hypoteesi, vasta sitten keräämällä data, ja lopuksi dataa käyttäen joko hyväksymällä tai hylkäämällä hypoteesi.
. Korostankin, että oma arvioni Zhoun Serbian peleistä oli pelkkä musta tuntuu -subjektiivinen arvio. 