Qiyu Zhoun WGM-arvo

Shakki Suomessa ja maailmalla
Jussi Hämäläinen
Viestit: 330
Liittynyt: 10 Joulu 2010 13:19
Paikkakunta: Turku

Re: Shakkimestari

Lukematon viesti Kirjoittaja Jussi Hämäläinen » 13 Maalis 2017 22:25

Jari J kirjoitti:Mielestäni Risto kirjoittaa yleensä kohteliaammin kun moni muu, joten en pidä aivan hyvänä JHamin kritiikkiä siitä, että Risto ei ymmärrä tilastotieteellisiä käsitteitä ja joitakin muita mainintoja. Muodollisesti kohteliaat kommentit voivat olla yhtä epäkohteliaita kun esim. sanoisi suoraan, että "Typerä olet".

Mielestäni JHam käsittelee asioita toisinaan turhan teoreettisella ja abstraktilla tasolla. Tilastojakaan ei yleensä lueta suoraan periaatteiden ja ohjeiden mukaan, vaan niiden tulkinnassa sovelletaan ohjeita ja periaatteita sekä mietitään käytännön tasolla, varsinkin kun on tästä shakin suorituslukuasiasta kyse. Minusta on aivan pätevää, jos arvioi myös sitä, miten jonkin pelaajan vastustajat ovat pelanneet (pelaavatko lukunsa tasollaan, luovuttavatko remissin tai pisteen kuinka nopeasti jne..).
Matemaattiset lainalaisuudet pätevät riippumatta niiden esittäjästä.

On ihan näppärää todeta matemaattista totuutta* edustavan kirjoittelijan olevan "epäkohtelias" tilanteessa, jossa vastapuolen keskustelija vähintäänkin epäsuorasti syyttää nuorta naispelaajaa huijaamisesta. Taitaa olla meillä hiukan eri käsitykset terminologiasta epäkohteliaisuuteen liittyen.

Ja minä en ole ottanut kantaa itse peleihin; ehkä ne kertovat enemmän Zhoun tapauksesta, mene ja tiedä. Ainoastaan kritisoin Risto Tuomisen virheellistä tapaa suorittaa tilastollista päättelyä.

* mikä - korostan vielä kerran - ei ole mielipidekysymys... aivan kuten vaikkapa Pythagoraan lause ei ole mielipidekysymys.

Jussi Hämäläinen
Viestit: 330
Liittynyt: 10 Joulu 2010 13:19
Paikkakunta: Turku

Re: Shakkimestari

Lukematon viesti Kirjoittaja Jussi Hämäläinen » 13 Maalis 2017 22:30

Jari J kirjoitti:Mielestäni Risto kirjoittaa yleensä kohteliaammin kun moni muu, joten en pidä aivan hyvänä JHamin kritiikkiä siitä, että Risto ei ymmärrä tilastotieteellisiä käsitteitä ja joitakin muita mainintoja. Muodollisesti kohteliaat kommentit voivat olla yhtä epäkohteliaita kun esim. sanoisi suoraan, että "Typerä olet".

Mielestäni JHam käsittelee asioita toisinaan turhan teoreettisella ja abstraktilla tasolla. Tilastojakaan ei yleensä lueta suoraan periaatteiden ja ohjeiden mukaan, vaan niiden tulkinnassa sovelletaan ohjeita ja periaatteita sekä mietitään käytännön tasolla, varsinkin kun on tästä shakin suorituslukuasiasta kyse. Minusta on aivan pätevää, jos arvioi myös sitä, miten jonkin pelaajan vastustajat ovat pelanneet (pelaavatko lukunsa tasollaan, luovuttavatko remissin tai pisteen kuinka nopeasti jne..).
Matemaattiset lainalaisuudet pätevät riippumatta niiden esittäjästä.

On ihan näppärää todeta matemaattista totuutta* edustavan kirjoittelijan olevan "epäkohtelias" tilanteessa, jossa vastapuolen keskustelija vähintäänkin epäsuorasti syyttää nuorta naispelaajaa huijaamisesta. Taitaa olla meillä hiukan eri käsitykset terminologiasta epäkohteliaisuuteen liittyen.

Ja minä en ole ottanut kantaa itse peleihin; ehkä ne kertovat enemmän Zhoun tapauksesta, mene ja tiedä. Ainoastaan kritisoin Risto Tuomisen virheellistä tapaa suorittaa tilastollista päättelyä.

* mikä - korostan vielä kerran - ei ole mielipidekysymys... aivan kuten vaikkapa Pythagoraan lause ei ole mielipidekysymys.[/quote]
Risto Tuominen kirjoitti:
Minä en ole tekemässä tilastotieteellistä väitelmää, mutta konsultoin toki kahtakin filosofian tohtoria sopivilta aloilta ja eivät he ainakaan asettaneet näyttöäni kyseenalaiseksi.
Minä konsultoin usean bestsellerin kirjoittanutta Nassim Nicholas Talebia ja Stan Youngia.

Herran Youngista löysin tälläisen kuvauksen:

Dr. Young is a Fellow of the American Statistical Association and the American Association for the Advancement of Science.

Ehkä kuitenkin kaikkein eniten konsultoin maalaisjärkeä. Jos Riston teoria cherry picking-ilmiön laillisuudesta pitää paikkaansa, ei yksikään suomalainen loton jättipotin voittaja ole voittanut sitä rehellisesti.

Jari Järvenpää
Viestit: 661
Liittynyt: 08 Loka 2010 11:45
Paikkakunta: Tampere
Seura: SalSK

Re: Qiyu Zhoun WGM-arvo

Lukematon viesti Kirjoittaja Jari Järvenpää » 13 Maalis 2017 23:30

Kiitos hyvästä vastauksesta JHamille. Pääasia, että asia pysyy yleisissä aiheissa ja koitetaan puolin ja toisin välttää henkilökohtaisuuksiin meneminen. On näin tavallisena lukijanakin (ei ylläpitäjänä) kiva seurata ajatuksenvaihtoa siinä tapauksessa.

Risto Tuominen
Viestit: 149
Liittynyt: 22 Syys 2010 23:07
Paikkakunta: Turku
Seura: TuTS

Re: Shakkimestari

Lukematon viesti Kirjoittaja Risto Tuominen » 14 Maalis 2017 00:46

JHam kirjoitti: Matemaattiset lainalaisuudet pätevät riippumatta niiden esittäjästä.

On ihan näppärää todeta matemaattista totuutta* edustavan kirjoittelijan olevan "epäkohtelias" tilanteessa, jossa vastapuolen keskustelija vähintäänkin epäsuorasti syyttää nuorta naispelaajaa huijaamisesta. Taitaa olla meillä hiukan eri käsitykset terminologiasta epäkohteliaisuuteen liittyen.

Ja minä en ole ottanut kantaa itse peleihin; ehkä ne kertovat enemmän Zhoun tapauksesta, mene ja tiedä. Ainoastaan kritisoin Risto Tuomisen virheellistä tapaa suorittaa tilastollista päättelyä.

* mikä - korostan vielä kerran - ei ole mielipidekysymys... aivan kuten vaikkapa Pythagoraan lause ei ole mielipidekysymys.
En tiedä kuka on huijannut (mahdollista on, että joku muu kuin pelaaja itse), mutta rehellisesti ei pelejä ole pelattu. En tiedä mitä merkitystä tapauksessa on kohteen iällä tai sukupuolella, mutta poikkeuksellisen vakavaksi tilanteen tekee se, että Zhout pyytävät netissä rahalahjoituksia turnausmatkojen rahoittamiseen.

En ehkä tee tilastollista päättelyäni tieteellisesti oikeaoppisesti, mutta aika pitkälle olen kyllä usein päättelemällä ja maalaisjärkeä käyttämällä näissä tilanteissa päässyt. Kerrotko muuten miten voisi oikeaoppisesti tutkia tätä tilannetta ja mielellään todista vielä päätelmäni vääriksi jos erittäin pätevänä ja Talebinkin kaverina pystyt?

Ja jos palataan asiaan, niin tapaus on loogisen päättelyn johtopäätös:
1. Pelitilastot (itselleni tämä näyttö pelkästään riittäisi)
2. Pelipöytäkirjat (noin huonosti eivät pelaajat pelaa tuolla tasolla, pelkkä tämä näyttö riittää varmasti hyvälle shakinpelaajalle)
3. Zhoun pikapelit, joita olen livenä seurannut sekä pikapelitulokset (elo 1925, viimeiset pelit 2015). Liian huono pelitaso 2300:n taidot omaavalle pelaajalle.
4. Zhoun haastattelut, joissa pelaajan itseluottamus tuntuu yllättävän vähäiseltä peliesityksiin verrattuna.

DieMannschaft
Viestit: 21
Liittynyt: 07 Maalis 2016 21:23
Paikkakunta: Tampere
Seura: Salsk

Re: Qiyu Zhoun WGM-arvo

Lukematon viesti Kirjoittaja DieMannschaft » 14 Maalis 2017 01:08

EI ole ihme että joutuvat turvautumaan rahalahjoituksiin sillä zhoun kohdalla turnausmatkat saattavat tulla hyvin kalliiksi :D

sisis
Viestit: 7
Liittynyt: 21 Helmi 2017 22:59
Paikkakunta: Ikaalinen
Seura: AkaaS

Re: Qiyu Zhoun WGM-arvo

Lukematon viesti Kirjoittaja sisis » 14 Maalis 2017 01:12

Allekirjoittaneen meriitit tilastotieteen saralta ovat reputtaminen tilastotieteen pääsykokeissa Tampereen yliopistolla (v.2003?) :oops: . Korostankin, että oma arvioni Zhoun Serbian peleistä oli pelkkä musta tuntuu -subjektiivinen arvio.

Mitä matematiikan taitoihin tulee, niin tunnustan että paikkani lienee DieMannschaftin esittämässä uudelleenkoulutuksessa. :lol:

Jouko Lauronen
Viestit: 109
Liittynyt: 02 Elo 2010 09:14
Paikkakunta: Oulainen
Seura: Shakkilaakso ry

Re: Qiyu Zhoun WGM-arvo

Lukematon viesti Kirjoittaja Jouko Lauronen » 14 Maalis 2017 01:41

En oikein usko sopupeleihin. Sen sijaan mieleeni on tullut aikaisempi suomalainen GM, joka sai kiinnityksen tai kaksi Budapestissa. Onkohan siellä silloin vastustajien eloluvut olleet pelitason mukaisia? Ja sama ilmiö saattaa olla vallitseva vieläkin. Jospa tilastonikkarit tutkisivat tätäkin teesiä. (teesi - antiteesi -> synteesi)
Paikoissa, joissa on paljon turnauksia ja paljon pelaajia, eloluvut nousevat ehkä liian helposti.

Risto Tuominen
Viestit: 149
Liittynyt: 22 Syys 2010 23:07
Paikkakunta: Turku
Seura: TuTS

Re: Qiyu Zhoun WGM-arvo

Lukematon viesti Kirjoittaja Risto Tuominen » 14 Maalis 2017 02:07

JoukoL kirjoitti:En oikein usko sopupeleihin. Sen sijaan mieleeni on tullut aikaisempi suomalainen GM, joka sai kiinnityksen tai kaksi Budapestissa. Onkohan siellä silloin vastustajien eloluvut olleet pelitason mukaisia? Ja sama ilmiö saattaa olla vallitseva vieläkin. Jospa tilastonikkarit tutkisivat tätäkin teesiä. (teesi - antiteesi -> synteesi)
Paikoissa, joissa on paljon turnauksia ja paljon pelaajia, eloluvut nousevat ehkä liian helposti.
Tämä voisi periaatteessa selittää siirtojen huonon laadun. Se tuskin kuitenkaan selittää miksi huomattavasti vahvemmat pelaajat pelaavat niin usein soputasapelejä tai luovuttavat aivan liian kevyesti huomattavasti heikommalle vastustajalle. Lisäksi Zhoun voittopelit ovat aivan liian usein 20-30 siirron välillä kun pelityyli viittaisi pikemminkin pitkiin peleihin. Johtopäätöksenä voi olla vain se, että pelaajat eivät pelaa tosissaan (ja välillä jopa tuntuvat etsivän sopivaa tapaa hävitä).

Jussi Hämäläinen
Viestit: 330
Liittynyt: 10 Joulu 2010 13:19
Paikkakunta: Turku

Re: Shakkimestari

Lukematon viesti Kirjoittaja Jussi Hämäläinen » 14 Maalis 2017 05:38

Risto Tuominen kirjoitti: Kerrotko muuten miten voisi oikeaoppisesti tutkia tätä tilannetta ja mielellään todista vielä päätelmäni vääriksi jos erittäin pätevänä ja Talebinkin kaverina pystyt?
Viitaten antamiisi pelitilastoihin (voitot, tappiot, tasapelit): perustavanlaatuinen ongelma näissä tilastossa on, että olet valinnut tarkasteluusi datapisteet käsin käyttäen lähteenä huomattavasti suurempaa, ja etenkin tilastomuuttujiltaan rikkaampaa, aineistoa.

Käytännössä kaikki muut ongelmat ovat seurausta tästä perimmäisestä syystä.

Tämä toimenpiteesi on tismalleen mitä termillä "cherry picking" tarkoitetaan:

https://en.wikipedia.org/wiki/Cherry_picking
Cherry picking is the act of pointing to individual cases or data that seem to confirm a particular position...
Miksi sitten tuollainen kirsikoiden poiminta suuresta otanta-aineistosta on ongelmallista? Mietitään asiaa joka lauantaisen lottoarvonnan näkökulmasta.

Yksittäisen pelaajan näkökulmasta loton pääpotin voittamisen todennnäköisyys on 1 / 16 000 000. Eli häviävän pieni todennäköisyys. Kun nyt sitten pihtiputaalainen mummo tuosta äärimmäisen pienestä todennäköisyydestä huolimatta jättipotin voittaa, voimme tarkastella tapahtunutta kahdesta näkökulmasta:

1) pihtiputaalainen mummon näkökulmasta hänen voittonsa todennäköisyys oli tilastollisesti niin pieni, että on syytä epäillä häntä huijaamisesta. Todennäköisyys sille, että hän rehellisesti voitti jättipotin, on tuo 1 / 16 000 000. Vastakkainen todennäköisyys on 15 999 999 / 16 000 000. Tuo rehellisesti voittamisen todennäköisyys on mennen tullen alle kaikkien merkitsevyys/luotettavuus-rajojen. Sinisilmäisesti voidaan siis todeta yksikantaan; mummo on huijari!

2) laajemmasta, koko Suomen näkökulmasta todennäköisyys sille että joku voitti loton pääpotin on paljon enemmän kuin 1 / 16 000 000. Sanotaan, että se on 1/2. Eli keskimäärin joka toinen lottoarvonta päätyy jonkun päävoittoon.

Eli onko pihtiputaalainen mummo huijari vai ei? No ei. Hän vain todistaa oikeaksi matemaattisen totuuden siitä, että suuressa määrässä aineistoa äärimmäisen epätodennäköisetkin satunnaisilmiöt tuppaavat tapahtumaan.

Sama logiikka pätee Zhoun tapauksessa. Sanotaan karkeasti arviolta, että maailmassa on miljoonaa shakinpelaajaa.

Jokainen noista miljoonasta shakinpelaajasta kerää peliuransa aikansa historiallista dataa, jota sitten Risto Tuominen voi jälkikäteen tutkailla. Ja mitä enemmän tutkailet, sitä nopeammin törmäät ylläolevaan pihtiputaalainen mummo ja lotto -ongelmaan. Kuten itse aiemmin totesit:
Risto Tuominen kirjoitti: Olen myös perehtynyt tuhansiin turnaustuloksiin ja tällaisia säännöllisiä poikkeavuuksia ei löydy näin laajassa mittakaavassa (yksittäisessä turnauksessa toki).
Tässä on ilmeinen paradoksi; mitä enemmän perehdyt "tuhansiin turnaustuloksiin", sitä enemmän saat mielestäsi pontta väitteelle, ettei poikkeava turnaustulosten sarja (kuten Zhoun tapauksessa) voi tapahtua sattumalta.

Mutta samaan aikaan TISMALLEEN tämä tuhansiin turnaustuloksiin tutustuminen lisää todennäköisyyttä sille, että törmäät tuollaiseen täysin sattumalta tapahtuneeseen poikkeavaan tulossarjaan!

Toinen ongelma syntyy siinä, kun valitset suuresta tilastollisten muuttujien joukosta juuri "valtio"-muuttujan tarkasteluun.

Miksi juuri valtio (Unkari/Serbia vs. muu maailma)? Olisit voinut valita myös iän, sukupuolen, hiusten pituuden, kengän koon, ... ja perustaa tilastollisen tarkastelusi johonkin näistä tilastollisista muuttujista.

Mutta valitsit juuri valtion. Ja valtio-muuttujan vastakkainasetteluksi valitsit juuri Unkari/Serbia vs. muu maailma.

Mieti itse - kaikista kymmenistä, jopa sadoista muuttujista valitsit juuri "valtio"-muuttujan.

Sitten kaikista eri kahden valtion kombinaatioista - joita on tuhansia - valitsit juuri Unkari + Serbia -kombinaation.

Kysymys on relevantti, koska:

https://en.wikipedia.org/wiki/Selection_bias
Selection bias is the selection of individuals, groups or data for analysis in such a way that proper randomization is not achieved, thereby ensuring that the sample obtained is not representative of the population intended to be analyzed.
Tismalleen sama selection bias muuten pätee paitsi tilastollisen muuttujan valinnassa, myös itse datapisteiden valinnassa.
Risto Tuominen kirjoitti: Kerrotko muuten miten voisi oikeaoppisesti tutkia tätä tilannetta ja mielellään todista vielä päätelmäni vääriksi jos erittäin pätevänä ja Talebinkin kaverina pystyt?
(Kopioin tämän lainauksen uusiksi tähän)

Tämä on hiukka omintakeinen pyyntö, sillä yleensä todistustaakka on väitteen esittäjällä, ei väitteen kumoajalla.

Yritän silti tehdä laskelmat. En itsekään ole alan ammattilainen, joten sovellan pitkälti - maalaisjärjen lisäksi - internetin tietolähteitä.

Tilastollinen analyysi

Tehdään analyysi oikein, eli aloitetaan asettamalla seuraava hypoteesi: Zhoun oikea pelitaso on 2150, ja mitään vilppiä ei ole tapahtunut. Tämä on siis hypoteesi, joka odottaa todistustaan.

Valitsin eloluvun sellaiseksi, että Zhoun voisi olettaa ihan aidosti vähintään tuolla tasolla olevan - tietenkin tämä oletus ei ole 100% varma, mutta siitä lähtekäämme liikkeelle, jotta hypoteesi saadaan aikaan.

Vastaavasti vastustajien oletan olevan keskimäärin tasolla 2350. Uskon, että arvio on suht lähellä todellisuutta.

Seuraavaksi teen oletuksen, että nuorelle pelaajalle 100 elopisteen keskihajonta pelitasossa on tyypillistä. Toisin sanoen, Zhou pelaa 95% ajasta ( = 2 keskihajontaa) 1950 ja 2350 elopisteen välisellä tasolla. Loput 5% ajasta hänelle sattuu todella hyviä tai todella huonoja pelipäiviä; eli alle 1950 tai yli 2350 elon tasoista pelaamista.

Tämä on puhdas oletus siitä kuinka nuoren, kehittyvän pelaajan taso vaihtelee yksittäisestä pelistä toiseen.

Saamme normaalijakauman muotoa N(2150, 100).

Nyt tutkitaan seuraavaa: onko odotettavissa, että "Unkari/Serbia vs. muu maailma" otannat ovat peräisin ylläolevasta normaalijakaumasta.

Jos on, niin olemme todistaneet, että Zhoun tuloksissa ei ole mitään erikoista; ne ovat normaalin satunnaisvaihtelun seurausta.

Aineisto kertoo, että Unkari/Serbia -akselilla Zhou on kerännyt 16.5/25 pistettä. Muualla hän on kerännyt vaivaiset 4.5/33 pistettä.

Intuitiivisesti varsin vakuuttavan tuntuinen ero. Lasketaan otantajakaumien keskiarvot ja vertaillaan niitä oletettuun globaaliin normaalijakaumaan.

Ensin täytyy muuttaa pistetulokset jonkinlaisiksi keskimääräisiksi elotasoluvuiksi.

Jotta tämän voisi tehdä luotettavasti, pitäisi tuntea tarkat todennäköisyydet ja odotustulokset. Käytän hyväksi tämän sivuston taulukkoa: https://www.chess.com/forum/view/genera ... ifferences

Täten Unkari/Serbia-akselilla: 16.5/25 = 0.66 -> taulukosta katsottuna vastaa 120 eloeroa -> Zhoun sovitettu pelitaso noin 2350 + 120 = 2470 elo.

Muu maailma-akselilla: 4.5/33 = 0.14 -> taulukosta vastaa 300 eloeroa -> Zhoun sovitettu pelitaso noin 2350 - 300 = 2050 elo.

Nämä luvut eivät välttämättä vastaa suorituslukuja, vaan ovat laskennallisia välituloksia analyysissamme.

Nyt on mielenkiintoista laskea z-arvo kummallekin anomalialle. Hyödyntäen keskeistä raja-arvolausetta (https://fi.wikipedia.org/wiki/Keskeinen_raja-arvolause):

Anomalia #1 (Unkari-Serbia): (2150 - 2470) / (100 / sqrt(25)) -> -16

Anomalia #2 (Muu maailma): (2150 - 2050) / (100 / sqrt(33)) -> -5

Nyt olemme päätyneet matemaattisesti siihen mihin Risto päätyi intuitiivisesti. Kuudentoista keskihajonnan päässä oleva vaihtelu ei todellakaan näytä normaalilta; kaikki viittaa vilppiin.

Eli todistin juuri, että Risto on matemaattisesti tismalleen oikeassa? Kyllä. Mikäli tutkitaan näitä tuloksia tyhjiössä, yksittäisinä datapisteinä.

Mutta seuraavaksi päästään siihen kysymykseen, oliko tässä laskennassa ylipäätänsä mitään mieltä?

Ensinnäkin ilmiselvät ongelmat: jätin kokonaan vastustajan "pelivireen" pois laskelmista, koska se menisi aika sotkuiseksi. Samalla ja samasta syystä jätin pois Zhoun itsensä pelivireen; huonosti alkaneet turnaukset luultavasti jatkuvat huonosti, hyvin alkaneet jatkuvat hyvin.

Tämä osaltaan kertoo ongelmallisuudesta sen suhteen, että lasketaan korrelaatioita yksittäisten pelien tasolla (versus yksittäisten turnausten tasolla). Yksittäinen turnaus tapahtuu aina tietyssä valtiossa, joten myös kaikki sen pelit tapahtuvat tuossa samassa valtiossa. Tämä on omiaan luomaan tilastoharhaa. Jos yksittäisen turnauksen yksittäiset pelit eivät ole itsenäisiä satunnaistapahtumia (ja minä väitän, että eivät ole), koko analyysimme menee päin honkia jo tässä kohtaa.

Toisekseen eri 25 pelien kokoisten otantojen lukumäärä kaikkien pelien joukossa (25 + 33 = 58) on luokkaa 10 potenssiin 16. Eli karkeasti noin kymmenen miljoonaa miljardia. Nyt valittu otanta on yksi kymmenen miljoonan miljardin joukossa.

Kolmannekseen tämäkin 10 potenssiin 16 kombinaatioita ovat vain piskuinen osa suuremmasta kokonaisuudesta, johon kuuluvat kaikki Zhoun urallaan pelaamat pelit.

Neljännekseen, Zhou on yksi pelaaja tuhansista ja taas tuhansista shakinpelaajista, joilta pelituloksia kerätään.

Yhtäkkiä todennäköisyys sille, että joku tuhansista shakinpelaajista osana tuhansia pelituloksia pitkää tuloshistoriaansa osuu 16 keskihajonnan päässä olevaan anomaliaan ei enää tunnu niin epätodennäköiseltä. Tosin intuitio pettää herkästi, koska luvut ovat niin kaukana nollasta (kombinaatioiden määrä) tai lähellä nollaa (todennäköisyys 16 keskihajonnan päässä).

Ja kun tämä joku pelaaja siihen osuu, Risto Tuominen (tai jonkun muun valtion vastaava tuhansia turnaustuloksia läpi koluava tilastonikkari) sen huomaa, ja nostaa syytöksen vilpistä.

Ja juuri tästä syystä katson hiukan arveluttavana, että nuorta pelaajaa epäillään vilpistä näillä perusteilla. Mielestäni julkisella shakkifoorumilla on tälläisten epäilyjen suhteen parempi erehtyä viattomuuden puolelle kuin syyllisyyden puolelle, ellei ole täysin 100% varma analyyseistään.

Kaiken kaikkiaan tämä analyysini todistaa lähinnä vain sen, miksi virallisia tieteellisiä tutkimuksia ei koskaan tehdä näin, että ensin kerätään data, ja sitten louhitaan sopivat johtopäätökset.

Tieteelliset kokeet tehdään asettamalla ensin hypoteesi, vasta sitten keräämällä data, ja lopuksi dataa käyttäen joko hyväksymällä tai hylkäämällä hypoteesi.

Risto Tuominen
Viestit: 149
Liittynyt: 22 Syys 2010 23:07
Paikkakunta: Turku
Seura: TuTS

Re: Qiyu Zhoun WGM-arvo

Lukematon viesti Kirjoittaja Risto Tuominen » 14 Maalis 2017 09:29

JHam kirjoitti:
Risto Tuominen kirjoitti: Kerrotko muuten miten voisi oikeaoppisesti tutkia tätä tilannetta ja mielellään todista vielä päätelmäni vääriksi jos erittäin pätevänä ja Talebinkin kaverina pystyt?
Viitaten antamiisi pelitilastoihin (voitot, tappiot, tasapelit): perustavanlaatuinen ongelma näissä tilastossa on, että olet valinnut tarkasteluusi datapisteet käsin käyttäen lähteenä huomattavasti suurempaa, ja etenkin tilastomuuttujiltaan rikkaampaa, aineistoa.

Käytännössä kaikki muut ongelmat ovat seurausta tästä perimmäisestä syystä.

Tämä toimenpiteesi on tismalleen mitä termillä "cherry picking" tarkoitetaan:

https://en.wikipedia.org/wiki/Cherry_picking
Cherry picking is the act of pointing to individual cases or data that seem to confirm a particular position...[/quote

Miksi sitten tuollainen kirsikoiden poiminta suuresta otanta-aineistosta on ongelmallista? Mietitään asiaa joka lauantaisen lottoarvonnan näkökulmasta.

Yksittäisen pelaajan näkökulmasta loton pääpotin voittamisen todennnäköisyys on 1 / 16 000 000. Eli häviävän pieni todennäköisyys. Kun nyt sitten pihtiputaalainen mummo tuosta äärimmäisen pienestä todennäköisyydestä huolimatta jättipotin voittaa, voimme tarkastella tapahtunutta kahdesta näkökulmasta:

1) pihtiputaalainen mummon näkökulmasta hänen voittonsa todennäköisyys oli tilastollisesti niin pieni, että on syytä epäillä häntä huijaamisesta. Todennäköisyys sille, että hän rehellisesti voitti jättipotin, on tuo 1 / 16 000 000. Vastakkainen todennäköisyys on 15 999 999 / 16 000 000. Tuo rehellisesti voittamisen todennäköisyys on mennen tullen alle kaikkien merkitsevyys/luotettavuus-rajojen. Sinisilmäisesti voidaan siis todeta yksikantaan; mummo on huijari!

2) laajemmasta, koko Suomen näkökulmasta todennäköisyys sille että joku voitti loton pääpotin on paljon enemmän kuin 1 / 16 000 000. Sanotaan, että se on 1/2. Eli keskimäärin joka toinen lottoarvonta päätyy jonkun päävoittoon.

Eli onko pihtiputaalainen mummo huijari vai ei? No ei. Hän vain todistaa oikeaksi matemaattisen totuuden siitä, että suuressa määrässä aineistoa äärimmäisen epätodennäköisetkin satunnaisilmiöt tuppaavat tapahtumaan.

Sama logiikka pätee Zhoun tapauksessa. Sanotaan karkeasti arviolta, että maailmassa on miljoonaa shakinpelaajaa.

Jokainen noista miljoonasta shakinpelaajasta kerää peliuransa aikansa historiallista dataa, jota sitten Risto Tuominen voi jälkikäteen tutkailla. Ja mitä enemmän tutkailet, sitä nopeammin törmäät ylläolevaan pihtiputaalainen mummo ja lotto -ongelmaan. Kuten itse aiemmin totesit:
Risto Tuominen kirjoitti: Olen myös perehtynyt tuhansiin turnaustuloksiin ja tällaisia säännöllisiä poikkeavuuksia ei löydy näin laajassa mittakaavassa (yksittäisessä turnauksessa toki).
Tässä on ilmeinen paradoksi; mitä enemmän perehdyt "tuhansiin turnaustuloksiin", sitä enemmän saat mielestäsi pontta väitteelle, ettei poikkeava turnaustulosten sarja (kuten Zhoun tapauksessa) voi tapahtua sattumalta.

Mutta samaan aikaan TISMALLEEN tämä tuhansiin turnaustuloksiin tutustuminen lisää todennäköisyyttä sille, että törmäät tuollaiseen täysin sattumalta tapahtuneeseen poikkeavaan tulossarjaan!

Toinen ongelma syntyy siinä, kun valitset suuresta tilastollisten muuttujien joukosta juuri "valtio"-muuttujan tarkasteluun.

Miksi juuri valtio (Unkari/Serbia vs. muu maailma)? Olisit voinut valita myös iän, sukupuolen, hiusten pituuden, kengän koon, ... ja perustaa tilastollisen tarkastelusi johonkin näistä tilastollisista muuttujista.

Mutta valitsit juuri valtion. Ja valtio-muuttujan vastakkainasetteluksi valitsit juuri Unkari/Serbia vs. muu maailma.

Mieti itse - kaikista kymmenistä, jopa sadoista muuttujista valitsit juuri "valtio"-muuttujan.

Sitten kaikista eri kahden valtion kombinaatioista - joita on tuhansia - valitsit juuri Unkari + Serbia -kombinaation.

Kysymys on relevantti, koska:

https://en.wikipedia.org/wiki/Selection_bias
Selection bias is the selection of individuals, groups or data for analysis in such a way that proper randomization is not achieved, thereby ensuring that the sample obtained is not representative of the population intended to be analyzed.
Tismalleen sama selection bias muuten pätee paitsi tilastollisen muuttujan valinnassa, myös itse datapisteiden valinnassa.
Risto Tuominen kirjoitti: Kerrotko muuten miten voisi oikeaoppisesti tutkia tätä tilannetta ja mielellään todista vielä päätelmäni vääriksi jos erittäin pätevänä ja Talebinkin kaverina pystyt?
(Kopioin tämän lainauksen uusiksi tähän)

Tämä on hiukka omintakeinen pyyntö, sillä yleensä todistustaakka on väitteen esittäjällä, ei väitteen kumoajalla.

Yritän silti tehdä laskelmat. En itsekään ole alan ammattilainen, joten sovellan pitkälti - maalaisjärjen lisäksi - internetin tietolähteitä.

Tilastollinen analyysi

Tehdään analyysi oikein, eli aloitetaan asettamalla seuraava hypoteesi: Zhoun oikea pelitaso on 2150, ja mitään vilppiä ei ole tapahtunut. Tämä on siis hypoteesi, joka odottaa todistustaan.

Valitsin eloluvun sellaiseksi, että Zhoun voisi olettaa ihan aidosti vähintään tuolla tasolla olevan - tietenkin tämä oletus ei ole 100% varma, mutta siitä lähtekäämme liikkeelle, jotta hypoteesi saadaan aikaan.

Vastaavasti vastustajien oletan olevan keskimäärin tasolla 2350. Uskon, että arvio on suht lähellä todellisuutta.

Seuraavaksi teen oletuksen, että nuorelle pelaajalle 100 elopisteen keskihajonta pelitasossa on tyypillistä. Toisin sanoen, Zhou pelaa 95% ajasta ( = 2 keskihajontaa) 1950 ja 2350 elopisteen välisellä tasolla. Loput 5% ajasta hänelle sattuu todella hyviä tai todella huonoja pelipäiviä; eli alle 1950 tai yli 2350 elon tasoista pelaamista.

Tämä on puhdas oletus siitä kuinka nuoren, kehittyvän pelaajan taso vaihtelee yksittäisestä pelistä toiseen.

Saamme normaalijakauman muotoa N(2150, 100).

Nyt tutkitaan seuraavaa: onko odotettavissa, että "Unkari/Serbia vs. muu maailma" otannat ovat peräisin ylläolevasta normaalijakaumasta.

Jos on, niin olemme todistaneet, että Zhoun tuloksissa ei ole mitään erikoista; ne ovat normaalin satunnaisvaihtelun seurausta.

Aineisto kertoo, että Unkari/Serbia -akselilla Zhou on kerännyt 16.5/25 pistettä. Muualla hän on kerännyt vaivaiset 4.5/33 pistettä.

Intuitiivisesti varsin vakuuttavan tuntuinen ero. Lasketaan otantajakaumien keskiarvot ja vertaillaan niitä oletettuun globaaliin normaalijakaumaan.

Ensin täytyy muuttaa pistetulokset jonkinlaisiksi keskimääräisiksi elotasoluvuiksi.

Jotta tämän voisi tehdä luotettavasti, pitäisi tuntea tarkat todennäköisyydet ja odotustulokset. Käytän hyväksi tämän sivuston taulukkoa: https://www.chess.com/forum/view/genera ... ifferences

Täten Unkari/Serbia-akselilla: 16.5/25 = 0.66 -> taulukosta katsottuna vastaa 120 eloeroa -> Zhoun sovitettu pelitaso noin 2350 + 120 = 2470 elo.

Muu maailma-akselilla: 4.5/33 = 0.14 -> taulukosta vastaa 300 eloeroa -> Zhoun sovitettu pelitaso noin 2350 - 300 = 2050 elo.

Nämä luvut eivät välttämättä vastaa suorituslukuja, vaan ovat laskennallisia välituloksia analyysissamme.

Nyt on mielenkiintoista laskea z-arvo kummallekin anomalialle. Hyödyntäen keskeistä raja-arvolausetta (https://fi.wikipedia.org/wiki/Keskeinen_raja-arvolause):

Anomalia #1 (Unkari-Serbia): (2150 - 2470) / (100 / sqrt(25)) -> -16

Anomalia #2 (Muu maailma): (2150 - 2050) / (100 / sqrt(33)) -> -5

Nyt olemme päätyneet matemaattisesti siihen mihin Risto päätyi intuitiivisesti. Kuudentoista keskihajonnan päässä oleva vaihtelu ei todellakaan näytä normaalilta; kaikki viittaa vilppiin.

Eli todistin juuri, että Risto on matemaattisesti tismalleen oikeassa? Kyllä. Mikäli tutkitaan näitä tuloksia tyhjiössä, yksittäisinä datapisteinä.

Mutta seuraavaksi päästään siihen kysymykseen, oliko tässä laskennassa ylipäätänsä mitään mieltä?

Ensinnäkin ilmiselvät ongelmat: jätin kokonaan vastustajan "pelivireen" pois laskelmista, koska se menisi aika sotkuiseksi. Samalla ja samasta syystä jätin pois Zhoun itsensä pelivireen; huonosti alkaneet turnaukset luultavasti jatkuvat huonosti, hyvin alkaneet jatkuvat hyvin.

Tämä osaltaan kertoo ongelmallisuudesta sen suhteen, että lasketaan korrelaatioita yksittäisten pelien tasolla (versus yksittäisten turnausten tasolla). Yksittäinen turnaus tapahtuu aina tietyssä valtiossa, joten myös kaikki sen pelit tapahtuvat tuossa samassa valtiossa. Tämä on omiaan luomaan tilastoharhaa. Jos yksittäisen turnauksen yksittäiset pelit eivät ole itsenäisiä satunnaistapahtumia (ja minä väitän, että eivät ole), koko analyysimme menee päin honkia jo tässä kohtaa.

Toisekseen eri 25 pelien kokoisten otantojen lukumäärä kaikkien pelien joukossa (25 + 33 = 58) on luokkaa 10 potenssiin 16. Eli karkeasti noin kymmenen miljoonaa miljardia. Nyt valittu otanta on yksi kymmenen miljoonan miljardin joukossa.

Kolmannekseen tämäkin 10 potenssiin 16 kombinaatioita ovat vain piskuinen osa suuremmasta kokonaisuudesta, johon kuuluvat kaikki Zhoun urallaan pelaamat pelit.

Neljännekseen, Zhou on yksi pelaaja tuhansista ja taas tuhansista shakinpelaajista, joilta pelituloksia kerätään.

Yhtäkkiä todennäköisyys sille, että joku tuhansista shakinpelaajista osana tuhansia pelituloksia pitkää tuloshistoriaansa osuu 16 keskihajonnan päässä olevaan anomaliaan ei enää tunnu niin epätodennäköiseltä. Tosin intuitio pettää herkästi, koska luvut ovat niin kaukana nollasta (kombinaatioiden määrä) tai lähellä nollaa (todennäköisyys 16 keskihajonnan päässä).

Ja kun tämä joku pelaaja siihen osuu, Risto Tuominen (tai jonkun muun valtion vastaava tuhansia turnaustuloksia läpi koluava tilastonikkari) sen huomaa, ja nostaa syytöksen vilpistä.

Ja juuri tästä syystä katson hiukan arveluttavana, että nuorta pelaajaa epäillään vilpistä näillä perusteilla. Mielestäni julkisella shakkifoorumilla on tälläisten epäilyjen suhteen parempi erehtyä viattomuuden puolelle kuin syyllisyyden puolelle, ellei ole täysin 100% varma analyyseistään.

Kaiken kaikkiaan tämä analyysini todistaa lähinnä vain sen, miksi virallisia tieteellisiä tutkimuksia ei koskaan tehdä näin, että ensin kerätään data, ja sitten louhitaan sopivat johtopäätökset.

Tieteelliset kokeet tehdään asettamalla ensin hypoteesi, vasta sitten keräämällä data, ja lopuksi dataa käyttäen joko hyväksymällä tai hylkäämällä hypoteesi.
Nyt tämän diipadaapan voisi siis unohtaa. Tulokset ovat epäilyttäviä ja pelipöytäkirjat vahventavat tämän näkemyksen. Vastustajat eivät pelaa tasonsa mukaisesti.

Lukittu

Paikallaolijat

Käyttäjiä lukemassa tätä aluetta: Ei rekisteröityneitä käyttäjiä ja 46 vierailijaa