Mida tulpdiagrammilt ei näe. Sissejuhatus karp- ja viiulidiagrammi maailma

Arukas otsustamine eeldab sisulist arusaama oma andmetest, see omakorda aga oskust neid sedaviisi üles joonistada, et oluline esile tuleks. See võib osutuda aga raskemaks kui esmapilgul paistab. Igat tüüpi graafik räägib andmete kohta oma lugu. Oskus õigeid graafikuid valida aitab tuua andmetest välja selle, mis on antud otsuse jaoks oluline. Vale graafik võib aga jätta väga petliku mulje.

Kujuta ette, et sul on aasta jooksul kogutud andmed oma igapäevaste sammude kohta. Tahad aru saada, millised on sinu liikumisharjumused nädalapäevade lõikes. Üritame selleks oma andmed kuidagi graafikule panna.

Tulpdiagramm: lihtne lugeda, aga ohtlikult lihtsustav

Tõenäoliselt üks esimesi pähe kargavaid mõtteid on tulpdiagramm, kus tulba kõrgus näitab päeva keskmist sammude arvu.

Saame ilusa ja selge pildi. Kõigil päevadel on samme enam-vähem sama palju, ainult laupäev torkab silma. Esmaspäev ja teisipäev oleksid ka justkui natuke kõrgemad tulbad.

Väga tore. Aga mida me siit ei näe? See graafik ei ütle midagi selle kohta, kas kõik päevad on ühesugused või on osa päevi hoopis teistsugused. Kui tööpäeval tehakse mõnikord 4000 sammu ja mõnikord 12 000 sammu, kuid keskmine on 9000, siis tulpdiagrammil paistab see täpselt sama moodi välja kui siis, kui iga päev tehti täpselt 9000 sammu.

Tulpdiagramm näitab keskmist, kuid peidab ära hajuvuse. Ja sageli on just hajuvus see, mis on kõige informatiivsem ja otsuste langetamise seisukohalt kõige olulisem.

Karpdiagramm toob hajuvuse nähtavale

Karpdiagramm (inglise keeles box plot ehk box-and-whisker plot) on loodud täpselt selle probleemi lahendamiseks. Selle asemel et näidata ainult keskmist, näitab ta andmete jaotust.

Kuidas karpdiagrammi lugeda?

Iga "karp" koosneb mitmest osast:

Karp ise (see ristkülik) tähistab vahemikku, kuhu jääb pool kõigist andmetest, täpsemalt 25% madalamatest kuni 75% kõrgemate väärtusteni. Seda vahemikku nimetatakse kvartiilide vahemikuks (interquartile range ehk IQR). Mida laiem karp, seda suurem on väärtuste hajuvus.

Horisontaalne joon karbi sees tähistab mediaani ehk seda väärtust, millest pooled mõõtmised on madalamad ja pooled kõrgemad. See on lollikindlam näitaja kui keskmine, sest üksikud äärmuslikud väärtused ei mõjuta seda nii tugevalt.

Vurrud (jooned, mis ulatuvad karbist välja) näitavad, kui kaugele "tavalised" väärtused ulatuvad. Nende pikkus on üldjuhul 1.5 korda IQR (interquartile range). Sellest kaugemale jäävad väärtused märgitakse eraldi punktidena ja neid nimetatakse erinditeks (outliers). Need on üldiselt üksikud erijuhud, mis sõltuvalt kontekstist ei pruugi olla üldse olulised (näiteks viga andmete käsitsi sisse trükkimisel) või siis just vastupidi, need on need üksikud tavapäratud ja erakordselt tähtsad sündmused.

Mida me siis siit karpdiagrammilt näeme?

Vaadates tööpäevi, paistab kohe, et esmaspäev ja teisipäev ning ülejäänud töönädal näevad erinevad välja. Mediaani märkiv must horisontaalne joon on kõigil üsna samas kohas, seega "keskmisel" tööpäeval teeme alati umbes 10000 sammu. Aga miks on kolmapäevast reedeni kastid laiemad, seda me karpdiagrammilt päris hästi aru ei saa (selle juurde jõuame kui hakkame viiulidiagrammi vaatama). Küll aga näeme ära väikesed täpikesed esmaspäeva ja teisipäeva all, need on tõenäoliselt haiguse päevad kui olime voodis siruli ega liigutanud lillegi.

Kui tulpdiagrammilt paistis, et pühapäev näeb välja nagu tavaline tööpäev, siis karpdiagrammilt avaneb hoopis teine pilt: keskmine pühapäev istume kodus ja niidame muru. Tulpdiagrammil näha olnud keskmist ajavad aga kunstlikult kõrgeks üksikud kevadised matkapäevad.

Võrreldes tulpdiagrammiga näeme karpdiagrammilt juba oluliselt terviklikumat lugu. Kuid mõndagi jääb veel varju. Karpdiagramm näitab, kui palju andmed hajuvad. Kuid ta ei ütle meile, miks. Kas andmed jagunevad ühtlaselt ümber ühe keskväärtuse või on seal hoopis kaks eraldi gruppi?

Viiulidiagramm toob esile jaotuse tegeliku kuju

Viiulidiagramm (violin plot) toob esile andmete tegeliku jaotuse kuju. Viiulikeha laius igas punktis näitab, kui palju andmeid selles piirkonnas asub. Lai koht tähendab, et selliseid mõõtmisi on palju. Kitsas koht tähendab, et selliseid väärtusi esineb harva.

Nüüd tuleb välja, mille poolest erinevad esmaspäev ja teisipäev ülejäänud töönädalast. Kolmapäevast reedeni on võimalik töötada ka kodust, sestap jätame vahel tööle minemata ja niiviisi saame ka samme oluliselt vähem. Graafikul näeme selle ära, sest ühe viiuli kujulise vidina asemel (mida näeme esmaspäeva ja teisipäeva juures) on siis kaks selget laienemise kohta: need päevad, mil läksime tööle, ja need, mil olime kodus. Seega näeme nüüd ära, et siin pole lihtsalt niisama mingi hajuvus, vaid tegu on kahe erineva käitumismustriga.

Kui karpdiagrammil nägid laupäev ja reede üpris sarnased välja (karp lihtsalt eri kõrgusel, aga lai mõlemal juhul), siis viiulidiagrammil tulevad erinevused selgelt esile. Kui reedel on meil kaks täiesti erinevat käitumismustrit, siis laupäeval on lihtsalt suur hajuvus, aga ümber ühe ja sama keskväärtuse. Laupäev on nimelt jooksmas käimise päev. Meie tavaline jooksuring annab umbes 13 000 sammu, aga sõltuvalt ilmast ja tujust jookseme vahel pisut rohkem või vähem.

Iga graafik näitab maailma oma mätta otsast

Tulpdiagramm ei ole kuidagi halvem kui karp- või viiuligraafik. See lihtsalt vastab täiesti teistele küsimustele. Seega, õige graafiku valimiseks tuleb esmalt aru saada, mida sa täpselt teada soovid.

Selle jaoks on sulle abiks see väike tabel:

	Tulpdiagramm	Karpdiagramm	Viiulidiagramm
Näitab keskmist/mediaani	✓	✓	✓
Näitab hajuvust	—	✓	✓
Näitab erindeid	—	✓	✓
Näitab jaotuse kuju	—	—	✓
Tuvastab mitu gruppi andmetes	—	—	✓

Tulpdiagramm sobib siis, kui peale keskmise muu sulle huvi ei paku. Näiteks kui analüüsid käivet kuude lõikes ning sind ei huvita, kas käive tuli paarist suurest tehingust või paljudest väikestest tehingutest. Peaasi, et käibe eesmärk täidetud sai.

Karpdiagramm on hea valik, kui soovid näha hajuvust. Näiteks tuua välja, et meie tavapärased kliendid on väiksemapoolsed ettevõtted, kelle aastane käive jääb 100 000 ja 500 000 euro vahele aga meil on ka kolm suurt olulist klienti (graafiku mõistes siis erindit ehk seda musta täpikest), kes eraldi välja toomist väärivad.

Viiulidiagramm tuleb appi siis kui soovid näha, kas andmetes võib leiduda erinevaid gruppe, mis osutavad sisulistele erisustele, nagu kontori ja kodukontori päevad meie näidisandmestikus.

Järgmine kord kui keegi näitab sulle tulpdiagrammi ja palub selle pealt midagi olulist otsustada, mõtle läbi, kas pelgalt keskmiste nägemine annab sulle tervikliku pildi. Karp- ja viiuligraafik on sinu sõbrad, kutsu nad appi kui neid vajad.