V predchádzajúcom blogu sme hovorili o Odyseovi. Dnes budeme v našom rozprávaní pokračovať.
Predtým si ale odskočíme do inej knihy, ktorú som si obľúbil počas detstva. Niesla názov Ostrov pokladov. Tajomná mapa, poklad, piráti, dobrodružstvo... Táto kniha ma zaujala z viacerých dôvodov. Prvým, bol ten, že bola napísaná formou komiksu. Mám ale aj jeden vznešenejší dôvod. Pomohla mi uvedomiť si, že keď chcem niekam trafiť, môže sa hodiť mapa. Vlastne, mapa môže niekedy motivovať k samotnej ceste. To ale nie je všetko. Naučila ma taktiež to, že mapa vždy nestačí a niekedy nenájdeme to, čo sme chceli. Alebo presnejšie nájdeme to, čo sme nechceli. Taký už je život. Ale pekne poporiadku...
Pamätáte si ešte na Odyseov príbeh? V prvej časti sme hovorili o tom, že aj my máme svoje Sirény a jednou z nich môže byť p < 0,05. Povedali sme si o QRP (problematických výskumných praktikách) a tom, že sa od Odysea môžeme niečo priučiť, keďže trosky jeho lode pri Sirénach nenájdeme. Ako to, že prežil, zatiaľ čo, aspoň podľa legiend, ostatní nie?
V prvom rade vedel o nástrahách Sirén. To ale nestačilo. Vedel niečo aj o sebe. O svojich slabých stránkach. Napadol mu postup, ako tieto dve veci spojiť. Prečo o to píšem v blogu o štatisticko-metodologických aspektoch? Z tohto príbehu sa podľa mňa môžeme niečo naučiť.
Čo? Môžeme sa „pripútať“ k postupu, ktorý si zvolíme ešte pred analýzou a samotným zberom dát.
(Obrázok: Odysseus a Sirény; Autor: Ludmila Pokorná; Zdroj Jakub Adámek's archive (Pokorná's grandson); adresa: https://cs.wikipedia.org/wiki/Soubor:Odysseus_a_Sireny_Ludi.jpg)
Pripútať? To neznie najlepšie. Na druhej strane, pripútať sa v aute nám môže zachrániť krk. Prečo nie aj tu? Dobre, možno vhodnejším termínom by bolo zaviazať sa, že budem postupovať určitým spôsobom. Ak Vás desí aj termín zaviazať sa, patríte zrejme k mojej generácii. Je to v poriadku. Dá sa to povedať aj ináč. Môžeme si pred cestou vytvoriť mapu k svojmu pokladu a potom túto mapu nasledovať. Tento postup sa nazýva pred-registrácia. Ako to robí? Ako múdry starec sa nás pýta dôležité otázky a nepustí nás, kým si ich nezodpovieme.
„Pred-registrácia predstavuje protokol, ktorý výskumník vyplní pred realizáciou výskumu. Tento protokol obsahuje informácie o plánovanom výskume (napr. cieľ výskumu, hypotézy, výskumný súbor a počet participantov, administrované nástroje, vyhodnotenie účinnosti experimentálneho zásahu, spôsob štatistickej analýzy, atď.) a slúži jednak ako pomôcka pre zamyslenie sa nad dôležitými aspektmi výskumu a pre ich následné transparentné reportovanie; jednak ako časová schránka, ktorá ho vedie v neskorších fázach výskumu“ (Adamkovič et al., 2020, str. 15).
Na čo je pred-registrácia užitočná?
V prvom rade nám pomáha zamyslieť sa nad tým, kam vlastne máme namierené a ako sa tam možno dostať. Neskôr nám poslúži ako mapa, ktorá vedie naše kroky napr. pri následnej štatistickej analýze po tom, ako si ich premyslíme na základe formulácie výskumných otázok a hypotéz. Na to sa totiž taktiež pýta. Tým sa pokúša znížiť výskyt harkingu (viď predošlý blog).
Keďže v pred-registrácii uvádzame predpokladaný analytický postup, nielen že nám môže pomôcť zamyslieť sa nad ním v ten správny čas – pred našou plavbou – zároveň nám vytvára plán, ktorým sa zaväzujeme postupovať. Tým znižuje výskyt problematických výskumných praktík ako je p-haking.
To nie je všetko. Tak, ako správny kapitán zváži čo všetko bude potrebovať na cestu a či má zmysel vybrať sa na ňu s malou plťkou, väčšou fregatou alebo lietadlovou loďou, tak nám môže pred-registrácia pomôcť zamyslieť sa na napr. nad tým, koľko ľudí by sme mali v našom výskume mať, aby sme našli efekt, ktorý chceme skúmať. Tým napomáha s riešením problému nízkej štatistickej sily. Alebo aspoň k informovanému rozhodnutiu.
Ale čo publikačné skreslenie (šuflíkový efekt)? Stále sa predsa môže stať, že náš výskum nakoniec nepublikujeme. Niežeby sme nechceli. Možno to z nejakého dôvodu nechce recenzent alebo editor nášho vysnívaného časopisu. A pritom sme vynaložili toľko úsilia...
Tento problém sa pokúša vyriešiť špeciálny formát pred-registrácií, zvaný registrovaný výskum/protokol (v origináli označovaný ako RR - Registered reports). Jeho špecifikom je, že recenzné konanie prebehne ešte pred zberom dát.
Čim je to výhodné? Náš výskumný plán tak môžeme vylepšiť. Ak nám recenzent napr. vytkne, že naša loď je primalá na to, aby nás doviedla do cieľa, môžeme zvážiť využitie väčšej lode (väčší výskumný súbor) prípadne Nautila (ponorka - iný výskumný súbor alebo opakovaný zber) alebo jednoducho zvoliť inú cestu (iný spôsob analýzy dát). Tak pri chybe nemusíme zahodiť celý náš výskum do koša, ale môžeme ho vylepšiť ešte pred tým, než sa vrhneme do terénu. Okrem toho, pokiaľ je náš článok akceptovaný vo fáze 1, časopis nám ho publikuje bez ohľadu na to, čo nájdeme, pokiaľ dodržíme, čo sme sľúbili. Pamätáte si ešte na Ostrov pokladov z úvodu? Či už bude v truhlici zlato alebo nič, naša cesta mala hodnotu! Nemusíme sa báť zlých pirátov...
Časopisov, ktoré ponúkajú tento formát je stále väčšie množstvo. Neveríte? Pozrite si ich neustále aktualizovaný zoznam na TOMTO ODKAZE. Pokiaľ by ste si chceli prečítať o problematických výskumných praktikách a pred-registrácii viac, môžete nazrieť napr. do prehľadvoej práce Adamkoviča et al. (2019 a 2020) v slovenčine alebo Munafòa et al. (2017) a Nelsona et al. (2018) v anglickom jazyku. Ak máte viac času, skúste knihu „The Seven Deadly Sins of Psychology“ (Chambers, 2017).
Ide o jedinú vec, ktorú môžeme pre zlepšenie nášho výskumu spraviť? Ani zďaleka. Odyseus mal okrem stĺpu, o ktorý sa priviazal - aby odolal vábeniu Sirén - aj posádku, loď a kopu ďalších vecí. Zároveň je ale podstatné podotknúť, že bez prekonania Sirén by sa Odyseus nedostal k ďalším dobrodružstvám a v konečnom dôsledku k svojmu cieľu.
Chcete sa vydať na cestu a pripraviť sa na hlas Sirény aj vy? Pozrite si náš ďalší blog Prečo predregistrovať výskum? a Ako predregistrovať, stručný návod podľa aktuálnych štandardov APA, BPS a DGPs. Nezabúdajme ale, že sa termín „odysea“ udomácnil aj na vyjadrenie dlhej a nie vždy ľahkej cesty. Pre ďalšie nástrahy, ale aj radosti z cesty, sledujte naše ďalšie blogy, ktoré aktuálne pripravujeme.
Referencie (pre obe časti)
Adamkovič, M., Baník, G., Kačmár, P., Martončik, M. a Ropovik, I. (2020) Pred-registrácia a registrovaný výskum ako jedny z riešení replikačnej krízy. In M. Kačmárová (Eds.), Kvalita života 2019 (pp. 10-20). Prešovská univerzita v Prešove.
Adamkovič, M, Baník, G, Kačmár, P, Martončik, M a Ropovik, I (2019) Problematické výskumné praktiky: čo je to a ako sa im vyvarovať. In I. Piterová, J. Výrost (Eds.), Sociálne procesy a osobnosť 2018 (7-16). Spoločenskovedný ústav CSPV SAV.
Chambers, C. (2017). The Seven Deadly Sins of Psychology: A Manifesto for Reforming the Culture of Scientific Practice (1st Edition). Princeton University Press.
John, L. K., Loewenstein, G., & Prelec, D. (2012). Measuring the Prevalence of Questionable Research Practices With Incentives for Truth Telling. Psychological Science, 23(5), 524–532. https://doi.org/10.1177/0956797611430953
Kerr, N. L. (1998). HARKing: Hypothesizing After the Results are Known. Personality and Social Psychology Review, 2(3), 196–217. https://doi.org/10.1207/s15327957pspr0203_4
Munafò, M. R., Nosek, B. A., Bishop, D. V. M., Button, K. S., Chambers, C. D., Sert, N. P. du, Simonsohn, U., Wagenmakers, E.-J., Ware, J. J., & Ioannidis, J. P. A. (2017). A manifesto for reproducible science. Nature Human Behaviour, 1(1), s41562-016-0021–016. https://doi.org/10.1038/s41562-016-0021
Nelson, L. D., Simmons, J., & Simonsohn, U. (2018). Psychology’s Renaissance. Annual Review of Psychology, 69(1), 511–534. https://doi.org/10.1146/annurev-psych-122216-011836
Simmons, J. P., Nelson, L. D., & Simonsohn, U. (2011). False-Positive Psychology: Undisclosed Flexibility in Data Collection and Analysis Allows Presenting Anything as Significant. Psychological Science, 22(11), 1359–1366. https://doi.org/10.1177/0956797611417632
SIRENS (Seirenes)—Half-Bird Women of Greek Mythology. (n.d.). Cit 08. január 2021, z https://www.theoi.com/Pontios/Seirenes.html