Vďaka svojmu kamarátovi Mirovi Sirotovi volanie po otvorenejšej vede registrujem už niekoľko rokov. Obzvlášť sa mi páčila idea transparentnosti, ktorú ponúka pred-registrácia štúdie, hoci som si nebola istá, či sa úplná transparentnosť v opise jednotlivých krokov výskumu nebude biť s potrebou „dobrého príbehu“, ktorý – ako vieme a ako nám odporúčajú príručky akademického písania – zohráva nezanedbateľnú rolu v tom, ktorý článok bude publikovaný a ktorý nie. Dobrým príbehom nemyslím len toľko omieľané akademické snaženie publikovať za každú cenu v honbe za „čiarkami“; ako vášnivého čitateľa mi dobre napísaný príbeh prináša estetické uspokojenie a platí to aj pre vedecké články. Vedecké články (na rozdiel od beletrie) sa nám totiž čítajú dobre vtedy, keď sú logicky vyskladané a smerujú lineárne od predpokladov cez ich otestovanie až k záveru, v ideálnom prípade jednoznačnému. Zároveň všetci, čo sme už nejaké svoje hypotézy testovali a snažili sa o tom koherentne napísať, vieme, že ten proces nie je vždy lineárny a takmer nikdy nie je jednoznačný. V každom okamihu robíte množstvo rozhodnutí, ako príbeh svojich výsledkov opísať tak, aby bol pochopiteľný a logický aj pre ostatných. Preto som mala obavy, že pred-registrácia ma odsúdi na mechanický opis krokov, ktorý bude síce presný a transparentný, ale bude mať ďaleko od záživného príbehu. Tak som vlastnú pred-registráciu odkladala.
Ako školiteľka som však cítila potrebu apelovať na študentov, aby si zvykli používať čo najviac praktík z otvorenej vedy a pred-registráciu som videla ako spôsob, ktorý im pomôže veľa otázok vyjasniť si skôr než budú dáta zozbierané. No ak som im mala vedieť pomôcť riešiť ich pochybnosti a rozhodnutia, bolo už prakticky nevyhnutné, aby som si to vyskúšala na vlastnej koži. Okrem toho, nechcela som byť ako milovník vína, ktorý odporúča ostatným pitie vody.
A tak sme sa s kolegyňou Evou dohodli, že náš najbližší výskum pred zberom dát pred-registrujeme. Tu si dovolím malú osobnú vsuvku. S Evou spolupracujeme už od našich doktorandských a post-doc čias a pri každom spoločnom výskume sme sa snažili poučiť, aby sme to na ďalší krát spravili už konečne bez chýb. Evine prehľadné tabuľky pri výbere metód a moja záľuba v kreslení myšlienkových máp na tabuľu nám priniesli nejedno intelektuálne potešenie. No aj tak sme sa skoro vždy zasekli vo fáze písania pri nejakom probléme, kde nás hnevalo, že sme ho nedokázali predvídať skôr. (Kde len spravili súdruhovia z NDR chybu?)
Na predregistráciu sme si vybrali jednoduchú (aspoň v tom čase sa nám to tak zdalo) replikačnú štúdiu Bouveta a Bonnefona (2015) jednako preto, že nás nadchla téma (experimentálne overenie, či analytické myslenie pomáha pred vierou v astrológiu) a jednako preto, že hoci bol pôvodný experiment zaujímavý, nechal otvorenú otázku, či v skutočnosti naozaj ľudí ochránilo analytické myslenie, alebo skôr išlo o priming toho, že ak ide o astrológiu, tak ľudia s vyšším analytickým myslením sú ostražitejší, avšak v prípade iného podobného podvodu, by naleteli rovnako ako menej analyticky disponovaní ľudia. Preto sme si vymysleli modifikáciu a rátali sme, že pred-registráciu nahodíme na jeden šup a môžeme sa vrhnúť do zbierania dát.
Samozrejme, rada by som tu napísala, že všetko išlo ako po masle a nie je to žiadna veda, veď navyše nešlo o náš prvý výskum a ešte aj o replikáciu. Ale pravda je taká, že na jeden šup sme to nespravili.
Na druhej strane, vďaka tomu som si uvedomila, koľko analytických rozhodnutí robíme automaticky a ako sa neustále spoliehame (napriek množstvu opačných skúseností), že to pôjde presne tak, ako sme si naplánovali. Najviac času pri rozhodovaní nám zabral opis, čo presne budeme s dátami robiť. Napríklad, my sme pôvodný dizajn rozšírili aj o zahrnutie paranormálnych vysvetlení a namiesto jednej otázky („Tento opis má úplne vystihuje“) sme položili sedem kontrolných otázok, z ktorých štyri mali merať dôverčivosť a tri paranormálne vs. náhodné vysvetlenia, pretože sme chceli spoľahlivejšiu hlavnú závislú premennú. No pri opise toho, ako budete rátať sumárne skóre sme hneď museli robiť rozhodnutie, či budeme rátať sumár alebo priemer a čo budeme robiť v prípade, ak sa nakoniec ukáže, že naše položky nemerajú jeden faktor (čo sa samozrejme aj stalo). Podobne bolo potrebné dopredu sa zamyslieť nad tým, čo budeme brať ako kontrolu toho, že manipulácia zabrala a aký analytický plán B budeme mať v prípade, že to nevyjde podľa očakávania (čo ani nevyšlo).
Na základe týchto „drobností“ sme plán niekoľkokrát menili, predstavovali si rôzne možnosti, čo sa môže pokaziť a vracali sa k úprave metód či dizajnu. Z predpokladaného optimistického odhadu „Do týždňa to nahodíme na OSF“ to nakoniec bol skôr mesiac. Výsledok je tu: https://osf.io/u5pzc
Potom konečne prišiel ten vytúžený moment, keď sme nakoniec dáta mali konečne zozbierané (to na rozdiel od očakávaní trvalo asi len 2 dni) – najväčším nepriateľom výskumníka v tomto okamihu už je len nájdenie dostatočného času na ich vyhodnotenie a spísanie výsledkov. Ani v tomto bode vedecká práca nie je priamočiara a k dátam sme sa dostali kvôli iným neodkladným povinnostiam o oveľa dlhší čas než by nám bolo milé. Možno to niektorí poznáte: Konečne máte vyhradený čas na to, aby ste sa vrhli na analýzu dát ... len aby ste zistili, že si nepamätáte presne, čo ktorá premenná v dátovom súbore znamená a čo presne ste s ňou chceli robiť. A tak strávite ťažko ušetrené hodiny opätovným „zoznamovaním“ sa s dátami. Po takejto skúsenosti si poviete, že nabudúce budete analyzovať dáta hneď „za horúca“ ... len aby sa nabudúce opakovalo to isté, lebo zrovna je čas čítania záverečných prác a vy ich máte na stole 10. A práve v tomto okamihu sa ukázala prvá úžasná vec na predregistrácii: stačilo si ju otvoriť a krok po kroku sledovať vlastné myšlienkové pochody spred pár mesiacov. V tomto okamihu si prvýkrát uvedomíte, že predĺžený čas venovaný príprave, nebol zďaleka zbytočný a ušetril vám oveľa viac času teraz. Ak by som sa mala odvolať na časové diskontovanie, ktoré ukazuje, že máme tendenciu podceňovať budúce zisky, tak to je možno jeden z dôvodov, prečo tak bezstarostne zahadzujeme svoj čas v budúcnosti. Ale ak sa vám už stalo, že ste sa pustili do práce, o ktorej ste predpokladali, že bude namáhavá a náročná, len aby ste zistili, že ju už niekto spravil za vás, tak si viete živo predstaviť pocit nadšenia a vďačnosti, ktorý vás zachváti, keď zistíte, že ten niekto ste boli vy v minulosti.
Druhá úžasná vec bola, že keď sme sa pustili do analýzy dát, samozrejme, sa – ako inak? – ukázalo, že nie všetko išlo podľa našich očakávaní. No to, čo by nás za iných okolností minimálne na niekoľko dní (a buďme úprimní, že s najväčšou pravdepodobnosťou na dlhšie) zabrzdilo, bola teraz len drobná nepríjemnosť, ktorá viedla k implementácii analytického plánu B. (A k nečakanému plánu druhej štúdie – ako inak – predregistrovanej: https://osf.io/zj32f.)
Tretia výhoda („Ó, veľká vďaka „my“ v minulosti!“) sa ukázala pri písaní článku; v zásade stačilo len trochu podrobnejšie rozviesť úvod a dopísať diskusiu a článok bol v rekordnom čase na svete.
A v neposlednom (a dosť podstatnom) rade – som presvedčená, že sa tým skrátil aj celý recenzný proces. Jednako tým signalizujete svoju sebaistotu a kvalitu, že ste veci dôkladne premysleli dopredu a nebáli ste sa svoj myšlienkový proces vystaviť kritike. Okrem toho sa tým odlíšite od ostatných. (Dá sa trochu dúfať, že to na recenzentov zapôsobí, čo tiež nemusí byť nevýhoda.) A v druhom rade, ako už vo svojich blogoch spomenuli Pali a Jakub, recenzent nemá toľko arzenálu, aby vás či už kvôli retrospektívnej zaujatosti (po bitke je každý generál) alebo pocitu, že jeho preferovaná analytická metóda je lepšia, nútil do často zbytočných štatistických procedúr. Tým nechcem povedať, že nám našu štúdiu neskritizovali. V našom prípade recenzenti naozaj navrhli iný postup, ako sa vysporiadať s tým, na základe akých kritérií vylúčiť participantov (výsledky to aj tak nezmenilo). Čiže naozaj to nie je tak, že predregistrácia je sväté písmo vytesané navždy do kameňa, ktoré vám neumožní ani kúsok flexibility. Ale dá sa jasne odlíšiť, čo ste očakávali a keď sa to nenaplnilo, máte voľné pole rôznych alternatívnych prístupov, ktoré však už každý chápe ako exploračné.
Aby som to zhrnula do konkrétneho časového rámca: k analýze a spísaniu výsledkov sme sa dostali po uviaznutí na homeoffice v marci 2020. V októbri bol článok po dvoch kolách recenzie (a jednom odmietnutí) už publikovaný: https://www.frontiersin.org/articles/10.3389/fpsyg.2020.584424/full
A pre mňa bolo podstatné zistenie, že predregistrácia nenarušuje vedecký proces a ani dobrý príbeh. Skôr je to naopak – vďaka záväzku, ktorý ste pripútaním sa k stožiaru (ak použijem Paliho metaforu, ako preplávať morom Sirén) urobili, vstúpili ste do nového príbehu.
Referencie
Bouvet, R., & Bonnefon, J. F. (2015). Non-Reflective thinkers are predisposed to attribute supernatural causation to uncanny experiences. Personality and Social Psychology Bulletin, 41(7), 955–961. https://doi.org/10.1177/0146167215585728
Obrázok je ilustrácia Johna Tenniela z knihy L. Carrola Alice in Wonderland.