[Spoluautorem tohoto článku je Michael R. Jenkins, odborný asistent marketingu na Mississippi State University.]
V akademické sféře se zdá, že panuje rostoucí shoda v tom, že systém vzájemného hodnocení – kdysi páteř akademické práce – je rozbitý. Je to ale nenapravitelně? Možná. Přinejmenším stojí za to prozkoumat rozpad jeho současné podoby. Nicméně, místo abychom se celého úsilí vzdali, věříme, že máme nové řešení. Nejprve se však podívejme, kde se systém pokazil.
Ve středověku se většina vědeckého výzkumu publikovala samostatně, vědci sdíleli své poznatky mezi sebou. S rozvojem profese se to však stalo nepraktickým a zrodil se vědecký časopis jako způsob šíření informací. Vědec dostal nápad, provedl zkoumání, shrnul své závěry a výsledný rukopis odeslal do časopisu. Tam jej redaktor nebo redaktoři posoudili a rozhodli se, zda práci publikovat tak, jak je, požádat o revizi, nebo ji zcela zamítnout. Postupem času, jak počet vědců stále rostl a všichni byli pod rostoucím tlakem publikovat, publikovat a publikovat – aby byli přijati, získali trvalé místo a kvalifikovali se na granty – se úkol redaktorů časopisů stal ohromujícím. Bylo prostě příliš mnoho příspěvků na to, aby se jim všem věnovala spravedlivá pozornost.
A tak přišli s nápadem svěřit hodnocení příspěvků týmům neplacených recenzentů, dalších vědců ve stejném nebo příbuzném oboru, kteří by byli (alespoň teoreticky) kvalifikovaní k posouzení kvality daného výzkumu. To by zmírnilo část zátěže editorů a zároveň dodalo konečnému produktu další punc legitimity. Zda je daný vědecký článek hoden publikace, by neměl určovat jen jeden nebo dva lidé, ale spíše skupina „slepých“ expertů. Označení „recenzované“ se tak stalo zlatým standardem pro vědecký výzkum. Publikace v „recenzovaném časopise“ je již dlouho považována za v podstatě nenapadnutelnou, a to do té míry, že se politici a zástupci médií zdají být přesvědčeni, že mohou vyhrát jakýkoli spor pouhým odkazem na „recenzovaný výzkum“.
Zpočátku to byl docela dobrý systém a dlouho fungoval poměrně dobře. Zdá se však, že nyní už má své využití. Požadavky na délku působení v laboratoři se staly kvantitativnějšími. Internet snížil překážky pro zasílání článků a povzbudil více vědců k zasílání více článků do více časopisů. Počet příspěvků z asijských, afrických a blízkovýchodních univerzit explodoval. I s větším počtem časopisů a recenzentů se systém zhroutil, jak se nakonec stane se všemi velkými a složitými systémy. Víme, že je to tak kvůli problému, který poprvé identifikoval před 20 lety vědec ze Stanfordu John Ioannidis a který je od té doby známý jako „replikační krize“.
Jedním z charakteristických znaků dobré vědy je, že experiment lze replikovat – to znamená, že jiný výzkumník používající stejnou metodologii dosáhne stejného výsledku, což znamená, že zjištění jsou platná i konzistentní. Ale to, co Ioannidis argumentoval ve svém zásadním článku z roku 2005 „Proč je většina publikovaných výzkumných zjištění nepravdivá„(aktualizováno v roce 2022) bylo, že většina publikovaných výzkumných zjištění je chybná. Experimenty nelze replikovat, což zpochybňuje jejich platnost.
Jiní vědci od té doby s Ioannidisovou tezí nesouhlasí, zejména s jeho použitím slova „většina“. Zejména sociální vědci tvrdí, že experimenty zahrnující lidské subjekty často nelze replikovat právě proto, že lidé sami jsou nekonzistentní. Vědci se však obecně shodují, že replikační krize je skutečná, i když ne tak rozšířená, jak Ioannidis naznačuje.
Co to má společného s vzájemným hodnocením? Je zřejmé, že pokud by systém fungoval tak, jak má, s týmy skutečných odborníků, kteří by si vzájemně kontrolovali práci, mohli bychom očekávat, že by proklouzlo jen velmi málo chybných studií. Jinými slovy, kdyby vzájemné hodnocení skutečně fungovalo, nedošlo by k replikační krizi.
Přesnost systému bohužel ani není největším problémem. Stejně jako mnoho jiných institucí se zvrhl ve vysoce zpolitizovanou ozvěnovou komoru. Spíše než mechanismus pro určování a šíření pravdy prostřednictvím systému vědeckých kontrol a protivah se peer review stalo nástrojem pro prosazování a vynucování ortodoxie. Redaktoři a recenzenti časopisů se již nejedná o komunitu vědců, kteří si navzájem důsledně, ale kolegiálně testují své hypotézy, ale sami se jmenovali strážci brány. Vpuštěni jsou pouze ti, kteří recitují správná hesla.
Vezměte si například oblast výzkumu klimatu. Nejméně několik desetiletí panuje vědecký konsenzus, že antropogenní změna klimatu představuje existenční hrozbu pro lidstvo. Každý, kdo tuto ortodoxii zpochybňuje, bez ohledu na kvalitu svého výzkumu nebo logiku svých argumentů, má velké potíže s publikováním svých zjištění v předních časopisech. Kontroloři (čti: recenzenti) to prostě nedovolí.
Nebo co takhle transgenderová ideologie? Ještě předtím, než jsme se dozvěděli, že Světová profesní asociace pro transgenderové zdraví (WPATH) skrývá a manipuluje se svými daty, proč jen velmi málo vědců zpochybňovalo tvrzení, že sociální, lékařská nebo chirurgická transformace nezletilých snižuje jejich utrpení? Odpověď znáte: Věděli, že to nemohou udělat, aniž by si tím zničili kariéru. I teď podstupujeme profesní riziko pouhým pouhým zdůrazňováním této skutečnosti. To není věda, která hledání pravdy podporuje; je to politika, která mu brání.
Abychom byli spravedliví, je snadné pochopit, proč se to děje. Ani netvrdíme, že je to úplně hanebné. Je to prostě lidská přirozenost. Myšlenky, které zpochybňují předepsaný způsob myšlení, byly mezi těmi, kteří je předepisovali, vždy nepopulární, a to už od Koperníka a Martina Luthera. Nové poznatky a teorie, které z nich vycházejí, hrozí zdiskreditováním teorií předchozí generace vědců – a hádejte, kdo primárně slouží jako recenzenti? Když říkáme „politika“, nemyslíme to nutně ve stranickém smyslu, ale spíše v osobním smyslu: Čí vůl je pobodáván?
Ale samozřejmě do rovnice často vstupuje i stranická politika – a konkrétně ideologie. I v oborech, které nejsou politicky tak zamořené jako klimatologie nebo „genderová studia“ – jako je účetnictví nebo marketing – se mladí vědci musí stále klanět ideologickým bohům svých seniorů. Musí vzdát náležitou poctu konceptům, jako je „diverzita, rovnost a inkluze“, „bělost“ a „marginalizované populace“, i když tyto koncepty nemají s jejich výzkumem vůbec nic společného, nebo, co je horší, nejsou podloženy jejich zjištěními. A samozřejmě, pokud opravdu chtějí být publikováni, najdou si nějaký způsob, jak tato zjištění propojit s politickou atmosférou měsíce. Proto dostáváme články s názvy jako „Jak branding pro bělost znevýhodňuje spotřebitele BIPOC“ nebo „Řešení marginalizovaných populací ve výzkumu managementu“. (Jeden z nich je skutečný; druhý jsme si vymysleli. Dokážete poznat, který je který?)
Tak co teď? Věříme, že je čas vrátit se ke středověkému modelu „společenství vědců“ – s nádechem 21. století. Jistě, ve většině oborů je téměř nemožné shromáždit všechny vědce, aby si předávali rukopisy (což může potvrdit každý, kdo se zúčastnil konference), ale s moderními technologiemi si vědci skutečně mohou své rukopisy „předávat“ a sdílet tak svou rozpracovanou práci s kolegy z celé země i z celého světa.
Naše myšlenka spočívá ve vytvoření oficiálních online fór pro každou disciplínu, kde by vědci mohli v jakékoli fázi zveřejňovat eseje o svých myšlenkách, představovat teoretické pozadí, navrhovat hypotézy, zveřejňovat výzkumné poznatky (včetně metodologie) a extrapolovat je na důsledky nebo predikce. Ostatní vědci v komunitě mohou k těmto esejům vyjadřovat své názory, nabízet kritiku, poskytovat chybějící informace a navrhovat nové směry, kterými by se měl výzkum ubírat. Mohou si také sami vyzkoušet experimenty, aby zjistili, zda dosáhnou stejných nebo podobných výsledků, a „podat zprávu“ skupině. Původní autoři pak mohou tyto informace vzít a aplikovat je na další zkoumání výzkumného tématu.
Jednou z výhod tohoto přístupu je jeho iterativní charakter, kdy každý badatel navazuje na úsilí svých předchůdců. Další výhodou je, že badatelé mohou „publikovat“ bez ohledu na své výsledky. Častou kritikou současného systému vzájemného hodnocení je, že badatelé mohou publikovat pouze tehdy, pokud dosáhnou pozitivních výsledků. I negativní výsledky jsou však výsledky a svým způsobem pomáhají rozvíjet poznání. Stejně jako badatelé potřebují vědět, co se ukázalo jako pravdivé, aby mohli na tomto pokroku stavět, musí také vědět, co se ukázalo jako nepravdivé, aby se vyhnuli stejným nástrahám.
Příspěvky na fóra by byly opatřeny časovým razítkem, aby autoři mohli snadno prokázat vlastnictví nápadů. Příspěvky by mohly být opatřeny hypertextovými odkazy, což by urychlilo a usnadnilo následný výzkum a citace. Aby se odradili od nekalých aktérů, pro přispěvatele a komentující by neexistovala žádná anonymita. A fóra by byla lehce moderována, aby se zajistilo, že příspěvky splňují vědecké standardy, s patřičným slušným chováním, zdvořilostí a uvedením zdroje. Všechny nápady by však byly vítány. Nebyl by žádný gatekeeping. Místo toho by se komunita sama hlídala a „ratioing“ (abychom použili termín sociálních médií) by spíše než cenzurovala „špatné“ nápady.
Aby tento systém nakonec nahradil současný systém vzájemného hodnocení, musely by ho univerzity samozřejmě přijmout a zjistit, jak hodnotit produktivitu akademiků za účelem udělování trvalých pracovních míst a podobně – třeba na základě počtu příspěvků a reakcí komunity na ně.
Ale věříme, že tímto směrem se věci ubírají a univerzity, obory a učené společnosti by udělaly dobře, kdyby se k tomu přidaly. Současný systém už se nevyplatil a stal se spíše překážkou hledání pravdy než prostředkem k jeho podpoře.
Připojte se ke konverzaci:
Publikováno pod a Mezinárodní licence Creative Commons Attribution 4.0
Pro dotisky nastavte kanonický odkaz zpět na originál Brownstone Institute Článek a autor.
