„Powtarzalność wyników badań naukowych” – felieton

Do wyników badań naukowych zwykle mamy zaufanie. Dla wielu osób argument: „to wykazano naukowo” ma rozstrzygające znaczenie.

Wśród samych naukowców funkcjonuje jednak inna zasada: „to trzeba sprawdzić”.

Nie po to, żeby kwestionować wyniki uzyskane przez kolegów, tylko po to, żeby się upewnić, że te wyniki są powtarzalne. Że opublikowany wynik badań nie powstał na skutek zbiegu okoliczności albo jakiegoś metodologicznego błędu.

Właśnie ta zasada, że każdy opublikowany wynik naukowy będzie starannie sprawdzony, zweryfikowany, być może nawet pogłębiony i poszerzony przez innych badaczy, stanowi o wiarygodności doniesień naukowych.

Tak to funkcjonuje od lat i dzięki temu naprawdę jako Ludzkość mamy coraz większe zasoby Wiedzy. Rzetelnej wiedzy. Naukowej. Wiarygodnej!

Zasada kontrolowania wyników naukowych obowiązuje we wszystkich dyscyplinach naukowych, ale siłą rzeczy odmiennie jest realizowana w naukach humanistycznych (gdzie trzeba krytycznie prześledzić tok rozumowania badacza, którego wynik poddajemy analizie) a inaczej w naukach empirycznych: biologii, medycynie, fizyce, chemii i technice.

Dalsze rozważania skupię na tym drugim obszarze, bo siłą rzeczy znam go dokładniej.

W naukach empirycznych zasada potwierdzania wyników badań naukowych poprzez próby ich ponownego uzyskania w innym laboratorium, na innej aparaturze, przez innych badaczy, na innych badanych obiektach – obowiązuje bardzo rygorystycznie. Wynika z tego inny wymóg: publikujący swoje wyniki badacz musi dokładnie opisać, jak je uzyskał, żeby takie badanie kontrolne umożliwić.

Sprawa wbrew pozorom nie jest jednak taka prosta.

W 2016 roku najbardziej renomowany tygodnik naukowy „Nature” ogłosił wyniki badań ankietowych na temat powtarzalności wyników naukowych. Z ankiety tej wynikało, że dość często wyników, które ostatecznie okazały się prawdziwe, początkowo nie udało się powtórzyć w innych laboratoriach. Co więcej, dość często zdarzało się, że badacz nie potrafił powtórzyć swojego własnego eksperymentu!

Jak z tego wynika – zasada eksperymentów kontrolnych jest słuszna, ale jej realizacja napotyka na kłopoty.

Niczego lepszego nie znaleziono, więc praktykujemy tę metodę i wierzymy w jej skuteczność, ale czasami rodzą się wątpliwości. Nie dotyczą one zwykle tych najbardziej „twardych” nauk. W technice albo coś działa – albo nie. W chemii reakcja przebiega zgodnie z opisem – albo nie. Ale już na przykład w psychologii sprawa jest trudniejsza.

W 2018 roku uruchomiono duży projekt o nazwie Many Labs 2, który miał sprawdzić najbardziej kontrowersyjne wyniki badań psychologicznych. Wybór tych badań, które „znalazły się na celowniku” nie był łatwy, bo w psychologii publikuje się bardzo dużo prac. Tylko w języku angielskim rocznie ukazuje się ponad 150 tys. artykułów. Ale wybrano 28 najbardziej głośnych wyników eksperymentów naukowych i zlecono innym naukowcom sprawdzenie, czy uda się powtórzyć opisany przez badaczy eksperyment uzyskując takie same wyniki.

Badaniami kontrolnymi zajęła się „armia” 186 naukowców pracujących w 60 różnych laboratoriach rozmieszczonych w 36 krajach. Badania kontrolne prowadzono na ponad 7 tysiącach ochotników (w oryginalnych badaniach, których wyniki sprawdzano, zwykle uczestniczyło około stu osób poddawanych badaniom i obserwacjom. Okazało się, że tylko w połowie przypadków eksperyment kontrolny potwierdził wynik opublikowany przez kontrolowanego badacza.

Taki wynik nie oznacza, że owi kontrolowani badacze kłamali, podawali zmyślone wyniki czy „naciągali” uzyskiwane dane. Na niepowtarzalność wyników psychologicznych eksperymentów mogły wpływać unikatowe cechy osobowości ochotników, którzy byli obiektami badań. Bardzo możliwe też, że badaczom prowadzącym eksperymenty kontrolne nie udało się dokładnie odtworzyć wszystkich okoliczności, które występowały w oryginalnych badaniach podlegających sprawdzeniu.

Ale wniosek jest jeden:

Naukowe dowody są twarde i niezbite, gdy dotyczą prostych obiektów materialnych. To, co ustali fizyk albo zbuduje inżynier na ogół jest prawdą naukową nie do podważenia.

Jeśli jednak przedmiotem badań (eksperymentalnych!) staje się coś tak subtelnego, jak ludzka psychika – to zamiast kategorycznych sądów trzeba wypowiadać stwierdzenia znacznie delikatniej formułowane, na przykład: „zaobserwowano między innymi, że...” albo  „często zdarza się, że ...”

No bo taka jest natura tego obiektu badań!

 

Skrócona wersja poniższego felietonu autorstwa prof. Ryszarda Tadeusiewicza została opublikowana w „Dzienniku Polskim” oraz „Gazecie Krakowskiej” 9.9.2022 r.

Wykaz wszystkich publikacji popularnonaukowych prof. Tadeusiewicza wraz z odnośnikami do ich pełnych wersji