W [sierpniu 2015 roku] opublikowano badanie, z którego wynika, że większość prac naukowych z dziedziny psychologii zawiera zbyt daleko idące wnioski, a rezultatów badań nie da się powtórzyć. Ale problem mają nie tylko psychologowie.
To niedobre wieści dla psychologów. Okazuje się, że większość ich badań nie ma zbyt wielkiej wartości naukowej. Badacze z University of Virginia od 2011 r. prowadzą "Reproducibility Project", czyli projekt mający na celu odtworzenie (z tymi samymi wynikami) badań naukowych z dziedziny psychologii. Powtórzyli sto badań, których wyniki opublikowano w różnych periodykach psychologicznych. Starali się przy tym, aby przeprowadzone przez nich eksperymenty były jak najbliższe oryginalnym. W 60 przypadkach nie uzyskali tego samego rezultatu jak w pierwotnym przypadku. Swoją pracę publikują w czasopiśmie "Science".
Choć przypadki naukowych fałszerstw nie są wcale rzadkie, nie oznacza to, że badania, których nie udało się z tym samym rezultatem powtórzyć, były sfałszowane lub naukowcy dopuścili się nadużycia. W psychologii znany jest efekt Rosenthala, określany inaczej efektem oczekiwań eksperymentatora. W niektórych dziedzinach nauki wyniki badań często bywają zgodne z wcześniejszymi oczekiwaniami przeprowadzającego je badacza. Do tego stopnia, że jeśli dwa identyczne eksperymenty przeprowadza dwóch badaczy, którzy mają sprzeczne oczekiwania, wyniki dwóch identycznych eksperymentów bywają sprzeczne - za to zgodne z oczekiwaniami prowadzącego.
Oczywiście o taki efekt trudniej jest w naukach ścisłych - jeśli będziemy mierzyć prędkość światła lub zachodzące reakcje chemiczne, w identycznych warunkach otrzymamy takie same wyniki. Efekt Rosenthala praktycznie nie dotyczy więc badań z dziedziny fizyki i chemii, rzadko zdarza się też w naukach przyrodniczych. Jednak w naukach społecznych, takich jak psychologia czy ekonomia, gdzie nastawienie badacza może mieć istotny wpływ na sposób prowadzenia eksperymentu i osoby badane, może być zjawiskiem, jak się okazuje, powszechnym.
Badacze z University of Virginia prowadzą swoje metabadania (czyli badania nad badaniami) od 2011 r. Ale sygnały, że spora część prac naukowych, nie tylko z dziedziny psychologii, ma niewielką naukową wartość, docierają już od dekady.
Nie tylko psychologia
Dr John Ioannidis, szef zespołu zajmującego się metabadaniami na Stanford University, szacuje, że proporcja złych badań naukowych w medycynie jest porównywalna i około połowy wszystkich publikowanych w tej dziedzinie prac zawiera przesadne lub fałszywe wnioski. Twierdzi, że liczba prac naukowych, które nie mają zbytniej wartości, w innych dziedzinach niż psychologia i medycyna, może być jeszcze większa. I nie chodzi o nastawienie badacza, ale o metodologiczne błędy.
Za złą jakość naukowych prac może odpowiadać zbyt mała próba (grupy badanych osób lub próbek), zły (statystycznie niereprezentatywny) dobór próby, źle skonstruowane eksperymenty, uprzedzenia i nastawienie eksperymentatorów oraz przedstawianie w pracach naukowych tylko wybranych wyników, czyli na przykład pomijanie faktów niezgodnych z tezą autora. Według Ioannidisa wszystkie te czynniki wpływają na większość prac naukowych. I dodaje, że nawet badania prowadzone na dużych próbach nie zawsze są dobre.
Złych badań może być nawet więcej niż połowa. Ioannidis już w opublikowanej w 2005 r. na łamach "PLOS One pracy" stwierdził, że statystycznie rzecz biorąc, prawdopodobieństwo, że wyniki badań naukowych będą błędne, jest większe niż to, że będą prawdziwe!
Tradycyjnie się uznaje, że wynik badania jest "statystycznie znaczący", jeśli szansa, że nie jest on dziełem przypadku, wynosi co najmniej 95 proc. Jednak w wielu przypadkach nic to nie wnosi.
95 proc. to za mało? Nie, jest bez znaczenia
95 proc. pewności, że wynik nie jest dziełem przypadku, oznacza, że pozostaje 5 proc. prawdopodobieństwa (czyli 1 szansa na 20), że wynik może być przypadkowy.
Jeśli jednak zbada się 20 fałszywych hipotez, to przy założeniu takich standardów statystycznie jedna z nich wyda się prawdziwa. Zdarza się tak szczególnie często w dziedzinach, w których istnieje wiele hipotez do potwierdzenia lub obalenia (na przykład w genetyce, gdy poszukuje się jednego z wielu genów wywołujących schorzenie). Ów statystyczny standard (czyli P-wartość) na poziomie 0,05 lub niższa ma krytyków już od dawna.
Ironią jest to, że gdy brytyjski statystyk Ronald Fisher wprowadził P-wartość w latach 20. ubiegłego wieku, nigdy nie zamierzał nadawać jej szczególnego znaczenia. Według niego była tylko nieformalnym sposobem stwierdzenia, czy uzyskane wyniki są znaczące w potocznym tego słowa znaczeniu i zasługują na dalsze badania.
W tym samym czasie, czyli niemal wiek temu, rywale Fishera polski matematyk Jerzy Neyman i brytyjski statystyk Egon Pearson do analizy danych wprowadzili ściślejsze metody badań i wskaźniki. Nie mieli wielkiego szacunku dla prac Fishera, które Neyman uważał wręcz za "mniej niż bezużyteczne". Jednak większość naukowców nie jest statystykami i P-wartość wprowadzona przez Fishera była prosta do obliczenia i wygodna dla niematematyka. Przyjęła się ze względu na łatwość stosowania.
Sęk w tym, że P-wartość określa tylko prawdopodobieństwo tego, iż uzyskany wynik jest dziełem przypadku. Zupełnie nic nie mówi o tym, czy uzyskany w badaniu wynik jest prawdziwy czy nie.
Powtarzalność (i jeszcze raz powtarzalność)
Niepotrzebne koncentrowanie się na tym wskaźniku może sprawić, że badaczom, recenzentom ich prac i środowisku naukowców umykają inne, istotne rzeczy. Zwłaszcza odpowiedź na najważniejsze w badaniach naukowych pytanie: jakie jest prawdopodobieństwo tego, że badana hipoteza jest prawdziwa?
Na to pytanie można odpowiedzieć dopiero po przeprowadzeniu wielu takich samych badań w takich samych (lub możliwie jak najbardziej podobnych) warunkach. Dopiero wielokrotne powtórzenie badania i otrzymanie takich samych wyników potwierdza, że dana hipoteza jest prawdziwa. I dlatego właśnie w nauce niezmiernie istotne jest to, aby eksperyment był odtwarzalny, a publikacje naukowe podawały wszelkie dane, żeby móc badanie powtórzyć.
Łatwo to zrozumieć, jeśli badania naukowe wyobrazimy sobie jako rzucanie monetą. Rzucając trzy razy monetą, możemy wyrzucić trzy orły - nie jest to niemożliwe. Wyciągnięcie na tej podstawie wniosku, że przy rzucie monetą wypada zawsze orzeł, jest błędne. Dopiero rzucenie monetą wiele więcej razy - sto, tysiąc - sprawia, że widać, iż prawdopodobieństwo wyrzucenia orła wynosi 50 proc.
Szczepionki i GMO, czyli jeden wynik nie świadczy o niczym
Doskonałym przykładem na to, że jeden wynik nie świadczy o prawdziwości hipotezy, były kontrowersyjne badania nad szkodliwością tiomersalu w szczepionkach (który miał wywoływać autyzm) czy szkodliwością modyfikowanej genetycznie kukurydzy (która miała wywoływać nowotwory u szczurów). Były to wyniki uzyskane w pojedynczych badaniach, czyli z naukowego punktu widzenia bezwartościowe, póki w kolejnych, podobnych badaniach nie uzyskano by takich samych wyników.
Nikomu wyników tych dwóch kontrowersyjnych badań nie udało się powtórzyć, co oznacza, że tiomersal nie ma związku z autyzmem, a żywność GMO nie jest szkodliwa. Mimo to nadal wiele osób żywi błędne przekonanie, że szczepienia i genetycznie modyfikowana żywność mogą być niezdrowe - choć wskazywały na to pojedyncze badania, a dziesiątki innych zupełnie tego nie potwierdziły.
W nauce jest ważne, aby jednorazowe odkrycie zostało potwierdzone w wielu innych, niezależnych od siebie eksperymentach. Dopiero wielokrotnie powtórzone i przynoszące te same wyniki uważane są za fakt naukowy. Jeden wynik często nie świadczy bowiem o niczym - poza przypadkiem lub źle skonstruowanym badaniem.
[url=http://wyborcza.pl/1...powtorzyc.html]
Użytkownik Nick edytował ten post 09.09.2017 - 12:13
