У 2015 році «Колаборація за відкриту науку» (Center for Open Science, COS) відзвітувала про те, що змогла відтворити тільки 39 результатів зі 100 психологічних статей. Тепер вийшов їхній звіт про стан справ в онкобіології, і в ньому майже ті ж цифри: вдалося відтворити лише 46 відсотків результатів. Чи означає це, що у таких різних, здавалося б, психології та біології загальні труднощі? Чи кожна з цих областей нещаслива по-своєму? А може бути, це проблеми науки взагалі?
У 2011 році 270 вчених зібралися повторити 100 експериментів зі статей, опублікованих у трьох провідних психологічних журналах. Справа була не в тому, що ці статті викликали у них підозру. Швидше навпаки - учасники проекту Reproducibility Project: Psychology взялися перевіряти звичайні статті, до яких ні в кого не було ніяких претензій. Більше ніж у половині випадків ефекти, про які повідомляли вихідні статті, у повторних експериментах не підтвердилися (докладніше про цю історію - в матеріалі «Не повторюється таке іноді»).
Брайан Нозек (Brian Nosek) з однодумцями не ставили це в провину авторам статей. І не закликали журнали відкликати ці статті. "Скільки перевірених нами ефектів вірні? Нуль, - писали вчені у своєму звіті. - Скільки перевірених нами ефектів неправдиві? Нуль ". Проблеми, про які вони таким чином заявили, не свідчать про те, що отримані результати помилкові - а тільки про те, що їх складно перевірити на практиці.
Залишивши спільноту психологів розмірковувати про те, як так вийшло, Нозек переключився на наступний проект. Разом з колегами він відібрав 53 найпопулярніші статті з онкобіології, які вийшли з 2010 по 2012 рік. Але зіткнувся з непередбаченими труднощами (про них наш блог «Не можемо повторити»): у підсумку, витративши шість років і мільйон з гаком доларів, у свій звіт Reproducibility Project: Cancer Biology включив лише 23.
По стопах
47 з 158 статей з когнітивної та соціальної психології залишилися без перевірки через те, що вона вимагала особливого обладнання, якого не опинилося під рукою в учасників колаборації, спеціальної підготовки співробітників або рідкісних об'єктів (людей з конкретними психіатричними діагнозами і мавп). Але у випадку з онкобіологією перешкод виявилося набагато більше - так так, що матеріалу набралося на окрему публікацію.
З 193 експериментів, скаржаться в ній Нозек з колегами, перевірити статистичну обробку результатів виявилося можливо тільки в чотирьох випадках - для всіх інших їм просто не вистачило даних, наведених в оригінальній роботі. Дослідники запросили ці дані в авторів, але в 68 відсотках випадків залишилися без відповіді.
Більш того, жоден з 193 експериментів не був описаний досить докладно, щоб його можна було відтворити, використовуючи статтю як інструкцію. Тому всім командам, які взялися їх повторювати, довелося консультуватися з авторами статей - і близько третини авторів відмовилися їм допомагати.
Після того, як інші експерименти вдалося запустити, виявилося, що в більшості випадків протоколи дослідження потрібно змінювати - клітини і миші вели себе не так, як описувалося у вихідній статті. У підсумку з 193 запланованих експериментів (в одній статті буває відразу кілька результатів, які вимагають перевірки) вдалося провести тільки 50.
"Це проблема традицій, - говорить у розмові з онкоепідеміолог Антон Барчук, науковий співробітник НМІЦ онкології імені Петрова та Університету Тампере (Фінляндія), - часто це не автори статті навмисне приховують [дані], їм не дозволяє [це зробити] формат статті. Наприклад, прийнято, щоб автори поміркували [про свої результати], і дискусія з'їдає багато місця - в тому числі і від "Методів", які, по-моєму, набагато більш важливий розділ ".
З тих 50 експериментів, які все-таки вийшло довести до кінця, не всі принесли очікувані плоди. Зі 158 ефектів, про які йшлося у вихідних статтях, оцінити достовірність вдалося лише для 112. І вони достовірно (тобто статистично значуще) відтворилися лише в 46 відсотках випадків.
Люди і миші
«Покажіть це посилання кому завгодно, - радить у твіттері психолог Джей ван Бавел (Jay Van Bavel), - хто скаже, що психологічна наука менш надійна, ніж» справжня наука «на зразок біології». Нозек цитує твіт колеги з коментарем: напряму два проекти порівнювати некоректно. Статті з психології взяли з трьох авторитетних профільних журналів, а онкобіологічні відбирали за альтметрикою і цитованістю на платформах Web of Science і Scopus. До того ж, у психологічних статтях зазвичай описується один ефект, а в біологічних - відразу кілька. Тому отримані дані не означають, що 54 відсотки статей з онкобіології не відтворюються цілком - можливо, не відтворюється лише якась їх частина.
How are different scientific fields in terms of replicability? Here are the correlations between original and replication study effect sizes:-Psychology research (left): r = .56-Cancer research (right): r = .47From https://t.co/l3ECagoP3a & https://t.co/OF6cTfklfd pic.twitter.com/V7EYNJDL6k
— Jay Van Bavel (@jayvanbavel) December 7, 2021
Тим не менш, дещо спільне у психології та онкології, безумовно, є. У листуванні з Нозек припускає, що це «система винагороди за нові, позитивні, дивовижні результати на шкоду суворості, прозорості та докладним описам». Тобто справжній винуватець - publication bias, схильність журналів приймати до публікації статті, результати яких виглядають цікавими. Тому наявність кореляції цінується вище, ніж її відсутність, а видобуток нової інформації отримує пріоритет перед перевіркою старої.
«Це лікується за допомогою registered reports», - пояснює Ілля Ясний, керівник наукової експертизи фармацевтичного фонду Inbio Ventures. Це альтернативна схема публікації в науковому журналі: автори відправляють до редакції не готовий звіт про виконану роботу, а заявку на проведення конкретного експерименту для перевірки певної гіпотези. І якщо експерти в редакції її схвалюють, то журнал зобов'язується опублікувати результат (якщо його, звичайно, вдасться отримати) - незалежно від того, позитивний він чи негативний. Таким чином, наукова робота проходить рецензування двічі - перед тим, як почнеться експеримент, і після того, як оброблені дані. Це, з одного боку, робить роботу більш надійною і відтворюваною, а з іншого, допомагає економити гроші - оскільки зайві і безглузді експерименти рецензенти зупинять ще на старті.
Концепцію registered reports придумали все ті ж люди з Центру відкритої науки. Вони і свій проект з онкобіології вели саме таким чином: спочатку окремо погодили і опублікували протоколи, а потім вже показували результати. І ефект від цієї практики вже помітний, вважає Ясний: «з 2013 року якість [статей в області] в підсумку підвищилася, судячи з оцінки на око».
Керівник Reproducibility Project: Cancer Biology Тімоті Еррінгтон (Timothy Errington) в листуванні з також попереджає, що не варто порівнювати безпосередньо психологію і онкобіологію, незважаючи на схожі підсумки роботи двох проектів COS. Відмінність між дисциплінами, яка йому кинулася в очі, розповідає він, швидше методологічна: «аналітична гнучкість» проти «експериментальної гнучкості». Коли дослідники відтворюють роботи з психології, проблеми виникають на останньому етапі: виявляється складно отримати ті ж висновки на підставі тих же даних. У роботах з біології раку перешкоди починаються задовго до статистичної обробки - важко навіть підібрати всі необхідні об'єкти і реагенти. І це не унікальна властивість онкобіології, вважає Ясний. За його словами, «ситуація з тваринами моделями скрізь [у біології] погана».
Їм з цим жити
Так чи інакше, онкобіологія начебто отримує відразу два удари: і за відтворюваністю своїх експериментів, і за відтворюваністю своїх результатів. Враховуючи, що Нозеку і колегам вдалося поставити менше половини потрібних експериментів і отримати менше половини очікуваних ефектів, підсумкова відтворюваність виявляється не більше чверті.
Але серед експертів, з якими поговорив, це нікого особливо не пригнічує. Зрештою, реплікація експериментів - невід'ємна частина наукового процесу. "Те, що опублікували автори вихідних статей, - каже Ясний, - це інновація. Кожна інновація відкриває можливості, а [її] верифікація говорить про те, наскільки ці можливості реалізовані. Те, що одні вчені щось роблять, а інші їм не довіряють - це і є наука ".
Та й масштаб невиробничості виявляється не новим. Ще в 2011 році співробітники компанії Bayer спробували - правда, не розкриваючи подробиць - повторити кілька десятків експериментів, в тому числі і з онкобіології, і у них зійшлися не більше 25 відсотків результатів. Це не з чуток знають і ті, хто займається клінічними випробуваннями: у 19 з 20 випадків, за словами Ясного, протипухлинні препарати провалюються на цій стадії - «тому що занадто багато ліків проходять фільтри на не дуже добре зроблених доклінічних дослідженнях».
Тому у тих, хто працює безпосередньо з результатами таких статей, є свої рецепти і способи визначити, чому вірити, а чому ні. "Ми всі привчаємося бачити, - розповідає Ясний, - де там проблеми і наскільки добре дослідження проведені. До того ж, те, що розробляється в надрах «бігфарми», з методологічної точки зору влаштовано краще [ніж в академічній науці]. Якщо вони будуть пускати в клінічні випробування недостатньо досліджені препарати, вони вистрілять собі в ногу, тому що втратять час і гроші. У маленьких стартапах трохи складніше, від їх результатів залежить фінансування та інтерес інвесторів, але і вони не можуть відверто брехати ".
"Рецепт один, - каже Барчук, - критично ставитися до результатів, які отримані в одному-двох дослідженнях. Завжди варто почекати, поки хто-небудь їх повторить. Можливо, це їх нове дослідження теж виявиться непросто повторити ".