У процедурі проведення дослідження, результати якого стверджували про невиробничість більше половини психологічних досліджень, виявився ряд порушень. Про це йдеться в статті, що вийшла в журналі.
Торік група психологів з Center for Open Science (COS) у США спробувала в рамках "Проекту з вивчення відтворюваності наукових робіт: Психологія "повторити 100 різних досліджень у різних галузях психології, опублікованих у провідних наукових журналах. У результаті їм вдалося відтворити з різним ступенем близькості до оригіналу тільки 39 зі 100 робіт. Це поставило під сумнів дослідження в галузі психології, оскільки відтворюваність результатів дослідження вважається одним з найважливіших критеріїв науковості знання. Варто зауважити, що робота була також опублікована в журналі.
У новій статті психологи з Гарвардського університету проаналізували процедуру відтворення досліджень і дійшли висновку, що в процесі були допущені серйозні помилки.
По-перше, автори роботи зазначають, що при повторенні досліджень не була врахована статистична помилка. За підрахунками вчених, навіть якби всі відтворені дослідження показали достовірні результати, то помилка вибірки все одно повинна була б скласти п'ять відсотків, оскільки частина результатів не потрапляє в 95 процентний довірчий інтервал оригінального дослідження. Крім того, вісім відсотків результатів мали б виявитися статистично-незначними. Необхідність введення критерію статистичної похибки пояснюється тим, що дослідження є репліками, а не оригінальними дослідженнями.
Для створення репліки необхідно повністю дотримуватися процедури проведення психологічного експерименту і точно враховувати характеристики генеральної сукупності. У своїй роботі автори демонструють численні приклади допущених помилок. Наприклад, дослідження, що вивчає ставлення американців до афро-американців, було відтворено на італійцях. Або експеримент, в якому ізраїльтян просили представити наслідки військової служби, був повторений на американцях, яких просили представити наслідки медового місяця. Однак у роботі психологів COS це не було враховано.
По-друге, психологи з Гарварду вказують на низьку потужність дослідження. Вони відзначають, що повторення були одноразовими і тому був отриманий такий малий відсоток достовірних досліджень. Для порівняння вони наводять проект «Many Labs», в якому 36 незалежних лабораторій створили 574 репліки 16 оригінальних досліджень. У результаті їм вдалося отримати відтворити результати 85 відсотків досліджень.
По-третє, вчені говорять про те, що процедура деяких повторних досліджень не була схвалена авторами оригінальних досліджень. Так, близько 30 відсотків авторів не схвалили методологічний протокол для реплікації. Психологи проаналізували схвалені і несхвалені дослідження і виявили, що ймовірність вдалого відтворення досліджень з несхваленим протоколом була в чотири рази нижче, ніж зі схваленим.
У підсумку вчені з Гарварду приходять до висновку, що психологи COS допустили ряд наукових помилок при процедурі відтворення досліджень і аналізі результатів. Таким чином, як зауважують дослідники, стаття, опублікована в, не дає підстав для отриманих з неї висновків.