Две строки таблицы отвечают не на тот вопрос
В обзоре отдельно показаны результаты новичков и опытных участников. У первых стоит отметка статистической значимости, у вторых её нет. Очень хочется заключить: программа подходит только новичкам. Но сравнение двух отметок ещё не является проверкой различия эффектов.
Эту ошибку разбирают Эндрю Гельман и Хэл Стерн: переход через порог значимости в одном анализе и отсутствие такого перехода в другом не устанавливают значимое различие между результатами. Здесь вопрос не в том, «хороший» ли p-value, а в том, какую гипотезу вообще проверяли.
Максим вычеркнул опытных клиентов из программы
Возьмём вымышленный пример чтения обзора, а не результаты реального исследования. Тренер Максим видит p = 0,04 для подгруппы новичков и p = 0,08 для опытных. Он готов написать коллегам: «Опытным метод не помогает». Числа приведены только для иллюстрации ошибки, а не для расчёта эффекта.
Максим возвращается к таблице и проверяет величины эффектов, интервалы неопределённости и наличие отдельного сравнения подгрупп. Не пытается вычесть 0,04 из 0,08 и получить степень различия. По двум этим значениям нельзя восстановить недостающий тест.
Вместо запрета для опытных он исправляет заметку: «В подгруппах получены разные уровни статистической значимости; пока не проверено, различаются ли сами эффекты». Это ещё не решение назначить программу всем. Сначала нужно закончить чтение анализа, а затем оценивать применимость данных к задаче клиента.
Где искать прямое сравнение
В главе 10 руководства Cochrane, раздел 10.11.3, для сравнения подгрупп требуется соответствующий статистический анализ, а не сопоставление отдельных p-value. В статье ищите формулировки interaction или test for subgroup differences. У подгрупп может различаться объём информации, поэтому одна отметка «незначимо» не доказывает отсутствия эффекта.
И обратное ограничение: незначимый тест различий не устанавливает, что эффекты полностью одинаковы. Посмотрите оценки и их неопределённость. Если авторы не приводят нужных данных, корректнее обозначить пробел, чем самостоятельно дописать уверенный вывод.
Лена приняла 35 лет за точную границу эффективности
В другом условном эпизоде Лена готовит обзор для тренерского чата. В приложении к статье она находит возрастную подгруппу «до 35 лет» с заметным эффектом и собирается написать клиентам старше 35, что метод им не подходит.
Проверка протокола показывает, что именно такой порог заранее не был указан; авторы называют анализ поисковым. Лена оставляет наблюдение в обзоре, но не превращает его в возрастной запрет. Её следующий вопрос — чем обоснована эта граница и проверялся ли вывод в других данных.
Cochrane отдельно предупреждает о множественных поисках подгрупп и выборе границ после знакомства с результатами. Это не делает любой последующий анализ бесполезным, но требует явно обозначать его характер. Как найти первоначальный план, разобрано в материале про предрегистрацию исследования.
Что оставить в рабочей заметке тренера
Запишите, какие именно подгруппы сравнивались, какой результат измеряли и был ли прямой тест различий. Отдельно укажите, планировали ли такое разделение заранее. Формулировка «значимо только в одной строке» не должна незаметно превращаться в «работает только для этих людей».
Если обзор лишь породил гипотезу о различиях, так и назовите её гипотезой. Для принятия решения остаётся вопрос величины пользы: его рассматривает статья о p-value и практической значимости. Статистическая классификация не заменяет содержательного объяснения, что изменится для клиента.