В таблице результатов рядом с эффектом часто стоят две границы и сокращение 95% CI, или 95% ДИ. Это доверительный интервал: он показывает статистическую неопределённость оценки при использованном способе анализа. Одного числа в центре недостаточно, чтобы понять, насколько точно оценена разница между тренировочными программами. Доверительный интервал среднего эффекта не является диапазоном результатов, которые получат 95% ваших клиентов.
Сначала выясните, вокруг какого числа построен интервал
ДИ может относиться к среднему значению, разнице средних, отношению рисков и другим величинам. Поэтому сначала прочитайте подпись показателя и единицы. Для разницы между группами отсутствие различия соответствует нулю; для отношения рисков - единице. Интервал от 0,8 до 1,2 без названия показателя невозможно содержательно оценить.
В руководстве Cochrane, разделах 15.3.1–15.3.3, интервал рассматривают вместе с величиной эффекта и его практической важностью. Узкий диапазон говорит о большей статистической точности, но сам по себе не исключает систематическую ошибку исследования или несоответствие участников вашему клиенту.
Тренер увидел «плюс четыре килограмма» и хотел сменить программу
Ниже вымышленная ситуация с учебными числами, а не результат конкретного эксперимента. Тренер Илья сравнивает две программы по приросту результата в одном силовом тесте. В условной работе разница средних приростов составляет +4 кг в пользу новой программы, а 95% ДИ идёт от −1 до +9 кг. Илья боится упустить более эффективный способ подготовки и собирается заменить работающий план всем подопечным.
Но в интервал попадают и небольшой отрицательный эффект, и нулевая разница, и заметное преимущество. Запись «новая программа даёт дополнительные 4 кг каждому» здесь неверна дважды: оценка неточная и относится к среднему различию групп, а не к каждому человеку.
В рабочей заметке Илья пишет: «Точечная оценка благоприятная, но данные оставляют значительную неопределённость относительно размера и направления разницы». Затем проверяет состав участников и условия теста. На основании одного такого результата он не объявляет прежнюю программу худшей. Если непонятно, какие группы вообще сравнивались, сначала пригодится разбор структуры научной статьи.
Два одинаковых средних эффекта, но разная уверенность в величине
Продолжим арифметический пример, не добавляя реальных научных данных. В другой условной работе разница тоже +4 кг, но интервал от +3 до +5 кг. Центральное число не изменилось, зато диапазон стал гораздо уже. Если для конкретной задачи тренер заранее считал полезной разницу хотя бы +2 кг, второй диапазон целиком выше этого ориентира. Первый, от −1 до +9 кг, включает и значения ниже него.
Порог +2 кг в этом примере придуман для демонстрации логики. Он не является нормой для силовых исследований или всех клиентов. Его смысл зависит от упражнения, надёжности измерения, затрат времени и цели. Нельзя сначала увидеть результат +4 кг, а потом подобрать удобный порог, чтобы назвать метод полезным.
Даже узкий ДИ не отменяет вопрос, воспроизводимы ли условия работы в вашем зале. Точность ответа на чужой вопрос не превращает его в ответ на ваш.
Клиент принял границы среднего за личный прогноз
Ещё один вымышленный эпизод: Марина прочитала интервал от +3 до +5 кг и спрашивает, почему её прибавка составила только 1 кг. Она считает нижнюю границу обещанным минимумом и подозревает, что тренер неправильно составил занятия.
Тренер возвращается к подписи таблицы: интервал оценивал среднюю разницу приростов двух групп. Марина сравнила с ним свой индивидуальный прирост внутри одной программы. Это разные величины. Кроме того, для оценки собственного изменения важны исходный результат и сопоставимые условия тестирования.
Вместо оправдания чужой статистикой тренер открывает журнал Марины и обсуждает именно её динамику. Согласовать, какой показатель они отслеживают, помогает постановка цели клиента. ДИ из статьи остаётся характеристикой научной оценки, а не гарантийным диапазоном персональной услуги.
Три уточнения, которые предотвращают неверный вывод
Если интервал включает ноль, эффекта точно нет? Нет. Для разницы средних это означает, что нулевое значение не исключено этим интервалом. Посмотрите и на остальные значения: очень широкий диапазон может оставлять открытым вопрос о существенной пользе или вреде.
95% означает, что внутри находятся 95% участников? Нет. Как поясняет статистическое руководство NIST, при многократном повторении подходящей процедуры около 95% построенных таким образом интервалов будут содержать истинный параметр. Это не доля людей между границами и не вероятность для уже полученного частотного интервала. Для разброса индивидуальных наблюдений используют другие характеристики.
Всегда выбирать исследование с самым узким интервалом? Нет. Сначала сопоставьте участников, вмешательства и измеряемые исходы. Узкая оценка краткосрочного показателя не заменит длительное исследование нужного вам результата. Если работы расходятся, используйте разбор противоречивых рекомендаций, а не сортировку только по ширине ДИ.