Если в обзоре тренировок указано SMD 0,5, это не означает ни прибавку 0,5 кг, ни улучшение на 50%. SMD — стандартизированная разница средних. Она выражает различие относительно разброса измерений, а не в исходных единицах теста.
Зачем авторы убирают исходные единицы
В разделе 6.5.1.2 Cochrane Handbook SMD рассматривается как способ объединять исследования одного исхода, измеренного разными шкалами. Разницу соотносят со стандартным отклонением. Разные варианты расчёта используют разные определения знаменателя и поправки.
Это не разрешение объединить любые числа: результат теста силы и оценка удовольствия не становятся одним исходом после удаления единиц. Сначала важен вопрос измерения, затем способ стандартизации.
Условный расчёт: одинаковая разница, разный разброс
Представим два учебных набора данных, не реальные исследования. В первом разница средних равна 4 единицам, а выбранное для стандартизации стандартное отклонение — 8. Упрощённое отношение составляет 4 / 8 = 0,5. Во втором разница тоже 4, но отклонение равно 16: получаем 4 / 16 = 0,25.
Исходная разница не изменилась, зато стандартизированное число стало вдвое меньше. Поэтому сравнение 0,5 и 0,25 без сведений о выборке может вводить в заблуждение. Здесь показана только арифметическая идея; для воспроизведения конкретного опубликованного SMD нужны его формула, состав данных и предусмотренные поправки.
Сценарий: тренер превратил SMD в обещание клиенту
В вымышленной ситуации тренер Артём увидел в обзоре SMD 0,5 и написал клиенту: «Этот метод улучшает результат на 50%». Клиент рассчитывает увеличить рабочий вес с 40 до 60 кг. Между числом в статье и обещанием появилась связь, которой авторы исследования не устанавливали.
Артёму нужно исправить сообщение, а не подобрать к нему более убедительную ссылку. Он объясняет, что 0,5 относится к стандартизированному сравнению групп, и убирает обещание прибавки. Затем возвращается к исходным тестам и срокам обзора: измеряли ли вообще тот показатель, о котором спрашивал клиент?
Даже наличие результата в килограммах не превратило бы среднюю разницу групп в персональную гарантию. Ошибка с процентами здесь возникла раньше: тренер неверно прочитал единицы. История придумана для разбора этой ошибки.
Почему знак минус иногда означает улучшение
Посмотрите, что означают высокие значения исходной шкалы и как авторы задали порядок вычитания групп. В обзоре направление шкал должно быть согласовано. Сам знак SMD без этих пояснений не сообщает, полезнее ли изучаемый вариант.
Учебный пример: в тесте времени выполнения задания меньше секунд может означать лучший результат, а в тесте поднятого веса больше килограммов — лучший. Если читатель одинаково назовёт любой отрицательный эффект ухудшением, он ошибётся уже на уровне обозначений. Нужна легенда конкретного графика, а не правило «плюс всегда хорошо».
Как обсуждать величину, не теряя смысл
Рядом с оценкой эффекта смотрите доверительный интервал. Отдельно выясните, какие тесты объединены и на каких участниках получены данные. Название «средний эффект» не заменяет ответ на вопрос, существенна ли разница для конкретной задачи.
Если обзор не позволяет обоснованно перевести оценку в понятные исходные единицы, не придумывайте такой перевод. Можно честно сказать: «Авторы нашли стандартизированное различие; из этой цифры нельзя напрямую назвать прибавку в вашем упражнении». Это точнее, чем превращать условную категорию величины эффекта в обещанный тренировочный результат.
SMD и p-value отвечают на разные вопросы
SMD описывает величину различия в выбранной стандартизированной шкале. Наличие маленького p-value не превращает эту величину в процент и не отменяет проверку применимости. Для этой части чтения полезен отдельный разбор статистической и практической значимости.
В конспекте сохраните обозначение SMD вместе с числом, направлением сравнения и исходом. Запись «эффективность 0,5» теряет смысл и провоцирует именно ту ошибку, которую допустил Артём.