Надпись «рандомизированное исследование» ещё не говорит, как авторы сравнили людей в итоговой таблице. Участник мог получить назначение заниматься по программе А, затем перейти на Б, но прийти на финальный тест. Его результат известен; вопрос в том, в какую группу его отнесли при анализе.
Пример с шестью участниками, поменявшими программу
Рассмотрим вымышленные учебные данные, не результат реального исследования. Шестьдесят человек случайно распределили поровну между двумя вариантами тренировок. Позже шесть человек из группы А стали выполнять вариант Б. Все 60 прошли конечное измерение.
При анализе по исходному назначению эти шесть остаются в группе А: сравнивают первоначальные 30 и 30. Если перенести их в фактически выполнявшуюся программу, получится уже другое разделение — 24 и 36. Если просто убрать нарушивших назначение, изменится и состав сравнения, и число включённых участников.
Здесь нет потерянных результатов: изменилось правило группировки. Тренер, читающий статью, должен заметить эту разницу до обсуждения того, какая программа «победила». Нельзя считать все три таблицы взаимозаменяемыми отчётами об одном и том же эффекте.
Что означают названия анализов
В разделе 8.2.2 Cochrane Handbook различаются эффект назначения вмешательства и эффект его соблюдения. ITT, intention-to-treat, оценивает назначение: участников анализируют по первоначальному распределению, независимо от фактически полученного вмешательства, стремясь включить всех рандомизированных.
As-treated группирует по фактически полученному вмешательству. Наивный per-protocol оставляет только соблюдавших назначение. Такой отбор может быть смещён: причины соблюдения программы могут быть связаны с будущим результатом. Оценить эффект соблюдения корректно возможно, но для этого нужны подходящие методы и допущения, а не простое удаление «неудобных» участников.
Почему тренеру хочется оставить только самых дисциплинированных
В вымышленном разборе тренер Артём говорит: «Мой клиент точно будет ходить, поэтому возьму результат только тех, кто выполнил всё». Он замечает, что среди строго соблюдавших программу улучшение больше, и хочет обещать клиенту именно такую величину.
Но Артём ещё не выяснил, почему одни участники соблюдали план, а другие нет. Возможно, им различались доступное время, переносимость занятий или исходная подготовка. Это не установленные причины в конкретной работе, а вопросы, которые нужно проверить. Обещание клиента о посещаемости не делает его эквивалентом отобранной группы.
Артём меняет формулировку: описывает, кого включал данный анализ, и не предъявляет его результат как гарантированный эффект дисциплины. Если статья показывает несколько анализов, он сохраняет их отдельно в заметке вместо выбора самого впечатляющего числа.
Другой вопрос: стоит ли внедрять программу в клубе
Представим другую рабочую задачу. Руководитель клуба хочет предложить новый формат всем подходящим посетителям, понимая, что часть будет пропускать занятия или менять расписание. Его интересует не только результат безупречного выполнения, но и то, что даёт само назначение такого формата в изученных условиях.
Поэтому обсуждение начинается с вопроса исследования, а не с ранжирования аббревиатур от «лучшей» к «худшей». Если работу провели в условиях, совсем не похожих на клуб, даже подходящий тип анализа не снимает вопрос переносимости. И наоборот, интерес к идеальному соблюдению не позволяет игнорировать способ, которым этот эффект оценили.
Где искать ответ в статье
Найдите описание анализируемой совокупности в методах и подпись конкретной таблицы. Уточните, что считали нарушением протокола, переносили ли людей между группами и кого исключили. Затем сопоставьте это с исходной схемой рандомизации.
Если итоговых измерений не хватает, появляется дополнительная задача: как обработали пропуски. Она отдельно разобрана в статье про выбывание участников и отсутствующие результаты. Не смешивайте неизвестный результат и известный результат человека, который тренировался не по назначению.
Что не следует заключать из аббревиатуры
ITT означает, что все выполнили программу? Нет. Именно поэтому важно различать назначение и соблюдение.
Per-protocol всегда бесполезен? Нет. Вопрос об эффекте соблюдения содержателен; проблема в том, как его оценивают. Простое исключение нарушителей не гарантирует корректность.
Можно выбрать анализ с большим улучшением? Не по величине улучшения. Сначала определяют нужный вопрос и проверяют метод, иначе вывод подстраивается под привлекательный результат.