Представьте, что показатель оценивали несколько раз, а в пересказ попал только самый удачный момент. Сам результат может быть настоящим, но он не обязательно представляет итог всей программы. Для тренера это важно, когда из отдельного измерения делают обещание устойчивого улучшения.
Роман находит число для рекламы программы
В вымышленной ситуации Роман читает описание рандомизированного эксперимента с тренировочной программой. В коротком пересказе выделена разница между группами в середине наблюдения. Роман хочет написать клиентам, что программа даёт длительный эффект после завершения курса. Его интересует не разовая удача, а обоснование именно этого обещания.
Он открывает методы и видит, что оценка проводилась в несколько сроков. Приведённое в пересказе измерение ещё не отвечает на вопрос, что было в конце программы и после неё. Роман откладывает слово «длительный» и ищет результаты для соответствующих моментов. Это учебная ситуация, а не описание конкретной опубликованной работы.
Что проверять: показатель, момент и анализ
В разделе 8.7 руководства Cochrane отдельно рассматривается выбор результата из нескольких оценок. Риск возникает, если время измерения, инструмент или анализ выбирают для сообщения по выгодности полученного эффекта. Проверять предлагают заранее установленный план анализа и сопоставлять его с отчётом.
Для своей заметки Роман записывает три конкретные вещи: что измеряли, когда измеряли и какое сравнение представлено. Разница между группами после занятий и изменение внутри одной группы — разные сравнения. Даже совпадающее название показателя не позволяет молча заменить одно другим. Эту проверку он делает до выбора яркой цифры для рекламного текста.
Затем он смотрит, был ли именно этот срок обозначен в протоколе или плане анализа до появления доступных авторам результатов. Если план называл другой момент, нужно найти объяснение изменения. Само расхождение требует уточнения, но не даёт права объявить работу поддельной.
Другие сроки не описаны: чего пока нельзя заключить
Роман не находит позднее измерение в открытом кратком описании. Из этого не следует ни отсутствие эффекта, ни его сохранение. Сначала он проверяет полный отчёт, приложения и материалы того же эксперимента. Если информации всё равно нет, вопрос остаётся открытым; неизвестные значения нельзя дописать в удобную сторону.
Cochrane различает выбор сообщённой оценки и отсутствие результатов целого измеренного исхода. Поэтому этот разбор не заменяет оценку неполноты всей доказательной базы. Когда проблема уже в том, какие исследования вообще удалось найти, нужен материал о публикационном смещении и неполной подборке работ. Здесь вопрос уже: насколько один выбранный момент представляет конкретный эксперимент.
Как Роман меняет формулировку для клиента
Если доступны только данные середины наблюдения, Роман указывает этот срок и точное сравнение, а не обещает сохранение результата после курса. Если поздние результаты найдены, он описывает их отдельно, с их ограничениями. Если выбор срока объяснён заранее заданным планом, это снимает один вопрос к отбору, но не подтверждает автоматически качество всех остальных частей исследования.
Практический итог — не отказаться от чтения исследований, а не растягивать результат во времени сильнее, чем позволяют данные. Вымышленный Роман может продолжить изучение программы, но у него нет основания выдавать удачный промежуточный показатель за гарантированную длительную пользу каждому клиенту.