Пять найденных статей с положительным выводом не обязательно представляют все исследования метода. Некоторые результаты могут не попасть в публикации или быть представлены неполно. Поэтому количество удобных ссылок само по себе не показывает, насколько надёжна общая картина.
Что именно может отсутствовать
Публикационным смещением обычно называют ситуацию, когда доступность работ связана с характером их результатов. Более широкая проблема отсутствующих доказательств включает и неопубликованные отдельные исходы уже известного исследования. Важно не путать это с выбывшими участниками внутри одной выборки.
Глава 13 Cochrane рассматривает риск смещения из-за недостающих результатов. Из этого не следует, что любая отсутствующая статья намеренно скрыта. Для обвинения нужны отдельные доказательства; для осторожности в выводе достаточно признать неполноту доступной картины.
Подборка продавца тренажёра выглядит безупречно
Учебный эпизод: клиент присылает страницу производителя с шестью исследованиями и спрашивает, стоит ли заменить обычную программу занятиями на его устройстве. Во всех коротких описаниях говорится об улучшении результата.
Тренер не объявляет подборку ложной, но проверяет способ отбора. Это все найденные исследования или только выбранные компанией? Есть ли систематический обзор с описанной стратегией поиска? Совпадают ли измеренные исходы с рекламным обещанием?
Дальше он ищет работы по названию метода и устройства, не добавляя в запрос только слова вроде «эффективность доказана». Начать можно с поиска в PubMed. При этом база данных тоже не гарантирует, что все когда-либо полученные результаты опубликованы. Случай вымышленный и не относится к конкретному производителю.
Что искать в систематическом обзоре
Посмотрите дату поиска, базы, критерии включения и описание поиска неопубликованных материалов или зарегистрированных исследований. Уточните, анализировали ли авторы риск отсутствующих результатов и как он повлиял на уверенность в выводе.
Недостаточно увидеть заголовок «метаанализ». Если в статье нет понятного объяснения, откуда взялись исследования, сводное число не закрывает вопрос отбора. Для заметки полезно отдельно выписать, чего авторы не смогли проверить, вместо того чтобы спрятать ограничения за общим словом «доказано».
Несимметричная воронка - ещё не доказательство обмана
В другом условном сценарии тренер видит funnel plot и замечает, что точки расположены несимметрично. Он собирается написать, что отрицательные результаты точно удалили.
Такой вывод чрезмерен. Асимметрия может иметь разные причины, включая различия исследований и случайность. Cochrane отдельно предупреждает: график не является диагностикой публикационного смещения. При небольшом числе работ возможности соответствующих тестов также ограничены.
Тренер возвращается к пояснению авторов обзора: какую причину они считают вероятной и на каком основании. В сообщении клиенту он пишет об ограниченной уверенности, а не о доказанном сокрытии. Это учебный пример интерпретации, а не расследование реальной публикации.
Что это меняет в практическом решении
Если общая картина неполна, не стоит превращать её в обещание конкретного прироста или обязательную покупку. Можно продолжить изучение метода, но степень уверенности должна соответствовать данным. Особенно важно это при дорогой смене оборудования или программы, которая уже решает задачу клиента.
Сравнение с заранее зарегистрированным планом иногда помогает понять, какие исходы собирались изучать. Но сама предрегистрация не гарантирует, что все результаты стали доступны. Она даёт дополнительный материал для проверки, а не сертификат отсутствия ошибок.
Вопрос для самопроверки
Могу ли я объяснить, как была собрана подборка, а не только пересказать её итог? Если нет, формулировку «все исследования показывают» лучше не использовать. Сначала уточните границы поиска и доступных данных; не заполняйте пробелы предположением, что неизвестные результаты обязательно поддерживают вашу позицию.