Кейсы
Профессия и обучение

Перекрёстное исследование: пауза не всегда обнуляет эффект первой программы

Те же люди, но не обязательно то же исходное состояние

В перекрёстном исследовании участник получает вмешательства последовательно. Это отличается от параллельного сравнения, где разные группы получают разные варианты. В простом рандомизированном дизайне одна последовательность начинается с первого варианта, другая — со второго. Каждый человек участвует в сравнении с самим собой, но порядок нельзя игнорировать.
В главе 23 руководства Cochrane отдельно описаны carry-over, то есть сохранение эффекта предыдущего вмешательства в следующем периоде, и эффект периода — изменение ответа со временем, не вызванное разницей вмешательств. Перерыв между ними может уменьшать перенос, но одно наличие перерыва не доказывает его устранение.

Светлана предлагает «проверить оба курса на всех»

В вымышленном обсуждении Светлана предлагает одной группе пройти две длительные тренировочные программы по очереди. Она считает такой способ особенно честным: люди те же, значит, отличие результата можно будет приписать программе. Между курсами она хочет поставить паузу и назвать её возвращением к исходной точке.
Коллега спрашивает, на каком основании к началу второго курса исчезнут изменения от первого. Светлана понимает, что календарный перерыв сам по себе не подтверждает такое возвращение. Разбор не описывает проведённый эксперимент и не предлагает испытывать программы на клиентах без отдельного исследовательского плана.

Два разных вопроса к следующему периоду

Первый вопрос Светланы — может ли первый курс повлиять на результат второго? Если это правдоподобно, сравнение уже не выглядит как два совершенно независимых старта. Нужно рассмотреть характер вмешательства и обоснование времени между оценками. Универсального числа дней, которое делает любую тренировочную программу «забытой», из самого названия дизайна получить нельзя.
Второй вопрос — не изменились ли участники и условия просто к более позднему периоду? Например, в её гипотетическом плане все получают второй курс только позже и в другом рабочем расписании. Тогда название курса связано ещё и с календарным этапом. Это не доказательство, что график обязательно исказит результат, а причина заранее продумать порядок и анализ вместо объяснения каждой разницы преимуществом программы.
По Cochrane перекрёстный дизайн требует подходящего контекста; длительно сохраняющиеся изменения могут делать его непригодным. При чтении статьи Светлана ищет не только слово crossover, но и объяснение подходящего дизайна, последовательностей, паузы и проверки этих рисков. Она не выбирает произвольный перерыв вместо автора исследования.

Сколько людей было и как сравнивали результаты

Если человек участвовал в двух периодах, он не стал двумя независимыми участниками. Для непрерывного показателя Cochrane описывает парный анализ при отсутствии проблем переноса и периода. Поэтому сложить число измерений и объявить полученное число размером независимой выборки — неверный пересказ дизайна. Проверку конкретных расчётов лучше поручить специалисту по статистике.
Светлана теперь формулирует запрос к статье: «Почему такое последовательное сравнение подходит именно этому вмешательству и как учтён порядок?» Это содержательнее, чем вопрос «сколько длилась пауза». Если нужные сведения не найдены, она отмечает ограничение своего чтения, а не выносит автоматический вердикт всему исследованию.
Отдельная проблема возникает, если из нескольких сроков оценки в пересказ выбран только удобный результат. Она разобрана в материале о выборе срока измерения. Проверка отбора цифры не заменяет проверку перекрёстного дизайна: даже честно указанное число нужно читать с учётом того, что участник проходил раньше.