Публикации, выложенные до подачи Работа получает дату, номер версии и постоянный адрес раньше, чем её увидит редакция. Рядом с каждой стоят три вещи, которых обычно нет: что в ней установлено, чего она не устанавливает и чем это можно проверить.

Registered Report, Stage 1

Проспективная проверка изменения доли реализующихся заранее названных признаков: протокол лонгитюдного исследования с естественной группой ожидания

Автор: Ковалёв Вадим Васильевич (публикационное имя — Kovalev V.) · Independent Researcher, Centre for Directed Self-Organization · внешний профиль автора — поле пустое, вписывается после регистрации

Тип статьи: Registered Report, Stage 1

Предрегистрация: идентификатор реестра — присваивается при регистрации

Данные и материалы: постоянная ссылка на репозиторий — выкладывается на втором этапе

1 · Введение

1.1 Проблема

Класс наблюдений, о котором идёт речь, описывается участниками одинаково: «дела стали идти быстрее», «нужные люди появляются вовремя», «перестало пробуксовывать». Такие сообщения многочисленны, но как эмпирический материал они почти бесполезны по одной причине — они собраны после того, как исход стал известен.

У ретроспективного сбора есть три известных механизма, каждый из которых порождает ровно эту картину без каких-либо изменений в мире: закон действительно больших чисел применительно к совпадениям [1, 2], склонность достраивать закономерность в шуме и подтверждающее смещение [3, 4], а также эффекты ожидания и характеристики требования, при которых участник сообщает то, чего от него ждут [5, 6].

Отсюда постановка задачи, принятая в настоящей работе: вместо того чтобы объяснять уже случившиеся совпадения, зафиксировать ожидания заранее и посчитать долю сбывшихся. Величина, получаемая таким способом, не требует согласия ни с одной из объясняющих программ и одинаково доступна проверке для сторонника и скептика.

1.2 Чего не делает эта работа

Три ограничения объявляются во введении, а не в конце, потому что они определяют форму всего дальнейшего:

1. Акаузальность не измеряется. Утверждение об отсутствии причинной связи есть утверждение о причине; никакой счёт частоты его не проверяет. Работа меряет частоту и её изменение.
2. Параметр порядка не вычисляется. Для систем связанных осцилляторов существует строгая мера согласованности, вычисляемая по фазам [7, 8]; у участников исследования фазы не наблюдаются, и попытка предъявить такую величину была бы имитацией строгости. Величина заменена считаемыми поведенческими мерами — это осознанный отрицательный результат теоретической части, а не умолчание.
3. Причинное действие какого-либо вмешательства не устанавливается. Дизайн не рандомизирован (§ 5.1).

1.3 Гипотезы

H1 (первичная). Доля заранее названных признаков, реализовавшихся в назначенный срок, у группы начавших выше, чем у группы ожидания, и растёт от первого среза к третьему.

Вторичные.

• H2. Сокращается срок «замысел → готовый артефакт» (дни).
• H3. Растёт доля решений, принятых с первого раза (со знаменателем — от числа принятых решений).
• H4. Сокращаются часы, уходящие на согласования и возвраты к уже решённому.
• H5. Растёт число дел, сделанных впервые, и число прекращённых чужих дел; мера ожидается на горизонте 3–6 месяцев и не ожидается раньше.

Самоотчётные индексы (субъективное трение, ощущение сжатия времени, соответствие собственному замыслу) собираются и показываются участнику как зеркало, но в проверку гипотез не входят: их значения зависят от ожидания, а ожидание в этом дизайне не контролируется.

2 · Методы

2.1 Дизайн

Проспективное наблюдательное лонгитюдное исследование с повторными измерениями и двумя естественно образующимися группами. Срезы: 0 (до начала периода) · 1 месяц · 3 месяца · 6 месяцев.

Основание для панели, а не разового замера: ранние меры (сроки, доля решений с первого раза, часы согласований) изменяются быстро, поздние (сделанное впервые, прекращённые дела) — на горизонте месяцев. Разовый срез смешал бы эти горизонты.

2.2 Участники и набор

Приглашаются все обратившиеся, без отбора по ожидаемой успешности. Три точки входа — кабинет, игра, офлайн-круг; точка входа является обязательным полем анализа.

2.3 Группы

Группы возникают из устройства самого процесса: между решением и первым днём периода проходит доставка. Тем самым образуется группа «решил, но ещё не начал» — люди, отличающиеся от основной группы одним признаком и не удерживаемые искусственно.

Это не рандомизация (§ 5.1). Регистрируются две раздельные даты — дата решения и дата начала, — и первый замер производится в день решения, а не в день начала.

2.4 Первичный исход

Первичный исход — доля реализовавшихся заранее названных признаков.

В знаменатель признак попадает, если удовлетворяет трём формально проверяемым условиям:

1. описано внешнее событие (не состояние, не настроение, не «пойму нечто важное»);
2. указан срок (дата либо «до конца недели N»);
3. участник при записи отметил, что событие может не сбыться.

Записи, не прошедшие условия, в анализ не входят и сообщаются отдельной строкой отчёта как характеристика инструмента.

Числитель: признаки, отмеченные сбывшимися в срок или раньше. Отметка делается на следующий день после срока; более поздние переоценки не принимаются.

2.5 Вторичные меры

Срок «замысел → артефакт» (дни) · доля решений с первого раза (со знаменателем) · часы на согласования и возвраты · число дел, сделанных впервые · число прекращённых дел. Все меры поведенческие и допускают внешнюю проверку по датам.

2.6 Ковариаты, заданные заранее

Исходный уровень активности · число рабочих контактов · возраст · точка входа · срок доставки и регион.

Первые две обязательны: без них любой положительный результат объясняется фразой «участники просто стали больше делать». Ковариата срока доставки введена потому, что именно она — источник неслучайности распределения по группам.

2.7 Контроль качества

Ловушка внимательности · обратные пункты в самоотчётной части · повторное измерение у 10 % участников через две недели · счёт выбывших с указанием причины и шага выбытия · исключение дублей сквозным ключом участника.

3 · План анализа (объявлен до сбора данных)

• Первичный исход: многоуровневая логистическая регрессия; признак вложен в участника, участник — в точку входа. Фиксированные эффекты: группа · срез · взаимодействие · ковариаты. Отчёт: отношение шансов с 95 % доверительным интервалом и абсолютная разница долей.
• Непрерывные вторичные: линейные смешанные модели с повторными измерениями.
• Пропуски: анализ по намерению (входят все, кто дал хотя бы один срез); дополнительно — анализ только по завершившим; публикуются оба.
• Множественность: первичный исход один, поправка не применяется; вторичные — поправка Холма внутри семейства.
• Уровень значимости: 0,05, двусторонний.

Размер выборки и чувствительность. Целевой набор — 800 участников на входе, минимально допустимый — 600, при обязательном условии 10–12 записей признаков на человека. Именно дневниковая множественность записей переводит единицу анализа с человека на признак, вложенный в человека, и снижает требуемое число людей; без неё для того же вывода потребовалось бы примерно вдвое больше участников.

Работа заранее объявляет, что при целевом наборе чувствительна к разнице долей около 10 процентных пунктов, при минимальном — около 15. Меньшие различия данным исследованием не обнаруживаются, и их отсутствие не интерпретируется как отсутствие явления.

4 · Таблица дизайна

Исходы, интерпретируемые как опровержение (объявлены до набора):

1. Разница долей не превышает объявленной чувствительности и доверительный интервал включает ноль ⇒ H1 не подтверждена.
2. Доля не растёт от первого среза к третьему внутри группы начавших ⇒ гипотеза о накоплении во времени не подтверждена.
3. Различие исчезает при вводе ковариат активности и числа контактов ⇒ наблюдаемое объясняется тем, что участники стали больше делать.

В любом из трёх случаев результат публикуется в том же объёме, что и положительный; работа не откладывается «до лучшего среза».

5 · Ограничения, названные до данных

5.1 Отсутствие рандомизации

Распределение по группам не случайно: срок доставки различается по регионам. Поэтому регион и срок входят в модель как ковариаты, а вывод формулируется как различие между группами. Утверждение о том, что какое-либо вмешательство вызывает эффект, из этого дизайна не следует и делаться не будет. Группы «не участвующих вовсе» в исследовании нет.

5.2 Эффект самого инструмента

Известно, что простое называние намерения со сроком существенно повышает долю реализованного [9, 10]. Наша карточка признака устроена именно так — следовательно, часть ожидаемого изменения производится инструментом, а не тем, что исследуется.

Решение, принятое до данных: карточку заполняют обе группы, в одинаковой форме и с одинаковой периодичностью. Тем самым эффект инструмента уравнен между группами, и именно поэтому первичным исходом выбрано межгрупповое различие, а не изменение «до / после» внутри человека. Внутригрупповая динамика приводится, но самостоятельным доказательством не считается.

5.3 Самоотбор и выбывание

Участники обращаются сами, что задаёт неслучайную популяцию; вывод не переносится на общую популяцию. Доля выбывших и шаг выбытия сообщаются обязательно, вместе с анализом по намерению — без этого работа воспроизвела бы ошибку выжившего внутри собственных данных.

5.4 Самоотчётность части мер

Поведенческие меры опираются на записи участника. Внешняя верификация возможна по датам артефактов, но не сплошная. Самоотчётные индексы в проверку гипотез не входят (§ 1.3).

6 · Этика

Участие добровольное. В научный массив попадают данные только тех, кто отметил согласие отдельной, не проставленной по умолчанию галочкой; отказ не ограничивает доступ ни к одному разделу сервиса. Отзыв согласия — в один шаг, задним числом, без опроса о причинах. Имена и контакты в аналитический массив не выгружаются. Вопросов о состоянии человека инструмент не содержит.

Этический статус. Исследование наблюдательное: участникам ничего не назначается, вмешательства в их деятельность нет, биометрические данные не собираются, отказ от участия не влияет ни на один аспект обслуживания. На этом основании работа подаётся с заявлением о неприменимости процедуры этического одобрения — вместо номера решения стороннего органа.

Заявления

Автор. Ковалёв Вадим Васильевич (публикационное имя — Kovalev V.), Independent Researcher · Centre for Directed Self-Organization. Внешний профиль автора и корреспондентский адрес — поля пустые, заполняются перед подачей.

Конфликт интересов. Автор является разработчиком и владельцем сервиса, участники которого составили выборку исследования, и связан с предметом, обозначенным в модели как параметр M. Финансовый интерес в положительном исходе исследования существует и раскрывается. Меры, принятые до сбора данных для его нейтрализации: предрегистрация плана анализа; заранее объявленные опровергающие исходы; отсутствие в инструменте вопросов о предмете; ослепление кодировщиков по группе; обязательство опубликовать отрицательный результат в том же объёме.

Финансирование. Внешнего финансирования исследование не получало. Все расходы несёт автор.

Данные и материалы. На момент подачи данные не собраны. Замороженный план анализа депонируется в публичном репозитории; адрес появляется при депонировании. По завершении исследования полный массив, схема кодирования и код анализа выкладываются в публичный репозиторий — включая расчёты, не давшие находок.

Этика. Исследование является наблюдательным и не предполагает вмешательства: участники не получают никакого воздействия в рамках исследования и не сообщают сведений о своём состоянии. Собираются самостоятельно формулируемые записи ожиданий и отметки об их исходе. Участие добровольное, на основании информированного согласия, полученного в электронной форме до начала сбора; отзыв согласия возможен в один шаг и без объяснения причин, с удалением данных участника. Данные обезличиваются на этапе сбора, публикуются только доли и средние значения, единичные случаи не раскрываются. В соответствии с этими условиями исследование относится к категории, не требующей одобрения комитета по этике; при изменении дизайна на интервенционный такое одобрение будет получено до начала сбора данных. Номер решения какого-либо комитета в рукописи не приводится нигде, поскольку такого решения не существует.

7 · График

Старт набора — август 2026; срез 1 месяц — сентябрь; срез 3 месяца — ноябрь (первый срез, допускающий межгрупповое сравнение); срез 6 месяцев — февраль 2027. Второй этап подаётся после закрытия шестимесячного среза.

Литература

Ключевые позиции; полный список — в диссертации.

1. Diaconis P., Mosteller F. Methods for studying coincidences // JASA. 1989. Vol. 84. P. 853–861.
2. Littlewood J. E. A Mathematician's Miscellany. London: Methuen, 1953.
3. Nickerson R. S. Confirmation bias // Review of General Psychology. 1998. Vol. 2. P. 175–220.
4. Tversky A., Kahneman D. Judgment under uncertainty // Science. 1974. Vol. 185. P. 1124–1131.
5. Orne M. T. On the social psychology of the psychological experiment // American Psychologist. 1962. Vol. 17. P. 776–783.
6. Kirsch I. Response expectancy as a determinant of experience and behavior // American Psychologist. 1985. Vol. 40. P. 1189–1202.
7. Kuramoto Y. Chemical Oscillations, Waves, and Turbulence. Berlin: Springer, 1984.
8. Acebrón J. A. et al. The Kuramoto model // Reviews of Modern Physics. 2005. Vol. 77. P. 137–185.
9. Gollwitzer P. M. Implementation intentions // American Psychologist. 1999. Vol. 54. P. 493–503.
10. Locke E. A., Latham G. P. Building a practically useful theory of goal setting // American Psychologist. 2002. Vol. 57. P. 705–717.
11. Nosek B. A. et al. The preregistration revolution // PNAS. 2018. Vol. 115. P. 2600–2606.
12. Chambers C. D. Registered Reports // Cortex. 2013. Vol. 49. P. 609–610.