Предварительная регистрация (наука) - Preregistration (science)

Руководство Clincal Trial Transparency от 2017 года выступает за регистрацию

Предварительная регистрация - это практика регистрации гипотез, методов и / или анализа научного исследования до его проведения. Регистрация клинического исследования аналогична, хотя может не требовать регистрации протокола анализа исследования. Наконец, зарегистрированные отчеты включают экспертную оценку и принципиальное согласие с протоколом исследования до сбора данных.

Предварительная регистрация помогает в выявлении и / или сокращении множества потенциально проблемных исследовательских практик, включая p-hacking , предвзятость публикации , углубление данных , несоответствующие формы постфактум- анализа и (в связи с этим) HARKing . Недавно он получил известность в открытом научном сообществе как потенциальное решение некоторых проблем, которые, как считается, лежат в основе кризиса репликации . Однако критики утверждали, что в этом может не быть необходимости при внедрении других методов открытой науки.

Типы

Стандартная предварительная регистрация

В стандартном формате предварительной регистрации исследователи подготавливают протокол исследования до проведения исследования. В идеале в этом документе указываются гипотезы исследования, процедура выборки, размер выборки, план исследования, условия тестирования, стимулы, меры, метод кодирования и агрегирования данных, критерии исключения данных и статистический анализ, включая возможные варианты этих анализов. Этот документ предварительной регистрации затем размещается на общедоступном веб-сайте, таком как Open Science Framework или AsPredicted . Затем проводится предварительно зарегистрированное исследование, и отчет об исследовании и его результатах представляется для публикации вместе с доступом к (анонимному) документу предварительной регистрации. Такой подход к предварительной регистрации позволяет рецензентам и последующим читателям делать перекрестные ссылки на документ предварительной регистрации с опубликованной исследовательской статьей, чтобы идентифицировать (а) любые «исследовательские» тесты, которые не были включены в документ предварительной регистрации, и (б) любые подавленные тесты, которые были включены в предварительно зарегистрированный протокол, но исключены из окончательного отчета об исследовании.

Зарегистрированные отчеты

Зарегистрированный формат отчета требует, чтобы авторы представили описание методов исследования и анализа до сбора данных. После того, как метод и план анализа будут проверены на этапе 1 экспертной оценки, предварительная гарантия публикации результатов. Затем проводится соответствующее исследование, и отчет об исследовании передается на 2-ю независимую экспертизу. Рецензирование на этапе 2 подтверждает, что фактические методы исследования согласуются с предварительно зарегистрированным протоколом и что пороговые значения качества соблюдены (например, проверки манипуляции подтверждают достоверность экспериментальной манипуляции). Исследования, прошедшие рецензирование на втором этапе, затем публикуются независимо от того, являются ли результаты подтверждающими или опровергающими, значительными или несущественными.

Следовательно, как предварительная регистрация, так и зарегистрированные отчеты включают создание немодифицируемой общедоступной записи с отметкой времени об исследовании и плане анализа до того, как данные будут собраны. Однако план исследования и анализа подлежит официальной экспертной оценке перед сбором данных только в случае зарегистрированных отчетов.

Специализированная предварительная регистрация

Предварительная регистрация может использоваться в отношении множества различных исследовательских проектов и методов, в том числе:

Регистрация клинического исследования

Регистрация клинических испытаний - это практика документирования клинических испытаний до того, как они будут внесены в реестр клинических испытаний, чтобы избежать предвзятости публикации и выборочной отчетности . В некоторых странах требуется регистрация клинических испытаний, и она становится все более стандартизированной. Некоторые ведущие медицинские журналы будут публиковать только результаты испытаний, которые были предварительно зарегистрированы .

Реестр клинических испытаний - это платформа, которая каталогизирует зарегистрированные клинические испытания. ClinicalTrials.gov , управляемый Национальной медицинской библиотекой США (NLM), был первым онлайн-реестром для клинических испытаний и остается самым крупным и широко используемым. Помимо борьбы с предвзятостью, реестры клинических испытаний служат для повышения прозрачности и доступа общественности к клиническим испытаниям. Реестры клинических испытаний часто доступны для поиска (например, по заболеванию / показаниям, лекарству, местоположению и т. Д.). Испытания регистрируются фармацевтической, биотехнологической или медицинской компанией (спонсором), больницей или фондом, спонсирующим исследование, или другой организацией, например контрактной исследовательской организацией (CRO), которая проводит исследование.

Правительства и международные организации, особенно с 2005 г., добивались более широкого доступа к информации о клинических испытаниях и стандартизации реестров и процессов регистрации. Всемирная организация здравоохранения работает над «достижением консенсуса по обеим минимальным и оптимальной рабочей норме для регистрации испытаний».

Создание и развитие

В течение многих лет ученые и другие лица беспокоились о предвзятости сообщения, так что отрицательные или нулевые результаты начатых клинических испытаний могут быть опубликованы с меньшей вероятностью, чем положительные, что искажает литературу и наше понимание того, насколько хорошо работают вмешательства. Это беспокойство приобрело международный характер, и о нем писали уже более 50 лет. Одним из предложений по устранению этой потенциальной предвзятости был всеобъемлющий реестр начатых клинических испытаний, который будет информировать общественность о том, какие испытания были начаты. Этические вопросы представляли собой те, которые, казалось, интересовали общественность больше всего, поскольку участники судебного процесса (включая тех, кто имел потенциальную коммерческую выгоду) получали выгоду от тех, кто участвовал в испытаниях, но от них не требовалось «отдавать», рассказывая публике то, что они узнали.

Двойные стандарты были особенно обеспокоены систематическими составителями обзоров, теми, кто суммировал то, что известно из клинических испытаний. Если литература искажена, то результаты систематического обзора также могут быть искажены, возможно, в пользу тестового вмешательства, хотя на самом деле накопленные данные не показывают этого, если бы все данные были обнародованы.

Сайт ClinicalTrials.gov изначально был разработан в основном в результате лоббирования потребителей рака груди, что привело к разрешению формулировок в Законе о модернизации FDA 1997 года ( Закон о модернизации Управления по санитарному надзору за качеством пищевых продуктов и медикаментов 1997 года. Pub L No. 105-115, §113 Stat 2296). ), но закон не предусматривал ни финансирования, ни механизма принуждения. Кроме того, закон требовал, чтобы сайт ClinicalTrials.gov включал только испытания серьезных и опасных для жизни заболеваний.

Затем в 2004 году произошло два события, которые повысили осведомленность общественности о проблемах предвзятости в отчетности. Во-первых, тогдашний генеральный прокурор штата Нью-Йорк Элиот Спитцер подал в суд на GlaxoSmithKline (GSK), потому что они не смогли раскрыть результаты испытаний, показывающих, что некоторые антидепрессанты могут быть вредными.

Вскоре после этого Международный комитет редакторов медицинских журналов (ICMJE) объявил, что их журналы не будут публиковать отчеты об испытаниях, если они не были зарегистрированы. Действия ICMJE, вероятно, были самым важным мотивом для регистрации испытания, поскольку исследователи хотели зарезервировать возможность публикации своих результатов в престижных журналах, если они захотят.

В 2007 году Закон 2007 года о поправках к Управлению по контролю за продуктами и лекарствами (FDAAA) разъяснил требования к регистрации, а также установил штрафы за несоблюдение (Государственный закон 110-85. Закон о поправках к Управлению по санитарному надзору за качеством пищевых продуктов и медикаментов 2007 года [1]) .

Международное участие

Международный комитет редакторов медицинских журналов (ICMJE) решил , что с 1 июля 2005 года будет рассматриваться не испытания для публикации , если они не включены в клинических испытаниях реестра. Всемирная организация здравоохранения начала толчка для регистрации клинических испытаний с началом Международных регистрации клинических испытаний платформы. Также были приняты меры со стороны фармацевтической промышленности, которая опубликовала планы по повышению прозрачности и доступности данных клинических испытаний. Выпущенная в октябре 2008 года пересмотренная Хельсинкская декларация гласит, что «каждое клиническое испытание должно быть зарегистрировано в общедоступной базе данных до набора первого субъекта».

Всемирная организация здравоохранения поддерживает портал международного реестра по адресу http://apps.who.int/trialsearch/ . ВОЗ заявляет, что миссия международного реестра состоит в том, чтобы «обеспечить доступность полного обзора исследований для всех, кто участвует в принятии решений в области здравоохранения. Это повысит прозрачность исследований и, в конечном итоге, повысит достоверность и ценность базы научных данных».

С 2007 года Международный комитет редакторов медицинских журналов ICMJE принимает все первичные реестры в сети ВОЗ в дополнение к Clinicaltrials.gov. Количество регистраций клинических испытаний в других реестрах, за исключением ClinicalTrials.gov, увеличилось независимо от дизайна исследований с 2014 года.

Отчетность о соответствии

В различных исследованиях измерялась степень соответствия различных испытаний стандартам отчетности их реестра.

Обзор реестров клинических исследований

См. Также: Список реестров клинических исследований.

Во всем мире растет число реестров. Исследование 2013 года выявило следующие пять ведущих реестров (данные обновлены по состоянию на август 2013 года):

1. ClinicalTrials.gov 150 551
2. Регистр ЕС 21 060
3. Сеть реестров Японии (JPRN) 12 728
4. ISRCTN 11 794
5. Австралия и Новая Зеландия (ANZCTR) 8 216

Поддержка журнала

Более 200 журналов предлагают вариант зарегистрированных отчетов ( Center for Open Science, 2019 ), а количество журналов, принимающих зарегистрированные отчеты, ежегодно увеличивается примерно вдвое ( Chambers et al., 2019 ).

Психологическая наука поощряет предварительную регистрацию исследований и отчетность о величине эффекта и доверительных интервалах. Главный редактор также отметил, что редакция будет просить тиражировать исследования с неожиданными результатами исследований с использованием небольших выборок, прежде чем разрешить публикацию рукописей.

В Nature Human Behavior принят зарегистрированный формат отчета, поскольку он «переносит акцент с результатов исследования на вопросы, которые определяют направление исследования, и методы, используемые для ответа на них».

European Journal of Personality определяет этот формат: «В зарегистрированном отчете авторы создают предложение по исследованию, которое включает теоретические и эмпирические основы, исследовательские вопросы / гипотезы и пилотные данные (если таковые имеются). После подачи это предложение будет рассмотрено перед сбором данных, и, если оно будет принято, документ, полученный в результате этой рецензируемой процедуры, будет опубликован независимо от результатов исследования ».

Обратите внимание, что только очень небольшая часть академических журналов по психологии и нейробиологии прямо заявили, что они приветствуют отправку репликационных исследований в их целях и объеме или инструкциях для авторов. Этот феномен не способствует созданию отчетов или даже попыток проведения повторных исследований.

В целом, количество участвующих журналов увеличивается, как указывает Центр открытой науки , который ведет список журналов, поощряющих подачу зарегистрированных отчетов.

Обоснование

В нескольких статьях изложено обоснование предварительной регистрации (например, Lakens, 2019 ; Nosek et al., 2018 ; Wagenmakers et al., 2012 ). Как резюмировал Рубин (2020, таблица 1) , предварительная регистрация помогает выявить и / или сократить следующие проблемы:

  1. Плохо спланированные гипотезы и тесты
  2. HARKing : нераскрытые гипотезы после того, как результаты известны
  3. Подавление априорных гипотез, дающих нулевые или не подтверждающие результаты
  4. Отклонения от плановых анализов
  5. Отсутствие ясности между подтверждающим и исследовательским анализами
  6. Нераскрытое множественное тестирование
  7. Разветвляющиеся пути, по которым исследователи принимают решение о том, какие тесты проводить на основе информации из своей выборки.
  8. р -hacking : продолжение анализа данных до тех порзначительное р пока не будет получено значение
  9. Необязательная остановка: повторение одного и того же теста на разных этапах сбора данных до получения значимого результата.
  10. Недопустимое использование значений p , потому что значения p теряют смысл в исследовательском анализе.
  11. Предвзятость исследователей, включая предвзятость подтверждения и предвзятость ретроспективного анализа.
  12. Выборочная отчетность о результатах: «выборка» конкретных поддерживающих результатов и подавление не поддерживающих результатов.
  13. Неясная серьезность теста, препятствующая идентификации гипотез с низкой вероятностью подтверждения, если они ложны
  14. Незарегистрированные нулевые результаты
  15. Предвзятость публикации : неопубликованные нулевые результаты, приводящие к проблеме отрисовки файла
  16. Потенциально низкая воспроизводимость , якобы из-за использования сомнительных методов исследования (например, HARKing, p -hacking, необязательная остановка)

Выявление подобных проблем с помощью предварительной регистрации помогает улучшить «интерпретируемость и достоверность результатов исследования» ( Nosek et al., 2018 , p. 2605). Однако Рубин (2020) утверждал, что только некоторые из этих вопросов являются проблемными и только при определенных условиях. Он также утверждал, что, когда они проблематичны, предварительная регистрация не требуется для выявления этих проблем. Вместо этого они могут быть идентифицированы с помощью (а) четкого обоснования текущих гипотез и аналитических подходов, (б) открытого доступа к исследовательским данным, материалам и кодам, и (в) демонстрации устойчивости исследовательских выводов к альтернативным интерпретациям и аналитическим подходам. .

Критика

Сторонники предварительной регистрации утверждали, что это «метод повышения достоверности опубликованных результатов» ( Nosek & Lakens, 2014 ), что он «делает вашу науку лучше за счет повышения достоверности ваших результатов» ( Центр открытой науки ) и что он «улучшает интерпретируемость и достоверность результатов исследований» ( Nosek et al., 2018 , p. 2605). Этот аргумент предполагает, что незарегистрированные исследовательские анализы менее «достоверны» и / или «интерпретируемы», чем предварительно зарегистрированные подтверждающие анализы, поскольку они могут включать «круговые рассуждения», в которых апостериорные гипотезы основаны на наблюдаемых данных ( Nosek et al., 2018 , с. 2600). Однако критики утверждали, что предварительная регистрация не обязательна для выявления круговой аргументации во время исследовательского анализа ( Rubin, 2020 ). Циклическое рассуждение можно идентифицировать, анализируя рассуждение как таковое, без необходимости знать, было ли это рассуждение предварительно зарегистрировано. Критики также отметили, что идея о том, что предварительная регистрация повышает доверие к исследованиям, может удерживать исследователей от проведения предварительных исследовательских анализов ( Coffman & Niederle, 2015 ; см. Также Collins et al., 2021, Study 1 ). В ответ сторонники предварительной регистрации подчеркнули, что предварительные анализы разрешены в предварительно зарегистрированных исследованиях, и что результаты этих анализов сохраняют некоторую ценность по отношению к генерации гипотез, а не к проверке гипотез. Предварительная регистрация просто делает более ясным различие между подтверждающими и исследовательскими исследованиями ( Nosek et al., 2018 ; Nosek & Lakens, 2014 ; Wagenmakers et al., 2012 ). Следовательно, хотя предполагается, что предварительная регистрация сокращает степень свободы исследователей на этапе анализа данных, предполагается, что это также «план, а не тюрьма» ( Dehaven, 2017 ). Однако критики возражают, что, если предварительная регистрация должна быть только планом, а не тюрьмой, тогда исследователи могут свободно отклоняться от этого плана и проводить исследовательский анализ, не опасаясь обвинений в низкой достоверности исследования из-за круговой аргументации и ненадлежащей исследовательской практики. такие как p- взлом и множественное тестирование, о котором не сообщается, что приводит к завышению количества ошибок в семье (например, Navarro, 2020 ). Они снова указали, что предварительная регистрация не требуется для решения таких проблем. Например, опасения по поводу p- взлома и множественного тестирования , о котором не сообщается, можно решить, если исследователи будут заниматься другими методами открытой науки , такими как (а) открытые данные и исследовательские материалы и (б) анализ устойчивости или мультивселенный (Rubin, 2020 ; Steegen et al. ., 2016 ; несколько других подходов см. В Srivastava, 2018 ). Наконец, что более важно, критики утверждали, что различие между подтверждающим и исследовательским анализами неясно и / или не имеет отношения к делу ( Devezer et al., 2020 ; Rubin, 2020 ; Szollosi & Donkin, 2019 ), и что обеспокоенность по поводу завышенного уровня семейных ошибок являются неоправданными, когда эти коэффициенты ошибок относятся к абстрактным, теоретическим, основанным на исследованиях гипотезам, которые не проверяются (Rubin, 2020 , 2021 ; Szollosi et al., 2020 ).

Также есть опасения по поводу практической реализации предварительной регистрации. Многие предварительно зарегистрированные протоколы оставляют много места для p- взлома ( Bakker et al., 2020 ; Heirene et al., 2021 ; Ikeda et al., 2019 ; Singh et al., 2021 ), и исследователи редко следуют точным методам исследования и анализы, которые они предварительно регистрируют ( Abrams et al., 2020 ; Claesen et al., 2019 ; Heirene et al., 2021 ; см. также Boghdadly et al., 2018 ; Singh et al., 2021 ; Sun et al., 2019 ). Например, обзор 27 предварительно зарегистрированных исследований показал, что исследователи во всех случаях отклонялись от своих предварительно зарегистрированных планов ( Claesen et al., 2019 ). Наиболее частые отклонения касались запланированного размера выборки, критериев исключения и статистической модели. Следовательно, то, что задумывалось как предварительно зарегистрированные подтверждающие тесты, превратилось в незапланированные исследовательские тесты. Опять же, сторонники предварительной регистрации утверждают, что отклонения от предварительно зарегистрированных планов приемлемы, если о них сообщается прозрачно и обоснованно. Они также отмечают, что даже нечеткая предварительная регистрация помогает уменьшить степени свободы исследователей и сделать любую остаточную гибкость прозрачной ( Simmons et al., 2021, p. 180 ). Однако критики утверждали, что бесполезно выявлять или оправдывать отклонения от предварительно зарегистрированных планов, если эти планы не отражают высококачественную теорию и исследовательскую практику . Как объяснил Рубин (2020) , «нас должно больше интересовать обоснование нынешнего метода и анализа, чем обоснование исторических изменений, которые привели к нынешнему методу и анализу» (стр. 378–379).

Наконец, некоторые комментаторы утверждали, что при некоторых обстоятельствах предварительная регистрация может на самом деле нанести вред науке, создав ложное ощущение достоверности научных исследований и анализов ( Девезер и др., 2020 ; Макфетрес, 2020 ; Фам и О, 2020 ; Сзоллози и др. ., 2020 ). В соответствии с этой точкой зрения, есть некоторые свидетельства того, что исследователи считают зарегистрированные отчеты более надежными, чем стандартные отчеты по ряду параметров ( Soderberg et al., 2020 ; см. Также Field et al., 2020 для неубедительных доказательств), хотя это неясно, представляет ли это «ложное» чувство доверия из-за ранее существовавшего положительного отношения сообщества к предварительной регистрации или истинное причинное влияние зарегистрированных отчетов на качество исследования.

Смотрите также

использованная литература

внешние ссылки