Лейденский манифест -Leiden Manifesto

Лейденский манифест для показателей исследований - это список «десяти принципов, которыми руководствуются при оценке исследований», опубликованный в качестве комментария в томе 520, выпуске 7548 журнала Nature от 22 апреля 2015 года. Он был сформулирован профессором государственной политики Дайаной Хикс, профессором наукометрии Полом Воутерс и их коллеги на 19-й Международной конференции по показателям науки и технологий, проходившей 3-5 сентября 2014 г. в Лейдене , Нидерланды.

LM - это предлагаемое руководство по борьбе с неправильным использованием библиометрии при оценке научно-исследовательской литературы. Примерами обычно используемых библиометрии для науки или наукометрии являются индекс Хирша , импакт-фактор и веб-сайты, отображающие такие индикаторы , как альтметрики . По словам Хикса и др., Эти показатели часто вводят в заблуждение при оценке научного материала.

Лейденский манифест для исследовательских показателей
Авторы Дайана Хикс, Пол Воутерс, Людо Уолтман, Сара де Райке, Исмаэль Рафолс
Издатель Природа
Дата публикации
22 апреля 2015 г.
Веб-сайт leidenmanifesto.org

Импетус

Мотивация для кодификации Лейденского манифеста возникла из-за растущего беспокойства по поводу того, что «одержимость импакт-факторами» приводит к неправильной оценке научного материала, который должен быть достойным справедливой оценки. Ведущий автор LM, Дайана Хикс, надеялась, что публикация в Nature расширит идеи, уже широко распространенные в сфере наукометрии, на более широкое научное сообщество. Хотя принципы LM не новы для наукометристов, Hicks et al. хотел создать объединение идей, которыми будут руководствоваться будущие редакторы и рецензенты научной литературы.

DORA и другие предшественники

Интерес к реформе проведения оценки исследований - постоянная дискуссия в научном сообществе. Известная декларация, направленная на пресечение использования импакт-фактора, Сан-Францисская декларация об оценке исследований была опубликована примерно за два года до манифеста. LM расширила идеи, представленные в DORA, который с тех пор подписали более 2000 организаций и более 15000 частных лиц.

Одна из основных проблем, связанных с чрезмерным использованием показателей эффективности, основанных на цитировании, возникла из наблюдения, что на более мелкие исследовательские организации и учреждения могут негативно повлиять их показатели показателей. В ходе одной публичной дискуссии в Центре исследований науки и технологий при Лейденском университете было признано, что индикаторы, измеряющие цитирование, могут придавать «больший вес публикациям из областей с большим ожидаемым числом цитирований, чем публикациям из областей с низким ожидаемым числом. цитат ».

Хотя основная цель LM основана на использовании наукометрии для оценки исследований, в ее основе Hicks et al. также объясните, почему чрезмерное использование показателей может отрицательно сказаться на более широком научном сообществе, например, на позиции университетов в глобальных рейтингах. По словам Хикса и др., Научные показатели, такие как цитируемость, слишком часто используются для ранжирования качества университетов (и, следовательно, качества результатов их исследований).

Импакт-фактор журнала

Предыстория LM описывает, почему неправильное использование метрик становится более серьезной проблемой в научном сообществе. Импакт - фактор журнала , первоначально созданный Eugene Garfield как метод библиотекарей для сбора данных для облегчения подбирая журналов для покупки, в настоящее время в основном используются в качестве метода оценки качества журнала. Это видно у Hicks et al. как злоупотребление данными с целью слишком поспешного изучения исследований. Например, импакт-фактор, являясь хорошей метрикой для измерения размера и опыта журнала, может быть или не может быть достаточным, чтобы точно описать качество его статей, и тем более для отдельной статьи.

Манифест

Состоящий из десяти кратких принципов и описания каждого из них, Лейденский манифест направлен на реконструкцию того, как оцениваются исследования академическими издателями и научными учреждениями. Его упор делается на детальной и тщательной оценке исследований, а не на чрезмерном использовании количественных данных в оценках. Он направлен на содействие академическому превосходству и справедливости с тщательной проверкой, а также устранение возможных порочных стимулов использования наукометрии, таких как оценка академических способностей и качества университетов.

Десять принципов

Десять принципов Лейденского манифеста заключаются в следующем:

  1. Количественная оценка должна поддерживать качественную экспертную оценку.
  2. Измеряйте эффективность в сравнении с исследовательскими задачами учреждения, группы или исследователя.
  3. Защищайте передовой опыт в исследованиях, актуальных для местных условий.
    • То есть разрешить публикацию исследований, проводимых в определенной области или области, в соответствующих местных исследовательских публикациях, вместо того, чтобы отдавать приоритет высокоэффективным журналам . Многие влиятельные журналы издаются на английском языке, что может снизить необходимую специфичность при публикации статьи, предназначенной для изучения особенностей местности. Например, в популярных испаноязычных газетах могут быть упущены «такие темы, как местное трудовое законодательство» и другие особенности, предназначенные для социологов.
  4. Сохраняйте процессы сбора данных и анализа открытыми, прозрачными и простыми.
  5. Позвольте тем, кто оценивается, проверить данные и анализ.
  6. Учитывайте вариации в публикациях и цитировании по областям.
    • Рецензирование и рейтинг цитирования могут сильно различаться в разных дисциплинах, например, «ведущие журналы по математике имеют импакт-фактор около 3; ведущие журналы по клеточной биологии имеют импакт-фактор около 30».
  7. Основывайте оценку отдельных исследователей на качественной оценке их портфолио.
  8. Избегайте неуместной конкретности и ложной точности .
    • По мнению Хикса и др., Использование научных показателей может предшествовать сильным предположениям, которые не обязательно являются правильными. Например, при взгляде на конкретного ученого низкий уровень цитирования может заставить исследователя предположить низкое качество исследования, что подразумевает причинно-следственную связь из корреляции . Предоставление разъяснений, а также множественные надежные индикаторы могут снизить несоответствующую конкретность. Ложная точность возможна, когда производители индикаторов, такие как Clarivate (которая публикует ежегодные отчеты о цитировании журнала ), пытаются создать точный импакт-фактор журнала (т. Е. Три десятичных разряда). Хикс и др. утверждают, что концептуальная неоднозначность и случайная изменчивость количества цитирований делают ненужным различать такие индексы, как импакт-факторы журналов, в такой точной степени, поскольку это может способствовать чрезмерному сравнению и конкуренции между издателями.
  9. Признайте системный эффект оценок и индикаторов.
  10. Регулярно изучайте индикаторы и обновляйте их.

Прием

Премия Джона Зимана 2016

В 2016 году Лейденский манифест был награжден премией Джона Зимана Европейской ассоциацией исследований науки и технологий за его усилия по расширению наукометрических знаний в научном сообществе в целом. Президент EASST Фред Стюард заявил, что LM «подчеркивает ситуативность с точки зрения различных когнитивных областей и исследовательских задач, а также более широкого социально-экономического, национального и регионального контекста». Эта награда способствовала укреплению LM как продолжающейся общественной дискуссии в научном сообществе. Награду хорошо приняла ведущий автор книги Дайана Хикс.

Лейденский манифест , метрический прилив и ДОРА

Leiden Манифест приобрел популярность после его публикации, в основном научной издательского сообщества , который выглядел реформировать свою практику. LM часто цитируют вместе с другими подобными публикациями; это академический обзор DORA и Великобритании The Metric Tide . В публичном заявлении Университета Лидса была выражена поддержка использования принципов LM вместе с DORA и The Metric Tide с целью дальнейшего совершенствования исследований.

Общественное одобрение

LIBER , сотрудничество европейских исследовательских библиотек, опубликовало обстоятельный обзор LM в 2017 году. В нем сделан вывод о том, что LM является «прочной основой», на которой академические библиотеки могут основывать свою оценку показателей.

Elsevier , мировой лидер в области публикаций исследований и информационной аналитики, объявил 14 июля 2020 года, что он одобряет LM, который будет направлять свою разработку улучшенной оценки исследований. Эльзевьер заявил, что принципы манифеста уже близки по своей природе к их показателям CiteScore за 2019 год , которые в итоге представляют собой «улучшенную методологию расчета» для «более надежного, справедливого и быстрого индикатора результатов исследования». Это согласование еще больше популяризировало LM, а также проиллюстрировало сдвиг в методах оценки в известных исследовательских публикациях.

Университет Лафборо LIS комитет -Bibliometrics решил основывать свои принципы на тех , ОМ вместо ДОРУ, потому что в соответствии с их менеджером политики Элизабет GA, ЛЙ занимает « более широкий подход к ответственному использованию всех библиометрии по целому ряду дисциплин и настройки ». Стивен Карри, председатель руководящего комитета DORA, прокомментировал это заявление, подчеркнув, что DORA стремится расширить свое «дисциплинарное и географическое влияние». Тем не менее, он по-прежнему ясно дал понять, что университет должен иметь право выбирать, следовать либо DORA, либо LM, либо ни одному, при условии разумного обоснования.

Дальнейшие приложения

Дэвид Мохер и др. сослался на LM в перспективе проблем науки и технологий, что «правильные вопросы» (т.е. планирование исследований, временные рамки, воспроизводимость и результаты) для оценки ученых не задавались академическими учреждениями. Moher et al. критиковать навязчивую идею журнальных импакт-факторов и "игр" исследователей наукометрии. Вместо этого Moher et al. выступать за использование DORA и LM при оценке отдельных ученых и исследований.

Т. Канчан и К. Кришан в письме в журнале Science and Engineering Ethics описывают, почему LM является «одним из лучших критериев» для оценки научных исследований, особенно с учетом «крысиных бегов» для публикаций в научном сообществе. Канчан и Кришан подчеркивают, что использование LM приведет к «прогрессу науки и общества в целом».

Смотрите также

Рекомендации