Альтметрики - Altmetrics

Эта статья посвящена альтернативным научным метрикам воздействия. Не следует путать с показателями на уровне статьи .
Часть серии о
Показатели цитирования
Оригинальный логотип из Манифеста Altmetrics.

В научных публикациях альтметрики - это нетрадиционные библиометрии, предлагаемые в качестве альтернативы или дополнения к более традиционным метрикам воздействия цитирования , таким как импакт-фактор и h- индекс . Термин «альтметрики» был предложен в 2010 году как обобщение метрик на уровне статей и уходит своими корнями в хэштег #altmetrics . Хотя альтметрики часто рассматриваются как метрики статей, их можно применять к людям, журналам, книгам, наборам данных, презентациям, видео, репозиториям исходного кода, веб-страницам и т. Д. Альтметрики используют общедоступные API на разных платформах для сбора данных с помощью открытых скриптов. и алгоритмы. Изначально альтернативные метрики не охватывали подсчет цитирований , но рассчитывали влияние на ученых на основе результатов различных онлайн-исследований, таких как социальные сети, онлайн-новостные СМИ, онлайн-менеджеры справочной информации и т. Д. Он демонстрирует как воздействие, так и детальный состав воздействия. Альтернативные метрики могут применяться к фильтрам исследований, досье по продвижению и срокам пребывания, заявкам на гранты и для ранжирования недавно опубликованных статей в академических поисковых системах .

Принятие

Развитие веб 2.0 изменило поиск и распространение исследовательских публикаций в академии или за ее пределами, но также предоставило новые инновационные конструкции для измерения широкого научного воздействия научной работы. Хотя традиционные метрики полезны, их может быть недостаточно для измерения немедленных и не цитируемых воздействий, особенно за пределами области рецензирования.

Такие проекты, как ImpactStory , и различные компании, включая Altmetric и Plum Analytics , рассчитывают альтметрики. Несколько издателей начали предоставлять такую ​​информацию читателям, в том числе BioMed Central , Public Library of Science (PLOS) , Frontiers , Nature Publishing Group и Elsevier .

В 2008 году Journal of Medical Internet Research начал систематически собирать твиты о своих статьях. Начиная с марта 2009 г. Публичная научная библиотека также ввела показатели на уровне статей для всех статей. Спонсоры начали проявлять интерес к альтернативным показателям, в том числе Совет медицинских исследований Великобритании. Альтметрики использовались исследователями в приложениях для проверки продвижения. Кроме того, несколько университетов, в том числе Университет Питтсбурга , экспериментируют с альтметриками на уровне институтов.

Однако также отмечается, что статья не требует особого внимания, чтобы перейти к верхнему квартилю ранжированных статей, что позволяет предположить, что в настоящее время доступно недостаточно источников альтметрик, чтобы дать сбалансированную картину воздействия для большинства статей.

Что важно для определения относительного влияния статьи, сервис, который вычисляет статистику альтметрик, требует значительного объема базы знаний. В следующей таблице показано количество работ, охваченных услугами (по состоянию на 2016 год):

Веб-сайт Количество работ
Plum Analytics ~ 29,7 миллиона
Altmetric.com ~ 27,6 миллиона
ImpactStory ~ 1 миллион

Категории

Альтметрики - это очень широкая группа показателей, отражающих различные аспекты воздействия, которое может оказать документ или работа. Классификация альтметрик была предложена ImpactStory в сентябре 2012 года, и очень похожая классификация используется Публичной научной библиотекой:

  • Просмотрено - просмотры HTML и загрузки PDF
  • Обсуждается - комментарии в журналах, научные блоги, Википедия, Twitter, Facebook и другие социальные сети.
  • Сохранено - Mendeley , CiteULike и другие социальные закладки
  • Цитирование - ссылки в научной литературе, отслеживаемые Web of Science , Scopus , CrossRef и другими.
  • Рекомендуется - например, используется F1000Prime

Просмотрено

Одним из первых использовавшихся альтернативных показателей было количество просмотров статьи. Традиционно автор желает публиковаться в журнале с высоким уровнем подписки, поэтому многие люди будут иметь доступ к исследованиям. С появлением веб-технологий стало возможным фактически подсчитывать, как часто просматривается отдельная статья. Обычно издатели подсчитывают количество просмотров HTML и просмотров PDF. Еще в 2004 году BMJ опубликовал количество просмотров своих статей, которое, как выяснилось, несколько коррелировало с цитированием.

Обсуждается

Обсуждение статьи можно рассматривать как показатель, отражающий потенциальное влияние статьи. Типичные источники данных для расчета этого показателя включают Facebook , Google+ , Twitter , научные блоги и страницы Википедии. Некоторые исследователи рассматривают упоминания в социальных сетях как цитаты. Например, цитирование в социальной сети можно разделить на две категории: внутренние и внешние. Например, первый включает ретвиты, второй относится к твитам, содержащим ссылки на внешние документы. Корреляция между упоминаниями, лайками и цитированием в первичной научной литературе была изучена, и в лучшем случае была обнаружена небольшая корреляция, например, для статей в PubMed . В 2008 году журнал медицинских интернет-исследований начал публиковать обзоры и твиты . Эти «твиты» оказались хорошим индикатором высоко цитируемых статей, что побудило автора предложить «фактор Twimpact», который представляет собой количество твитов, которые он получает за первые семь дней публикации, а также Twindex, который является процентиль рейтинга фактора Twimpact статьи. Однако при внедрении использования фактора Twimpact, исследования показывают, что оценки сильно зависят от предметной области, и в результате сравнения факторов Twimpact следует проводить между статьями одной и той же предметной области. Необходимо отметить, что, хотя прошлые исследования в литературе продемонстрировали корреляцию между твитами и цитатами, это не причинная связь. На данный момент неясно, происходит ли большее количество цитирований в результате большего внимания СМИ через Twitter и другие платформы, или это просто отражение качества самой статьи.

Недавнее исследование, проведенное на индивидуальном уровне, а не на уровне статей, поддерживает использование Twitter и социальных сетей в качестве механизма повышения ценности воздействия. Результаты показывают, что исследователи, чьи работы упоминаются в Твиттере, имеют значительно более высокие индексы Хирша, чем у исследователей, чьи работы не упоминались в Твиттере. В исследовании подчеркивается роль использования дискуссионных платформ, таких как Twitter, для повышения ценности традиционных показателей воздействия.

Помимо Twitter и других потоков, блоги показали себя как мощную платформу для обсуждения литературы. Существуют различные платформы, которые отслеживают, о каких статьях пишут в блогах. Altmetric.com использует эту информацию для расчета показателей, в то время как другие инструменты просто сообщают, где происходит обсуждение, например ResearchBlogging и Chemical blogspace.

рекомендуемые

Платформы могут даже предоставить формальный способ ранжирования работ или рекомендаций по другим работам, например, Faculty of 1000 .

Сохранено

Также полезно подсчитать, сколько раз страница была сохранена или добавлена ​​в закладки. Считается, что люди обычно выбирают закладки для страниц, которые имеют большое отношение к их собственной работе, и в результате закладки могут быть дополнительным индикатором воздействия на конкретное исследование. Поставщики такой информации включают специализированные службы социальных закладок, такие как CiteULike и Mendeley .

Цитируется

Указанная категория представляет собой узкое определение, отличное от обсуждаемого. Помимо традиционных показателей, основанных на цитировании в научной литературе, например, полученных из Google Scholar , CrossRef , PubMed Central и Scopus , альтметрики также используют ссылки из вторичных источников знаний. Например, ImpactStory подсчитывает количество ссылок на статью в Википедии. Plum Analytics также предоставляет показатели для различных научных публикаций, чтобы отслеживать продуктивность исследований. PLOS также является инструментом, который можно использовать для использования информации о взаимодействии.

Интерпретация

Хотя единого мнения относительно достоверности и согласованности альтметрик нет, в частности, обсуждается интерпретация альтметрик. Сторонники альтметрик ясно дают понять, что многие метрики показывают внимание или вовлеченность, а не качество воздействия на прогресс науки. Даже показатели, основанные на цитировании, не указывают на то, означает ли высокий балл положительное влияние на науку; то есть статьи также цитируются в статьях, которые не согласуются с цитируемой статьей, например, проблема решена в проекте Citation Typing Ontology.

Альтернативные метрики можно было бы более правильно интерпретировать, предоставляя подробные контекстные и качественные данные. Например, чтобы оценить научный вклад научной работы в формирование политики с помощью альтметрик, в качестве доказательства должны быть представлены качественные данные, например, кто цитирует в Интернете и в какой степени онлайн-цитирование актуально для разработки политики.

Что касается относительно низкой корреляции между традиционными метриками и альтметриками, альтметрики могут измерять дополнительные перспективы влияния ученых. Разумно комбинировать и сравнивать два типа показателей при интерпретации социальных и научных воздействий. Исследователи построили структуру 2 * 2, основанную на взаимодействии альтметрик и традиционных цитирований. Дальнейшие пояснения должны быть предоставлены для двух групп с высокими альтметриями / низкими значениями цитирования и низкими альтметриями / высокими значениями цитирования. Таким образом, альтметрики предоставляют исследователям и учреждениям удобный подход к отслеживанию воздействия их работы и избежанию неправильной интерпретации.

Полемика

Польза метрик для оценки научного воздействия спорна. Исследования показали, что онлайн-шумиха может усилить влияние других форм информационно-пропагандистской деятельности на научное влияние исследователей. Для нано-ученых, упомянутых в Твиттере, их взаимодействие с репортерами и не-учеными положительно и значительно предсказывало более высокий индекс Хирша, в то время как не упомянутая группа потерпела неудачу. Альтернативные метрики расширяют возможности измерения влияния ученых, сдерживая быстрое восприятие, более широкий круг аудиторий и разнообразные результаты исследований. Кроме того, сообщество демонстрирует явную потребность: спонсоры требуют измеримых показателей воздействия своих расходов, таких как участие общественности.

Однако есть ограничения, которые влияют на полезность из-за технических проблем и систематической ошибки построения, таких как качество данных, неоднородность и особые зависимости. Что касается технических проблем, данные могут быть неполными, потому что трудно собрать эти результаты онлайн-исследований без прямых ссылок на их упоминания (например, видео) и идентифицировать разные версии одной исследовательской работы. Кроме того, не решено, приводит ли API к отсутствию каких-либо данных.

Что касается систематической предвзятости, как и другие показатели, альтметрики склонны к самоцитированию, играм и другим механизмам, чтобы усилить очевидное влияние. Альтметрики можно использовать в игре : например, можно покупать лайки и упоминания. Альтметрики сложнее стандартизировать, чем цитаты. Одним из примеров является количество твитов, ссылающихся на статью, где это количество может сильно варьироваться в зависимости от того, как собираются твиты. Кроме того, популярность в Интернете может не соответствовать научным ценностям. Некоторые популярные онлайн-цитаты могут быть далекими от ценности для создания дальнейших исследовательских открытий, в то время как некоторые теоретические исследования или исследования, ориентированные на меньшинства, имеющие большое научное значение, могут быть маргинализованы в Интернете. Например, самые популярные статьи по биомедицине в 2011 году были связаны с любопытным или забавным контентом, потенциальными приложениями для здоровья и катастрофами.

Альтернативные показатели для более свежих статей могут быть выше из-за растущего использования социальных сетей и потому, что статьи могут упоминаться в основном тогда, когда они публикуются. В результате было бы несправедливо сравнивать оценки альтметрик статей, если они не были опубликованы в одно и то же время. Исследователи разработали знаковый тест, чтобы избежать предвзятости использования, сравнивая показатели статьи с двумя статьями, опубликованными непосредственно до и после нее.

Следует иметь в виду, что показатели - это только один из результатов отслеживания распространения и использования исследований. Альтметрики следует интерпретировать с осторожностью, чтобы преодолеть предвзятость. Еще более информативным, чем знание того, как часто цитируется статья, является то, какие статьи ее цитируют. Эта информация позволяет исследователям увидеть, как их работа влияет на область (или нет). Поставщики метрик также обычно предоставляют доступ к информации, на основе которой были рассчитаны метрики. Например, Web of Science показывает, какие статьи являются цитирующими, ImpactStory показывает, какие страницы Википедии ссылаются на статью, а CitedIn показывает, какие базы данных извлекли данные из статьи.

Другая проблема, связанная с альтметриками или любыми другими метриками, заключается в том, как университеты или учреждения используют метрики для ранжирования своих сотрудников при принятии решений о продвижении или финансировании, и цель должна быть ограничена измерением вовлеченности.

В целом результаты онлайн-исследований очень малы и различаются по разным дисциплинам. Это явление может быть связано с тем, что ученые используют социальные сети. Опросы показали, что почти половина их респондентов неоднозначно относятся к влиянию социальных сетей на академическое влияние и никогда не объявляли о своей исследовательской работе в социальных сетях. С изменяющимся сдвигом в открытой науке и использовании социальных сетей более вероятно, что будут приняты согласованные альтметрики по дисциплинам и учреждениям.

Текущее исследование

Конкретные варианты использования и характеристики - это активная область исследований в области библиометрии , предоставляющая столь необходимые данные для измерения влияния самой альтметрики. Публичная научная библиотека имеет коллекцию альтметрик, а ежеквартальные информационные стандарты и журнал Aslib Journal of Information Management недавно опубликовали специальные выпуски по альтметриям. В конце 2015 года была опубликована серия статей, в которых подробно рассматриваются альтметрики.

Есть и другие исследования, в которых изучается достоверность одного альтметрика или проводится сравнение на разных платформах. Исследователи рассматривают корреляцию между альтметриками и традиционными ссылками в качестве теста на валидность. Они предполагают, что положительная и значимая корреляция показывает точность альтметрик для измерения научного воздействия в виде цитат. Низкая корреляция (менее 0,30) приводит к выводу, что альтметрики играют дополнительную роль в измерении воздействия на ученых, например в исследовании Ламбы (2020), который изучил 2343 статьи, содержащие как альтметрические оценки внимания, так и цитаты, опубликованные 22 ключевыми преподавателями политики здравоохранения. членов Гарвардской медицинской школы, и наблюдалась значительная сильная положительная корреляция (r> 0,4) между агрегированными ранжированными альтметрическими оценками внимания и ранжированными значениями цитирования / повышенного цитирования для всех преподавателей, участвовавших в исследовании. Однако остается нерешенным, какие альтметрики являются наиболее ценными и какая степень корреляции между двумя метриками оказывает более сильное влияние на измерение. Кроме того, сам тест на достоверность также сталкивается с некоторыми техническими проблемами. Например, репликация сбора данных невозможна из-за мгновенной смены алгоритмов поставщиков данных.

Смотрите также

использованная литература

внешние ссылки