12.08.15

Usage metrics - как эти данные помогут вам увидеть более полную картину?

Ежедневно каждый из нас принимает тысячи решений. Эти решения могут быть важными (напр., решение о свадьбе, о совершении крупной покупки, о пополнении в семье) и повседневными (напр., решение относительно выбора еды для обеда). Многие решения принимаются на основании анализа разного рода информации.

Это применимо и для научных исследований и оценки их результатов. При оценке статьи, человека, группы или учреждения необходимо понимать, что истинная результативность является многогранной. Компания Elsevier создала инструменты, позволяющие получить доступ к метрикам на основе статистики использования. Эти метрики могут применяться для более полной оценки результативности научно-исследовательской деятельности.

Доступность данных по использованию является относительно новым явлением, поэтому научно-исследовательские метрики, созданные на основе таких данных, пока что не являются общепринятыми. «Руководство по использованию» («Usage Guidebook») дополняет «Руководство по метрикам SciVal» («SciVal Metrics Guidebook») и содержит практические рекомендации по применению метрик использования, а также информацию о надлежащем использовании нескольких метрик при оценке результативности научно-исследовательской работы.

Ниже представлены пять аргументов в пользу метрик, основанных на информации по использованию статей:

1. Принятие правильных решений невозможно без осознания того, что успешность исследователей и качество их работ может принимать различные формы и образы. Исследователи могут быть признаны успешными, если они являются продуктивными и цитируемыми. А что, если ученые не имеют больших показателей цитируемости, но их работы активно используются научным сообществом? Эти ученые также являются по-своему успешными. Существует много других способов быть успешными, поэтому при принятии решений необходимо совместно использовать метрики, основанные на различных видах данных. Данные использования и соответствующие метрики являются важным элементом оценки успешности и результативности.

2. Научно-исследовательский процесс является комплексным, и его количественная оценка возможна лишь при применении множества критериев (в том числе, пользовательской статистики). К сожалению, данные использования применяются только для целей прогнозирования количества цитирований. Количество цитирований является важным показателем, но данный показатель не должен быть использован в качестве основного. Статистика  использования также является важным показателем.

3. Количество просмотров является самым ранним индикатором интереса к исследованию. Сразу же после публикации исследование может вызвать сильный интерес со стороны научного сообщества. Данные о количестве просмотров способны выявить тренды (новые направления исследований, а также талантливых молодых исследователей).

4. Данные использования демонстрируют интерес научно-исследовательского и студенческого сообществ к тому или иному исследованию, даже если члены этих сообществ не публикуют свои работы. Отсутствие публикаций ведет к отсутствию цитирований. Одну треть научно-исследовательского сообщества составляют пользователи (Beyond Bibliometrics, глава 17) – студенты, аспиранты, а также исследователи из корпоративного сектора. Интересы этих пользователей фактически не отражены в данных о цитированиях. Данные пользовательской статистики отражают действия пользователей, не публикующих исследования.

5. Данные использования могут применяться для оценки статей исследователей, которые публикуют свои работы и ожидают, что их работы будут использоваться, но могут не цитироваться. По данным Elsevier, среднестатистический исследователь тратит 23 процента своего рабочего времени на поиск, чтение, обзор и использование опубликованной литературы. В области искусств и гуманитарных наук, к примеру, вероятность цитирования статей является низкой, несмотря на большой к ним интерес. Это становится очевидным при анализе количества просмотров. Также, клинические исследования используются специалистами, работающими с пациентами. Они очень активно читают исследования, но не публикуют собственные работы.

Ниже приведены два примера применения метрик, основанных на информации по использованию.

Пример 1: Какова результативность моих публикаций?
«My Research Dashboard» позволяет исследователям узнать результативность своей научно-исследовательской работы - количество загрузок, количество статей в совместном пользовании, информация о цитируемости, данные о географическом местоположении читателей, а также о предметной специализации читателей. Источником этих данных является ScienceDirect. С помощью данных использования исследователи могут оценить свою деятельность. Также они могут продемонстрировать результативность своих работ и оценить эффект, оказываемый на научное сообщество (требуется при подаче заявок на получение грантов, при устройстве на работу в учебное заведение).

К примеру, исследователь может узнать:

  • Что одна из самых последних публикаций пользуется большим спросом с точки зрения количества просмотров, несмотря на то, что она еще не имеет цитирований;
  • Что перечень опечаток, не имеющий цитирований и не ожидающий их получения, активно просматривается научным сообществом;
  • Что более ранняя публикация, имеющая определенное количество цитирований, до сих пор активно просматривается читателями. Использование обеих метрик дает более полное представление о статье, чем каждая из метрик по отдельности;

  • Какие именно страны просматривают его/ее публикации. В представленном ниже примере публикация пользуется популярностью в Великобритании, Австралии, Голландии, Китае и США. Исследователь может использовать эту информацию для демонстрации «международного охвата» своей работы, даже при отсутствии цитирований.

 

Пример 2: Изучение исследовательской тематики
SciVal содержит инструменты, позволяющие анализировать многие аспекты научно-исследовательского процесса во всем мире, и предоставляет информацию о количестве просмотров публикаций или исследовательских тематик. Эти данные могут быть представлены в разрезе стран или секторов. К примеру, ученые обнаружили, что сидячий образ жизни и продолжительное пребывание в сидячей позе увеличивает риск развития различных заболеваний (рак, сердечные заболевания, диабет 2 типа). Кроме того, было установлено, что негативные последствия сидячего образа жизни являются необратимыми (вне зависимости от занятия спортом или наличия прочих полезных привычек). Согласно SciVal, исследовательская тематика «sitting» характеризуется частым употреблением ключевых слов «posture», «motor activity» и «exercise».

Ключевые слова исследовательской тематики «sitting» (Источник: SciVal, на основании данных использования из Scopus по состоянию на 16 февраля 2015 г.)

Глобальный обзор институциональной активности в исследовательской тематике «sitting» показывает, что самые продуктивные учреждения, на основании показателя «Scholarly Output» («Количество научных работ»), одновременно являются самыми просматриваемыми (на основании показателя «Количество просмотров», или «Views Count»). Но это не всегда так.

 

Глобальный обзор институциональной активности в исследовательской тематике «сидячий образ жизни» (Источник: SciVal, на основании данных из Scopus)

При более тщательном анализе мы можем определить наиболее успешные учебные заведения в исследовательской тематике «sitting»:

  • Продуктивный, хорошо цитируемый, на основании «Количества цитирований» («Citation Count»), а также часто просматриваемый – Университет Квинсленда
  • Продуктивный, но не имеющий много цитирований и просмотров по сравнению с другими университетами в этой исследовательской тематике – Университет Сан-Паулу
  • Много цитирований и просмотров, однако немного публикаций по сравнению с другими университетами – Университет Сиднея
  • Много цитирований, но немного просмотров – Гарвардский университет
  • Много просмотров, но немного цитирований и опубликованных работ – Университет Дикина

5 наиболее продуктивных учебных заведений в исследовательской тематике «sitting»


5 наиболее цитируемых учебных заведений в исследовательской тематике «sitting»


5 наиболее просматриваемых учебных заведений в исследовательской тематике «sitting»

Понятие «успешности» может различаться в зависимости от пользователей и их взглядов, страны пребывания, опыта - не существует единого «правильного» определения успешности. Каждое определение «успешности» является подходящим для определенных целей. Именно поэтому очень важно иметь несколько опций для оценки. 

Статья была опубликована на английском языке на Elsevier Connect. Авторы: Lisa Colledge, DPhil, и Chris James. 

Все новости