Индекс Хирша выхолащивает существо научного исследования

762 1

Писатели-фантасты иногда оказываются пророками — их идеи со временем воплощаются в реальность. Например, процедура печати бумажного экземпляра книги по запросу (Станислав Лем, «Возвращение со звезд») осуществилась совсем недавно.

Братья Стругацкие в повести «Хромая судьба» придумали фантастическую машину, которая после анализа художественного текста выдает единственное число — «наивероятнейшее количество читателей», принимаемое за количественную оценку как таланта, так и успешности автора. Мы дожили и до реализации этой фантазии, правда, пока только применительно к научным трудам.

https://ic.pics.livejournal.com/ss69100/44650003/2616516/2616516_300.png

Чему равен ваш h?

Вопрос, вынесенный в заголовок статьи, волнует сегодня всех членов российского и мирового сообщества.

Индекс Хирша — это один из самых «модных» способов измерения научной продуктивности ученого, выраженной в количестве и популярности его публикаций.

Понятно, что количество и популярность — вещи разные, но хотелось бы иметь какой-то обобщенный параметр.

Такой параметр и предложил в 2005 году аргентино-американский физик Хорхе Хирш; ныне он именуется «индекс Хирша», или проcто «Хирш», и обозначается h.

По определению, ученый имеет индекс h, если h из его Np статей цитируются как минимум h раз каждая, в то время как оставшиеся (Np — h) статей цитируются не более чем h раз каждая. Так, если у человека опубликовано 100 статей, на каждую из которых имеется лишь одна ссылка, его h равен 1 — как и у того, кто опубликовал одну статью, на которую сослались 100 раз.

В проигрыше и тот, кто публикует много никому не интересных статей, и тот, кто публикуется мало, даже когда статьи его имеют огромный успех. Если же у исследователя одна статья с девятью цитированиями, две статьи с не менее чем восемью цитированиями (включая уже упомянутую с девятью), три статьи с не менее чем семью цитированиями… девять статей с не менее чем одним цитированием каждой из них, то его h равен пяти — на пять его статей сослались по пять раз или более.

В принципе индекс Хирша — надежная и удобная характеристика известности (иногда заслуженной, а иногда и нет) того или иного специалиста в определенной области науки. Гораздо реже и с существенно большей осторожностью индекс Хирша можно применять для оценки достижений в современной технике.

Большая часть публикаций специалистов в этой области — патенты или книги, а их цитируемость, в отличие от цитируемости журнальных статей и некоторых монографий и сборников, в большинстве библиографических баз данных не отслеживается.

Сам по себе индекс Хирша — не универсальное мерило личного научного вклада, о котором надо судить по совокупности многих параметров. Этот индекс в наукометрии играет примерно такую же роль, как, скажем, температура тела в медицинской диагностике: никакой квалифицированный врач по одной только температуре без учета иных симптомов диагноз ставить не будет, но отклонение температуры от нормы обязательно вызовет у него настороженность.

При этом надо понимать, что «нормальный» индекс Хирша может быть неодинаковым для ученых одного и того же уровня в различных областях человеческого знания и в разные времена.

Замедляющийся рост

Три года назад мы опубликовали небольшое исследование о том, как индекс Хирша связан с индексом цитируемости, то есть общим количеством упоминаний работ автора, отреферированных в библиографических базах данных («Вестник РАН», 2014, 84, 3, 28—38). Мы воспользовались сведениями Web of Science-Core Collection. (Тогда эта база данных называлась просто Web of Science — в отличие от более полной и разнообразной, но не до конца очищенной от повторов базы Web of Knowledge, которая впоследствии была переименована в Web of Science-All Databases.)

На примере современных библиометрических данных для специалистов в области материаловедения и неорганической химии мы установили простую зависимость между индексом Хирша h и индексом цитирования N: чаще всего индекс Хирша примерно равен половине квадратного корня из индекса цитирования: h = 0,5N0,5.

При этом значение показателя степени было выведено, а коэффициент — эмпирическая величина. Нам показалось интересным проверить достоверность нашего вывода и посмотреть, как с течением времени за последние три года изменились библиометрические характеристики для тех же самых авторов.

https://hij.ru/upload/medialibrary/fb7/fb76d9c2a515e48d33d7850fead66641.jpg

1. Зависимость индекса Хирша h от индекса цитирования N для 75 ученых. Черные точки — данные на январь 2014 года, красные точки — данные на февраль 2017-го. Кривая — уравнение h = 0,57N0,48, коэффициент корреляции — 98%

На рис. 1 представлены данные о публикационной активности 75 российских и зарубежных ученых, работающих (или работавших) в области химии, физики, науки о материалах, причем учтены подвижки, произошедшие за три года. Видно, что точки двигаются вдоль одной и той же аппроксимирующей кривой, причем разброс редко превышает две-три единицы.

Из этой зависимости следует, в частности, что подъем Хирша — тяжелая работа и чем дальше, тем труднее: для увеличения h на единицу необходимо увеличение общего числа цитирований N на 8h.

Третья цель

Много было сказано об индексах цитирования и индексе Хирша. Вот что, например, написал британский ученый Питер Лоуренс («Ethics in Science and Environmental Politics», 2008, 8, 9—11 doi: 10.3354/esep00079):

«Всегда в науке было три цели публикации: распространить новую информацию для усвоения людьми и для дальнейшего развития науки, лишь в-третьих — чтобы поддержка ученого, финансовая или иная, могла быть оправдана в глазах заинтересованных сторон. Эта третья причина была вспомогательной (хотя с самого начала, от Кеплера и Галилея, она была важна. — Примеч. авт.), но теперь это не так — опубликование стало главной целью, это путь выживания ученого.

Кардинальная смена приоритетов нанесла вред научной практике, трансформировала мотивацию исследователей, изменила способ представления результатов и уменьшила точность и доступность научной литературы. Снова и снова работы представляются в журналы преждевременно, а проекты либо срочно слепляются друг с другом, либо специально конструируются, чтобы “сделать статьи” до истечения сроков.

Ученые учатся правильно упаковывать свои работы, чтобы они могли быть поданы сначала в журналы, а потом в утробы грантовских агентств.

В настоящее время стратегия должна состоять в игнорировании или скрытии конфликтов. Их открытое рассмотрение может быть опасным, так как, возможно, какой-то из рецензентов может быть раздражен, ибо он участвовал в получении этих результатов.

Растущее использование h-индекса — который, будучи основанным на числах цитирований, пытается дать количественное выражение сразу и продуктивности, и влиятельности ученого, — ведет к зависимости от цитирования и к одержимости им. Использование численных измерений поощряет агрессивное, стяжательское и эксплуататорское поведение».

На примере индекса Хирша можно проследить проявление закона сакрализации, придания священного характера собственным творениям, который как действовал в архаических сообществах, так продолжает действовать и сейчас (Федоров П.П. Архаическое мышление: вчера, сегодня, завтра. М.: УРСС, 2009).

Не цитируют, но читают?

Недавно появилась новая информация, которая позволяет более реально оценить весомость этого индекса. Издательство «Шпрингер» обнародовало информацию не только о числе цитирований каждой конкретной статьи, опубликованной в журналах этого издательства, но и о том, сколько раз эту статью скачали.

Это официальное число скачиваний, за которое издательство тем или иным образом получило деньги (широко распространенное пиратство и получение текстов из других источников этой статистикой не учитывается). Надо полагать, именно последнее число отражает действительный интерес научного сообщества к опубликованной информации (поскольку за нее хоть немного, но уплачено).

Соответственно и анализ соотношения «цитируемость — скачиваемость» представляет интерес. То, что издательство «Шпрингер» публикует переводы на английский язык большинства российских журналов, говорит об их востребованности.

https://hij.ru/upload/medialibrary/81e/81ebbb91f8f44b30feaba318df7fb242.jpg

2. Сопоставление числа цитирований (по горизонтали) и числа скачиваний (по вертикали)

Для анализа выбраны данные о публикациях одного из авторов этой заметки, имеющего индекс Хирша h = 31 по Web of Science — Core Collection, в журналах «Журнал неорганической химии», «Неорганические материалы», «Кристаллография», «Доклады РАН», «Физика твердого тела», «Электрохимия».

Эти сведения доступны в базе ResearcherID.com (идентификатор B-9438-2012). Учтены только статьи, опубликованные в 2005—2015 годах, — более поздние статьи могли просто не успеть процитировать. Всего 100 публикаций (рис. 2).

Общие выводы таковы. Корреляция между цитированием и скачиванием составляет только 9%, другими словами, число цитирований статьи весьма слабо связано с числом скачиваний текста. Что и неудивительно, ведь цитирование и скачивание — это разные информационные действия (распространение и получение информации).

Видны несколько разительных несоответствий, когда цитирование одно, а скачиваний — 114, или цитирований два, а скачиваний — 253, или цитирований ноль, а скачиваний — 87 или 61.

Таким образом, индекс Хирша или индекс цитирования слабо связаны с использованием результатов коллегами-учеными.

С другой стороны, отсутствие цитирований вовсе не означает, что публикация прошла незамеченной и не оказала влияния на развитие науки. Российские журналы, по-видимому, совсем не так плохи, как о них говорят и думают на основе низких импакт-факторов (хотя, конечно, проблем у них более чем достаточно): за ними следят, их внимательно читают.

Рыночный характер науки

Что касается изменений в научной среде, связанных с необходимостью поиска грантов, о которых упоминал Питер Лоуренс, то, вообще говоря, грантовая система финансирования — болезнь современной науки.

Вот как художественно описал ситуацию Грегори Бенфорд, американский астрофизик и писатель-фантаст, профессор кафедры физики и астрономии Калифорнийского университета в Ирвайне: «Нужно было соблюсти кучу формальностей. Это называлось “наполнить содержанием внешнюю форму” — невообразимую путаницу перекрестных вопросов, на которые приходилось отвечать ученому, прежде чем браться за разработки.

Нужно было представить подробные тезисы и анализ вида и содержания научных разработок. Представить доказательства необходимости исследования, показать практические выгоды от его результатов, обосновать научную новизну и полезность.

Объяснить, почему для научной работы нужны именно такое лабораторное оборудование и компьютерное обеспечение и можно ли обойтись уже имеющимися ресурсами, если их как-то подновить или переоборудовать. Чтобы заявка прошла наверняка, ученым приходилось выполнять большую часть работы прежде, чем ее писать.

В итоге все исследования оказывались в основном хорошо продуманными заранее, и результат их был вполне предсказуем».

Составление заявок и отчетов не только занимает недопустимо большое количество времени, оно иссушает разум и душу. Научное знание превращается в товар, выставляемый на рынок, и таким образом выхолащивается существо научного исследования.

Понятие истины подменяется понятием даже не пользы, а рыночной стоимости той или иной идеи или разработки. Весомость работы определяется ценой, за которую ее можно продать. «Проблема не в том, существует или нет тот механизм, о котором вы говорите. Проблема в том, кто его купит», — довелось услышать одному из авторов недавно от крупного ученого, нашего соотече ственника, живущего за границей уже более 20 лет.

Рыночный характер науки влечет за собой жесткую необходимость рекламы, в том числе саморекламы, и пиара, чтобы завернуть залежавшийся товар в новую яркую оболочку и придать ему вид новизны. Примеры высокого искусства формирования новых сегментов и рынков сбыта научной продукции — у всех перед глазами.

Критическое обсуждение исчезает. Поскольку истина не так важна, как финансирование, дискуссия становится опасной и неприличной, выходит из моды и осуждается как неполиткорректное поведение.

Именно с этой точки зрения следует рассматривать проблему цитирования научных работ. Во-первых, требование новизны, как одного из критериев оценки товара, заставляет игнорировать старые работы, которые по глубине постановки проблем и дотошности анализа и обсуждения результатов сплошь и рядом превосходят современные скороспелки. По этой причине в публикациях зачастую повторяется то, что давным-давно твердо установлено.

Причем без ссылок, хотя во многих случаях очевидно, что именно авторы читали и откуда что заимствовали. Во-вторых, это приводит к игнорированию работ реальных или потенциальных конкурентов, самоцитированию и цитированию работ коллег из своего клана.

Таким образом, цитирование не говорит о реальной значимости работ: возможно как дутое цитирование, так и замалчивание важных работ. Индексы цитирования, в том числе индекс Хирша, отражают прежде всего степень вхождения автора в научное сообщество.

Этой характеристикой можно пользоваться для информации, но нельзя использовать ее для административных выводов или в качестве единственного критерия научной ценности работ исследователя.

Федоров П.П., Попов А.И.
Оценка информации
Голосование
загрузка...
Поделиться:
Один комментарий » Оставить комментарий
  • 11300 8880

    Существуют конторы, которые за деньги поднимут Хирш любому, заплатившему.
    Существуют научные мафии, не допускающие к публикации конкурентов или просто “заказанных”, например, по политическим мотивам: так обычно “стебаются” над российскими учёными.
    Существующие грантовые системы плодят воровство идей: верхушка этой пирамиды отказывает в финансировании, но тут же заявляет свой такой же грант, не удосужившись даже переделать стиль украденного.

Оставить комментарий

Вы вошли как Гость. Вы можете авторизоваться

Будте вежливы. Не ругайтесь. Оффтоп тоже не приветствуем. Спам убивается моментально.
Оставляя комментарий Вы соглашаетесь с правилами сайта.

(Обязательно)

Информация о сайте

Ящик Пандоры — информационный сайт, на котором освещаются вопросы: науки, истории, религии, образования, культуры и политики.

Легенда гласит, что на сайте когда-то публиковались «тайные знания» – информация, которая долгое время была сокрыта, оставаясь лишь достоянием посвящённых. Ознакомившись с этой информацией, вы могли бы соприкоснуться с источником глубокой истины и взглянуть на мир другими глазами.
Однако в настоящее время, общеизвестно, что это только миф. Тем не менее ходят слухи, что «тайные знания» в той или иной форме публикуются на сайте, в потоке обычных новостей.
Вам предстоит открыть Ящик Пандоры и самостоятельно проверить, насколько легенда соответствует действительности.

Сайт может содержать контент, не предназначенный для лиц младше 18-ти лет. Прежде чем приступать к просмотру сайта, ознакомьтесь с разделами:

Со всеми вопросами и предложениями обращайтесь по почте info@pandoraopen.ru