Индекс Хирша выхолащивает существо научного исследования

Писатели-фантасты иногда оказываются пророками — их идеи со временем воплощаются в реальность. Например, процедура печати бумажного экземпляра книги по запросу (Станислав Лем, «Возвращение со звезд») осуществилась совсем недавно.

Братья Стругацкие в повести «Хромая судьба» придумали фантастическую машину, которая после анализа художественного текста выдает единственное число — «наивероятнейшее количество читателей», принимаемое за количественную оценку как таланта, так и успешности автора. Мы дожили и до реализации этой фантазии, правда, пока только применительно к научным трудам.

https://ic.pics.livejournal.com/ss69100/44650003/2616516/2616516_300.png

Чему равен ваш h?

Вопрос, вынесенный в заголовок статьи, волнует сегодня всех членов российского и мирового сообщества.

Индекс Хирша — это один из самых «модных» способов измерения научной продуктивности ученого, выраженной в количестве и популярности его публикаций.

Понятно, что количество и популярность — вещи разные, но хотелось бы иметь какой-то обобщенный параметр.

Такой параметр и предложил в 2005 году аргентино-американский физик Хорхе Хирш; ныне он именуется «индекс Хирша», или проcто «Хирш», и обозначается h.

По определению, ученый имеет индекс h, если h из его N_p статей цитируются как минимум h раз каждая, в то время как оставшиеся (N_p — h) статей цитируются не более чем h раз каждая. Так, если у человека опубликовано 100 статей, на каждую из которых имеется лишь одна ссылка, его h равен 1 — как и у того, кто опубликовал одну статью, на которую сослались 100 раз.

В проигрыше и тот, кто публикует много никому не интересных статей, и тот, кто публикуется мало, даже когда статьи его имеют огромный успех. Если же у исследователя одна статья с девятью цитированиями, две статьи с не менее чем восемью цитированиями (включая уже упомянутую с девятью), три статьи с не менее чем семью цитированиями… девять статей с не менее чем одним цитированием каждой из них, то его h равен пяти — на пять его статей сослались по пять раз или более.

В принципе индекс Хирша — надежная и удобная характеристика известности (иногда заслуженной, а иногда и нет) того или иного специалиста в определенной области науки. Гораздо реже и с существенно большей осторожностью индекс Хирша можно применять для оценки достижений в современной технике.

Большая часть публикаций специалистов в этой области — патенты или книги, а их цитируемость, в отличие от цитируемости журнальных статей и некоторых монографий и сборников, в большинстве библиографических баз данных не отслеживается.

Сам по себе индекс Хирша — не универсальное мерило личного научного вклада, о котором надо судить по совокупности многих параметров. Этот индекс в наукометрии играет примерно такую же роль, как, скажем, температура тела в медицинской диагностике: никакой квалифицированный врач по одной только температуре без учета иных симптомов диагноз ставить не будет, но отклонение температуры от нормы обязательно вызовет у него настороженность.

При этом надо понимать, что «нормальный» индекс Хирша может быть неодинаковым для ученых одного и того же уровня в различных областях человеческого знания и в разные времена.

Замедляющийся рост

Три года назад мы опубликовали небольшое исследование о том, как индекс Хирша связан с индексом цитируемости, то есть общим количеством упоминаний работ автора, отреферированных в библиографических базах данных («Вестник РАН», 2014, 84, 3, 28—38). Мы воспользовались сведениями Web of Science-Core Collection. (Тогда эта база данных называлась просто Web of Science — в отличие от более полной и разнообразной, но не до конца очищенной от повторов базы Web of Knowledge, которая впоследствии была переименована в Web of Science-All Databases.)

На примере современных библиометрических данных для специалистов в области материаловедения и неорганической химии мы установили простую зависимость между индексом Хирша h и индексом цитирования N: чаще всего индекс Хирша примерно равен половине квадратного корня из индекса цитирования: h = 0,5N^0,5.

При этом значение показателя степени было выведено, а коэффициент — эмпирическая величина. Нам показалось интересным проверить достоверность нашего вывода и посмотреть, как с течением времени за последние три года изменились библиометрические характеристики для тех же самых авторов.

https://hij.ru/upload/medialibrary/fb7/fb76d9c2a515e48d33d7850fead66641.jpg

1. Зависимость индекса Хирша h от индекса цитирования N для 75 ученых. Черные точки — данные на январь 2014 года, красные точки — данные на февраль 2017-го. Кривая — уравнение h = 0,57N0,48, коэффициент корреляции — 98%

На рис. 1 представлены данные о публикационной активности 75 российских и зарубежных ученых, работающих (или работавших) в области химии, физики, науки о материалах, причем учтены подвижки, произошедшие за три года. Видно, что точки двигаются вдоль одной и той же аппроксимирующей кривой, причем разброс редко превышает две-три единицы.

Из этой зависимости следует, в частности, что подъем Хирша — тяжелая работа и чем дальше, тем труднее: для увеличения h на единицу необходимо увеличение общего числа цитирований N на 8h.

Третья цель

Много было сказано об индексах цитирования и индексе Хирша. Вот что, например, написал британский ученый Питер Лоуренс («Ethics in Science and Environmental Politics», 2008, 8, 9—11 doi: 10.3354/esep00079):

«Всегда в науке было три цели публикации: распространить новую информацию для усвоения людьми и для дальнейшего развития науки, лишь в-третьих — чтобы поддержка ученого, финансовая или иная, могла быть оправдана в глазах заинтересованных сторон. Эта третья причина была вспомогательной (хотя с самого начала, от Кеплера и Галилея, она была важна. — Примеч. авт.), но теперь это не так — опубликование стало главной целью, это путь выживания ученого.

Кардинальная смена приоритетов нанесла вред научной практике, трансформировала мотивацию исследователей, изменила способ представления результатов и уменьшила точность и доступность научной литературы. Снова и снова работы представляются в журналы преждевременно, а проекты либо срочно слепляются друг с другом, либо специально конструируются, чтобы “сделать статьи” до истечения сроков.

Ученые учатся правильно упаковывать свои работы, чтобы они могли быть поданы сначала в журналы, а потом в утробы грантовских агентств.

В настоящее время стратегия должна состоять в игнорировании или скрытии конфликтов. Их открытое рассмотрение может быть опасным, так как, возможно, какой-то из рецензентов может быть раздражен, ибо он участвовал в получении этих результатов.

Растущее использование h-индекса — который, будучи основанным на числах цитирований, пытается дать количественное выражение сразу и продуктивности, и влиятельности ученого, — ведет к зависимости от цитирования и к одержимости им. Использование численных измерений поощряет агрессивное, стяжательское и эксплуататорское поведение».

На примере индекса Хирша можно проследить проявление закона сакрализации, придания священного характера собственным творениям, который как действовал в архаических сообществах, так продолжает действовать и сейчас (Федоров П.П. Архаическое мышление: вчера, сегодня, завтра. М.: УРСС, 2009).

Не цитируют, но читают?

Недавно появилась новая информация, которая позволяет более реально оценить весомость этого индекса. Издательство «Шпрингер» обнародовало информацию не только о числе цитирований каждой конкретной статьи, опубликованной в журналах этого издательства, но и о том, сколько раз эту статью скачали.

Это официальное число скачиваний, за которое издательство тем или иным образом получило деньги (широко распространенное пиратство и получение текстов из других источников этой статистикой не учитывается). Надо полагать, именно последнее число отражает действительный интерес научного сообщества к опубликованной информации (поскольку за нее хоть немного, но уплачено).

Соответственно и анализ соотношения «цитируемость — скачиваемость» представляет интерес. То, что издательство «Шпрингер» публикует переводы на английский язык большинства российских журналов, говорит об их востребованности.

https://hij.ru/upload/medialibrary/81e/81ebbb91f8f44b30feaba318df7fb242.jpg

2. Сопоставление числа цитирований (по горизонтали) и числа скачиваний (по вертикали)

Для анализа выбраны данные о публикациях одного из авторов этой заметки, имеющего индекс Хирша h = 31 по Web of Science — Core Collection, в журналах «Журнал неорганической химии», «Неорганические материалы», «Кристаллография», «Доклады РАН», «Физика твердого тела», «Электрохимия».

Эти сведения доступны в базе ResearcherID.com (идентификатор B-9438-2012). Учтены только статьи, опубликованные в 2005—2015 годах, — более поздние статьи могли просто не успеть процитировать. Всего 100 публикаций (рис. 2).

Общие выводы таковы. Корреляция между цитированием и скачиванием составляет только 9%, другими словами, число цитирований статьи весьма слабо связано с числом скачиваний текста. Что и неудивительно, ведь цитирование и скачивание — это разные информационные действия (распространение и получение информации).

Видны несколько разительных несоответствий, когда цитирование одно, а скачиваний — 114, или цитирований два, а скачиваний — 253, или цитирований ноль, а скачиваний — 87 или 61.

Таким образом, индекс Хирша или индекс цитирования слабо связаны с использованием результатов коллегами-учеными.

С другой стороны, отсутствие цитирований вовсе не означает, что публикация прошла незамеченной и не оказала влияния на развитие науки. Российские журналы, по-видимому, совсем не так плохи, как о них говорят и думают на основе низких импакт-факторов (хотя, конечно, проблем у них более чем достаточно): за ними следят, их внимательно читают.

Рыночный характер науки

Что касается изменений в научной среде, связанных с необходимостью поиска грантов, о которых упоминал Питер Лоуренс, то, вообще говоря, грантовая система финансирования — болезнь современной науки.

Вот как художественно описал ситуацию Грегори Бенфорд, американский астрофизик и писатель-фантаст, профессор кафедры физики и астрономии Калифорнийского университета в Ирвайне: «Нужно было соблюсти кучу формальностей. Это называлось “наполнить содержанием внешнюю форму” — невообразимую путаницу перекрестных вопросов, на которые приходилось отвечать ученому, прежде чем браться за разработки.

Нужно было представить подробные тезисы и анализ вида и содержания научных разработок. Представить доказательства необходимости исследования, показать практические выгоды от его результатов, обосновать научную новизну и полезность.

Объяснить, почему для научной работы нужны именно такое лабораторное оборудование и компьютерное обеспечение и можно ли обойтись уже имеющимися ресурсами, если их как-то подновить или переоборудовать. Чтобы заявка прошла наверняка, ученым приходилось выполнять большую часть работы прежде, чем ее писать.

В итоге все исследования оказывались в основном хорошо продуманными заранее, и результат их был вполне предсказуем».

Составление заявок и отчетов не только занимает недопустимо большое количество времени, оно иссушает разум и душу. Научное знание превращается в товар, выставляемый на рынок, и таким образом выхолащивается существо научного исследования.

Понятие истины подменяется понятием даже не пользы, а рыночной стоимости той или иной идеи или разработки. Весомость работы определяется ценой, за которую ее можно продать. «Проблема не в том, существует или нет тот механизм, о котором вы говорите. Проблема в том, кто его купит», — довелось услышать одному из авторов недавно от крупного ученого, нашего соотече ственника, живущего за границей уже более 20 лет.

Рыночный характер науки влечет за собой жесткую необходимость рекламы, в том числе саморекламы, и пиара, чтобы завернуть залежавшийся товар в новую яркую оболочку и придать ему вид новизны. Примеры высокого искусства формирования новых сегментов и рынков сбыта научной продукции — у всех перед глазами.

Критическое обсуждение исчезает. Поскольку истина не так важна, как финансирование, дискуссия становится опасной и неприличной, выходит из моды и осуждается как неполиткорректное поведение.

Именно с этой точки зрения следует рассматривать проблему цитирования научных работ. Во-первых, требование новизны, как одного из критериев оценки товара, заставляет игнорировать старые работы, которые по глубине постановки проблем и дотошности анализа и обсуждения результатов сплошь и рядом превосходят современные скороспелки. По этой причине в публикациях зачастую повторяется то, что давным-давно твердо установлено.

Причем без ссылок, хотя во многих случаях очевидно, что именно авторы читали и откуда что заимствовали. Во-вторых, это приводит к игнорированию работ реальных или потенциальных конкурентов, самоцитированию и цитированию работ коллег из своего клана.

Таким образом, цитирование не говорит о реальной значимости работ: возможно как дутое цитирование, так и замалчивание важных работ. Индексы цитирования, в том числе индекс Хирша, отражают прежде всего степень вхождения автора в научное сообщество.

Этой характеристикой можно пользоваться для информации, но нельзя использовать ее для административных выводов или в качестве единственного критерия научной ценности работ исследователя.