Поиск по базе сайта:
Методические рекомендации по определению индекса цитируемости [1] 3 icon

Методические рекомендации по определению индекса цитируемости [1] 3




Скачати 262.51 Kb.
НазваМетодические рекомендации по определению индекса цитируемости [1] 3
Дата конвертації17.10.2014
Розмір262.51 Kb.
ТипМетодические рекомендации

ОТРАЖЕНИЕ СИБИРСКОЙ НАУКИ В РЕСУРСАХ, СОДЕРЖАЩИХ БИБЛИОМЕТРИЧЕСКИЕ ХАРАКТЕРИСТИКИ

(по данным об Институте физики полупроводников СО РАН)

Шабурова Н.Н. (ИФП СО РАН)
Утверждение Правительством РФ процедуры оценки результативности деятельности российских научных организаций1 в части определения их публикационной активности на основе совмещения данных НЭБ и Web of Science (WoS) закономерно повышает профессиональный интерес к следующим вопросам: каковы аналитико-статистические возможности НЭБ и как показатели этих двух ресурсов согласуются между собой. Библиотекам указанных организаций, как участницам научно-информационного процесса, важно заблаговременно иметь полноценные ответы на них. Поэтому статья преследует цель изучить тему, опираясь на конкретные библиометрические данные об одном из НИИ Новосибирского научного центра (ННЦ) СО РАН — Института физики полупроводников (ИФП)2, входящего в Централизованную библиотечную систему (ЦБС) СО РАН. Для её достижения рассмотрим основные оценочные характеристики научной деятельности ИФП СО РАН из национальной информационно-аналитической системы, генерирующей Российский индекс научного цитирования (РИНЦ), и сопоставим их с показателями зарубежных аналогов.

Для начала отметим, что ещё в 2007 г. повышенное внимание к научно-оценочным данным и последующее внедрение на их основе в практику НИИ ежегодного определения показателя результативности научной деятельности (ПРНД) учёных обусловили создание в ГПНТБ СО РАН группы по разработке и актуализации инструктивно-методических документов соответствующего направления. В 2008 г. этой группой были разработаны методические рекомендации по определению индекса цитируемости [1]3, включая и РИНЦ. Однако стремительное развитие проекта НЭБ настолько преобразовало аналитико-статистические возможности этого показателя, что к настоящему времени краткий обзор ресурса является очень актуальным.

Как информирует НЭБ (http://elibrary.ru), сейчас система аккумулирует более 2 миллионов публикаций российских авторов и информацию о цитировании этих публикаций из более чем 2000 российских журналов. Система одновременно является как средством оперативного обеспечения научных исследований актуальной справочно-библиографической информацией, так и представляет собой механизм, позволяющий осуществлять разностороннюю оценку результативности и эффективности деятельности научно-исследовательских организаций, учёных, уровень научных журналов и т.д. Кроме того, на сайте НЭБ отмечено, что ресурс содержит информацию о свыше 5600 российских научно-образовательных учреждениий. По каждой организации можно просмотреть полный список публикаций, список статей, цитирующих эти публикации, а также статистическую информацию, позволяющую проанализировать публикационную активность организации по различным критериям. В их число входят: определение количества публикаций в зарубежных журналах, в российских из перечня ВАК, количества цитирований в РИНЦ, в РИНЦ+Scopus, в т. ч. без самоцитирования, среднее количество публикаций в расчёте на одного автора, среднее количество цитирований в расчёте на одну публикацию, индекс Хирша и ряд других.

Существует дополнительная возможность определить индекс цитируемости организации более полно – это определить индекс цитируемости её сотрудников и суммировать данные. Такой поиск может помочь найти те ссылки на публикации научного коллектива, которые могли выпасть при поиске по организации. Контроль полноты списка сотрудников, полученного в результате поиска по организации, можно осуществить по словарю поля «Автор» в списке публикаций коллектива. Для поиска авторов в авторском указателе предназначен специальный раздел РИНЦ - «Поиск авторов» - с возможностью отбора по тематике, числу публикаций, числу цитирований и другим параметрам.

Также система даёт возможность вывести сравнительные библиометрические показатели организаций и их рейтинги. За исключением индекса Хирша, который учитывает все публикации организации4, рейтинг рассчитывается по публикациям последних 5 лет (2005-2009)5. Далее проследим, как получить на сайте необходимую информацию по рейтингу научно-исследовательских организаций. В целом сайт абсолютно «прозрачен» и сопровождён разнообразными справочными материалами. Но сравнительные сведения становятся доступны6 только после «анализа публикационной активности» отдельной организации (НЭБ → Основные проекты, РИНЦ → Поиск организаций → Институт физики полупроводников СО РАН, г. Новосибирск → Диаграмма «Анализ публикационной активности организации» → Меню справа «Возможные действия»). Перечисленные шаги подводят к «сравнению библиометрических показателей организаций». Здесь предоставляются все оценочные характеристики всех зарегистрированных учреждений, порядок которых перестраивается по убыванию среднестатистического показателя в соответствии с заданным критерием. В табл.1 представлена выборка данных о НИИ ННЦ СО РАН (в порядке убывания общего количества публикаций – столбец 3).

Таблица 1

Показатели РИНЦ НИИ ННЦ СО РАН7

№ п/п

Название организации ННЦ СО РАН

Общее кол-во публикаций (2001-2010 гг.)

Кол-во публикаций

Рейтинг (№ по порядку убывания кол-ва публикаций)

Доля публикаций в иностранных в %

Кол-во авторов

Среднее число публикаций в расчёте на одного автора


Цитирования (РИНЦ/РИНЦ+Scopus)

Среднее число цитирований в расчёте на одну публикацию

Индекс Хирша (2001-2010 гг.)

2005 — 2009 гг.

1

2

3

4

5

6

7

8

9

10

11

1

Институт катализа

им. Г.К. Борескова

3586

1229

67

36,7

454

2,71

722/2251

1,83

43

2

Институт неорганической химии им. А.В. Николаева

2149

986

111

16,1

351

2,81

469/ 1194

1,21

24

3

Институт математики

им. С.Л. Соболева

2075

1099

86

19,1

286

3,84

420/872

0,79

21

4

Институт ядерной физики им. Г.И. Будкера

1939

774

170

72,3

361

2,06

101/1240

1,67

53

5

Институт цитологии и генетики

1725

971

114

16,0

510

1,9

503/1226

1,26

28

6

Институт физики полупроводников

1654

861

153

18,9

337

2,55

291/556

0,65

29

7

Институт органической химии им. Н.Н.Ворожцова

1579

605

238

12,4

191

3,17

296/501

0,83

15

8

Институт химической кинетики и горения

1552

478

297

35,6

190

2,52

204/681

1,42

32

9

Институт горного дела

1178

511

271

0,8

180

2,84

153/161

0,29

6

10

Институт гидродинамики им. М.А. Лаврентьева

1046

515

269

9,1

175

2,94

191/256

0,50

9

11

Институт теоретической и прикладной механики

им. С.А. Христиановича

1020

544

252

10,5

240

2,27

237/276

0,51

15

12

Институт теплофизики

им. С.С. Кутателадзе

958

496

285

11,7

227

2,19

218/409

0,82

17

13

Институт геологии и минералогии

847

554

245

19,5

306

1,81

594/778

1,40

8

14

Институт автоматики и электрометрии

743

406

361

21,9

162

2,51

154/453

1,12

28

15

Институт экономики и организации промышлен-ного производства

551

496

284

0

168

2,95

296/ 296

0,60

7

16

Институт химии твёрдого тела и механохимии

543

368

391

20,4

125

2,94

265 /508

1,38

14

17

Институт химической биологии и фундаменталь-ной медицины

505

327

430

16,5

198

1,65

134/ 436

1,33

17

18

Институт философии и права

448

391

375

0

74

5,28

137/ 137

0,35

4

19

Институт нефтегазовой геологии и геофизики

им. А.А. Трофимука

417

328

429

0,9

209

1,75

206/ 213

0,59

6

20

Институт вычислительных технологий

402

166

744

6,6

68

2,44

53/65

0,39

7

21

Институт систематики и экологии животных

384

301

426

1,3

151

1,99

124/ 133

0,44

4

22

Институт вычислительной математики и математиче-ской геофизики

368

277

503

4,0

143

1,94

128/ 164

0,59

4

23

Центральный сибирский ботанический сад

321

261

526

0,3

128

2,04

55/55

0,21

4

24

Институт лазерной физики

314

155

733

14,8

36

1,96

40/ 123

0,79

13

25

Институт археологии и этнографии

309

285

492

0

90

3,17

55/60

0,21

3

26

Филиал Института минера-логии и петрографии

295

102

965

16,7

58

1,76

102/265

2,60

13

27

Международный томогра-фический центр

266

173

735

49,1

43

4,02

100/ 412

2,38

17

28

Институт истории

211

190

690

0

52

3,65

27/27

0,14

2

29

Институт почвоведения и агрохимии

149

126

870

2,4

64

1,29

44/47

0,37

2

30

Институт филологии

143

139

826

0

45

3,09

9/9

0,06

1


В целом данные РИНЦ демонстрируют относительно высокие показатели сибирской академической науки (все 30 НИИ ННЦ СО РАН из табл. 1 – столбец 5 - входят в первую тысячу зарегистрированных организаций практически по всем рассмотренным критериям). Они дают достаточный материал также и для наукометрического сопоставительного анализа, например, деятельности НИИ различных научных центров СО РАН или академических учреждений и научно-образовательных организаций. Интересно было бы проследить корреляционную зависимость между количеством публикаций и количеством авторов в НИИ. Вместе с тем из табл. 1 видно, что сопоставление показателей НИИ различных тематических ветвей может оказаться затруднительным, в частности, из-за недостаточности зарубежных журналов (табл. 1, столбец 6) общественно-экономического профиля, несмотря на большое количество публикаций в расчёте на одного автора. (Например, в № п/п 18 Институте философии и права СО РАН это 5,28 – наивысший показатель в столбце 8).

Однако в рамках настоящей статьи основной интерес представляет библиометрический сопоставительный анализ публикационной активности ИФП СО РАН с точки зрения сравнения его РИНЦ (табл. 1, № п/п 6) с оценочными показателями зарубежных ресурсов. В первую очередь, конечно же, как отмечалось в начале статьи, это WoS (http://isi01.isiknowledge.com) компании Thomson Reuters. Кроме того, сама структура РИНЦ подсказывает, что не менее важными статистическими данными при определении количества цитирований публикаций НИИ являются и показатели БД Scopus (http://www.scopus.com) компании Elsevier. Поэтому перейдём к оценке результативности научной деятельности ИФП СО РАН с использованием ISI Web of Knowledge, а затем — Scopus.

В рекомендациях ГПНТБ СО РАН [1] расписана подробная методика по выявлению необходимых для данного сопоставления показателей БД WoS, анализирующей более 11 500 журналов. В соответствии с ними 4.06.2010г. был проведён поиск по БД в режиме SEARCH8. При его запуске был использован знак «*», означающий усечение слова с той стороны, где оно отмечено этим знаком. В нашем поиске знак был применён для усечения слов из названия организации (SEMICOND* PHYS*), которые были введены в поисковое поле ADDRESS9. Сюда же было вписано название города с использованием оператора SAME, так как описание документа может содержать несколько адресов. Затем была отмечена нужная БД, с учётом тематики научных исследований ИФП СО РАН — это Science Citation Index Expanded, и запущен поиск. Полученная статистика за весь временной период (доступная ретроспектива анализа — с 1980 г.) представлена ниже, в табл. 2. Для «чистоты эксперимента» поиск был запущен ещё дважды с использованием поискового поля PUBLICATION YEAR для ограничения временного интервала по аналогии с хронологическими рамками РИНЦ - с 2001 по 2010 гг. и с 2005 по 2009 гг. Система выдала списки из 1459 и 730 документов соответственно. По завершении поиска публикаций была актуализирована важнейшая функция БД - анализ полученного результата. Для этого в правой части сайта расположены специальные кнопки. Нажав на первую из них, можно вывести различные показатели публикационной активности организации: распределение публикаций по тематике, по виду изданий, по годам; по клику второй - автоматически создаётся отчёт об их цитируемости.

Таким образом, библиометрический анализ 730 публикаций научного коллектива ИФП СО РАН завершился выводом следующих основных показателей (в процентах). По тематике документы распределились: физика (физика конденсированного вещества, прикладная физика, оптика) – 58,1 %, естествознание в целом – 13,7 %, инженерия (техника) – 10 %, нанонаука, нанотехнология – 8 %, физхимия – 6,2 % и др. отрасли знания – 3,8 %. По видам изданий: 81 % публикаций является журнальными статьями, 17 % - материалами конференций, и оставшиеся 2 % - обзорами и рецензиями. Для сравнения интересно, как выглядят показатели РИНЦ по аналогичным критериям? В НЭБ выявленный поток из 861 публикации разделён в соответствии с Рубрикатором по их количеству: это 373 публикации по физике, математике, механике, 175 – по техническим наукам (электроника, радиотехника, электротехника, вычислительная техника, химическая технология), 106 – по проблемам естественных и точных наук, 102 – по химии, и 105 документов - по более дробным узкоспециальным вопросам основных выше перечисленных тематических направлений. Нетрудно подсчитать и процентное соотношение публикаций разных тематик. Это 43,4 %, 20,3 %, 12,3 %, 11,8 %и 12,2 % соответственно. По видам изданий в РИНЦ статистика отсутствует. Корректность исследования только журнальных источников обосновано в статье [2].

На рисунке (рис. 1) соединены графики результатов поиска по WoS и НЭБ. В верхней части рисунка содержится «готовый» отчёт, выданный WoS по клику второй кнопки. В нижней – совмещены результаты разных поисков по РИНЦ. В левой части рисунка представлены графики анализа научной деятельности ИФП СО РАН этими системами по одинаковому критерию: распределение публикаций по годам. Графики синхронизируют 2008 г. как самый результативный в публикационной активности института. В правой части рисунка размещены отчёты WoS и РИНЦ о цитируемости выявленных ими публикаций сотрудников ИФП СО РАН, но по разным параметрам. Первая система анализирует цитируемость по-прежнему по годам, что видно из правого верхнего графика. РИНЦ же аналогичной статистики по годам не проводит, программа подсчитывает распределение публикаций по числу цитирований, чего, в свою очередь, нет в WoS.



Рисунок 1 - Статистические показатели публикационной активности ИФП СО РАН с 2001 г. по май 2010 г. из Web of Science (сверху) и РИНЦ (снизу).

БД Scopus не включена в рекомендуемый перечень БД для оценки результативности деятельности научных организаций. При этом НЭБ использует данные именно её статистического анализа для определения цитируемости публикаций российских авторов по имеющимся в библиотеке иностранным журналам (табл.1, столбец 9). Эта широко известная самая крупная в мире единая реферативная и аналитическая БД индексирует более 16 500 рецензируемых научных журналов. Определение индекса цитируемости по ней проводится также в 2 этапа: сначала осуществляется поиск публикаций, а затем определяется их цитируемость. Хронологические рамки задаются с помощью ограничителя DATE RANGE. Система предоставляет комплексный результат (рис. 2), сочетающий одновременно и список публикаций, и их распределение по годам, видам изданий, тематике, языку и др. критериям. Функция сужения поиска LIMIT TO или EXCLUDE позволяет вести дальнейший анализ в различных направлениях в зависимости от его цели. После получения результата с помощью кнопки UPDATE OVERVIEW можно изменить признак сортировки, ретроспективу, исключить самоцитирование, обозначив необходимые условия в специальных полях.



Рисунок 2 – Результат поиска по БД Scopus

Для изучения, как характеризуется публикационная активность ИФП СО РАН в БД Scopus, 30.07.2010 г. был проведён поиск и по ней, по-прежнему с использованием методологии ГПНТБ СО РАН [1], который был запущен в режиме BASIC SEARCH в поле AFFILIATION по поисковым терминам NOVOSIBIRSK и усечённому SEMICOND*, соединённым логическим оператором AND. Поиск по БД Scopus вызвал наибольшие сложности. Прежде всего, потому что в НИИ нет доступа к ресурсу, по условиям подписки он доступен только для 9 центральных библиотек СО РАН (с правом обслуживать информацией институты научного центра по МБА) [3]. По представленным системой 1917 публикаций за 2001-2010 гг. и 1072 - за 2005-2009 гг. – было проведено отслеживание цитируемости CITATION TRACKER, для чего также предусмотрена специальная кнопка в нижней части монитора. После нажатия CITATION TRACKER на экран были выведены списки процитированных работ и таблицы с индексом цитируемости. В табл. 2 внесены характеристики научной деятельности института, полученные по БД Scopus, как за весь индексируемый временной период, так и за 2 ограниченных в рамках нашего сопоставления с РИНЦ. Таблица состоит из трёх фрагментов, скомпонованных по одинаковым интервалам времени.

Таблица 2

Сводные библиометрические данные о публикационной активности ИФП СО РАН

Ресурс

Количество публикаций

Число пуб-ликаций в зарубеж-ных источ-никах (%)10

Количество цитирований

Среднестати-стическое количество цитирований в расчете на 1 публикацию

Индекс Хирша

1

2

3

4

5

6

Web of Science (на 4.06.2010)

3380

3016 (89,2)

18661

5,52

45

Scopus (на 30.07.2010)

3024

3019 (99,8)

15138

5,01

42




2001-2010 гг.


Web of Science

(на 4.06.2010)

1459

1440 (98,7)

6179

4,23

27

Scopus (на 30.07.2010)

1917

1912 (99,7)

6035

3,15

28

РИНЦ (на 21.05.2010)

1654

Нет данных

560


0,31

29




2005-2009 гг.

Web of Science

(на 4.06.2010)

730

727 (99,6)

2182

2,99

18

Scopus (на 30.07.2010)

1072

1068 (99,6)

1913

1,78

Нет данных

РИНЦ (на 21.05.2010)

861

162 (18,8)

291

РИНЦ+Sco-pus 556

0,65

Нет данных


Исходя из данных табл. 2, можно сделать некоторые обобщения. Из столбца 3 (табл.2, ячейки выделены фоном) видно, что РИНЦ, как и проектировалось при его запуске, анализирует более 80 % отечественных изданий, а WoS, естественно – наоборот, более 99 % зарубежных. Это указывает на рациональность совместного использования показателей двух ресурсов для оценки результативности научной деятельности российских учёных, как дополняющих друг друга. При этом их данные демонстрируют довольно равномерное распределение публикаций: учёные ИФП СО РАН направляют результаты своих научных исследований на опубликование как в отечественные, так и зарубежные издания. Но также бросается в глаза, что количество цитирований (столбец 4) документов из отечественных, а соответственно и среднестатистическое количество цитирований в расчёте на 1 публикацию (столбец 5), значительно ниже, чем из зарубежных изданий. Поэтому почти двукратное увеличение количества цитирований РИНЦ (табл.2, столбец 4 снизу) за счёт показателей Scopus позволяет отметить, что интеграция зарубежного опыта в практику создания национальной информационно-аналитической системы усиливает позиции РИНЦ в развитии оценочного инструментария измерений эффективности науки.

В Президиуме СО РАН отмечается несовершенство системы оценки деятельности НИИ и указывается на необходимость пересмотра приказа № 406 [4]. Проблема справедливости наукометрических оценок в целом также активно обсуждается и в зарубежной печати [5]. На сайте www.nature.com/metrics собираются и комментируются статьи, касающиеся количественного анализа науки и использования оценочных показателей. В июне 2010 г. в Берлине запущена программа Европейской летней школы по наукометрии, которая с 2011 г. будет проводиться в Вене (www.scientometrics-school.eu) [6]. Эти мероприятия нацелены на выработку научно обоснованного подхода к применению различных метрик для улучшения системы оценки. Кроме того, в НЭБ создано "дискуссионное поле" вокруг разработки и применения РИНЦ, чтобы объединить усилия всего отечественного научного сообщества для решения этой задачи.

Но пока, как показывает материал статьи, проведённый анализ публикационной активности представителя cибирской науки – ИФП СО РАН – даёт основание подчеркнуть следующее. 1) Рассмотренные зарубежные аналитико-статистические системы ведут полномерное наукометрическое изучение деятельности научно-исследовательских учреждений СО РАН, 2) в утверждённом Минобрнауки комплексе оценочных мероприятий в целом участвуют три системы, поскольку РИНЦ для анализа публикаций российских авторов по имеющимся в НЭБ иностранным изданиям опирается на показатели БД Scopus, 3) приём совмещения взаимодополняющих данных РИНЦ и Web of Science себя оправдывает тем, что повышает объективность определения результативности научной деятельности.

Таким образом, несмотря на все недоработки проекта, использование РИНЦ в определении результативности работы российских научных коллективов можно считать серьёзным шагом к выработке унифицированного приёма оценки.

Литература

  1. Свирюкова, В.Г. Определение индекса цитируемости : методические рекомендации / В.Г. Свирюкова, Т.В. Ремизова; отв. ред. Б.С. Елепов. - Новосибирск: ГПНТБ СО РАН, 2008. - 78 с.

  2. Писляков, В.В. Наукометрические методы и практики, рекомендуемые к применению в работе с российским индексом научного цитирования [Электронный ресурс]. – URL: http://www.elibrary.ru/projects/citation/docs/scientometrics.pdf. (Дата обращения 17.08.2010).

  3. Босина, Л.В. Анализ уровня удовлетворённости информационных потребностей учёных СО РАН в зарубежных периодических изданиях / Л.В. Босина, Н.Н. Шабурова. // Мир науки, культуры, образования. – 2010. - № 3 (22). – С.88-93.

  4. О деятельности Президиума СО РАН в 2009 году. Из доклада главного учёного секретаря СО РАН чл.-корр. Н.З. Ляхова // Наука в Сибири. - 2010. - № 17. - С.6.

  5. How to improve the use of metrics // Nature. – 2010. – V.465. – P.870-872.

  6. Assessing assessment // Nature. – 2010. – V.465, N 7300. – P.845.

1 12 марта 2010 вступил в силу Приказ Минобрнауки РФ от 14.10.2009 N 406 "Об утверждении типового положения о комиссии по оценке результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения, и типовой методики оценки результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения".

2 ИФП – типичный институт региона, т.к. был основан и развивался в одинаковых с другими НИИ СО РАН исторических, географических, политических и экономических условиях.

3 В настоящее время они размещены на сайте ГПНТБ СО РАН (http://www.spsl.nsc.ru/ win/isitr/str_0h.html).

4 Публикация приписывается к организации, если она указывается автором в качестве места выполнения работы.

5 Этот факт предопределил хронологические рамки дальнейшего поиска.

6 Для незарегистрированных пользователей доступна только информация общего характера.

7 На 21.05.2010 г.

8 Несмотря на то, что в Web of Science имеется режим поиска процитированных работ CITED REFERENCE SEARCH, он не позволяет выявить публикации научного коллектива, поэтому необходимо обращаться к режиму поиска SЕARCH.

9 Несмотря на то, что в режиме SEARCH имеется поисковое поле GROUP AUTHOR, его невозможно использовать для поиска российских публикаций, т. к. в словаре последнего отсутствуют названия российских организаций.


10 Показатели зарубежных БД получены по полю LANGUAGE.




Схожі:




База даних захищена авторським правом ©lib.exdat.com
При копіюванні матеріалу обов'язкове зазначення активного посилання відкритою для індексації.
звернутися до адміністрації