Блогът на Мартин Осиковски

06 май 2019

Рейтингов геноцид (2): чрез публикуване към индексонадой -- чуждестранният опит

(Капитал, 30 март 2019 г.)

В „Рейтингов геноцид срещу заплащане“ по-миналата седмица представих някои лични възражения срещу ежегодните абонаменти, заплащани от МОН към компаниите Elsevier и Clarivate Analytics; възразих и срещу ограничаването на критериите за оценка на научната дейност на българските университети до библиометрични показатели на системите Scopus и Web of Science. В настоящото продължение бих желал да разгледам международния опит в тази насока и да направя някои допълнения.

Абонаменти: Бъркли, другите и България

Нека започна с обещаните подробности за Калифорнийския университет. На 28 февруари тази година преговорите между Елзевир и Бъркли са прекратени, а заедно с тях – и подновяването на многомилионния договор за достъп до съответните информационни продукти. Между вижданията на двете преговарящи страни възниква непреодолимо разминаване: от Бъркли настояват за отворен достъп до всички свои материали, включени в базите на Елзевир, и са готови да компенсират издателството със заплащане на по-високи публикационни такси (за тях ще стане дума по-нататък). Най-доброто предложение на Елзевир по тези условия е заплащане на допълнителни $30 млн. в рамките на нов тригодишен договор; преценката на университетския екип е, че тази цена е твърде висока и не може да се заплати.

Бъркли е първият американски университет, който се решава на такива крайни действия, но изключително интересни новини от последните дни подсказват, че няма да е последният. В Европа „Elsevier-free“ зоните са доста повече: най-много са в Германия („лигата на 200-те“, сред които гиганти като Хайделбергския университет „Рупрехт Карл“, Мюнхенския „Лудвиг Максимилиан“, Баварската и Берлинската държавни библиотеки, Научното общество „Макс Планк“), в Швеция, а съвсем отскоро – и в Норвегия; разраства се и глобалната инициатива „The Cost of Knowledge. Параметрите на ситуацията винаги са сходни: научните общности

желаят отворен достъп до публикациите си; компенсациите, които изисква Елзевир, винаги са твърде високи; договорите се прекратяват. Според Джефри Мейсън, ръководител на университетската библиотека в Бъркли, става въпрос за глобална тенденция: достъпът до научноизследователска продукция следва да бъде отворен, а издателите-гиганти рано или късно ще се съобразят с това; компании като Елзевир просто не са узрели за промяната.

На този фон българската ситуация изглежда тъжна и смешна едновременно: докато академични „звездни разрушители“ с финансовата мощ на Бъркли (бюджет $2.8 млрд. за 2018 г.) намират офертите на Елзевир за необосновано високи и ги отхвърлят, то МОН (бюджет за всички държавни университети 2018: 415 млн. лв./ок. $240 млн. – повече от 10 пъти по-малък от този на Бъркли) обявява многомилионна обществена поръчка и вероятно... дори намира условията за „финансово благоприятни“.

Специално у нас към това може да се посочи и допълнителен проблем, свързан с публикационните такси. Става въпрос за сума, която се дължи при желание на автора да публикува с отворен достъп, която компенсира загубите издателството от пропуснатите продажби на материала. По официалната ценова листа на Елзевир, тези такси варират между $150 и $5,000. Както може да се предвиди, интересът на българските автори е да публикуват с отворен достъп: това подсигурява по-голяма видимост на публикациите, оттам – по-високо обращение и, евентуално, цитируемост. Ето защо по правило ни се налага да публикуваме със заплащане на такси (въпреки риска от приемане на некачествени публикации поради финансов интерес на издателя). Възможно е съответният български университет или институт да не разполага с бюджет за пълно или дори частично покриване на публикационната такса. С други думи, става въпрос за шокираща бюджетна асиметрия: вместо ограничените милиони на МОН да се насочат (например) към университетските автономии и да се използват за публикационни разходи (такси, превод, езикова редакция и т.н.), те буквално се „харчосват“ за национален достъп до наукометрични бази данни, които сетне се използват за пасивно следене на съответния индекс и брой индексирани публикации.

Мнозина (справедливо) ще отбележат, че в разходите от близо 8 милиона годишно е включен достъп до качествена пълнотекстова база данни – Science Direct. Тук мога да възразя само със следното (лично) мнение: тази пълнотекстова база не е еднакво полезна за различните изследователски области; за някои тя даже е почти безполезна (право и история например). Но дори да не беше така, поначало не е добра идея потреблението на такива продукти да бъде свеждано до полуфабриката на „ол-инклузив пакет“, спуснат към всички научни центрове в България. Могат да се комбинират различни варианти, скроени по специфичните потребности на различните области – вместо унифициран „национален абонамент“ за едно и също, може да се помисли за множество различни „институционални абонаменти“, ако щете дори за автономни pay-per-view бюджети; нужно е просто въображение и адекватен изследователски нюх. Това е дълга тема, но на първо четене съм напълно убеден, че разходите ще бъдат оптимизирани и, по-важно, действително всичко, за което се плати, ще бъде ползвано. Какъв наистина е смисълът от заплащане на пълен достъп до медицинския раздел на Science Direct, да речем, в един технически университет?

Всичко това, струва ми се, свидетелства достатъчно добре за необходимостта от пълно преосмисляне на луксозната политика по заплащане на национални абонаменти (както за наукометрични, така и за пълнотекстови бази данни), без предварително да са изяснени точните параметри на ползата от всяка една похарчена стотинка, както писах миналата седмица. Не преувеличавам със „стотинката“: не сме достатъчно богати, за да можем да си позволим ненужни разходи – били те и минимални.

Увеличаване на индексонадоя: задача №1?

И все пак казаното дотук засяга само абонаментите; какво може да се допълни към основната страна на проблема – редуцирането на критериите за оценка на научната дейност до показатели на Scopus и Web of Science, което също се опитах да оспоря миналата седмица? Мнозина (отново справедливо) ще възразят: та това са най-пълните и най-добре разработени науко-/библиометрични бази данни, как бихме могли дори да си помислим да оценяваме наука без тях?

Първо, уточнявам: нито за миг не би ми хрумнало да отричам някой от тези два инструмента. Аз така или иначе ги ползвам, а от време на време даже излиза и по някой друг цитат; данните не са напълно безинтересни – в моя случай например наскоро се оказа, че неиндексираните ми публикации имат по-висока цитируемост от индексираните (храна за размисъл по въпроса доколко „индексирано“ = „по-видимо/цитирано“). Отричам само отричането на многобройните възможни алтернативи – и най-вече на възможността за включване на българоезична продукция в критериите на документи като ПМС № 64 и РСВУ. Горещо се надявам, че тази (помоему балансирана) позиция е била ясно изразена в текста ми от миналата седмица.

Второ, малко любопитни подробности: докато българската практика (методология на РСВУ, оттам – разнообразните правилници и наредби, които загребват числа от нея) е оразмерена в почти пълно подчинение на показатели по Scopus/Web of Scienceдо степен на комично израждане на научното творчество в „индексонадой“ – то чуждестранният подход е съвършено различен. Чудесен (и съвсем не единствен) пример в това отношение е британската Research Excellence Framework – аналог на българската РСВУ, но ограничен до оценка за научната дейност на университетите в Обединеното кралство. И тук, както в нашенската РСВУ, се отчитат цитати и публикации (редом с много други неща); но забележете как елегантно и добронамерено REF определя водещите индикатори „Публикации“ и „Цитируемост“:
Публикации: оценката на научната продукция няма да бъде съобразявана с импакт факторите или йерархията на изданията. Нито един научен продукт няма да бъде привилегирован или ощетяван въз основа на издателя (параграф 207).
Цитируемост: Където е възможно и удачно, цитируемостта ще се използва като индикатор за академичната значимост на научния продукт. Това ще бъде само един елемент при определяне на качеството на продукта и няма да се използва като водещ инструмент за оценяване (параграф 274/a).
Липсата на данни за цитируемост няма да се смята за показател за липса на академична значимост (параграф 274/b).
Ще се има предвид, че данни за цитируемост не винаги са налични, че нивата на цитируемост са различни за различните дисциплини, че те изобщо могат да бъдат неблагонадежден фактор в определени случаи и при езици, различни от английски (параграф 274/c).
За оценката ще бъдат използвани единствено данни, предоставени от екипа на REF, и няма да се ползват никакви други източници на библиометричен анализ, особено що се отнася до импакт фактори и други рейтингови показатели при научната периодика (параграф 274/d).
Трябваше да мобилизирам личните си контакти в Оксфордския университет, за да разбера от първа ръка как работи тази система, и ето какво се оказа: на всеки пет години до пет публикации на всеки преподавател се оценяват за „качество“ и „влияние“; това става чрез задълбочено преглеждане на материалите от самите оценители, а не чрез проследяване на външна метрика; показателите, по които се формира оценката, се определят единствено от REF и в определени случаи са неприятни, но „не дотолкова, колкото при вас“; ключова особеност е, че прилагането на еднакви критерии за оценяване на различни научни полета е недопустимо. Аналогичен отговор получих и от колеги в Хелзинкския университет, където също отправих запитване, а през идните дни ще проуча положението в поне два знакови германски университета.

За сравнение – ето (дословно) какъв е „дружелюбният“ подход в нашенската РСВУ (стр. 31 от документа – запазвам автентичните преводни варианти на българската и английската фрази в цитирания документ, както и пунктуацията; оставам на разположение за безплатна преводаческа, редакторска и коректорска помощ на екипа на МОН/РСВУ, ако преценят, че се нуждаят от такава):
Индикатор „Статии в научни списания (Scopus)”. Индикаторът показва броя публикации в реферирани научни списания („article in journal“) според международната база данни Scopus. Броят публикации е един от възможните косвени индикатори за обема на научната продукция. В неприложните дисциплини публикуването е основен продукт – “Publish or perish.” („Публикувай или изчезни.”), както казва една крилата фраза в англоезичния академичен фолклор. Изискването публикациите да са направени в реферирани списания пък представлява гаранция за покриване на минимални академични стандарти за качество на продукцията.

Горният цитат се отнася само до един от индикаторите на РСВУ. Когато към него се прибавят и останалите (индекс на цитируемост на висшето училище, индекс по научна област, среден брой цитирания на документ, среден брой на студент и т.н., и т.н. – всичко това веднъж за Scopus, втори път – за Web of Science) и когато българската класификация на професионални направления се размеси с класификациите по области на двете бази данни, кашата става толкова пълна и неразгадаема, че се чудя в каква степен данните, публикувани от РСВУ всяка година, изобщо имат нещо общо с обективната истина.

(Може би поради тази причина докладът в подкрепа на научните изследвания и иновации в България към програма „Хоризонт 2020“ от 18 юни 2018 г. дава категорична препоръка за изваждане на „импакт факторите“ и „h-индексите“ от методиките за оценка на научната дейност; препоръчва се също и удължаване на „изключително необичайния и проблематичен“ едногодишен период, в рамките на които се оценява научната дейност, до 3+ години, каквато е международната практика – вж. стр. 18 на документа.)

И така, ето два дълбоко различни подхода: един, създаден, за да насърчава търсенето и намирането на качество в многообразните му гъвкави форми; и втори, създаден, за да го игнорира или унищожава винаги, когато то не може да бъде заверено в числовата матрица на съответния индекс/импакт фактор. Толкова по въпроса доколко е възможно да се оценява научната дейност без луксозни външни библиометрични показатели: академични гиганти като Обединеното кралство могат; у нас не могат. Ако последните бъдат попитани защо, нищо чудно да кажат: „Тука е така! Да сте възразявали навремето“, ще хлопнат прозорчето и ще завъртят райбера. Като се замисля, има логика – как иначе университетите ще се „научат да работят с по-малко студенти“ (по възможност, разбира се, за сметка на социалните и хуманитарните области)?

Епилог

Съвсем накрая искам да направя две изрични уговорки.

Първо, умолявам всички познати и непознати колеги да имат предвид, че задачата, с която се захващам, не е свързана с борба срещу чуждоезична научна продукция, нито с борба срещу употребата на информационни бази данни. Ни най-малко – по стечение на обстоятелствата самият аз пиша с най-голямо удоволствие и старание на английски език, никога не ползвам преводачи (но винаги публикувам с редактор, на когото заплащам, ако се налага, от джоба си). Също така, както отбелязах по-горе в текста, ползвам бази данни в личната си изследователска работа – дори тези на Elsevier и Clarivate Analytics (макар и много рядко). Намирам за нетърпимо обаче това, че българоезичната продукция е изтласкана в положение на пълен аутсайдер в методиката на РСВУ и оттам – във всички нормативни документи, които черпят данни от нея; смятам, че сумите за национални абонаменти са бюджетно безумие. Съвършено сигурен съм, че и на двете неща трябва и ще бъде сложен край. Чудесен пример, от който може да се тръгне по тази линия, е Наредбата за финансиране на научната дейност в университетите, приета с ПМС № 233 от 10 септември 2016 г. (Но и тук, колеги, остава въпросът: какво правим с преводите? Едно българско издание на Еврипид, в което са вградени години къртовски труд, наукометрична нула ли е?)

Второ, част от реакциите срещу статията от миналата седмица разкриха грозна картина на колеги от природните области, които се карат с хуманитари и социални учени почти до степен на първична омраза. В обертоновете на лекокрили обвинения в „национализъм“ (?!) и забележки, че „те трябва да се научат да пишат на английски“, всъщност могат да се усетят дълбоките корени на едно убеждение, че у нас всеки, който пише на родния си език, е виновен (в цитиране/публикуване по приятелска линия и т.н.) до доказване на противното. Това не е просто антиджентълменски начин на спорене – това е най-обикновено нахалство. Вероятно в един въображаем български вариант на „Теория за големия взрив“ подобни караници биха били ужасно смешни. Но когато са сериозни, от тях остава само грозна надменност, професионално скъперничество, невероятен провинциализъм и, прощавайте, форумна простащина. Най-любезно каня всички да си припомнят колко неизменно чуждо е било всичко това на нашите общи предци от школите на Елада, както и на първите европейски университетски магистри столетия по-късно: много от тях действително са успявали по удивителен начин да бъдат математици, хуманитари, природни и социални учени едновременно. Точно споменът за тази стародавна задруга, струва ми се, потайно оживява всеки път, когато запеем тържествено: „Vivat academia!“.

Vivat igitur.