РАНеный конкурс

11.08.2020

Источник: Троицкий вариант, Александр Фрадков



На днях на сайте Минобр­науки были опубликованы итоги конкурса крупных проектов 2020 года. Это был первый массовый конкурс, значимый в масштабах страны, где экспертиза проводилась силами РАН. Силы эти немаленькие: в рекламном проспекте указано, что в составе корпуса экспертов РАН 7265 человек, из них 32% — члены РАН и зарубежных академий, 88% — доктора наук. К сожалению, хотя многие сильные коллективы победили вполне заслуженно, организационный блин вышел комом: к процедуре организации конкурса есть целый ряд нареканий.

Прежде всего техническая база — сайты, куда загружались заявки и где проходило рецензирование, — была низкого качества. При загрузке были неожиданно введены не предусмотренные конкурсной документацией (далее — КД) ограничения на размер содержательных файлов заявки, и текст приходилось срочно и существенно сокращать — резать по живому. При отказе от экспертизы эксперт не имел возможности указать причину отказа. Сайты громоздки и работают медленно. Странно, что не был учтен многолетний опыт работы сайтов конкурсов РФФИ и РНФ — там таких безобразий никогда не было. Надо сказать, что поддержкой конкурса занималась Дирекция НТП (Дирекция научно-технических программ), которая славится неуклюжим сайтом и удивительной бюрократизацией своих конкурсов.

Далее стоит отметить, что процедура экспертизы была непрозрачной. В КД написано следующее:

«9.2.7 Экспертиза проводится по критериям, утвержденным экспертным советом, с участием отобранных экспертным советом экспертов федерального государственного бюджетного учреждения „Российская академия наук“ и с привлечением специалистов (экспертов) в соответствующих областях наук и (или) организаций, обладающих необходимым опытом и квалификацией для проведения экспертизы научных проектов. В результате экспертизы заявкам на участие в конкурсе выставляют баллы по каждому критерию».

Как видим, нет указаний, сколько экспертов рецензирует каждую заявку, в каких случаях и сколько привлекается дополнительных специалистов. Поскольку итоговые баллы оказались кратны только целым или полуцелым числам, можно сделать вывод, что каждую заявку рецензировали не более двух экспертов, а общий балл выводился как среднеарифметический. Для сравнения замечу, что при экспертизе мегагрантов каждую заявку рецензируют два российских и два иностранных эксперта и на их рецензии пишет заключение руководитель группы экспертов. Последнее очень важно, так как каждый эксперт — со своим характером, подвержен эмоциям и выставленные им баллы зачастую отличаются от оценки на основании его рецензии.

Заключение руководителя группы экспертов позволяет сбалансировать оценки и в какой-то степени заменяет групповые консультации экспертов (консенсусные сессии). Отметим, что стоимость мегагранта всего 90 млн руб., а стоимость «крупного проекта» — 300 млн руб., т. е. цена ошибки для российской науки в этом конкурсе гораздо больше.

Удивляет и то, что подавляющее большинство заявок получили денег по максимуму — по 100 млн в год. Неужели Санкт-Петербургскому институту истории РАН на проект «История письма европейской цивилизации» тоже нужно почти 300 миллионов? Не отделаться от ощущения непродуманности организации рецензирования.

И наконец, главный изъян — сама организация экспертизы силами РАН. Мне как эксперту РАН в начале июля 2020 года пришло письмо за подписью президента РАН Александра Сергеева с приглашением принять участие в экспертизе. Я, конечно, согласился, но предупредил, что возможен конфликт интересов, так как я сам руковожу проектом, представленным на конкурс по тому же разделу: механика и машиностроение. Через три дня мне прислали два письма с названиями тем проектов и ссылками для доступа к системе рецензирования. Заявки были не по моей области (процессы управления), а по материаловедению, но указать причину отказа от рецензирования система не давала, и я стал раздумывать. Кто и как назначал экспертов, если мне дали проекты по материаловедению, к которому я отношения не имею? Что было бы, если бы я не отказался? Если эксперт, сам участвующий в конкурсе, ставит проекту высокие оценки, он действует против себя, т. е. создается конфликт интересов. И очевидно, возможный конфликт интересов никто не учитывал. Более того, легко можно представить себе, что группа влиятельных лиц, близких к руководству, имеет свои представления об уровне того или иного профильного института или вуза и эти предпочтения заранее определяют и выбор экспертов, и оценку. Беспристрастной экспертизой это назвать нельзя. Вполне может быть, что влиятельные лица взяли да и разделили между собой проекты для рецензирования, договорившись о баллах. Если это не так, то как происходила экспертиза?

Если был переход с широкого конкурса на конкурс по отделениям РАН, то это приводит к неустранимому конфликту интересов, так как внутри отделения все сильные организации известны (обычно они представлены в отделении директорами-академиками). Поэтому и потенциально сильные проекты в научной области отделения известны, и экспертиза становится не внешней, а внутренней.

Однако объективный конкурс проектов внутри вуза или внутри научной организации, если нет внешней экспертизы, невозможен, потому что неистребимо желание дать побольше баллов своему, близкому или знакомому проекту («Ну как не порадеть родному человечку!»). Поэтому, если конкурс проводится внутри небольшого сообщества, где все друг друга знают и имеют возможность договариваться, то это уже не конкурс, а дележка. В данном случае, казалось бы, был шанс сбалансировать решения на финальном этапе, на уровне конкурсной комиссии, рассматривающей все результаты экспертизы сразу. Но и это было невозможно, поскольку конкурсная комиссия занималась только подсчетом и сравнением набранных баллов. Было бы лучше, если бы, как в конкурсе мегагрантов, рецензентов назначала отдельная комиссия и для экспертного совета, принимающего решения, рецензенты были анонимны. Или если бы рецензенты назначались компьютером, как начал делать РНФ. Но такого в документах не видно.

Итог: огромные деньги на науку снова были распределены сомнительным образом. И участие РАН в экспертизе не сделало ее безупречной. Можно ли как-то исправить ситуацию, вылечить этот очень важный для страны конкурс? Думаю, что да. Для этого, на мой взгляд, необходимо провести в жизнь несколько ключевых решений.

Главное из них — заменить в положении о конкурсе конкурсную комиссию министерства на конкурсный совет (экспертную панель), состоящий из всемирно признанных ученых, который и должен определять победителей конкурса на основе результатов экспертизы. Важно, чтобы состав совета удовлетворял следующим условиям:

а) все члены совета должны иметь ученую степень и международно признанную репутацию;

б) члены совета должны быть аффилированы с различными ведомствами (вузами и научными организациями различного подчинения);

в) область компетентности членов совета должна охватывать все области наук, по которым объявлен конкурс;

г) ни один из членов совета (кроме, может быть, председателя совета) не должен занимать высоких административных должностей (директор/ замдиректора, ректор/проректор и т. п.).

Именно экспертный совет, состоящий из квалифицированных ученых, должен готовить положение о конкурсе, настраивать его параметры: квоты для разных областей наук, допустимые границы для числа баллов и т. п. Он же должен определять и состав документации в заявках и отчетах, снижая число формально-бюрократических сведений. Такой подход оправдал себя в конкурсах мегагрантов. В обсуждаемом конкурсе есть экспертный совет, но решения он не принимает.

Требование (г) очень важно по ряду причин. Во-первых, научные администраторы обычно очень заняты и не могут посвятить достаточно времени анализу итогов экспертизы. Во-вторых, каждый администратор представляет свою организацию и по долгу службы должен отстаивать ее интересы, что создает потенциальный конфликт интересов и риск предвзятости в оценке проектов.

Важность принятия мер к исключению потенциального конфликта интересов отмечается в документах Совета по науке, работавшего при Минобрнауки в 2013–2018 годах под руководством Алексея Хохлова, нынешнего вице-президента РАН. На важность фактора непредвзятости и независимости от организации указывается и в правилах экспертизы проектов Еврокомиссии. В памятке экспертам и членам панелей программы FP-7 сказано:

The expert works as an independent person. He/she is deemed to work in a personal capacity and in performing the work does not represent any organization. (Эксперт работает как самостоятельное лицо. Он/она считается работающим под личную ответственность и при выполнении работы не представляет какую-либо организацию.)

К сожалению, в последние годы во многих органах коллегиального руководства наукой в России большинство мест стал занимать «генералитет» (например, в совете РФФИ, Межведомственной комиссии по оценке результативности деятельности научных организаций и др.).

Другое важное условие честного современного конкурса — создание и запуск удобной интернет-системы подачи и рецензирования заявок. Нынешние инструменты, идущие от Дирекции НТП, неудобны и должны быть забракованы. Можно даже на первых порах позаимствовать удобные и привычные для многих системы РНФ и РФФИ.

Надеюсь, что руководители вышеупомянутых уважаемых ведомств с пониманием отнесутся к эмоциональной критике в заметке, написанной, что называется, по горячим следам. Хочется надеяться, что при проведении следующего конкурса уровень организации будет соответствовать уровню финансирования победителей. Кстати, а так ли нужны гранты по 300 млн руб.? Станет ли намного меньше научных результатов, если давать победителям «всего лишь» по 150 миллионов? А ведь в этом случае освободится два миллиарда в год, за счет которых можно спасти конкурс «а» РФФИ и успокоить научную общественность…

 



Подразделы

Объявления

©РАН 2022