Наука подобна джунглям

В производство нового знания сейчас вовлечены миллионы человек. Это достаточно много, чтобы статистические методы хорошо работали. В ходе работы эти миллионы человек потребляют значительную часть «общественного пирога», достигающую почти целого процента от ВВП (Gross domestic product), в таких странах как США , или хотя бы десятых его долей, как в России и Китае . И желание различных государственных структур и общественных организаций измерять эффективность этих капиталовложений вполне объяснимо и реализуемо. Однако попытки его реализовать нередко приводят к конфликтам.

Совсем недавно несколько десятков европейских журналов по гуманитарным и общественным наукам воспротивились методам, которые Европейский научный фонд (European Science Foundation) избрал, чтобы составить для них единую рейтинговую систему — ERIH (European Reference Index for the Humanities). В своем коллективном письме главные редакторы этих журналов потребовали изъять из индекса все их издания.

Это не первый скандал подобного рода, разразившийся на границе между научным сообществом и широкой общественностью. Только в российских академических журналах с высоким рейтингом за прошедший год дважды публиковались фиктивные статьи , чья научная несостоятельность выявлялась постфактум. В первом случае редколлегии журнала был предложен машинный перевод с английского языка статьи, скомпилированной компьютером Массачусетского технологического института (MIT) . Во втором — у статьи был настоящий автор, но после того, как возник слух, что и эта статья была создана компьютером, все её прочитавшие легко в это поверили.

Cнижение качества научных публикаций беспокоит и самих ученых. В 2005 году большой резонанс вызвала статья греческого медика, специалиста по гигиене и эпидемиологии Джона Иоаннидиса (John Ioannidis), прямо так и озаглавленная — «Почему большинство публикуемых научных находок оказываются ложными» (Why Most Published Research Findings Are False). Там демонстрируется на пример публикаций последних лет по медицине и биологии, что «большинство сделанных учеными находок, а может даже подавляющее их большинство, оказываются потом ложными».

Российский математик с мировым именем Владимир Игоревич Арнольд не раз говорил, что не менее двух третей статей по математике просто не имеют смысла.

Конечно, никакая человеческая деятельность — и научная деятельность в особенности — не может обходиться без ошибок и обмана. Но выявление ошибок и обмана в науке бывает сильно осложнено тем, что смысл и содержание научной работы просто недоступны большинству людей. Поэтому заниматься их оценкой приходится самим ученым, которые могут либо разоблачать обманщиков, либо указывать наиболее достойных доверия исследователей. У первого пути есть свои ревностные поборники, но и минусы его очевидны: он позволяет сосредоточиться только на единичных случаях, часто выглядит как попытка свести личные счеты, и временами обвинения в шарлатанстве и научной недобросовестности обращаются против тех, кто их совсем не заслуживает.

Второй путь тоже не позволяет избежать некоторых ухабов, но он, несомненно, менее травматичен и более эффективен. Правда, его работоспособность сильно зависит от точности выбранных методов.

Дань почтения исполинам

История фразы о карликах, стоящих на плечах гигантов и оттого способных видеть дальше самих гигантов, восходит, вероятно, ко временам античности. В культуру западноевропейской мысли она попала благодаря одному из лидеров Шартрской школы Бернару Шартрскому (Bernardus Carnotensis, ум. ок. 1130) и особую популярность приобрела благодаря Исааку Ньютону (Sir Isaac Newton, 1642–1727), считавшему своим особым долгом давать в своих сочинениях ссылки на тех, кому он обязан своей прозорливостью.

Ссылочный аппарат для современной научной публикации — обязательный атрибут. Редколлегия откажется рассматривать даже самую маленькую заметку, если её автор не сошлется на ученых, чьи идеи он использует или развивает и чьими методами пользуется. Любой специалист должен знать все свежие публикации по своей теме, а ссылки на слишком старые труды часто служат поводом для отклонения работы.

Полезность литературных ссылок отражена и в научном фольклоре. Часто говорят, что качество научной работы определяется количеством более ранних статей и книг, чтение которых становится излишним после прочтения данной. Ещё говорят, что научные статьи по большей части можно не читать: достаточно прочитать только заголовок и список литературы.

То же самое мнение иногда трансформируется в изощренных мозгах некоторых профессоров в своего рода фобию : давая студентам или аспирантам копии обязательных для прочтения статей, они старательно отрезают выходные данные и списки литературы из опасения, что ученики могут перерасти учителя.

Этот важный и отчасти опасный атрибут современной научной публикации дает, как оказалось, мощный инструмент научного исследования самой науки. Идея взглянуть на науку её же собственными глазами не нова. Она насчитывает по меньшей мере с полсотни лет. И если в 50–60-е годы наибольшее внимание привлекал вопрос демаркации — а именно, как провести линию между наукой и не-наукой (религией, философией, лженаукой и т. п.), — то к концу 60-х и в особенности в 70-е годы на науку обратили внимание социологи. Примерно к этому времени относится появление в курсах западных университетов таких специальностей, как 3S (social studies of science) или STS (science, technology and society). В СССР в 1952 году был создан Всесоюзный институт научной и технической информации (ВИНИТИ), а в 1969-м — Институт научной информации по общественным наукам (ИНИОН).

Социологические методы — это не только анкетирование, опросы общественного мнения и экспертные оценки. В знаменитой книге Брюно Латура (Bruno Latour) и Стива Вулгара (Steve Woolgar) «Лабораторная жизнь: социальное конструирование научных фактов» (1979) есть глава «Визит антрополога в лабораторию». И в самом деле, социологи не раз внедрялись в передовые исследовательские коллективы, чтобы изучать их примерно так же, как изучают африканских пигмеев или индейцев амазонской сельвы : они вникали в суть используемого научного жаргона, следили за тем, как описываются проводящиеся эксперименты и как складываются отношения с соседними племенами (лабораториями).

В СССР были свои причины, чтобы развивать социологические методы в научном исследовании науки в условиях почти полного замораживания социологии в целом. Эти причины были в основном экономического характера: правительству хотелось сэкономить на научных организациях, сохранив при этом их оборонную эффективность. По меткому замечанию одного из ведущих отечественных науковедов 60-х годов, научная результативность «пропорциональна лишь логарифму от ассигнований, но прямо пропорциональна степени организации науки». Метафора красивая, хотя и вызывает немедленное возражение: утверждать о прямой пропорциональности можно только после того, как выбрана мера «организованности науки». Однако эмоциональный смысл фразы очевиден: с тем, как дурное руководство блокирует нормальную работу даже хорошо экипированной команды, приходится сталкиваться не только в науке.

Неосознанная правда

Ученые могут признаваться в том, кого они считают достойным доверия, даже когда им никто не задает соответствующего вопроса. Ссылочный аппарат, ставший обязательным в любой научной статье, дает возможность вычислить это, хотя такие вычисления требуют немалых затрат сил и времени. Выпускник Пенсильванского университета в Филадельфии (University of Pennsylvania), обладатель докторской степени по структурной лингвистике Юджин Гарфилд (Eugene Garfield) придумал в 1961 году довольно простой алгоритм. Надо нанять девушек-студенток, чтобы они, устав от своих штудий, пролистывали научные журналы, конспектируя лишь списки литературы в конце статей. Их конспекты позволяли подсчитать, кто кого цитирует в своих статьях.

Если в течение года в научных публикациях чаще всего цитируются работы ученого по имени А , то можно предположить, что этот А и есть самый авторитетный ученый. Кстати, самого Гарфилда поначалу интересовала совсем другая проблема: как распространяются научные знания? Он считал, что этот процесс тоже можно проследить по ссылочному аппарату — точнее, по его динамике. Если важная идея была высказана в статье ученого А , и мы посмотрим, как эту статью цитируют другие ученые, а потом посмотрим, как их статьи цитируют третьи, мы сможем делать выводы относительно признания или непризнания исходной идеи ученого А .

Попытки вычислить подобным образом самого авторитетного ученого сопряжены с подвохом, которого нет в задаче с распространением научного знания. «Специалист подобен флюсу», — говорил Козьма Прутков: оценка авторитетности обязательно должна сопровождаться указанием области, в которой этот наш гипотетический А авторитетен. Поэтому для начала Гарфилд просто создал свой Институт научной информации (Institute for Scientific Information), который стал издавать библиографические справочники типа «Science Citation Index», «Social Science Citation Index», «Journal Citation Report» и «Current Contents». Их читателям предлагалось при желании самостоятельно установить, кто более авторитетен, а кто менее.

По прошествии не очень большого времени выяснилось, что справочники Гарфилда дают идеальную информацию для того, чтобы действительно определить наиболее авторитетных в своей области ученых, причем вместе с этой самой областью. Для этого надо только провести статистический анализ так называемых социтирований (co-citation analysis). Например, если ученые В и С цитируют в своих статьях одну и ту же работу ученого А , то они, скорее всего, работают в одной и той же области. Про В и С говорят, что они входят в один кластер и между ними есть статистическая связь, которая тем сильнее, чем чаще они цитируют А (или друг друга).

Статистический анализ кластеров стал возможен только тогда, когда в распоряжении библиографов появились достаточно мощные компьютеры. А это случилось именно к середине 70-х. Только после этого появилась возможность вычислять наиболее цитируемых авторов в каждом кластере и отождествить их с наиболее авторитетными учеными в соответствующей исследовательской области.

Однако система позволяет подвергнуть учету не только ученых, но и журналы, в которых они публикуются. Мерой авторитетности журнала со времен Гарфилда принято считать математическое ожидание количества цитирований одной статьи журнала на протяжении следующего года. Эту величину называют импакт-фактором. Поскольку это величина вероятностная, то оценить её можно только статистически: в качестве импакт-фактора журнала в этом году используется среднее арифметическое количества цитирований в прошлом году статей позапрошлого года.

Но для определения такого среднего надо подсчитывать цитирования во всей научной прессе, что, очевидно, невозможно. Поэтому такой подсчет проводится лишь по тем журналам, для которых вычисляется импакт-фактор (в частности, он совсем не принимает во внимание монографии). И совсем не удивительны результаты недавних исследований, в которых обнаружилось, что результаты в измерении импакт-факторов очень чувствителен к тому, кто и как эти подсчеты производит.

Великая реалистическая революция

По каким-то пока ещё не исследованным причинам наукометрия в нашей стране после бурного взлета резко пошла на спад. Уже к концу 70-х годов финансирование исследований по этой тематике стало сокращаться, а потом последовала и ликвидация соответствующих научных подразделений. И только конец 80-х принес этой науке новую жизнь. Весьма, впрочем, хилую и болезненную.

Тем не менее уже четыре года идет создание Российского индекса научного цитирования (РИНЦ), который должен будет перенести опыт гарфилдовских индексов и его более поздних клонов на отечественную почву. В частности, надо провести кластеризацию на основании публикаций на неведомых сотрудникам Гарфилда славянских языках. Однако уже сейчас ясно, что для отечественного индекса не столько будет важен авторитет отдельных ученых, сколько импакт-факторы научных изданий. Не так давно в деле индексирования было даже сказано новое слово: на основании индексов отдельных ученых вуза рассчитать импакт-фактор вуза в целом.

В этом нетрудно усмотреть проявление своеобразного отношения к ученому и научному учреждению в отечественной культуре. Для описания этого своеобразия некоторое время назад наш известный философ Валентин Бажанов ввел понятия социального реализма и социального номинализма. «В истории социальной мысли явно или неявно соперничали два подхода. Один исходил из примата целого над частным, а другой, наоборот, ставил на частное и обусловливал успех целого успехом его частей». Именно первое он и называл социальным реализмом, связывая его в философском плане с такими теоретиками, как Гегель и Маркс.

«Целое» в случае науки — это разнообразные научные учреждения и направления. Трудно представить себе ситуацию, в которой в наши дни сколь бы то ни было успешный и перспективный ученый получил бы финансирование на свои исследования, сопоставимые с финансированием научного направления. А стало быть, ошибка в оценке этого направления обернется гораздо большими финансовыми потерями, чем ошибка в оценке вклада единичного ученого.

Причем эта индексация, в отличие от гарфилдовской, строится не на библиометрических показателях, а на экспертных оценках. Состав экспертной комиссии можно считать неизвестным. Заметим, что по такому же принципу сейчас в нашей стране работает Высшая аттестационная комиссия. Соискатель ученой степени должен опубликовать выносимые на защиту результаты в одном из так называемых списочных журналов (фактически, журнале с высоким рейтингом). Список формируется на основании экспертных оценок, а состав экспертов и выбранные ими критерии не известны не только редакторам российской научной периодики, но даже самому председателю Высшей аттестационной комиссии, если судить по словам, сказанным им на встрече с главными редакторами весной этого года.

Таким образом, если пользоваться терминологией Бажанова, отечественный проект выполняется в реалистических традициях и противоречит идеям воспитанного в духе либерального номинализма Гарфилда. Но и протест главных редакторов гуманитарных журналов против европейского индекса ERIH — это тоже по сути реакция на смену номиналистических ценностей реалистическими.

Их главное возражение вполне понятно: оценивать надо конкретные публикации и их конкретных авторов. Даже если предположить добросовестность и компетентность экспертов, с большой степенью достоверности устанавливающих журналы научного мейнстрима, появление новаторских и по-настоящему важных публикаций именно в них крайне маловероятно. Напротив, опыт показывает, что такие публикации чаще всего выходят сначала в малоизвестных маргинальных изданиях. А это означает, что по-настоящему репрезентативная метрика должна стоиться на кропотливом и доскональном статистическом анализе, при всех его очевидных минусах и погрешностях.

Наконец, чтобы история, с которой начинался рассказ, не оставалась незавершенной, добавим, что чиновники Европейского научного фонда не поддались на вполне разумные призывы. Система, возможно, будет совершенствоваться в будущем, но пока она останется такой как есть. И ни один журнал не будет изъят из рейтингов по воле его главного редактора.