16 сентября 2019, понедельник, 11:06
VK.comFacebookTwitterTelegramInstagramYouTubeЯндекс.Дзен

НОВОСТИ

СТАТЬИ

PRO SCIENCE

МЕДЛЕННОЕ ЧТЕНИЕ

ЛЕКЦИИ

АВТОРЫ

05 сентября 2014, 08:45
Андрей Ростовцев

Россия как перегретая жидкость

Андрей Ростовцев
Андрей Ростовцев
Фото Н. Деминой

Интервью с физиком Андреем Ростовцевым, одним из создателей проекта «Диссернет», проходило на пути в Новгород, где мы провели несколько дней в общении с археологами. Андрей – человек разносторонний и помимо своей основой области интереса – физики элементарных частиц – интересуется и историей, и виноделием, и использованием программных средств для борьбы с плагиатом. 

Вы придерживаетесь точки зрения, что в России нельзя оценить эффективность научных исследований. Почему нельзя?

Потому, что мы не можем отличить сейчас науку от псевдонауки. То, с чем мы столкнулись в «Диссернете», показало, что эти диссертации – только вершина айсберга. На самом деле, если мы займемся анализом научных публикаций, то там еще больший ужас, хотя все эти публикации входят в «Карту российской науки». И когда мы начинаем про кого-то говорить: «Свою диссертацию он списал», нам отвечают: «Может быть, он и списал диссертацию, но посмотрите: у него 80 монографий, 72 учебника и 430 научных статей».

Когда начинаем разбираться, то оказывается, что монографии списаны, причем списывание в монографиях обычно многослойное. Совсем недавно мы анализировали учебник по педагогике, состоящий из четырех частей. Каждая часть списана из других работ, то есть, собственных слов автора там вообще нет.  Две части из четырех списаны из более ранних работ с плагиатом. То есть получилась такая «елка», и такое мы видим очень часто. Наука и псевдонаука настолько тесно сплетены в современной России, что мы не можем их различить, они теряют свои свойства, собственно говоря, становятся одним целым.

Вы говорите о гуманитарной науке?

Разумеется, наибольший процент копипейста в социальных и гуманитарных науках, но большой процент и в технических науках. В физико-математических и естественных науках его меньше, но он есть. И когда говорят: «Ну что, мы сами знаем, кто у нас ученый, кто – нет». Ничего подобного! Это субъективный взгляд на вещи, и да, один знает, а другой говорит: «Нет, а я с тобой не согласен, потому что у того 73 монографии». И каждый будет защищать свою поляну в таком споре.

Так что спор о том, как провести экспертную оценку, чисто субъективный. Мы не можем провести экспертизу на макроуровне, сказать, какой институт слабый, а какой сильный. Нельзя создать правила, как отделить слабых от сильных, такого правила не может существовать у нас в принципе. Такой анализ можно проводить эффективно лишь на микроуровне, то есть, необходимо анализировать работу каждого исследователя по отдельности, и на этом микроанализе строить ландшафт российской науки. В которой, действительно, есть сильные научные группы, но их надо рассматривать индивидуально, а не по каким-то общим критериям. Потому, что по общим критериям не получится. У нас наука и псевдонаука сильно взаимосвязаны.

Как и кому пришла в голову идея «Диссернета»? Как создавалась «диссерорубка» профессора Ростовцева?

Это тот самый случай, когда идея витает в воздухе. Было ясно, что проблема созрела. Она созрела уже тогда, когда много людей занялось диссертацией Андриянова. А «диссерорубка» возникла примерно так: Андрей Заякин попросил меня «погуглить» какие-то фразы из чьей-то диссертации. Это оказалось утомительным занятием и было понятно, что его можно автоматизировать, сделать так, чтобы компьютер сам разбивал диссертацию на фразы и сам их «отгугливал», а дальше анализировал то, что получается. Вот, собственно говоря, и всё. Понятно, что после того, как диссертацию проверяет компьютер, результаты проверки проходят еще и ручную проверку.

А долго вы писали эту программу?

Есть такой хорошо забытый язык Perl, он как раз приспособлен для работы с текстами. То есть, в нем уже всё написано. Собственно программа состоит из десяти строчек (если не считать комментарии). Разработчики Perl все за нас сделали уже. Он настолько удобный, настолько flexible, что, на программу может уйти всего лишь полчаса и еще час на ее отладку.  

Получается, что «Диссернет», «диссерорубка» – это Perl плюс Google?

Ну да, поисковики плюс Perl. То есть, все инструменты были готовы, их надо было  лишь собрать воедино.

А почему, кстати, «Антиплагиатор» не видит то, что видит «диссерорубка», и наоборот?

В отличие от «Антиплагиата», мы пользуемся уже подготовленными инструментами, в частности, индекс-файлами поисковиков. Они создали свой индекс-файл на основе оцифрованных диссертаций. Плюс каких-то учебников. «Антиплагиат» не использует уже готовый индекс-файл, который сделал «Яндекс» по всему интернету (то, что доступно в интернете), или, там, Google, ведь эти инструменты, на самом деле, платные. То есть, они не доступны для автоматического пользования. Если вы хотите в Google набрать какую-то фразу для поиска – это пожалуйста. Но если какая-то программа будет производить поиск, то  Google тут же это отслеживает и запрещает. То есть, для роботов они не раздают бесплатно свои индекс-файлы, только за плату.

«Диссерорубка» существует за счет оплаты услуг поисковиков?

Да, на платной основе. Точнее, не мы платим, а платят волонтеры, которые нам передали свои такие, так называемые, яндекс-квоты. Их достаточно много, они и позволят Диссернету успешно работать.

В каком направлении должно идти развитие «Диссернета»?

Я думаю, что у «Диссернета» должно быть развитие в сторону, во-первых, институциализации. «Диссернет» не должен оставаться физическим лицом, а получить статус юрлица, тогда мы можем работать с университетами. Некоторые вузы уже проявляли намерение с нами работать, и из МГУ, и из Вышки, и даже из РГСУ. Но проблема в том, что для сотрудничества им нужно юридическое лицо, они не могут встать на обслуживание у «Ивана Петровича».

Во-вторых, нам надо переходить от анализа диссертаций к анализу публикаций. Там непаханая целина, это еще большая беда, чем списанные диссертации. Мы пока не занимаемся активно публикациями и монографиями, но то, что иногда приходится видеть, это чистый ужас.

Чиновники Министерства образования и науки обычно используют «Диссернет» только когда им это нужно. То есть захотят, используют выводы «Диссернета» (как в случае дочерей бышего ректора РГСУ Василия Жукова), а захотят, не обращают на них никакого внимания. Как вы к этому относитесь?

Да, они используют выводы «Диссернета» в своих целях, как хотят. Это печально. На мой взгляд, они должны наши работу воспринимать с благодарностью, вместо того, чтобы говорить: «Эти ребята делают вредное дело, и мы сами без них разберемся». Но ведь не разбираются, не хотят разбираться. А наши результаты используют тогда, когда им выгодно.

Движение «Диссернета» развивается, группа его участников расширяется или стабильна?

Нет, она нестабильна. Какие-то люди более-менее стабильно участвуют, есть люди, которые приходят на какое-то время и уходят, и постоянно появляются новые. «Диссернет» – это очень подвижная, не замороженная вещь.

Изменил ли «Диссернет», на Ваш взгляд, отношение общества к проблеме плагиата?  

Я думаю, что да. У нас нет возможности провести социологический анализ, но из бесед с преподавателями я делаю вывод, что люди стали осторожнее относиться к копированию чужих текстов в диссертациях. В диссертационных советах стали более ответственно относиться к диссертациям... Конечно, это не только из-за «Диссернета», а из-за того, что сейчас введены более строгие правила. Если в диссертационных советах есть серьезные нарушения, то их просто распускают. И их членов нельзя будет какое-то время допускать к диссертациям. Поэтому они стали более осторожно относится к диссертационным работам.

Если говорить уже о ситуации в науке. Каковы, на Ваш взгляд, итоги реформы РАН? Прошел год после ее начала.  

Никакой реформы пока не было. Но ситуация в науке отражает ситуацию в политической жизни страны. И ее полный упадок сказывается и на науке.

Как сложилась Ваша научная карьера после увольнения из ИТЭФа?

Пока никак не складывается, лето – это не самое лучшее время для поиска работы, но я надеюсь, что скоро эта ситуация успешно разрешится.

Удалось ли что-то сделать в области физики элементарных частиц, появились ли новые статьи?

В этом году вышло несколько статей. Но я бы не сказал, что они были какие-то супер-супер новые. Это просто продолжение нашего исследования, которое перешло в стадию обобщения, подведения итогов. В этом году, я надеюсь, мой аспирант защитит кандидатскую диссертацию.

На какую тему?

Мы изучаем механизмы рождения частиц при столкновении частиц высокой энергии. Мы обрабатываем данные многих-многих экспериментов и находим новые закономерности в этих данных. Анализируем их вместе с теоретиками из разных стран и приходим к удивительным заключениям. В частности, к тому, что (как раз последние статьи у нас наиболее удачные в научном плане) механизм рождения частиц при столкновении на ускорителях очень близок к тому, что мы знаем о механизме рождения частиц в области черных дыр, физики черных дыр. То есть работа получается не только физическая, но и философская…

Как микромир соединяется с макромиром?

Микрокосмос – в каком-то смысле является подобием настоящего большого космоса.

Удается ли находить время на чтение? Порекомендуете ли какие-то книжные новинки?

В США есть такой популяризатор науки Аманда Гефтер (Amanda Gefter), в этом году она выпустила книжку «Проникновение на лужайку Эйнштейна» (Trespassing on Einstein's Lawn). Ее книга представляется мне просто замечательнейшим примером издания, популяризирующего самый-самый современный край знаний: космологию, квантовую механику, физику элементарных частиц. Я читаю ее с гигантским интересом, несмотря на то, что это популярная литература. Я таких книг у нас не встречал.

Заинтересовали ли книги на русском языке? Может быть, не только научно-популярные, но и просто fiction или non-fiction?

Самое сильное впечатление за последнее время на меня произвела книжка Льва Гудкова, социолога из «Левада-центра». За нее он как раз получил премию «ПолитПросвет» 2014-го года. Мне также очень понравилась книга на немецком языке о покушении на Гитлера в 1938-м году.

У вас хороший немецкий язык, правильно?

В общем, да, десять лет работы в Германии не прошли даром.

В Германии существует свой «Диссернет» – VroniPlag. Что-то у них появилось новое, что стоило бы перенять «Диссернету»? Или сейчас «Диссернет» уже пошел по собственному пути?

Да, «Диссернет» уже пошел по собственному пути. Очень интересно наблюдать развитие VroniPlag и параллельно «Диссернета». И то, что последнее время они взялись за диссертации не политиков, а медиков. И это произошло примерно одновременно с тем, как «Диссернет» начал заниматься медицинскими диссертациями. Мы поняли, что именно в медицинских темах можно ярко увидеть пересечение этических вопросов и проблем фальсификации и подлога научных данных. И очень приятно, что в Германии двигаются в том же направлении.

Получается, что проблема плагиата глобальна и эта болезнь не зависит от страны?

Ну да, болезнь, в принципе, не зависит от общества. И в Германии, и в России болеют гриппом. Но весь вопрос в масштабе заболевания. Если у нас это – это пандемия, это катастрофа, то у них лишь кашляют и чихают. Ну, и самое главное отличие очевидно, мы о нем говорили уже не раз, что результат уличения кого-то в плагиате в Германии и России совершенно разный. Здесь как раз сказываются различия в реакции общества на фальсификации – в Германии она крайне нетерпимая, а в России – на это почти не обращают внимания.

1 сентября на открытии "Физтех-лицея" выступали одновременно губернатор Московской области Андрей Воробьев, известный тем, что в его кандидатской диссертации нашли многочисленные заимствования, и лауреат Нобелевской премии Константин Новоселов. Меня удивила реакция друзей, многие из которых сказали, ну и что такого, что они выступят перед детьми вместе? На что вы надеетесь, если общество настолько спокойно относится к «паленым» диссертациям, к подорванным репутациям?

Мне кажется, что Россия – как перегретая жидкость, достаточно будет небольшого возмущения, и народ начнет отказываться и скидывать свои ученые степени, это будет престижно и модно. Я абсолютно уверен в том, что то, что мы сейчас видим, – это неустойчивое состояние. И тогда результаты нашей работы пригодятся.

Спасибо большое за интервью.

Обсудите в соцсетях


ПОДГОТОВКА ИНТЕРВЬЮ: Наталия Демина
Система Orphus

Главные новости

10:37 Четырехдневную рабочую неделю протестируют на предприятиях нацпроекта
09:50 Римский бронзовый котел нашли археологи в Норвегии
09:41 В Париже Шумахера выписали из больницы
08:58 Свыше 2,5 тысяч камер видеонаблюдения установят в поездах нового наземного метро (МЦД)
08:52 Джеки Чан по-русски признался в любви фанатам из России
08:27 РБК: большинству опрошенных россиян нужен доход от 35 тысяч рублей, чтобы начать копить
07:57 Причиной пожара в Красноярске могла стать старая проводка. СКР возбудил дело
07:25 Объем закупок лекарств вырос, но доля российских препаратов в нем упала
06:50 На Сахалине сотрудник Росгвардии погиб после замечания о курении
06:17 На стадионе в Махачкале случилась массовая драка. Один человек пострадал
05:56 Цена на нефть подскочила до 69,9 доллара на фоне сокращения добычи в Саудовской Аравии
05:32 Чемезов допустил запуск опытной сети 5G в России в 2022-2023 годах
05:03 Восемь человек погибли при пожаре в жилом доме в Красноярске
15.09 18:56 Неизвестные второй раз за месяц осквернили памятник жертвам Холокоста на Украине
15.09 18:19 Виктор Ан занял первое место в забеге на 1000 м в Кубке Союза конькобежцев России
15.09 17:53 МЧС предупредило москвичей о сильном ветре в ближайшие часы
15.09 16:53 Ребенок получил травму в одном из бассейнов Москвы
15.09 16:25 Представитель Заворотнюк признался, что ему запретили говорить о ее состоянии
15.09 15:57 Второй этап поставок С-400 в Турцию завершился
15.09 15:21 Глава Бурятии пришел на митинг в Улан-Удэ. Собравшиеся встретили его криками «Позор!»
15.09 14:36 Актеры в Голливуде получают на $1,1 млн больше, чем актрисы
15.09 13:19 Умер академик РАН Виктор Ивантер
15.09 12:38 В конце сентября Крым примет делегатов из Германии и США
15.09 12:21 В Челябинской области четыре человека насмерть отравились парами гниющего картофеля
15.09 11:43 В Якутии пропал вертолет с пилотом и двумя пассажирами. СКР начал проверку
15.09 11:21 Киев готовится упростить жизнь для жителей ДНР и ЛНР
15.09 11:04 На месте ТЦ «Зимняя вишня» открыли сквер
15.09 10:14 В Москве перекроют 20 улиц ради велофестиваля
15.09 09:53 Саудовская Аравия вдвое сократила добычу нефти из-за атаки дронов. США предложили свой запас нефти для стабильности рынка
15.09 09:30 Восемь человек доставлены в больницу после взрыва в жилом доме Ангарска
14.09 18:55 НХЛ сообщила о дисквалификации Кузнецова из-за кокаина
14.09 18:24 Министр предложила убрать из школьных учебников слова о дружбе России и Украины
14.09 17:52 В Крыму волки стали нападать на людей
14.09 17:07 Власти США сообщили об уничтожении сына бен Ладена
14.09 15:56 В РПЦ опровергли зарплаты священников в 1 млн рублей
14.09 15:32 Киркоров попросил Заворотнюк «держаться»
14.09 15:02 Полиция в Улан-Удэ задержала подозреваемого в распылении газа в лицо сотруднику Росгвардии
14.09 14:34 На дереве в Крыму нашли бомбу времен Великой Отечественной войны
14.09 13:59 Полиция возбудила уголовное дело по ДТП под Ярославлем
14.09 13:27 Чемезов прокомментировал сообщение ФБК о квартире на 5 млрд рублей. Он готов ее продать
14.09 12:41 ТАСС: МАК подготовил предварительный отчет по посадке Airbus A321 в кукурузном поле
14.09 12:09 Семь человек погибли в ДТП под Ярославлем. ГИБДД сообщила, что грузовик выехал на встречную полосу
13.09 18:55 Минфин США ввел санкции против северокорейских хакеров
13.09 18:33 В Петербурге агитаторы предвыборного штаба Беглова пожаловались на невыплату зарплат
13.09 18:19 На жителя Кузбасса завели второе дело об оскорблении власти. Он сравнил «Единую Россию» с «крысиной чумой»
13.09 18:12 В Великом Новгороде врачи детской областной больницы объявили забастовку
13.09 16:45 Посетитель Центра Помпиду в Париже ударил ножом картину Даниеля Бюрена
13.09 16:06 С ноября РЖД запустит поезда из Москвы в Москву
13.09 15:40 В Петербурге суд приговорил офицера ФСБ к 4 годам колонии за пытки бизнесмена
13.09 15:00 Новость из прошлого: 13 сентября 1999 года – Президент Ичкерии Масхадов призвал чеченцев готовиться к войне
«АвтоВАЗ» «ВКонтакте» «Газпром» «Зенит» «Мемориал» «Мистраль» «Оборонсервис» «Роснефть» «Спартак» «Яблоко» Абхазия Австралия Австрия Азербайджан Антимайдан Аргентина Арктика Армения Афганистан Аэрофлот Башкирия Белоруссия Бельгия Бразилия ВВП ВКС ВМФ ВПК ВТБ ВЦИОМ Ватикан Великобритания Венгрия Венесуэла Владивосток Внуково Волгоград ГИБДД ГЛОНАСС Генпрокуратура Германия Голливуд Госдеп Госдума Греция Гринпис Грузия ДТП Дагестан Домодедово Донецк ЕГЭ ЕСПЧ Евровидение Еврокомиссия Евромайдан Евросоюз Египет Екатеринбург ЖКХ Израиль Ингушетия Индия Индонезия Интерпол Ирак Иран Испания Италия Йемен КНДР КПРФ Казань Казахстан Калининград Камчатка Канада Каталония Кемерово Киев Киргизия Китай Коми Конституция Кремль Крым Куба Курилы ЛГБТ ЛДПР Латвия Ливия Литва Лондон Луганск МВД МВФ МГУ МКС МОК МЧС Малайзия Мексика Минздрав Минкомсвязи Минкульт Минобороны Минобрнауки Минпромторг Минсельхоз Минск Минтранспорта Минтруд Минфин Минэкономразвития Минэнерго Минюст Молдавия Мосгордума Мосгорсуд Москва НАСА Нигерия Нидерланды Новосибирск Норвегия ОБСЕ ООН ОПЕК Одесса ПДД Пакистан Паралимпиада Париж Пентагон Польша Приморье РАН РЖД РПЦ РФС Росавиация Росгвардия Роскомнадзор Роскосмос Роспотребнадзор Россельхознадзор Россия Росстат СМИ СССР США Сахалин Сбербанк Севастополь Сербия Сирия Сколково Славянск Сочи Таджикистан Таиланд Татарстан Трансаэро Турция УЕФА Узбекистан Украина ФАС ФБР ФИФА ФСБ ФСИН ФСКН Филиппины Финляндия Франция Харьков ЦИК ЦРУ ЦСКА Центробанк Чехия Чечня Швейцария Швеция Шереметьево Эбола Эстония ЮКОС Якутия Яндекс Япония авиакатастрофа автопром алкоголь амнистия арест армия археология астрономия аукционы банкротство беженцы бензин беспилотник беспорядки биатлон бизнес бокс болельщики вандализм взрыв взятка вирусы вузы выборы гаджеты генетика гомосексуализм госбюджет госзакупки госизмена деньги дети доллар допинг драка евро журналисты законотворчество землетрясение импорт инвестиции инновации интернет инфляция ипотека искусство ислам исследования история казнь кино кораблекрушение коррупция космос кража кредиты культура лингвистика литература медиа медицина метро мигранты монархия мошенничество музыка наводнение налоги нанотехнологии наркотики наука недвижимость некролог нефть образование обрушение общество ограбление оппозиция опросы оружие офшор палеонтология педофилия пенсия пиратство планетология погранвойска пожар полиция похищение правительство право православие преступность продовольствие происшествия ракета рейтинги реклама религия ретейл робототехника рубль санкции связь сепаратизм следствие смартфоны социология спецслужбы спутники страхование стрельба строительство суды суицид тарифы театр телевидение теракт терроризм технологии транспорт туризм убийство фармакология физика фоторепортаж футбол хакеры химия хоккей хулиганство цензура школа шпионаж экология экономика экспорт экстремизм этология «Единая Россия» «Исламское государство» «Нафтогаз Украины» «Правый сектор» «Северный поток» «Справедливая Россия» «болотное дело» Александр Лукашенко Александр Новак Александр Турчинов Алексей Кудрин Алексей Навальный Алексей Улюкаев Амурская область Анатолий Сердюков Ангела Меркель Антон Силуанов Аркадий Дворкович Арсений Яценюк Барак Обама Басманный суд Башар Асад Белый дом Борис Немцов Валентина Матвиенко Верховная Рада Верховный суд Виктор Янукович Виталий Мутко Владимир Жириновский Владимир Зеленский Владимир Маркин Владимир Мединский Владимир Путин Вячеслав Володин Дальний Восток День Победы Дмитрий Медведев Дмитрий Песков Дмитрий Рогозин Дональд Трамп Евгения Васильева Забайкальский край Интервью ученых Ирина Яровая Иркутская область История человечества Калужская область Кирилл Серебренников Конституционный суд Космодром Байконур Краснодарский край Красноярский край Ксения Собчак Ленинградская область МИД России Мария Захарова Михаил Прохоров Михаил Саакашвили Михаил Ходорковский Московская область Мурманская область Надежда Савченко Наталья Поклонская Николас Мадуро Нобелевская премия Новосибирская область Новый год Олимпийские игры Ольга Голодец Павел Дуров Палестинская автономия Папа Римский Первый канал Пермский край Петр Порошенко Почта России Приморский край Рамзан Кадыров Реджеп Эрдоган Республика Карелия Ростовская область Саратовская область Саудовская Аравия Свердловская область Сергей Лавров Сергей Нарышкин Сергей Полонский Сергей Собянин Сергей Шойгу Следственный комитет Совбез ООН Совет Федерации Ставропольский край Счетная палата Тереза Мэй Франсуа Олланд Хабаровский край Хиллари Клинтон Человек дня Челябинская область Черное море Эдвард Сноуден Элла Памфилова Эльвира Набиуллина Южная Корея Юлия Тимошенко Юрий Чайка авторское право администрация президента акции протеста атомная энергия баллистические ракеты банковский сектор биология большой теннис визовый режим военная авиация выборы губернаторов газовая промышленность гражданская авиация гуманитарная помощь декларации чиновников дороги России информационные технологии климат Земли компьютерная безопасность космодром Восточный крушение вертолета легкая атлетика лесные пожары междисциплинарные исследования мобильные приложения морской транспорт некоммерческие организации общественный транспорт патриарх Кирилл пенсионная реформа пищевая промышленность права человека правозащитное движение преступления полицейских публичные лекции российское гражданство русские националисты русский язык сельское хозяйство сотовая связь социальные сети стихийные бедствия телефонный терроризм уголовный кодекс фигурное катание финансовый рынок фондовая биржа химическое оружие эволюция экономический кризис ядерное оружие Великая Отечественная война Вторая мировая война Ирак после войны Ким Чен Ын Революция в Киргизии Российская академия наук Стихотворения на случай Федеральная миграционная служба Федеральная таможенная служба борьба с курением выборы мэра Москвы здравоохранение в России связь и телекоммуникации тюрьмы и колонии Совет по правам человека аварии на железной дороге естественные и точные науки закон об «иностранных агентах» компьютеры и программное обеспечение видеозаписи публичных лекций «Полит.ру» Новые технологии, инновации Сочи 2014 Кабардино-Балкария Левада-Центр Нью-Йорк Санкт-Петербург отставки-назначения шоу-бизнес Ростов-на-Дону ЧМ-2018 Книга. Знание ВИЧ/СПИД Apple Bitcoin Boeing Facebook G20 Google iPhone IT NATO PRO SCIENCE видео ProScience Театр Pussy Riot Telegram Twitter Wikileaks

Редакция

Электронная почта: polit@polit.ru
Телефон: +7 929 588 33 89
Яндекс.Метрика
Свидетельство о регистрации средства массовой информации
Эл. № 77-8425 от 1 декабря 2003 года. Выдано министерством
Российской Федерации по делам печати, телерадиовещания и
средств массовой информации. Выходит с 21 февраля 1998 года.
При любом использовании материалов веб-сайта ссылка на Полит.ру обязательна.
При перепечатке в Интернете обязательна гиперссылка polit.ru.
Все права защищены и охраняются законом.
© Полит.ру, 1998–2019.