Полiт.ua Государственная сеть Государственные люди Войти
9 декабря 2016, пятница, 12:36
Facebook Twitter LiveJournal VK.com RSS

НОВОСТИ

СТАТЬИ

АВТОРЫ

ЛЕКЦИИ

PRO SCIENCE

ТЕАТР

РЕГИОНЫ

30 мая 2013, 15:00

МООК: революция в мире образования

МООК
МООК

Взрыв популярности массовых открытых онлайн-курсов, МООК (massive open online course), произошедший в течение минувшего года, породил разговоры о том, что в мире образования началась революция, и он вскоре полностью преобразится. «В среде технического и высшего образования вообще есть привычка ожидать мессию. Помните, как говорили о революции в образовании в связи с Second Life? А еще раньше, помните, как "бесплатный" веб сделал так, что взимание платы за некоторые вещи устарело?» - написал по этому поводу Билл Фитцджеральд (Bill Fitzgerald), один из основателей и авторов ресурса FunnyMonkey, отслеживающего образовательные новшества. Действительно, на волне развития технологий появились новые образовательные возможности, о которых еще два года назад речи не шло, однако они  сейчас находятся на очень ранней стадии развития. Там много вопросов, проблем, а также просто малоизученных областей. В этом обзоре мы рассмотрим несколько примеров таких МООКов, а также связанные с ними проблемы и перспективы их решения.

Что это такое

Сейчас термин МООК в широком смысле применяется к целому ряду явлений — фактически ко всему, к чему применима комбинация слов, которые его составляют. Чтобы сузить тему, отметим, что это форма дистанционного обучения, которое локализовано в интернете. Далее, это открытые курсы, то есть за участие в них не нужно платить денег. Это массовые курсы, то есть туда может записаться сколько угодно человек. И, наконец, это организованные курсы — с продуманной программой, промежуточными заданиями, тестами и итоговой аттестацией. Обычно они ограничены по времени. Со скидкой на дистанционность и массовость, требующих больше временной гибкости, чем традиционные образовательные форматы, МООКи обычно используют систему дедлайнов.

Таким образом, МООКи следует отличать от платных форм обучения, а также от бесплатных и дистанционных, но никак не ограниченных по времени. Скажем, материалы Викиверситета (он же Wikiversity) тоже могут быть выстроены как последовательные курсы, но их можно проходить в своем темпе без каких-либо дедлайнов. Систематически выстроенные курсы есть и на интерактивном учебном ресурсе Codecademy, посвященном программированию, но, опять же, там нет лимита по времени и нет никакого централизованного двигателя процесса в лице, например, преподавателя или инструктора.

Наконец, по признаку, временного ограничения, интерактивности и аттестации МООКи следует отличать от видео- (или аудио-) записей университетских лекций, которые выкладываются и публикуются в открытом доступе на специализированных ресурсах вроде Academic Earth и т.п. Естественно, так как явление молодое, речь идет не столько о нормативном словоупотреблении, сколько о распространенном и функциональном.

 
Виртуальная комната обучения

В настоящий момент МООКи существуют в двух разных форматах. Первый из них требует хорошо проработанной платформы, которая позволяет оснастить учебный процесс всеми необходимыми инструментами. Обычно это требует серьезных технических разработок и больших финансовых вложений. Для второго, строго говоря, никакой специальной платформы, равно как и финансовых вложений, не требуется, так как он организуется через почтовую рассылку разделенным на группы участникам. Рассылать задания может как живой инструктор, так и специальный бот (такие МООКи называют «механическими»). Чтобы разграничить эти два типа, первый случай мы будем обозначать как платформенные МООКи, и именно о них сейчас пойдет речь. Второй тип, при своем формальном соответствии понятию МООК, скорее тяготеет к пиринговому образованию, которому, в силу его специфики, следует посвятить отдельный обзор.

Как это устроено

Платформ для МООКов сейчас, из-за большой популярности, появилось великое множество. Из лидеров (по популярности и престижу университетов, размещающих там свои курсы), можно назвать такие ресурсы, как Coursera, Udacity, Khan Academy и edX. Подавляющее большинство курсов — англоязычные (на Курсере — 348 из 374). Следующие по массовости — испаноязычные. Изредка встречаются также курсы на французском, китайском и итальянском языках. Тематика самая разная: от искусства и гуманитарных наук до биологии, статистики и IT. Курсера тут отличается, пожалуй, бо́льшим разнообразием тематик. В этом смысле она не очень репрезентативна. Первыми на таких ресурсах появляются курсы по математике, информатике и программированию, и они же наиболее многочисленные. Например, на Udacity фактически только такие курсы (плюс один курс по физиологии и один — по бизнесу). На edX тематика разнообразнее, но всё же тяготеет к естественным наукам, математике и технологиям (оно и понятно: это совместное детище Гарварда и MIT). На Khan Academy тоже большинство курсов из области математики и IT.

В качестве примера рассмотрим, как устроен МООК на Курсере. В описании каждого курса указано, на какой уровень подготовки он рассчитан. Много курсов ориентировано на начинающих – то есть для их прохождения не требуется ничего, кроме основ школьной программы. Еще есть курсы, отсылающие в качестве основы к предыдущим курсеровским же курсам. В описании также сказано, какой именно университет выпустил курс, кто преподаватели, чему именно научатся участники в процессе и выдается ли свидетельство по завершении. Курсы создают преподаватели институтов-партнеров Курсеры.

Преимущественно это университеты и колледжи (в частности, много американских «штатских» университетов), а также музеи, предлагающие образовательные программы.

 

Чтобы пройти курс, нужно зарегистрироваться на сайте и подписаться на него — заранее или в процессе. После того, как курс завершен, он остается на сайте в виде архива. Архив — это значит, что всеми материалами можно пользоваться, но задания больше не оцениваются и сертификация недоступна. Курс обычно строится по неделям. Каждую неделю появляются новые видеолекции и соответствующие им задания (quizzes), которые надо выполнить к указанному сроку. Настройки зависят от преподавателя. Обычно выполнять каждый тест можно много раз, при этом в качестве итогового результата (автоматическая проверка), зачитывающегося при аттестации, идет максимальный из достигнутых. Задания, как правило, всякий раз выдаются рэндомом, так что выяснить правильный ответ методом исключения практически невозможно.

Помимо еженедельных тестов на проверку (и закрепление) знаний преподаватели могут время от времени устраивать своего практические задания (assignments) или мини-проекты, в которых можно полученные знания применить. Здесь часто применяется пиринговое оценивание (peer assesment). Это значит, что каждый участник, после того, как все работы сданы, должен проверить некоторое количество (4-5) работ других участников, оценить их по ряду заданных параметров и написать свой отзыв. Это обязательная часть – в том смысле, что если это проигнорировать, уменьшается итоговая оценка.

В качестве вспомогательных материалов преподаватели могут добавлять в свои курсы ссылки на вики-ресурсы по теме, списки дополнительной литературы и прочих источников и различные виртуальные инструменты для выполнения заданий. Еще у каждого курса есть форум, на котором участники могут знакомиться, задавать вопросы по курсу и получать на них ответы – как от других студентов, так и от преподавателей и их помощников. Таким образом создается некоторое подобие настоящего класса.

В ответ на возрастающую потребность устроить учебный класс непосредственно в интернете, появились самостоятельные сервисы, которые можно использовать как расширение МООКа – например, Getstudyroom. Каждый зарегистрированный пользователь может создать там аккаунт для того или иного курса со ссылкой на его исходную страницу, после чего там смогут собираться участники этого курса и совместно работать в маленьких учебных группах за разными «столами», каждый из которых оснащен чатом и интерактивной «доской», где можно писать, рисовать и обмениваться файлами.

Кто и как учится

Революционная идея платформенных МООКов состоит в том, что качественное высшее образование становится бесплатным и общедоступным. Собственно, общедоступность фактически сводится к бесплатности. Однако данные о том, кто записывается на курсы, свидетельствуют, что всё не так просто. Опять же, посмотрим пример Курсеры как лидирующей платформы. Данные о записавшихся студентах обычно собираются в начале курса через специальную анкету. По данным на март 2013 г., большинство курсеровских студентов были из США (27,7%). Дальше идут Индия (8,8%), Бразилия (5,1%), Великобритания (4,4%), Испания (4%), Канада (3,6%), Австралия (2,3%) и Россия (2,2%).

С учетом того, что большинство МООКов англоязычные (на втором месте испаноязычные), понятно, что одно из препятствий – это языковой барьер. Кроме того, участие в таких курсах предполагает наличие компьютера, доступа к интернету и достаточной интернет-грамотности для того, чтобы хотя бы найти эти курсы.

 
Образование онлайн. Фото: gunnars.com

Еще один показатель, о котором много говорят, - это число студентов, которые полностью проходят курс. В среднем на МООК записывается порядка 50 000 человек (бывают курсы, у которых набирается и более 100 000 участников). Из них доходят до конца в лучшем случае около 20%, хотя чаще их число не превышает 10%. Численность финалистов может быть связана с тем, как устроен курс. Например, если курс делает ставку на автоматическое оценивание работ, то до конца доходит больше студентов, чем когда оценка выносится по пиринговому принципу (пользователи оценивают друг друга сами). Дополнительной мотивацией к тому, чтобы пройти курс до конца, служит перспектива получить какое-либо свидетельство об окончании.

Впрочем, численность прошедших курс до конца, далеко не всегда может быть показателем качества курса или его востребованности. Опросы, проводившиеся среди студентов, записавшихся на курсы, но не завершивших их, говорят о том, что многие из них совершенно удовлетворены тем объемом информации, который они успели получить, и им этого достаточно для того, чтобы применять свои навыки в тех областях, где им это нужно. Кроме того, многие студенты склонны комбинировать источники информации, и если у них нет формальной мотивации закончить какой-то конкретный курс (таковой, как правило, становится наличие сертификата), то они вполне могут выстраивать свою собственную образовательную программу, переходя от МООКа к более статичным ресурсам, а затем к еще какому-нибудь МООКу.

С другой стороны, организаторы МООКов также в разной степени заинтересованы в том, чтобы удерживать студентов на своем курсе до конца. Проекты, которые существуют строго в благотворительном порядке и на спонсорские средства, скорее заинтересованы в привлечении студентов к предмету и предоставлении информации об этом предмете, нежели в повышении рейтинга за счет числа формальных выпускников. С другой стороны, проекты, пытающиеся выстроить из этого действенную бизнес-модель – и это характерно для платформенных МООКов, - стараются добиться от пользователей полного прохождения курса. Вопрос в том, насколько такие бизнес-модели жизнеспособны.

Проблемы

Эту тему подробно рассматривал Ник Гидвани (Nick Gidwani), один из основателей сайта SkilledUp, поисковика МООКов. Первая и главная проблема платформенных МООКов состоит в том, что при исходном условии (бесплатности) нужно откуда-то брать деньги. Здесь существуют разные подходы. Многие платформенные МООКи берут плату за сертификаты. То есть обучение проходит бесплатно, итоговая аттестация – тоже бесплатно, а вот если нужен еще и сертификат, то надо заплатить. Некоммерческий edX этим и ограничивается.

Коммерческие Udacity и Coursera, помимо платы за сертификаты, предлагают также платные услуги потенциальным работодателям, позволяя им находить лучших студентов и предлагать им работу. Некоторые курсы также включают в себя опциональное участие студентов в реальных проектах по теме курса, которые исходят от тех или иных организаций.

Еще есть возможность брать плату со студентов за курсы и тренинги, организуемые по конкретному запросу. Схема такая: студент проходит бесплатный курс, ему нравятся преподаватели, и он хочет, чтобы ему устроили дополнительный курс – уже не автоматизированный, а напрямую. За это уже полагается платить. Кроме того, есть коммерческие организации, которые хотят разместить тот или иной курс на правах рекламы. И за это, естественно, платформа будет брать с этой организации деньги.

Вторая проблема – подтверждение того, что студент прошел курс и тем самым повысил свою квалификацию. Иными словами, надо сделать так, чтобы студенты могли получать не просто знания, но и сертификаты, которые бы давали возможности для трудоустройства и карьерного роста и за которые бы люди стали платить деньги. Чтобы сертификат представлял собой какую-либо ценность для студентов, он должен обладать убедительностью с точки зрения работодателей. Для этого желательно, чтобы этот сертификат, как минимум, признавал университет, который организовал курс. А еще лучше, если этот университет готов обменять сертификат, выданный МООКом, на свой собственный.

 
Сертификат МООК

В настоящий момент Курсера, например, сотрудничает с American Council on Education (ACE), с которым они попытались договориться, чтобы его университеты-участники (их в общей сложности 1800) обменивали курсеровские сертификаты на свои реальные – например, в соотношении 2-3 сертификата за один завершенный курс. ACE в принципе согласился, но для начала ACE самому еще надо это договориться с университетами-участниками (и на это уйдет некоторое время). Во-вторых, как считает Гидвани, на это согласятся далеко не все университеты, причем наиболее респектабельные, скорее всего, откажутся.

Третья проблема – это верификация. Подписываясь на любой бесплатный курсеровский курс, пользователь должен заявить о своем согласии с курсеровским «кодексом чести» - проще говоря, пообещать, что все задания он будет выполнять самостоятельно, а не просить кого-то сделать это за него. Понятно, что когда дело доходит до таких серьезных вещей, как сертификация, простое обещание мало кого убеждает. Опять же, если человек пришел учиться – это одно; если человек пришел получать сертификат – это уже немного другое. Чтобы добавить своим сертификатам убедительности, на Курсере создали дополнительную (платную) возможность – Signature Track. Стоит это удовольствие от 30 до 100 долларов за курс. За это по итогам курса студент получает не только признаваемый университетом сертификат, но и ссылку, подтверждающую подлинность этого сертификата через Курсеру. Помимо этого, студенту предоставляется полная отчетность по выполненным им заданиям и проектам. Эту отчетность можно предъявить работодателю.

Для отслеживания личной подписи, которая дает право на верификацию, система считывает и анализирует манеру набора текста на клавиатуре – это считается индивидуальной характеристикой, практически как почерк. Далее пользователь должен сфотографировать свое лицо (с помощью вебкамеры) и таким же образом – свой удостоверяющий личность документ, например, паспорт или водительские права. Кроме того, вводятся личные данные (имя, адрес) и данные банковской карты. После всех этих процедур пользователь получает право на заверенный сертификат по итогам курса. Курсера также предусматривает бесплатную верификацию для студентов в стесненных финансовых обстоятельствах.

При всем этом остается вопрос, будут ли работодатели действительно признавать эти сертификаты. Конечно, тут многое зависит от того, какова специфика трудоустройства в той или иной стране и даже в той или иной сфере занятости. В применении к США Ник Гидвани высказал предположение, что в принципе, если приток выпускников МООКов на рабочие места будет расти, то консервативные и ценящие стабильность работодатели могут постепенно привыкнуть к тому, что, например, та же Курсера – это один из потенциальных кадровых ресурсов.

Обсудите в соцсетях

Система Orphus
Loading...

Главные новости

12:16 Евро обновил полуторагодовой минимум
12:00 Дума приняла трехлетний госбюджет
11:59 Главу отдела ГУСБ МВД в Петербурге задержали за взятку в 50 млн рублей
11:52 «Ростелеком» отразил кибератаки на крупнейшие российские банки
11:28 Дума утвердила график депутатских каникул
11:05 Сенат США разрешил применять закон Магнитского по всему миру
10:59 В янтаре обнаружен фрагмент хвоста пернатого динозавра
10:46 В центре Москвы мужчина обстрелял прохожих
10:45 Чуркин оценил восстановление Сирии в 180 млрд долларов
10:32 СМИ узнали об отказе администрации президента менять закон об ОСАГО
10:29 Роналду отчитался о выводе в офшоры более 200 млн евро
10:20 Парламент объявил импичмент президенту Южной Кореи
10:07 Организаторы утвердили место проведения «Евровидения-2017»
10:04 СКР рассказал об активном следствии по делу Улюкаева
09:48 Роспотребнадзор опроверг отключение вышек сотовой связи в метро Москвы
09:47 «Почта России» потребовала доставлять мелкие интернет-посылки через Якутию
09:30 Прокуроры проверят власти Москвы из-за жалобы на пропаганду православия в школах
09:16 ЦБ отозвал лицензии у четырех московских банков
09:09 Россия оспорит лишение боксера Миши Алояна медали Олимпиады в Рио
08:48 За сутки из Алеппо ушли 8,5 тысяч жителей
08:34 Московское метро может отключить сотовую связь
08:20 СМИ узнали о причине отмены ограничений на поставку оружия в Сирию
08:02 Россия поможет Кубе модернизировать армию
02:17 Московский суд арестовал депутата из Новгорода за взятку в 2 млн долларов
02:03 Рогозин объявил о начале космического сотрудничества с Кубой
01:57 Хворостовский отказался от участия в опере из-за болезни
01:50 Обама снял ограничения на военную помощь союзникам
01:19 Британская палата общин поддержала выход страны из ЕС
00:41 Сенаторы попросили Трампа поскорее определиться насчет Украины
00:34 Боевики ИГ атаковали блокпосты возле Пальмиры
00:28 Греф назвал WeChat лучшей соцсетью в мире
00:22 Пенсионный фонд собрался уволить 10% сотрудников
00:14 СМИ узнали о кандидатуре главы Минтруда при Трампе
08.12 23:10 МИД РФ сообщил о приостановке боев в Алеппо
08.12 21:40 Путин вступился за пластиковые пакеты перед экологами
08.12 21:02 СМИ сообщили об увольнении второго за сутки директора департамента Минобрнауки
08.12 20:29 Роскомнадзор рассказал о конструктивной встрече с представителями LinkedIn
08.12 20:28 Белоруссия заплатила за российский газ авансом
08.12 19:57 Кадыров опроверг наличие в Чечне батальонов «Восток» и «Запад»
08.12 19:56 Путин призвал прокуратуру проверить компетентность российских судей
08.12 19:38 СМИ сообщили о назначении нового главы московской полиции
08.12 19:30 Рада установила фильтр для «антиукраинских» книг из РФ
08.12 19:12 Полонский отказался признавать вину в мошенничестве
08.12 18:58 В Новосибирске из-за снега введен режим ЧС
08.12 18:48 Путин пообещал обсудить с Собяниным вырубку парка «Кусково»
08.12 18:45 СМИ сообщили об отказе Исинбаевой бороться за пост главы ВФЛА
08.12 18:21 Биржевой курс евро упал до полуторагодового минимума
08.12 18:19 Путин наградил Доктора Лизу госпремией
08.12 17:49 Путин поручил пересмотреть закон об «иностранных агентах»
08.12 17:44 В кабмине отказались поддержать «людоедское решение» по абортам
Apple Boeing Facebook Google IT NATO PRO SCIENCE видео ProScience Театр Pussy Riot Twitter аварии на железной дороге авиакатастрофа Австралия Австрия автопром администрация президента Азербайджан акции протеста Александр Лукашенко Алексей Кудрин Алексей Навальный Алексей Улюкаев алкоголь амнистия Анатолий Сердюков Ангела Меркель Антимайдан Армения армия Арсений Яценюк археология астрономия атомная энергия аукционы Афганистан Аэрофлот баллистические ракеты банковский сектор банкротство Барак Обама Башар Асад Башкирия беженцы Белоруссия Бельгия беспорядки бизнес биология ближневосточный конфликт бокс болельщики «болотное дело» большой теннис Борис Немцов Бразилия ВВП Великая Отечественная война Великобритания Венесуэла Верховная Рада Верховный суд взрыв взятка видеозаписи публичных лекций «Полит.ру» видео «Полит.ру» визовый режим Виктор Янукович вирусы Виталий Мутко «ВКонтакте» ВКС Владивосток Владимир Жириновский Владимир Маркин Владимир Мединский Владимир Путин ВМФ военная авиация Волгоград ВТБ Вторая мировая война вузы выборы выборы губернаторов выборы мэра Москвы газовая промышленность «Газпром» генетика Генпрокуратура Германия ГИБДД ГЛОНАСС Голливуд гомосексуализм госбюджет Госдеп Госдума госзакупки гражданская авиация Греция Гринпис Грузия гуманитарная помощь гуманитарные и социальные науки Дагестан Дальний Восток деньги День Победы дети Дмитрий Медведев Дмитрий Песков Дмитрий Рогозин доллар Домодедово Дональд Трамп Донецк допинг дороги России драка ДТП Евгения Васильева евро Еврокомиссия Евромайдан Евросоюз Египет ЕГЭ «Единая Россия» Екатеринбург ЕСПЧ естественные и точные науки ЖКХ журналисты Забайкальский край закон об «иностранных агентах» законотворчество здравоохранение в России землетрясение «Зенит» Израиль Индия Индонезия инновации Интервью ученых интернет инфляция Ирак Ирак после войны Иран Иркутская область искусство ислам «Исламское государство» Испания история История человечества Италия Йемен Казань Казахстан казнь Калининград Камчатка Канада Киев кино Китай Климат Земли, атмосферные явления КНДР Книга. Знание Компьютеры, программное обеспечение кораблекрушение коррупция космодром Восточный космос КПРФ кража Краснодарский край Красноярский край кредиты Кремль крушение вертолета Крым крымский кризис Куба культура Латвия ЛГБТ ЛДПР Левада-Центр легкая атлетика лесные пожары Ливия лингвистика Литва литература Лондон Луганск Малайзия МВД МВФ медиа медицина междисциплинарные исследования Мексика Мемория метро мигранты МИД России Минздрав Минкомсвязи Минкульт Минобороны Минобрнауки Минтранспорта Минтруд Минфин Минэкономразвития Минюст мировой экономический кризис «Мистраль» Михаил Саакашвили Михаил Ходорковский МКС Молдавия Мосгорсуд Москва Московская область мошенничество музыка МЧС наводнение Надежда Савченко налоги нанотехнологии наркотики НАСА наука Наука в современной России «Нафтогаз Украины» некоммерческие организации некролог Нерусский бунт нефть Нигерия Нидерланды Нобелевская премия Новосибирск Новые технологии, инновации Новый год Норвегия Нью-Йорк «Оборонсервис» образование обрушение ОБСЕ общественный транспорт общество ограбление Одесса Олимпийские игры ООН оппозиция опросы оружие отставки-назначения Пакистан палеонтология Палестинская автономия Папа Римский Париж ПДД педофилия пенсионная реформа Пентагон Петр Порошенко погранвойска пожар полиция Польша похищение права человека правительство Право правозащитное движение «Правый сектор» преступления полицейских преступность Приморский край происшествия публичные лекции Рамзан Кадыров РАН Революция в Киргизии Реджеп Эрдоган рейтинги религия Реформа армии РЖД ритейл Роскомнадзор Роскосмос Роспотребнадзор Россельхознадзор Российская академия наук Россия Ростов-на-Дону Ростовская область РПЦ рубль русские националисты РФС Санкт-Петербург санкции Саудовская Аравия Сахалин Сбербанк Свердловская область связь связь и телекоммуникации Севастополь сельское хозяйство сепаратизм Сербия Сергей Лавров Сергей Собянин Сергей Шойгу Сирия Сколково Славянск Следственный комитет следствие смартфоны СМИ Совбез ООН Совет по правам человека Совет Федерации сотовая связь социальные сети социология Социология в России Сочи Сочи 2014 «Спартак» «Справедливая Россия» спутники СССР Ставропольский край стихийные бедствия Стихотворения на случай страхование стрельба строительство суды суицид США Таджикистан Таиланд Татарстан театр телевидение телефонный терроризм теракт терроризм технологии транспорт туризм Турция тюрьмы и колонии убийство УЕФА Украина Условия труда ФАС Федеральная миграционная служба физика Филиппины Финляндия ФИФА фондовая биржа фоторепортаж Франсуа Олланд Франция ФСБ ФСИН ФСКН футбол Хабаровский край хакеры Харьков Хиллари Клинтон химическое оружие хоккей хулиганство Центробанк ЦИК Цикл бесед "Взрослые люди" ЦСКА Челябинская область Чечня ЧМ-2018 шахты Швейцария Швеция школа шоу-бизнес шпионаж Эбола Эдвард Сноуден экология экономика экономический кризис экстремизм Эстония Южная Корея ЮКОС Юлия Тимошенко ядерное оружие Япония

Редакция

Электронная почта: politru.edit1@gmail.com
Адрес: 129343, Москва, проезд Серебрякова, д.2, корп.1, 9 этаж.
Телефоны: +7 495 980 1893, +7 495 980 1894.
Стоимость услуг Полит.ру
Свидетельство о регистрации средства массовой информации
Эл. № 77-8425 от 1 декабря 2003г. Выдано министерством
Российской Федерации по делам печати, телерадиовещания и
средств массовой информации. Выходит с 21 февраля 1998 года.
При любом использовании материалов веб-сайта ссылка на Полит.ру обязательна.
При перепечатке в Интернете обязательна гиперссылка polit.ru.
Все права защищены и охраняются законом.
© Полит.ру, 1998–2014.