Полiт.ua Государственная сеть Государственные люди Войти
10 декабря 2016, суббота, 11:54
Facebook Twitter LiveJournal VK.com RSS

НОВОСТИ

СТАТЬИ

АВТОРЫ

ЛЕКЦИИ

PRO SCIENCE

ТЕАТР

РЕГИОНЫ

19 февраля 2013, 13:22

Большие перспективы индустрии больших данных

Экспертный семинар РВК
Экспертный семинар РВК

Участники состоявшегося 8 февраля экспертного семинара РВК «Big data – новые горизонты» оценили текущее состояние отрасли «больших данных», а также обсудили примеры использования технологии и ее ближайшее будущее.

Вел семинар генеральный директор ОАО «РВК» Игорь Агамирзян. Открывая мероприятие, он определил сущность понятия «Big data»: это технология, которая позволяет сравнивать и сопоставлять ту информацию, которая ранее была принципиально не сопоставима.

В приветственном слове pаместитель министра связи и массовых коммуникаций России Марк Шмулевич рассказал, что его ведомство поддерживает эту отрасль и будет содействовать исследованиям в области Big data. Чиновник с сожалением отметил, что если взять условный top-50 самых сильных ученых в этой области, то окажется, что ни один из них не работает в России. Это связано, в том числе, и с тем, что специалисты в этой области крайне востребованы на Западе. Например, на одном из самых популярных в Соединенных Штатах сайте по поиску вакансий среднее предложение для астронома со степенью PhD – 50 тысяч долларов в год, всего 335 вакансий. Среднее же предложение для специалиста в области Data science – 100 тысяч долларов в год при нескольких тысячах открытых вакансий.

Основной доклад на семинаре представил профессор Высшей школы экономики Леонид Жуков. Он сразу отметил, что является не только исследователем в области Big data, но и использует эти технологии в компании-стартапе.

Жуков рассказал об истории появления термина Big data. Большая шумиха вокруг этой темы возникла после того, как в июне 2011 года консалтинговая компания McKinsey выпустила доклад «Большие данные: следующий рубеж в инновациях, конкуренции и производительности», в котором оценила потенциальный рынок Big data в миллиарды долларов. Вслед посыпались публикации во многих достаточно уважаемых изданиях: от Wall Street Journal до Harvard Business Review. Мнение о том, что сфера Big data как минимум второй по потенциалу сектор IT индустрии стало общепринятым.

В 2012 году Белый дом выделил 200 миллионов долларов для того, чтобы различные американские ведомства организовывали конкурсы по внедрению технологий Big data в жизнь. Если в 2009 году американские венчурные фонды вложили в отрасль всего 1,1 миллиард долларов, то в 2012 — уже 4,5.

Определений понятию Big data существует несколько. Одно из них гласит, что это данные, которые невозможно обработать традиционными способами из-за их большого объема. Другое — что это феноменальное ускорение накопления данных и их усложнение. Третье определение утверждает, что это набор инструментов, позволяющих работать с данными вне зависимости от их типа и объема.

Такая ситуация объясняет тот факт, что для характеристики Big data используют «три v»: объём (от английского volume, имеется в виду объем данных), скорость (от слова velocity, это и скорость накопления новых данных, и скорость и обработки) и многообразие (английское слово variety обозначает разнообразие типов данных, которые могут обрабатываться).

Индустрия Big data возникла из-за того, что все большему количеству структур и компаний необходимо было обрабатывать такое количество данных, что традиционные методы уже не годились. Так, по некоторым данным, Google в день обрабатывает 24 петабайта (24 миллиона гигабайт). Суперкомпьютеры, которые в теории могли справиться с таким потоком, были не по карману большинству IT-компаний, и им стали искать замену. Одна из идей состояла в том, что можно объединить в сеть огромное количество обычных компьютеров и распределять между ними вычисления. Проблема состояла в том, что такая система постоянно давала сбои.

Решением стала программа, дублирующая вычисления в разных участках огромной сети, благодаря чему отказ одного из ее элементов не скажется на конечном результате.

Исторически сложилось так, что инновационные разработки в области Big data начинались не в маленьких стартапах, как это часто бывает в IT-индустрии, а в больших компаниях. Так, например, технология распределенной обработки данных MapReduce была разработана в Google, a Hadoop - свободное ПО для выполнения распределенных вычислений на кластерах из сотен и тысяч узлов – сразу после создания активно поддержала компания Yahoo.

Большинство программных продуктов в области Big data являются свободными, а их адаптацией и продвижением занимаются те самые стартапы. Традиционные поставщики решений в области хранения и обработки данных, такие как IBM и EMC внимательно относятся к новым разработкам в области Больших Данных и стараются использовать их в своих продуктах совместно с собственными технологиями.

Одним из содокладчиков выступил Вячеслав Нестеров, генеральный директор центра разработок EMC (г. Санкт-Петербург) — компании, которая занимается хранением и управлением информацией.

Вячеслав Нестеров рассказал, что ежедневно генерируется около 7 тысяч петабайт новых данных, из них структурированы только 10% — причем эта доля постоянно уменьшается. Сегодня 15-20 процентов информации генерируется в “интернете вещей” – в том числе, во многочисленных телефонах, планшетах и других устройствах. К 2020 году доля информации, генерируемой «интернетом вещей», возрастет до 40 процентов.

Помимо стремительно растущего интернета, появляется огромное количество медицинской информации, например, полученной при секвенировании генома. Сейчас существуют десятки мощных баз данных, в которых аккумулирована гигантская информация о структуре не только генома человека, но и геномов многих других организмов. В одной ДНК содержится около трех миллиардов нуклеотидных пар, что относительно немного с точки зрения объема информации. Но надо еще принять во внимание необходимость хранения «сырой» информации, получаемой из секвенаторов, результатов исследования белковых молекул и прочих биоинформатических данных. Информацию, которую возможно получить из расшифрованного генома, еще только предстоит собрать, осмыслить, подвергнуть сравнительному анализу. Для работы именно с таким огромным количеством научной информации и появляются технологии, которые оказались в центре внимания семинара.

Big data приобретает популярность, потому что существовавшие до этого способы работы с информацией не удовлетворяют запросам бизнеса. Так, Нестеров сравнил работу Data scientist и бизнес-аналитиков. Бизнес-аналитики изучают полученную информацию о прошлом и отвечают на вопрос «а что произошло?». Аналитики данных (Data scientists) способны ответить на вопрос «а что произойдет, если...?». Для этого они должны обладать знаниями в области статистики, математики, разбираться в предметной области исследования и вдобавок уметь немного программировать. Именно поэтому выпускники университетов в сфере Data science в Калифорнии «стоят» от 100 тысяч долларов в год.

Сергей Лихарев, руководитель по развитию бизнеса IBM Big Data Solutions, в своем выступлении рассказал, что думают о технологии Big data в больших компаниях. По его словам, шесть процентов компаний уже применяют соответствующие технологии, 22 процента — планируют их внедрить. 47 процентов рассматривают бизнес-кейсы, то есть примеряют опыт на себя, 24 процента предпринимателей пока раздумывают о целесообразности внедрения технологий Big data.

Big data, по словам Лихарева, позволит компаниям по-новому взглянуть на клиента. Анализ не только структурированных данных о клиентах, но и информации, например, из социальных сетей поможет компаниям лучше понять, почему клиенты пользуются их продуктами и услугами, почему они рекомендуют компанию своим знакомым, что хотят улучшить. Ключевое отличие здесь в том, что в социальных сетях информация часто представлена в виде обычного текста и выделить оттуда ценные знания - не всегда простая задача.

Big data позволяет расширить традиционные системы информационной безопасности. Анализ данных, поступающих из различных источников в разных форматах, возможность сопоставления этих данных, выявления аномалий, реагирование на угрозы в реальном режиме времени – все это стало возможным с использованием технологий обработки и анализа Big data. Важно, что такой анализ можно проводить практически на неограниченном объеме данных.

Big data позволит упростить хранение данных. Зачастую в аналитических хранилищах скапливаются огромные массивы информации, ценность которой уже не очевидна, а затраты на хранение которой относительно высоки. Технологии Big data помогут разгрузить аналитическое хранилище, при необходимости предоставляя архивную информацию для анализа и исследования.

Выступающие сошлись на том, что сейчас отрасль Big data находится на пике общественного интереса и, соответственно, венчурных вложений. Пока нельзя сделать вывод, окажутся ли Big data в скором времени необходимыми в повседневной жизни человечества, как персональный компьютер и Интернет, но то, что они уже меняют нашу жизнь и бизнес на наших глазах, не вызывает сомнений.

Обсудите в соцсетях

Система Orphus

Главные новости

11:52 В США военный вертолет экстренно сел на школьном футбольном поле
11:48 Billboard признал Мадонну женщиной года в музыке
11:30 В Мосуле при ошибочном ударе ВВС США погибли около 90 военных
10:50 СМИ узнали о планах Японии ослабить санкции и смягчить визовый режим с РФ
10:26 Samsung принудительно заблокирует в США все Galaxy Note 7
10:10 В Красноярске открыли первую в России церковь при торговом центре
09:44 Турцию обвинили в отправке в НАТО пророссийских чиновников
09:30 Команда Трампа высмеяла тему помощи со стороны России на выборах
09:20 Фигуристка Евгения Медведева установила мировой рекорд в короткой программе
01:51 Суд в Петербурге арестовал полковника Тимченко до 7 февраля
00:38 Президент Ганы заранее признал свое поражение на выборах
09.12 23:47 Суд арестовал главу угрозыска Калужской области
09.12 23:18 Армия Сирии прекратила наступление в Идлибе и Дамаске
09.12 23:13 Госсовет Франции отказал России в экстрадиции беглого банкира Аблязова
09.12 22:44 Дипломаты рассказали о намерении ЕС продлить антироссийские санкции
09.12 22:41 Мутко объяснил абсурдность обвинений WADA в его адрес
09.12 22:11 ООН приняла резолюцию о срочном прекращении боев в Сирии
09.12 22:01 Госдума отказалась запрещать трансгендерам жениться
09.12 21:52 Минэнерго РФ обещало поставить Украине запрошенный объем газа
09.12 20:54 СК начал проверку после инсценировки нападения боевиков на колледж в Тихвине
09.12 20:37 Захарова опровергла приписанное Лаврову оскорбление телеоператора
09.12 20:33 За год армия обошлась бюджету РФ вдвое дороже всех силовиков
09.12 20:19 Минтранс обещал выполнить наказ Путина насчет тарифов «Платона»
09.12 20:14 В Кремле не оценили высказывание советника Трампа о признании Крыма
09.12 20:02 Трехлетний мораторий на накопительную пенсию прошел третье чтение в ГД
09.12 19:55 После проверки МОК Россия может лишиться первого места в Сочи
09.12 19:30 В Голландии задержан предполагаемый террорист с флагом ИГ
09.12 19:21 Обама велел спецслужбам отчитаться об атаках «российских» хакеров
09.12 19:13 Кортеж Эрдогана попал в аварию в Стамбуле
09.12 18:55 Минюст заявил о возможности исключения «Левада-Центра» из иноагентов
09.12 18:51 Кабмин оставил размер пособий по безработице неизменным
09.12 18:34 Кремль и Минспорта прокомментировали вторую часть доклада Макларена
09.12 18:33 «Газпром» обжаловал в Стокгольме украинский штраф в 6 млрд долларов
09.12 18:20 Умер бывший министр образования Александр Тихонов
09.12 18:13 Уволенных сотрудников ПФР отправят в ФНС
09.12 18:05 «Ельцин Центр» и Никита Михалков поспорили о наследии первого президента
09.12 17:47 В РПЦ заявили о неизбежности изучения православного наследия в школах
09.12 17:24 Сирийская армия взяла под контроль 93% Алеппо
09.12 17:21 Голландцы вернули в Италию голову римской императрицы
09.12 17:09 Советник Трампа допустил признание Крыма частью России
09.12 17:08 Украина нашла 700 млн долларов на закупку российского газа зимой
09.12 16:54 Шипулин пришел третьим в спринте на этапе Кубка мира по биатлону
09.12 16:40 Фамилии депутатов-прогульщиков опубликуют на сайте Госдумы
09.12 16:11 СМИ узнали о лишении Страшнова многомиллионной премии
09.12 16:04 IAAF перепроверит допинг-пробы россиян с 2007 по 2013 годы
09.12 15:52 Избран новый глава ВФЛА
09.12 15:36 Макларен отвел год на снятие санкций с РФ по допингу
09.12 15:29 Госдума приостановила индексацию маткапитала до 2020 года
09.12 15:22 Макларен обвинил Мутко в руководстве манипуляциями с допингом
09.12 15:18 Еще один кандидат отказался бороться за кресло главы ВФЛА
Apple Boeing Facebook Google NATO PRO SCIENCE видео ProScience Театр Pussy Riot Twitter аварии на железной дороге авиакатастрофа Австралия автопром Азербайджан Александр Лукашенко Алексей Навальный алкоголь амнистия Анатолий Сердюков Ангела Меркель Антимайдан Армения армия Арсений Яценюк археология астрономия атомная энергия Афганистан Аэрофлот банковский сектор Барак Обама Башар Асад беженцы Белоруссия беспорядки бизнес биология ближневосточный конфликт болельщики «болотное дело» Борис Немцов Бразилия Великая Отечественная война Великобритания Венесуэла Верховная Рада взрыв взятка видеозаписи публичных лекций «Полит.ру» видео «Полит.ру» визовый режим Виктор Янукович «ВКонтакте» ВКС Владимир Жириновский Владимир Путин ВМФ военная авиация Вторая мировая война вузы выборы выборы губернаторов выборы мэра Москвы газовая промышленность «Газпром» генетика Генпрокуратура Германия ГИБДД гомосексуализм госбюджет Госдеп Госдума гражданская авиация Греция Гринпис Грузия гуманитарная помощь гуманитарные и социальные науки Дагестан Дальний Восток День Победы дети Дмитрий Медведев Дмитрий Песков Дмитрий Рогозин доллар Домодедово Донецк драка ДТП Евгения Васильева евро Евромайдан Евросоюз Египет ЕГЭ «Единая Россия» Екатеринбург естественные и точные науки ЖКХ журналисты закон об «иностранных агентах» законотворчество здравоохранение в России землетрясение «Зенит» Израиль Индия Индонезия инновации Интервью ученых интернет инфляция Ирак Ирак после войны Иран Иркутская область ислам «Исламское государство» Испания история История человечества Италия Йемен Казань Казахстан Канада Киев кино Китай Климат Земли, атмосферные явления КНДР Книга. Знание кораблекрушение коррупция космос КПРФ кража Краснодарский край кредиты Кремль крушение вертолета Крым крымский кризис культура Латвия ЛГБТ ЛДПР лесные пожары Ливия Литва литература Луганск Малайзия МВД МВФ медиа медицина междисциплинарные исследования Мексика Мемория метро мигранты МИД России Минздрав Минкульт Минобороны Минобрнауки Минфин Минэкономразвития Минюст мировой экономический кризис «Мистраль» Михаил Саакашвили Михаил Ходорковский МКС Молдавия Мосгорсуд Москва Московская область мошенничество музыка МЧС наводнение налоги нанотехнологии наркотики НАСА наука Наука в современной России «Нафтогаз Украины» некролог Нерусский бунт нефть Нигерия Нидерланды Нобелевская премия Новосибирск Новые технологии, инновации Нью-Йорк «Оборонсервис» образование ОБСЕ общественный транспорт общество ограбление Одесса Олимпийские игры ООН оппозиция опросы оружие отставки-назначения Пакистан Палестинская автономия пенсионная реформа Пентагон Петр Порошенко погранвойска пожар полиция Польша правительство Право «Правый сектор» преступления полицейских преступность происшествия публичные лекции Рамзан Кадыров РАН Революция в Киргизии рейтинги религия Реформа армии РЖД Роскомнадзор Роскосмос Роспотребнадзор Россельхознадзор Российская академия наук Россия Ростовская область РПЦ рубль русские националисты Санкт-Петербург санкции Саудовская Аравия Сбербанк связь связь и телекоммуникации Севастополь сельское хозяйство сепаратизм Сергей Лавров Сергей Собянин Сергей Шойгу Сирия Сколково Славянск Следственный комитет следствие Совет Федерации социальные сети Социология в России Сочи Сочи 2014 «Спартак» «Справедливая Россия» спутники СССР стихийные бедствия Стихотворения на случай стрельба суды суицид США Таиланд Татарстан театр телевидение теракт терроризм технологии транспорт туризм Турция тюрьмы и колонии убийство Украина Федеральная миграционная служба физика Финляндия ФИФА фондовая биржа Фоторепортаж Франсуа Олланд Франция ФСБ ФСИН ФСКН футбол Хабаровский край хакеры Харьков химическое оружие хоккей Центробанк Цикл бесед "Взрослые люди" Челябинская область Чечня шахты Швейцария Швеция школа шпионаж Эбола Эдвард Сноуден экология экономика экономический кризис экстремизм Южная Корея ЮКОС Юлия Тимошенко ядерное оружие Япония

Редакция

Электронная почта: politru.edit1@gmail.com
Адрес: 129343, Москва, проезд Серебрякова, д.2, корп.1, 9 этаж.
Телефоны: +7 495 980 1893, +7 495 980 1894.
Стоимость услуг Полит.ру
Свидетельство о регистрации средства массовой информации
Эл. № 77-8425 от 1 декабря 2003г. Выдано министерством
Российской Федерации по делам печати, телерадиовещания и
средств массовой информации. Выходит с 21 февраля 1998 года.
При любом использовании материалов веб-сайта ссылка на Полит.ру обязательна.
При перепечатке в Интернете обязательна гиперссылка polit.ru.
Все права защищены и охраняются законом.
© Полит.ру, 1998–2014.