Полiт.ua Государственная сеть Государственные люди Войти
23 сентября 2017, суббота, 23:22
Facebook Twitter LiveJournal VK.com RSS

НОВОСТИ

СТАТЬИ

АВТОРЫ

ЛЕКЦИИ

PRO SCIENCE

СКОЛКОВО

РЕГИОНЫ

19 февраля 2013, 13:22

Большие перспективы индустрии больших данных

Экспертный семинар РВК
Экспертный семинар РВК

Участники состоявшегося 8 февраля экспертного семинара РВК «Big data – новые горизонты» оценили текущее состояние отрасли «больших данных», а также обсудили примеры использования технологии и ее ближайшее будущее.

Вел семинар генеральный директор ОАО «РВК» Игорь Агамирзян. Открывая мероприятие, он определил сущность понятия «Big data»: это технология, которая позволяет сравнивать и сопоставлять ту информацию, которая ранее была принципиально не сопоставима.

В приветственном слове pаместитель министра связи и массовых коммуникаций России Марк Шмулевич рассказал, что его ведомство поддерживает эту отрасль и будет содействовать исследованиям в области Big data. Чиновник с сожалением отметил, что если взять условный top-50 самых сильных ученых в этой области, то окажется, что ни один из них не работает в России. Это связано, в том числе, и с тем, что специалисты в этой области крайне востребованы на Западе. Например, на одном из самых популярных в Соединенных Штатах сайте по поиску вакансий среднее предложение для астронома со степенью PhD – 50 тысяч долларов в год, всего 335 вакансий. Среднее же предложение для специалиста в области Data science – 100 тысяч долларов в год при нескольких тысячах открытых вакансий.

Основной доклад на семинаре представил профессор Высшей школы экономики Леонид Жуков. Он сразу отметил, что является не только исследователем в области Big data, но и использует эти технологии в компании-стартапе.

Жуков рассказал об истории появления термина Big data. Большая шумиха вокруг этой темы возникла после того, как в июне 2011 года консалтинговая компания McKinsey выпустила доклад «Большие данные: следующий рубеж в инновациях, конкуренции и производительности», в котором оценила потенциальный рынок Big data в миллиарды долларов. Вслед посыпались публикации во многих достаточно уважаемых изданиях: от Wall Street Journal до Harvard Business Review. Мнение о том, что сфера Big data как минимум второй по потенциалу сектор IT индустрии стало общепринятым.

В 2012 году Белый дом выделил 200 миллионов долларов для того, чтобы различные американские ведомства организовывали конкурсы по внедрению технологий Big data в жизнь. Если в 2009 году американские венчурные фонды вложили в отрасль всего 1,1 миллиард долларов, то в 2012 — уже 4,5.

Определений понятию Big data существует несколько. Одно из них гласит, что это данные, которые невозможно обработать традиционными способами из-за их большого объема. Другое — что это феноменальное ускорение накопления данных и их усложнение. Третье определение утверждает, что это набор инструментов, позволяющих работать с данными вне зависимости от их типа и объема.

Такая ситуация объясняет тот факт, что для характеристики Big data используют «три v»: объём (от английского volume, имеется в виду объем данных), скорость (от слова velocity, это и скорость накопления новых данных, и скорость и обработки) и многообразие (английское слово variety обозначает разнообразие типов данных, которые могут обрабатываться).

Индустрия Big data возникла из-за того, что все большему количеству структур и компаний необходимо было обрабатывать такое количество данных, что традиционные методы уже не годились. Так, по некоторым данным, Google в день обрабатывает 24 петабайта (24 миллиона гигабайт). Суперкомпьютеры, которые в теории могли справиться с таким потоком, были не по карману большинству IT-компаний, и им стали искать замену. Одна из идей состояла в том, что можно объединить в сеть огромное количество обычных компьютеров и распределять между ними вычисления. Проблема состояла в том, что такая система постоянно давала сбои.

Решением стала программа, дублирующая вычисления в разных участках огромной сети, благодаря чему отказ одного из ее элементов не скажется на конечном результате.

Исторически сложилось так, что инновационные разработки в области Big data начинались не в маленьких стартапах, как это часто бывает в IT-индустрии, а в больших компаниях. Так, например, технология распределенной обработки данных MapReduce была разработана в Google, a Hadoop - свободное ПО для выполнения распределенных вычислений на кластерах из сотен и тысяч узлов – сразу после создания активно поддержала компания Yahoo.

Большинство программных продуктов в области Big data являются свободными, а их адаптацией и продвижением занимаются те самые стартапы. Традиционные поставщики решений в области хранения и обработки данных, такие как IBM и EMC внимательно относятся к новым разработкам в области Больших Данных и стараются использовать их в своих продуктах совместно с собственными технологиями.

Одним из содокладчиков выступил Вячеслав Нестеров, генеральный директор центра разработок EMC (г. Санкт-Петербург) — компании, которая занимается хранением и управлением информацией.

Вячеслав Нестеров рассказал, что ежедневно генерируется около 7 тысяч петабайт новых данных, из них структурированы только 10% — причем эта доля постоянно уменьшается. Сегодня 15-20 процентов информации генерируется в “интернете вещей” – в том числе, во многочисленных телефонах, планшетах и других устройствах. К 2020 году доля информации, генерируемой «интернетом вещей», возрастет до 40 процентов.

Помимо стремительно растущего интернета, появляется огромное количество медицинской информации, например, полученной при секвенировании генома. Сейчас существуют десятки мощных баз данных, в которых аккумулирована гигантская информация о структуре не только генома человека, но и геномов многих других организмов. В одной ДНК содержится около трех миллиардов нуклеотидных пар, что относительно немного с точки зрения объема информации. Но надо еще принять во внимание необходимость хранения «сырой» информации, получаемой из секвенаторов, результатов исследования белковых молекул и прочих биоинформатических данных. Информацию, которую возможно получить из расшифрованного генома, еще только предстоит собрать, осмыслить, подвергнуть сравнительному анализу. Для работы именно с таким огромным количеством научной информации и появляются технологии, которые оказались в центре внимания семинара.

Big data приобретает популярность, потому что существовавшие до этого способы работы с информацией не удовлетворяют запросам бизнеса. Так, Нестеров сравнил работу Data scientist и бизнес-аналитиков. Бизнес-аналитики изучают полученную информацию о прошлом и отвечают на вопрос «а что произошло?». Аналитики данных (Data scientists) способны ответить на вопрос «а что произойдет, если...?». Для этого они должны обладать знаниями в области статистики, математики, разбираться в предметной области исследования и вдобавок уметь немного программировать. Именно поэтому выпускники университетов в сфере Data science в Калифорнии «стоят» от 100 тысяч долларов в год.

Сергей Лихарев, руководитель по развитию бизнеса IBM Big Data Solutions, в своем выступлении рассказал, что думают о технологии Big data в больших компаниях. По его словам, шесть процентов компаний уже применяют соответствующие технологии, 22 процента — планируют их внедрить. 47 процентов рассматривают бизнес-кейсы, то есть примеряют опыт на себя, 24 процента предпринимателей пока раздумывают о целесообразности внедрения технологий Big data.

Big data, по словам Лихарева, позволит компаниям по-новому взглянуть на клиента. Анализ не только структурированных данных о клиентах, но и информации, например, из социальных сетей поможет компаниям лучше понять, почему клиенты пользуются их продуктами и услугами, почему они рекомендуют компанию своим знакомым, что хотят улучшить. Ключевое отличие здесь в том, что в социальных сетях информация часто представлена в виде обычного текста и выделить оттуда ценные знания - не всегда простая задача.

Big data позволяет расширить традиционные системы информационной безопасности. Анализ данных, поступающих из различных источников в разных форматах, возможность сопоставления этих данных, выявления аномалий, реагирование на угрозы в реальном режиме времени – все это стало возможным с использованием технологий обработки и анализа Big data. Важно, что такой анализ можно проводить практически на неограниченном объеме данных.

Big data позволит упростить хранение данных. Зачастую в аналитических хранилищах скапливаются огромные массивы информации, ценность которой уже не очевидна, а затраты на хранение которой относительно высоки. Технологии Big data помогут разгрузить аналитическое хранилище, при необходимости предоставляя архивную информацию для анализа и исследования.

Выступающие сошлись на том, что сейчас отрасль Big data находится на пике общественного интереса и, соответственно, венчурных вложений. Пока нельзя сделать вывод, окажутся ли Big data в скором времени необходимыми в повседневной жизни человечества, как персональный компьютер и Интернет, но то, что они уже меняют нашу жизнь и бизнес на наших глазах, не вызывает сомнений.

Обсудите в соцсетях

Система Orphus
Loading...

Главные новости

20:51 Турецкий парламент продлил разрешение на использование войск в Сирии и Ираке
20:23 В Праге на военном празднике парашютист приземлился на зрителей
20:01 Минтранс предложит скидки по «Платону»
19:42 Путин предсказал рекордный урожай в этом году
19:13 Водителей обяжут надевать светоотражающие жилеты
18:38 В Швеции село на мель судно РФ с пьяным экипажем
18:07 Лидер «Христианского государства» арестован на два месяца
17:33 Пранкер Лексус признался в розыгрыше представителя Госдепа по Украине
17:08 Собчак обвинила Навального в вождизме
16:34 «ВИМ-Авиа» начала задерживать рейсы из-за долгов за топливо
16:13 Россиян предупредили об извержении вулкана на Бали
15:35 Теффт назвал сроки своего отъезда из России
15:05 «ВИМ-Авиа» объяснила задержки своих рейсов
14:00 Удальцов задержан в центре Москвы
13:37 Посол США заявил о сохранении визовых программ для россиян
13:10 КНДР заподозрили в новом ядерном испытании
12:35 В Домодедово задержаны свыше 10 рейсов «ВИМ-Авиа»
12:11 Клип «Ленинграда» номинирован на премию UK Music Video Awards
11:38 Лидер «Христианского государства» стал фигурантом уголовного дела из-за «Матильды»
11:20 На Рязанской ГРЭС мог произойти взрыв
10:55 Источник сообщил о покушении на министра доходов ДНР
10:38 Более сотни стран поддержали ограничение права вето в СБ ООН
10:20 Иран провел испытания баллистической ракеты
10:00 При ДТП с маршруткой под Калининградом погибли девять человек
09:43 Трамп назвал вмешательство РФ в выборы в США мистификацией
09:26 Полиция задержала снявших схему автомата с памятника Калашникову рабочих
09:09 Премьер Канады допустил поставки летального оружия Киеву
22.09 21:15 С «Мисс Турции-2017» сняли корону за твит про военный переворот
22.09 21:05 Проблемы с часами за неделю лишили Apple 43 млрд долларов
22.09 20:22 ФАС обнаружила «коллективное доминирование» общепита в Шереметьево
22.09 20:20 Премьер Молдавии в ООН потребовал вывода российских военных
22.09 19:58 ФАС обещала не придираться к содержанию фильма «Оно»
22.09 19:39 Бабкину и Сигала объявили угрозой нацбезопасности Украины
22.09 19:31 В Ростове задержали подозреваемого в акте «телефонного терроризма»
22.09 19:24 На складе боеприпасов в Донецкой области прогремел взрыв
22.09 18:37 Российская подлодка нанесла удар ракетами «Калибр» по объектам в Сирии
22.09 18:23 Путин рассказал о непреодолимой убыточности общественного транспорта
22.09 17:41 СМИ сообщили об украденном из полпредства СЗФО сейфе с драгоценностями
22.09 17:15 Учитель пригласил королевскую семью Британии на премьеру «Матильды»
22.09 16:54 У посла Украины в Индии украли смартфон во время селфи
22.09 16:36 Мединский наградил Лепса «За заслуги перед Отечеством»
22.09 16:11 Саакашвили оправдал свою неявку в суд любовью к народу
22.09 16:04 Власти Лондона лишили Uber права на перевозку пассажиров
22.09 15:56 МВД начало задержания за торговлю наркотиками в даркнете
22.09 15:21 В могиле XIV века были найдены кости морской свиньи
22.09 15:17 ФАС назвала алкоголь драйвером интернет-торговли продуктами
22.09 15:15 Трамп раскритиковал Facebook за обвинения в адрес России
22.09 15:01 Греф заявил об уходе Сбербанка из ряда стран Европы из-за санкций
22.09 14:27 Жириновский заявил об отсутствии больных во фракции его партии
22.09 14:21 В мэрии назвали «уткой» новость о краже растений из парка «Зарядье»
Apple Boeing Facebook Google IT NATO PRO SCIENCE видео ProScience Театр Pussy Riot Twitter аварии на железной дороге авиакатастрофа Австралия Австрия автопром администрация президента Азербайджан акции протеста Александр Лукашенко Алексей Кудрин Алексей Навальный Алексей Улюкаев алкоголь амнистия Анатолий Сердюков Ангела Меркель Антимайдан Армения армия Арсений Яценюк археология астрономия атомная энергия аукционы Афганистан Аэрофлот баллистические ракеты банковский сектор банкротство Барак Обама Башар Асад Башкирия беженцы Белоруссия Белый дом Бельгия беспорядки бизнес биология ближневосточный конфликт бокс болельщики «болотное дело» большой теннис Борис Немцов Бразилия ВВП Великая Отечественная война Великобритания Венесуэла Верховная Рада Верховный суд взрыв взятка видеозаписи публичных лекций «Полит.ру» видео «Полит.ру» визовый режим Виктор Янукович вирусы Виталий Мутко «ВКонтакте» ВКС Владивосток Владимир Жириновский Владимир Маркин Владимир Мединский Владимир Путин ВМФ военная авиация Волгоград ВТБ Вторая мировая война вузы выборы выборы губернаторов выборы мэра Москвы газовая промышленность «Газпром» генетика Генпрокуратура Германия ГИБДД ГЛОНАСС Голливуд гомосексуализм госбюджет Госдеп Госдума госзакупки гражданская авиация Греция Гринпис Грузия гуманитарная помощь гуманитарные и социальные науки Дагестан Дальний Восток деньги День Победы дети Дмитрий Медведев Дмитрий Песков Дмитрий Рогозин доллар Домодедово Дональд Трамп Донецк допинг дороги России драка ДТП Евгения Васильева евро Евровидение Еврокомиссия Евромайдан Евросоюз Египет ЕГЭ «Единая Россия» Екатеринбург ЕСПЧ естественные и точные науки ЖКХ журналисты Забайкальский край закон об «иностранных агентах» законотворчество здравоохранение в России землетрясение «Зенит» Израиль Индия Индонезия инновации Интервью ученых интернет инфляция Ирак Ирак после войны Иран Иркутская область искусство ислам «Исламское государство» Испания история История человечества Италия Йемен Казань Казахстан казнь Калининград Камчатка Канада Киев кино Киргизия Китай Климат Земли, атмосферные явления КНДР Книга. Знание Компьютеры, программное обеспечение кораблекрушение коррупция космодром Восточный космос КПРФ кража Краснодарский край Красноярский край кредиты Кремль крушение вертолета Крым крымский кризис Куба культура Латвия ЛГБТ ЛДПР Левада-Центр легкая атлетика лесные пожары Ливия лингвистика Литва литература Лондон Луганск Малайзия МВД МВФ медиа медицина междисциплинарные исследования Мексика Мемория метро мигранты МИД России Минздрав Минкомсвязи Минкульт Минобороны Минобрнауки Минтранспорта Минтруд Минфин Минэкономразвития Минюст мировой экономический кризис «Мистраль» Михаил Саакашвили Михаил Ходорковский МКС Молдавия Мосгорсуд Москва Московская область мошенничество музыка МЧС наводнение Надежда Савченко налоги нанотехнологии наркотики НАСА наука Наука в современной России «Нафтогаз Украины» недвижимость некоммерческие организации некролог Нерусский бунт нефть Нигерия Нидерланды Нобелевская премия Новосибирск Новые технологии, инновации Новый год Норвегия Нью-Йорк «Оборонсервис» образование обрушение ОБСЕ общественный транспорт общество ограбление Одесса Олимпийские игры ООН оппозиция опросы оружие отставки-назначения Пакистан палеонтология Палестинская автономия Папа Римский Париж ПДД педофилия пенсионная реформа Пентагон Петр Порошенко пищевая промышленность погранвойска пожар полиция Польша похищение права человека правительство Право правозащитное движение «Правый сектор» преступления полицейских преступность Приморский край происшествия публичные лекции Рамзан Кадыров РАН Революция в Киргизии Реджеп Эрдоган рейтинги религия Реформа армии РЖД ритейл Роскомнадзор Роскосмос Роспотребнадзор Россельхознадзор Российская академия наук Россия Ростов-на-Дону Ростовская область РПЦ рубль русские националисты РФС Санкт-Петербург санкции Саудовская Аравия Сахалин Сбербанк Свердловская область связь связь и телекоммуникации Севастополь сельское хозяйство сепаратизм Сербия Сергей Лавров Сергей Собянин Сергей Шойгу Сирия Сколково Славянск Следственный комитет следствие смартфоны СМИ Совбез ООН Совет по правам человека Совет Федерации сотовая связь социальные сети социология Социология в России Сочи Сочи 2014 «Спартак» спецслужбы «Справедливая Россия» спутники СССР Ставропольский край стихийные бедствия Стихотворения на случай страхование стрельба строительство суды суицид США Таджикистан Таиланд Татарстан театр телевидение телефонный терроризм теракт терроризм технологии транспорт туризм Турция тюрьмы и колонии убийство УЕФА Украина Условия труда ФАС Федеральная миграционная служба физика Филиппины Финляндия ФИФА фондовая биржа фоторепортаж Франсуа Олланд Франция ФСБ ФСИН ФСКН футбол Хабаровский край хакеры Харьков Хиллари Клинтон химическое оружие хоккей хулиганство Центробанк ЦИК Цикл бесед "Взрослые люди" ЦСКА Челябинская область Чехия Чечня ЧМ-2018 шахты Швейцария Швеция школа шоу-бизнес шпионаж Эбола Эдвард Сноуден экология экономика экономический кризис экстремизм Эстония Южная Корея ЮКОС Юлия Тимошенко ядерное оружие Япония

Редакция

Электронная почта: politru.edit1@gmail.com
Адрес: 129090, г. Москва, Проспект Мира, дом 19, стр.1, пом.1, ком.5
Телефон: +7 495 980 1894.
Стоимость услуг Полит.ру
Свидетельство о регистрации средства массовой информации
Эл. № 77-8425 от 1 декабря 2003г. Выдано министерством
Российской Федерации по делам печати, телерадиовещания и
средств массовой информации. Выходит с 21 февраля 1998 года.
При любом использовании материалов веб-сайта ссылка на Полит.ру обязательна.
При перепечатке в Интернете обязательна гиперссылка polit.ru.
Все права защищены и охраняются законом.
© Полит.ру, 1998–2014.