Полiт.ua Государственная сеть Государственные люди Войти
18 ноября 2017, суббота, 07:57
Facebook Twitter LiveJournal VK.com RSS

НОВОСТИ

СТАТЬИ

АВТОРЫ

ЛЕКЦИИ

PRO SCIENCE

СКОЛКОВО

РЕГИОНЫ

19 февраля 2013, 13:22

Большие перспективы индустрии больших данных

Экспертный семинар РВК
Экспертный семинар РВК

Участники состоявшегося 8 февраля экспертного семинара РВК «Big data – новые горизонты» оценили текущее состояние отрасли «больших данных», а также обсудили примеры использования технологии и ее ближайшее будущее.

Вел семинар генеральный директор ОАО «РВК» Игорь Агамирзян. Открывая мероприятие, он определил сущность понятия «Big data»: это технология, которая позволяет сравнивать и сопоставлять ту информацию, которая ранее была принципиально не сопоставима.

В приветственном слове pаместитель министра связи и массовых коммуникаций России Марк Шмулевич рассказал, что его ведомство поддерживает эту отрасль и будет содействовать исследованиям в области Big data. Чиновник с сожалением отметил, что если взять условный top-50 самых сильных ученых в этой области, то окажется, что ни один из них не работает в России. Это связано, в том числе, и с тем, что специалисты в этой области крайне востребованы на Западе. Например, на одном из самых популярных в Соединенных Штатах сайте по поиску вакансий среднее предложение для астронома со степенью PhD – 50 тысяч долларов в год, всего 335 вакансий. Среднее же предложение для специалиста в области Data science – 100 тысяч долларов в год при нескольких тысячах открытых вакансий.

Основной доклад на семинаре представил профессор Высшей школы экономики Леонид Жуков. Он сразу отметил, что является не только исследователем в области Big data, но и использует эти технологии в компании-стартапе.

Жуков рассказал об истории появления термина Big data. Большая шумиха вокруг этой темы возникла после того, как в июне 2011 года консалтинговая компания McKinsey выпустила доклад «Большие данные: следующий рубеж в инновациях, конкуренции и производительности», в котором оценила потенциальный рынок Big data в миллиарды долларов. Вслед посыпались публикации во многих достаточно уважаемых изданиях: от Wall Street Journal до Harvard Business Review. Мнение о том, что сфера Big data как минимум второй по потенциалу сектор IT индустрии стало общепринятым.

В 2012 году Белый дом выделил 200 миллионов долларов для того, чтобы различные американские ведомства организовывали конкурсы по внедрению технологий Big data в жизнь. Если в 2009 году американские венчурные фонды вложили в отрасль всего 1,1 миллиард долларов, то в 2012 — уже 4,5.

Определений понятию Big data существует несколько. Одно из них гласит, что это данные, которые невозможно обработать традиционными способами из-за их большого объема. Другое — что это феноменальное ускорение накопления данных и их усложнение. Третье определение утверждает, что это набор инструментов, позволяющих работать с данными вне зависимости от их типа и объема.

Такая ситуация объясняет тот факт, что для характеристики Big data используют «три v»: объём (от английского volume, имеется в виду объем данных), скорость (от слова velocity, это и скорость накопления новых данных, и скорость и обработки) и многообразие (английское слово variety обозначает разнообразие типов данных, которые могут обрабатываться).

Индустрия Big data возникла из-за того, что все большему количеству структур и компаний необходимо было обрабатывать такое количество данных, что традиционные методы уже не годились. Так, по некоторым данным, Google в день обрабатывает 24 петабайта (24 миллиона гигабайт). Суперкомпьютеры, которые в теории могли справиться с таким потоком, были не по карману большинству IT-компаний, и им стали искать замену. Одна из идей состояла в том, что можно объединить в сеть огромное количество обычных компьютеров и распределять между ними вычисления. Проблема состояла в том, что такая система постоянно давала сбои.

Решением стала программа, дублирующая вычисления в разных участках огромной сети, благодаря чему отказ одного из ее элементов не скажется на конечном результате.

Исторически сложилось так, что инновационные разработки в области Big data начинались не в маленьких стартапах, как это часто бывает в IT-индустрии, а в больших компаниях. Так, например, технология распределенной обработки данных MapReduce была разработана в Google, a Hadoop - свободное ПО для выполнения распределенных вычислений на кластерах из сотен и тысяч узлов – сразу после создания активно поддержала компания Yahoo.

Большинство программных продуктов в области Big data являются свободными, а их адаптацией и продвижением занимаются те самые стартапы. Традиционные поставщики решений в области хранения и обработки данных, такие как IBM и EMC внимательно относятся к новым разработкам в области Больших Данных и стараются использовать их в своих продуктах совместно с собственными технологиями.

Одним из содокладчиков выступил Вячеслав Нестеров, генеральный директор центра разработок EMC (г. Санкт-Петербург) — компании, которая занимается хранением и управлением информацией.

Вячеслав Нестеров рассказал, что ежедневно генерируется около 7 тысяч петабайт новых данных, из них структурированы только 10% — причем эта доля постоянно уменьшается. Сегодня 15-20 процентов информации генерируется в “интернете вещей” – в том числе, во многочисленных телефонах, планшетах и других устройствах. К 2020 году доля информации, генерируемой «интернетом вещей», возрастет до 40 процентов.

Помимо стремительно растущего интернета, появляется огромное количество медицинской информации, например, полученной при секвенировании генома. Сейчас существуют десятки мощных баз данных, в которых аккумулирована гигантская информация о структуре не только генома человека, но и геномов многих других организмов. В одной ДНК содержится около трех миллиардов нуклеотидных пар, что относительно немного с точки зрения объема информации. Но надо еще принять во внимание необходимость хранения «сырой» информации, получаемой из секвенаторов, результатов исследования белковых молекул и прочих биоинформатических данных. Информацию, которую возможно получить из расшифрованного генома, еще только предстоит собрать, осмыслить, подвергнуть сравнительному анализу. Для работы именно с таким огромным количеством научной информации и появляются технологии, которые оказались в центре внимания семинара.

Big data приобретает популярность, потому что существовавшие до этого способы работы с информацией не удовлетворяют запросам бизнеса. Так, Нестеров сравнил работу Data scientist и бизнес-аналитиков. Бизнес-аналитики изучают полученную информацию о прошлом и отвечают на вопрос «а что произошло?». Аналитики данных (Data scientists) способны ответить на вопрос «а что произойдет, если...?». Для этого они должны обладать знаниями в области статистики, математики, разбираться в предметной области исследования и вдобавок уметь немного программировать. Именно поэтому выпускники университетов в сфере Data science в Калифорнии «стоят» от 100 тысяч долларов в год.

Сергей Лихарев, руководитель по развитию бизнеса IBM Big Data Solutions, в своем выступлении рассказал, что думают о технологии Big data в больших компаниях. По его словам, шесть процентов компаний уже применяют соответствующие технологии, 22 процента — планируют их внедрить. 47 процентов рассматривают бизнес-кейсы, то есть примеряют опыт на себя, 24 процента предпринимателей пока раздумывают о целесообразности внедрения технологий Big data.

Big data, по словам Лихарева, позволит компаниям по-новому взглянуть на клиента. Анализ не только структурированных данных о клиентах, но и информации, например, из социальных сетей поможет компаниям лучше понять, почему клиенты пользуются их продуктами и услугами, почему они рекомендуют компанию своим знакомым, что хотят улучшить. Ключевое отличие здесь в том, что в социальных сетях информация часто представлена в виде обычного текста и выделить оттуда ценные знания - не всегда простая задача.

Big data позволяет расширить традиционные системы информационной безопасности. Анализ данных, поступающих из различных источников в разных форматах, возможность сопоставления этих данных, выявления аномалий, реагирование на угрозы в реальном режиме времени – все это стало возможным с использованием технологий обработки и анализа Big data. Важно, что такой анализ можно проводить практически на неограниченном объеме данных.

Big data позволит упростить хранение данных. Зачастую в аналитических хранилищах скапливаются огромные массивы информации, ценность которой уже не очевидна, а затраты на хранение которой относительно высоки. Технологии Big data помогут разгрузить аналитическое хранилище, при необходимости предоставляя архивную информацию для анализа и исследования.

Выступающие сошлись на том, что сейчас отрасль Big data находится на пике общественного интереса и, соответственно, венчурных вложений. Пока нельзя сделать вывод, окажутся ли Big data в скором времени необходимыми в повседневной жизни человечества, как персональный компьютер и Интернет, но то, что они уже меняют нашу жизнь и бизнес на наших глазах, не вызывает сомнений.

Обсудите в соцсетях

Система Orphus

Главные новости

17.11 23:05 На Командорских островах нашли скелет стеллеровой коровы
17.11 20:44 Мугабе попросил оставить его у власти на несколько дней или месяцев
17.11 20:13 Путин пообещал ежегодно выделять 1 млрд рублей талантливой молодежи
17.11 19:24 ЦСР посоветовал России повысить терпимость к мигрантам
17.11 18:44 На городском пляже Евпатории случайно нашли античную могилу
17.11 18:28 Пранкеры сообщили Испании о работе Пучдемона на российские спецслужбы
17.11 18:22 Аргентинская боевая подлодка пропала с радаров
17.11 18:07 Из подмосковных автобусов запретили высаживать малолетних «зайцев»
17.11 18:00 В НАТО извинились перед Турцией за инцидент в Норвегии
17.11 17:40 Журналистка Россияна Марковская стала личным секретарем Сергея Шойгу
17.11 17:37 Кудрин рассказал Путину о подготовке стратегии развития РФ до 2024 года
17.11 17:15 Суд уволил эксперта за вывод о спирте в крови сбитого мальчика
17.11 17:00 Путин увеличил штат Вооруженных сил почти до 2 млн сотрудников
17.11 16:56 В Китае успешно пересадили голову на тело мертвого человека
17.11 16:35 Исламисты отбили у сирийских военных российское оружие
17.11 16:27 В Крыму к 2018 году построят стену на границе с Украиной
17.11 16:03 В Кремле отказались комментировать мемуары Юрия Лужкова
17.11 15:58 ГД отказалась ввести контроль цен на продукты
17.11 15:53 Кремль с пониманием воспринял нежелание телеканалов показывать ОИ-2018
17.11 15:25 НАТО пригрозило Турцией санкциями в случае покупки российских С-400
17.11 15:01 Васильева раскрыла подробности выселения студентов из общежитий к ЧМ-2018
17.11 14:52 Грибу-паразиту не нужно захватывать мозг для превращения муравьев в зомби
17.11 14:37 Главным редактором «Новой газеты» стал ее бывший гендиректор
17.11 14:28 СМИ узнали о проверке страдающих ожирением российских военных на годность
17.11 14:26 МОК примет решение об участии России в ОИ-2018 5 декабря
17.11 14:11 Дума одобрила проект госбюджета на 2018-2020 годы
17.11 13:57 Дума разрешила авиакомпаниям составлять «черные списки» дебоширов
17.11 13:31 В Северодвинске спущена на воду первая атомная подлодка проекта «Борей-А»
17.11 13:20 ВГТРК отказалась показывать ОИ-2018 в случае отстранении сборной России
17.11 13:09 Эрдоган обвинил США в финансировании ИГ
17.11 13:02 В Саудовской Аравии найдено древнейшее изображение собак
17.11 12:50 Васильева анонсировала возобновление программы образовательных кредитов
17.11 12:36 Совместный бизнес «Яндекса» и Uber выйдет на биржу США
17.11 12:17 Песков предложил не торопиться с обсуждением участия Путина в съезде ЕР
17.11 11:59 СМИ узнали о передаче власти саудовским королем своему сыну
17.11 11:38 Генерал ФСО Лопырев получил 10 лет колонии за взятку в 7 млн рублей
17.11 11:21 Чистая прибыль «Алросы» по МСФО уменьшилась почти вдвое
17.11 11:06 После ДТП в Марий Эл заведено два уголовных дела
17.11 10:41 Представителям штаба Трампа направлены первые запросы по «российскому делу»
17.11 10:21 Из больших московских автобусов и трамваев решили убрать турникеты
17.11 10:13 Физики создали более эффективный лазер для медиков и геологов
17.11 10:11 Овечкин объяснил появление Putin Team шуткой
17.11 10:08 Биткоин преодолел рекордную отметку в 8 тысяч долларов
17.11 09:47 ФАС нашла плацкартные билеты дороже авиационных
17.11 09:42 Последний «босс» итальянской мафии умер от рака в 87 лет
17.11 09:19 В Москве вручили книжную премию «Просветитель»
17.11 09:09 ЦБ отозвал лицензию у московского «Регионфинансбанка»
17.11 09:06 Лужков назвал настоящую причину своей отставки
17.11 08:52 СМИ допустили отказ российских телеканалов от трансляции ОИ-2018
17.11 08:47 Минфин уточнил условия уголовного наказания за санкционную контрабанду
Apple Boeing Facebook Google iPhone IT NATO PRO SCIENCE видео ProScience Театр Pussy Riot Twitter Абхазия аварии на железной дороге авиакатастрофа Австралия Австрия автопром администрация президента Азербайджан акции протеста Александр Лукашенко Алексей Кудрин Алексей Навальный Алексей Улюкаев алкоголь амнистия Анатолий Сердюков Ангела Меркель Антимайдан Аркадий Дворкович Арктика Армения армия Арсений Яценюк археология астрономия атомная энергия аукционы Афганистан Аэрофлот баллистические ракеты банковский сектор банкротство Барак Обама Башар Асад Башкирия беженцы Белоруссия Белый дом Бельгия беспорядки бизнес биология ближневосточный конфликт бокс болельщики «болотное дело» большой теннис Борис Немцов борьба с курением Бразилия Валентина Матвиенко вандализм Ватикан ВВП Великая Отечественная война Великобритания Венесуэла Верховная Рада Верховный суд взрыв взятка видеозаписи публичных лекций «Полит.ру» видео «Полит.ру» визовый режим Виктор Янукович вирусы Виталий Мутко «ВКонтакте» ВКС Владивосток Владимир Жириновский Владимир Маркин Владимир Мединский Владимир Путин ВМФ военная авиация Волгоград ВТБ Вторая мировая война вузы ВЦИОМ выборы выборы губернаторов выборы мэра Москвы Вячеслав Володин гаджеты газовая промышленность «Газпром» генетика Генпрокуратура Германия ГИБДД ГЛОНАСС Голливуд гомосексуализм госбюджет Госдеп Госдума госзакупки гражданская авиация Греция Гринпис Грузия гуманитарная помощь гуманитарные и социальные науки Дагестан Дальний Восток декларации чиновников деньги День Победы дети Дмитрий Медведев Дмитрий Песков Дмитрий Рогозин доллар Домодедово Дональд Трамп Донецк допинг дороги России драка ДТП Евгения Васильева евро Евровидение Еврокомиссия Евромайдан Евросоюз Египет ЕГЭ «Единая Россия» Екатеринбург ЕСПЧ естественные и точные науки ЖКХ журналисты Забайкальский край закон об «иностранных агентах» законотворчество здравоохранение в России землетрясение «Зенит» Израиль Ингушетия Индия Индонезия инновации Интервью ученых интернет инфляция Ирак Ирак после войны Иран Иркутская область искусство ислам «Исламское государство» Испания история История человечества Италия Йемен Казань Казахстан казнь Калининград Камчатка Канада Киев кино Киргизия Китай Климат Земли, атмосферные явления КНДР Книга. Знание Компьютеры, программное обеспечение Конституционный суд Конституция кораблекрушение коррупция космодром Восточный космос КПРФ кража Краснодарский край Красноярский край кредиты Кремль крушение вертолета Крым крымский кризис Куба культура Латвия ЛГБТ ЛДПР Левада-Центр легкая атлетика Ленинградская область лесные пожары Ливия лингвистика Литва литература Лондон Луганск Малайзия Мария Захарова МВД МВФ медиа медицина междисциплинарные исследования Мексика Мемория метро мигранты МИД России Минздрав Минкомсвязи Минкульт Минобороны Минобрнауки Минсельхоз Минтранспорта Минтруд Минфин Минэкономразвития Минэнерго Минюст «Мистраль» Михаил Саакашвили Михаил Ходорковский МКС мобильные приложения Молдавия Мосгорсуд Москва Московская область мошенничество музыка Мурманская область МЧС наводнение Надежда Савченко налоги нанотехнологии наркотики НАСА наука Наука в современной России «Нафтогаз Украины» недвижимость некоммерческие организации некролог Нерусский бунт нефть Нигерия Нидерланды Нобелевская премия Новосибирск Новые технологии, инновации Новый год Норвегия Нью-Йорк «Оборонсервис» образование обрушение ОБСЕ общественный транспорт общество ограбление Одесса Олимпийские игры ООН ОПЕК оппозиция опросы оружие отставки-назначения офшор Пакистан палеонтология Палестинская автономия Папа Римский Париж ПДД педофилия пенсионная реформа Пентагон Петр Порошенко пищевая промышленность погранвойска пожар полиция Польша похищение Почта России права человека правительство Право правозащитное движение православие «Правый сектор» преступления полицейских преступность Приморский край Продовольствие происшествия публичные лекции Рамзан Кадыров РАН Революция в Киргизии Реджеп Эрдоган рейтинги религия Республика Карелия Реформа армии РЖД ритейл Роскомнадзор Роскосмос «Роснефть» Роспотребнадзор Россельхознадзор Российская академия наук Россия Ростов-на-Дону Ростовская область РПЦ рубль русские националисты РФС Санкт-Петербург санкции Саудовская Аравия Сахалин Сбербанк Свердловская область связь связь и телекоммуникации Севастополь сельское хозяйство сепаратизм Сербия Сергей Лавров Сергей Полонский Сергей Собянин Сергей Шойгу Сирия Сколково Славянск Следственный комитет следствие смартфоны СМИ Совбез ООН Совет по правам человека Совет Федерации сотовая связь социальные сети социология Социология в России Сочи Сочи 2014 «Спартак» спецслужбы «Справедливая Россия» спутники СССР Ставропольский край стихийные бедствия Стихотворения на случай страхование стрельба строительство суды суицид Счетная палата США Таджикистан Таиланд Татарстан театр телевидение телефонный терроризм теракт терроризм технологии Трансаэро транспорт туризм Турция тюрьмы и колонии убийство уголовный кодекс УЕФА Узбекистан Украина Условия труда фармакология ФАС ФБР Федеральная миграционная служба физика Филиппины Финляндия ФИФА фондовая биржа фоторепортаж Франсуа Олланд Франция ФСБ ФСИН ФСКН футбол Хабаровский край хакеры Харьков Хиллари Клинтон химическое оружие химия хоккей хулиганство цензура Центробанк ЦИК Цикл бесед "Взрослые люди" ЦРУ ЦСКА Челябинская область Чехия Чечня ЧМ-2018 шахты Швейцария Швеция школа шоу-бизнес шпионаж Эбола эволюция Эдвард Сноуден экология экономика экономический кризис экстремизм Эстония Южная Корея ЮКОС Юлия Тимошенко ядерное оружие Якутия Яндекс Япония

Редакция

Электронная почта: politru.edit1@gmail.com
Адрес: 129090, г. Москва, Проспект Мира, дом 19, стр.1, пом.1, ком.5
Телефон: +7 495 980 1894.
Яндекс.Метрика
Свидетельство о регистрации средства массовой информации
Эл. № 77-8425 от 1 декабря 2003г. Выдано министерством
Российской Федерации по делам печати, телерадиовещания и
средств массовой информации. Выходит с 21 февраля 1998 года.
При любом использовании материалов веб-сайта ссылка на Полит.ру обязательна.
При перепечатке в Интернете обязательна гиперссылка polit.ru.
Все права защищены и охраняются законом.
© Полит.ру, 1998–2014.