Подробнее о Big Data  --  Big Data

Для чего используют Big Data в России?

Определение Big Data

С технологической точки зрения Big Data можно считать такие наборы данных, чьи размеры, типы и скорость формирования делают непрактичной их обработку и анализ традиционными технологиями и соответствующими инструментами с точки зрения денежных и временных затрат на это. Также о Big Data можно говорить в том случае, если речь идет о подходе, позволяющем опираться на обработанные тем или иным способом данные для принятия решений и высказывания предположений, вместо того, чтобы полагаться на "интуицию" и "дар". Если используется этот подход, то можно говорить о Big Data даже в том случае, если для обработки данных используются те или иные традиционные инструменты и методы.  

Что такое Big Data

Группа технологий и методов производительной обработки динамически растущих объемов данных (структурированных и неструктурированных) в распределенных информационных системах, обеспечивающих организацию качественно новой полезной информации. 

Это наборы данных такого объема, что традиционные инструменты не способны осуществлять их захват, управление и обработку за приемлемое для практики время.

В России по опросу CNews и Oracle в 2015 году более четверти респондентов считают, что Big Data это скорее концепция, включающая подходы, методики, технологии и пр. В то же время 14% по-прежнему увязывают Big Data и Hadoop. 

История появления термина Big Data

Клиффорд Линч, редактор журнала Nature, в 2008 году впервые упомянул термин Big Data в специальном номере журнала, посвященного теме "Как могут повлиять на будущее науки технологии, открывающие возможности работы с большими объемами данных", в котором были собраны материалы о феномене взрывного роста объемом и многообразия обрабатываемых данных и технологических перспективах в парадигме вероятного скачка "от количества к качеству".

В 2010 году появились первые продукты и решения, относящиеся непосредственно к проблемам обработки Big Data. С 2011 году понятие используют практически все крупные участники рынка информационных технологий, такие как IBM, Oracle, Microsoft, Hewlett-Packard, EMC. 

3V в Big Data

Volume 

Действительно большие объемы данных в физическом смысле, от петабайт к экзабайтам и зеттабайтам

Variety

Слабо структурированные и разнородные данные, например DB, XML, Logs, тексты, видео, аудио

Velocity

Необходимость и возможность высокой скорости обработки данных - близко к реальному времени

Почему данные Большие? 

Facebook собирает 180 ПБ информации в год (300 млн фото в день)

Twitter обеспечивает доставку 1.2 млн сообщений в секунду (103 млрд сообщений в месяц в 2014)

Google - 24 ПБ в день

Оценка объема рынка Big Data

2018

$41,5 млрд в 2018 году (прогнозируемый рост 26,4% в год) / прогноз IDC в августе 2014 года  

2017

 Источник: Wikibon-2014 

2015 

2015.12.07 Согласно прогнозам, годовой рост рынка технологий Big Data составит 32%, что в деньгах - $21 млрд. Российская доля - менее 1%. Порядка 70% крупных компаний в различных отраслях приобретают внешние данные. К 2020 году ожидается рост до 100%. В России в октябре-ноябре проведен опрос, который показал, что только 12% респондентов активно используют технологии Big Data, 39% находятся на начальном этапе внедрения решений, чуть менее половины вообще их не используют. Из тех, кто уже применяет Big Data 29% используют их для анализа удовлетворенности клиентов и потребительских предпочтенийб 22% - для управления производственным процессом. Интересно, что 45% из тех, кто пока не использует Big Data, не планирует это делать и в будущем, а 55% готовы инвестировать при условии, что эти инвестиции обещают практическую выгоду и возврат инвестиций.  В целом, согласно прогнозу F&S в России будет быстро развиваться сегмент визуализации Big Data, также в перспективе ожидается втрое больший рост затрат на облачные решения в сегменте Big Data, нежели чем на локальные решения / Frost & Sullivan. 

2015.05.15 Объем данных в Российских компаниях согласно опросу CNews / Oracle 

2013

$1,368,000,000 - IBM (доходы компании от направления Big Data)

$869,000,000 - HP

$652,000,000 - DELL

$545,000,000 - SAP

$518,000,000 - Teradata

$491,000,000 - Oracle

$480,000,000 - SAS Institute

$418,000,000 - Palantir

$415,000,000 - Accenture

$312,000,000 - PWC 

Доходы от Big Data в общей структуре доходов компаний

 2014.10.17 Инфографика UMBEL. Легенда: размер кружка - общие доходы компании, тонкая граница - доходы от Big Data менее 1% в общих доходах; темный кружок (как у SAP) - 2-10%; кружок с заполнением, как у Teradata или SAS Institute - 11-30%; кружок яркого цвета, как у DON - 41-99%, желтые кружки - 100%. 

Структура доходов на рынке Big Data

  Источник: Wikibon-2014

Можно выделить следующие крупные направления получения доходов на рынке Big Data: профессиональные услуги; вычисления ; хранение данных ; разработка приложений ; SQL ; облачные сервисы ; инфраструктурное ПО ; сетевое взаимодействие ; NoSQL. 

Участники рынка решений Big Data и примеры продуктов 

Рынок Big Data формируют активности как титанов технологической индустрии, таких, как IBM, HP и Dell, так и ньюкамеры, как Neo Technology, Sumo Logic, Cloudera. Доля больших компаний на рынке Big Data в 2015 году высока, несмотря на то, что в структуре их доходов доходы от Big Data пока занимают ничтожную долю, менее 1%. Для ньюкамеров - это основной источник их доходов. Как правило, компании, занимающиеся Big Data, стараются специализироваться в области либо услуг и ПО, либо услуг и железа. Только несколько корпораций инвестируют во все три области одновременно, есть также компании которые оказывают услуги, не занимаясь разработкой софта или железа. По данным UMBEL, 46% компаний на рынке Big Data инвестируют в услуги, 41% в ПО, 13% - в железо. 

Вертикальные приложения

 источник: BigData Landscape, 2015.06 

Потребительские приложения

  источник: BigData Landscape, 2015.06  

Business Intelligence

Приложения для аналитики и визуализации

Инфраструктура для аналитики

Операционная инфраструктура

Инфраструктура как услуга

Структурированные базы данных 

Список участников рынка Big Data 

1010DATA, услуги, приложения аналитики и визуализации

Accenture, услуги

Actian, услуги и ПО, инфраструктура для аналитики 

Actix, Amdocs 

Actuate, услуги и ПО

Aerospike, услуги и ПО, операционная инфраструктура

Alpine, приложения аналитики и визуализации 

Alterix, услуги и ПО

Amazon, услуги, консьюмерские приложения, Amazon Webservices - инфраструктура как услуга 

Apache Hibase, технологическая инфраструктура 

Arieso, JDSU 

Atigeo, приложения аналитики и визуалиазации

AT&T, инфраструктура как услуга 

Attivio, услуги и ПО, приложения Business Intelligence

Attunity, услуги и ПО

AutoGrid, вертикальные приложения

Autonomy, приложения Business Intelligence 

Ayata, приложения аналитики и визуализации

Basho, услуги и ПО 

Bime, приложения Business Intelligence 

Birst, приложения Business Intelligence 

Booz Allen Hamilon, услуги 

Business Objects, приложения Business Intelligence 

Calpont, инфраструктура для аналитики 

Capgemini, услуги

Cassandra, технологическая инфраструктура 

Centrifuge, приложения для аналитики и визуализации

Centurylink, услуги

Chart.io, приложения Business Intelligence

Cirro, приложения для аналитики и визуализации  

Cisco Systems, услуги, ПО, железо

ClearStory, приложения для аналиткии и визуализации

CleverDATA, продукт 1DMP.ru (биржа для обмена данными)

Cloudera, услуги и ПО, инфраструктура для аналитики 

Couchbase, услуги и ПО, операционная инфраструктура 

CSC, услуги, инфраструктура как услуга

Datameer, услуги и ПО, приложения для аналитики и визуализации

Datastax, услуги и ПО, операционная инфраструктура 

Dell, услуги и железо

Deloitte, услуги

Digital Reasoning, услуги и ПО

DOMO, приложения Business Intelligence 

DON, услуги и железо

eBay, потребительские приложения

Ellucian, вертикальные приложения

EMC, услуги, железо, ПО

Exasol, инфраструктура для аналитики 

Facebook, потребительские приложения

Fractal Analytics, услуги

Fusion-IO, услуги и железо

General Electric, услуги и ПО

Gooddata, услуги, приложения Business Intelligence 

Google, услуги, потребительские приложения, Google bigquery - инфраструктура как услуга

Guavus, услуги и ПО

Hadapt, инфраструктура для аналитики 

Hadoop, технологическая инфраструктура 

Hadoop mapReduce, технологическая инфраструктура 

Hitachi, услуги

Hortonworks, услуги и ПО, инфраструктура для аналитики

HP, услуги, железо, ПО

IBM, услуги, железо, ПО, приложения Business Intelligence, структурированные базы данных DB2 

Infobright, инфраструктура для аналитики 

Informatica, услуги и ПО, операционная инфраструктура 

Intel, услуги и железо

JasperSoft, услуги и ПО, приложения Business Intelligence 

Juniper, услуги и железо

KarmaSphere, приложения для аналитики и визуализации 

Knweton, вертикальные приложения

Kognitio, услуги и ПО, инфраструктура для аналитики

LinkedIn, потребительские приложения

Mahout, технологичская инфраструктура 

MAPR Technologies, услуги и ПО, инфраструктура для аналитики 

Marklogic, услуги и ПО, операционная инфраструктура

memSQL, структурированные базы данных 

metaLayer, приложения для аналитики и визуализации

Microsoft, услуги и ПО, приложения Business Intelligence, структурированная DB Microsoft SQL Server 

Microstrategy, услуги и ПО, приложения Business Intelligence

MongoDB, услуги и ПО, операционная инфраструктура 

Mortar, инфраструктура как услуга 

Mu Sigma, услуги и ПО 

MySQL, структурированные базы данных

Neo Technologies, услуги и ПО

Netapp, услуги и железо 

Netezza, инфраструктура для аналитики

NetFlex, потребительские приложения

NG Data, приложения Business Intelligence

Opera Solutions, услуги, приложения для аналитики и визуализации

Opower, вертикальные приложения

Oracle, услуги и ПО, приложения Business Intelligence (Hyperion), структурированные базы данных ; 

2015.06.26 Программно-аппаратный комплекс Oracle Big Data Appliance X5 компания начала продвигать с января 2015 года. В июне 2015 года этот комплекс установлен в FORS Solution Center в России. Достоинство - сервера предварительно сконфигурированы и протестированы вендором, что упрощает их развертывание. В России уже есть заказчики системы. Подробнее

Palantir, услуги и ПО, приложения для аналитики и визуализации

Panopticon, приложения для аналитики и визуализации 

Pentaho, услуги и ПО

Pivotal, услуги и ПО,  инфраструктура для аналитики

Platfora, приложения для аналитики и визуализации

PostgreSQL, структурированные базы данных

Practise fusion, вертикальные приложения

Predictive Policing, вертикальные приложения

PWC, услуги

QLIKView, услуги и ПО, приложения для аналитики и визуализации

Qubole, инфраструктура как услуга 

Rackspace, услуги

Rainstor, услуги

Recomminnd, приложения Business Intelligence 

Recorded Future, приложения Business Intelligence 

Red Hat, услуги и ПО

Revolution Analytics, услуги и ПО

RJMetrics, приложения Business Intelligence 

RxAnte, вертикальные приложения

Saffron Technology, приложения для аналитики и визуализации 

SAP, услуги и ПО, приложения Business Intelligence 

SAS Institute, услуги и ПО, приложения для аналитики и визуализации

SGI, услуги и железо

SiSense, услуги, приложения для аналитики и визуализации 

Space Curve, инфраструктура для аналитики 

Splice Machine, инфраструктура для аналитики

Sumo Logic, услуги и ПО

SurveyMonkey, вертикальные приложения 

Sybase, структурированные базы данных

Syncsort, услуги и ПО

Tableau Software, услуги и ПО, приложения для аналитики и визуализации

Talend, услуги и ПО

TCS, услуги

Teradata, услуги и ПО, приложения для аналитики и визуализации Aster 

Terracotta, операционная инфраструктура 

Think Big Analytics, услуги и ПО

Tibco, услуги и ПО, приложения для аналитики и визуализации

Tresata, услуги и ПО

Trifacta, приложения для аналитики и визуализации 

Twitter, потребительские приложения 

Ufora, приложения для аналитики и визуализации

Vertica, инфраструктура для аналитики 

Visual.ly, приложения для аналитики и визуализация 

VoltDB, операционная инфраструктура 

@WalmartLabs, потребительские приложения

Windows Azure Marketplace, инфраструктура как услуга 

WMWARE, услуги и ПО

Инструменты

Hadoop - набор утилит, библиотеки и программный каркас для разработки и исполнения распределенных программ, работающих на кластерах из сотен и тысяч узлов

MapReduce - фреймворк для вычисления некоторых наборов распределенных задач с использованием большого числа компьютеров, называемых "нодами", образующими кластер. Разработан компанией Google. 

MPP (Vertica, Exadata, Greenplum, Teradata)

NoSQL (Key-Value, Document-oriented, Column-based, Graph-oriented). Ряд подходов, направленных на реализацию хранилищ баз данных, существенно отличающихся от традиционных реляционных СУБД со средствами доступа языка SQL. Такие подходы характерны для использования с базами данных, в которых стоит задача решить проблемы масштабирования и доступности  за счет атомарности и согласованности данных

In-memory Data Grids (Calculation Grids)

Data Mining

Machine Learning (Statistics / Natural Language Processing)

Event-Stream Processing 

Расходы на инфраструктуру в сегменте BigData

48,2% прогнозируемый рост рынка инфраструктуры в сегменте Big Data / прогноз IDC в августе 2014 года   

Драйверы роста рынка Big Data

- участники рынка сформировали "дорожные карты" своих продуктов и услуг для предприятий 

- можно говорить о зрелости продуктов, в частности после появления YARN (MRv2 - Map Reduce), которая заложила обеспечила мультиплатформенность для Hadoop

- улучшились механизмы защиты конфиденциальности данных

Барьеры рынка Big Data

- опасения в достаточной защищенности данных

- быстрое развитие рынка, разнообразие решений и большое число поставщиков решений Big Data, затрудняющее выбор инструментов

- недостаточное число завершенных приложений для решения специфичных проблем бизнеса

Доля компаний, запустивших проекты с использованием технологии Big Data

13% в 2014 году / Gartner, 2014

8% в 2013 году / Gartner, 2014

В России

2015.05.15 Объем данных в Российских компаниях согласно опросу CNews / Oracle  

Кадры Big Data

Типовые требования к специалисту в области Big Data в крупной российской телеком-компании

• Развитие направления предсказательного моделирования, создание новых методов моделирования абонентского поведения;
• Построение математических моделей, улучшение работы моделей, направленных на развитие абонентов (увеличение доходности);
• Анализ абонентской базы на основе потребностей \ ценности \ профиля использования услуг и других характеристик;
• Анализ влияния маркетинговых активностей на отток;
• Участие в управлении КИХ (корпоративное информационное хранилище);
• Аналитическая поддержка проектов CRM.

Требуется отказ от классического дедуктивного мышления в пользу эмпирического, опытного мышления и использования статистики в качестве основы для реального бизнеса. Нужно, чтобы мысля эмпирически, люди владели математическим аппаратом. Требуется сочетание взаимоисключаемых ментальных факторов: интуиции, широкого кругозора и "математичности" в мозгах и образовании. Дефицит таких специалистов пока что будет только нарастать. Мнение Сергея Мацоцкого, председателя правления IBS. 

Профессия: аналитик Big Data, специалист по Data Mining, архитектор баз данных и т.п.

Как стать специалистом в области Big Data

В каких отраслях используют Big Data

2013.12.10 Big Data в отраслях. Apcon, McKinsey & Company, CNews Analytics, 2013 

Какие компании внедряют Big Data в России 

2015.05.15 Инфографика: Большие данные пришли в Россию. CNews / Oracle. 

Big Data в телекоме

Есть возможностьанализировать местоположение и активность абонентов. 

Сегментация абонентской базы, персонализация клиентских сервисов и услуг. При прибытии в аэропорт можно предложить подключение услуг роуминга или дать информацию о возможностях личного кабинета для самостоятельного управления услугой.

Мониторинг качества услуг.

Оптимизация рабты колл-центра за счет угадывания причин обращения, а также индивидуального подбора и предложения сервисов и тарифов. 

Можно измерить качество сервиса на уровне каждого клиента, синхронизировавшись с геолокацией, - получить мониторинг качества сервиса по всем точкам пребывания клиента, что дает возможность повышать качество в тех или иных точках сети.  

Полезные ссылки по теме Big Data 

Big Data на Pinterest  - обновляемые