Аналитик больших данных (Big Data Analyst)

Аналитик больших данных (Big Data Analyst) занимается обработкой и исследованием больших массивов информации, находит логические взаимосвязи и помогает заказчику определить факторы, имеющие значение для бизнеса. Эта профессия идеально подходит для тех, кто интересуется Big Data, информационными технологиями и аналитикой.

Краткое описание

Big Data Analyst занимается работой с большими данными, его заказчики - в основном деловые люди, однако не только они - технологии "больших данных" на государственном уровне используются в многих странах в сфере здравоохранения, медицины, фармации. Обработка, изучение и интерпретация данных позволяют посмотреть на привычные вещи по-новому, обнаружить новые процессы, явления и т. д. В идеале аналитики больших данных должны быть хорошо знакомы с той сферой, в которой они работают, однако на практике это не всегда так.

Сфера работы аналитика данных не ограничивается одной областью. Технически его должностные обязанности остаются неизменными, меняется только бизнес-контекст. Найти узкоспециализированных специалистов, например, в медицине, в реальности почти невозможно. Также сложно искать вакансии в рамках одной отрасли. Аналитики легко перемещаются между компаниями, адаптируясь к специфике в процессе работы.

Пока что не сформировалось универсального определения больших данных, но под Big Data обычно понимают коллекции неструктурированных и разнообразных данных, значительно превосходящих по размеру классические реляционные (структурированные) базы данных. Сведения различных форматов поступают в общую базу из множества источников (датчики, приложения, камеры наблюдения, социальные сети и прочее) и непрерывно обновляются в режиме реального времени. Анализировать и обрабатывать эти данные для конкретных целей обычно занимается аналитик больших данных.

Особенности профессии

Аналитика больших данных можно использовать для создания новых продуктов, определения точек роста для бизнеса или, например, для выявления причин возникновения заболеваний в медицине. Big Data Analyst ежедневно обрабатывает огромное количество данных, стараясь извлечь из них информацию, которая может быть полезной для бизнеса (спрос, предложение, конкуренция, рыночная ценовая политика и т.д.). Кроме того, аналитик больших данных может разрабатывать модели машинного обучения.

В общих чертах обязанности Big Data Analyst включают в себя:

• сбор необходимых данных и подготовка их для анализа;
• проведение дескриптивного анализа, интерпретация и визуализация данных;
• создание гипотез, которые могут помочь в принятии решений.

В процессе выполнения своих обязанностей специалист в области больших данных определяет логические взаимосвязи, на основе которых разрабатываются новые стратегии.

Чтобы представить применимую информацию и отчёты, аналитик должен обладать следующими навыками:

• Интерпретация данных и аналитическая работа с использованием статистических методов;
• Применение математических и статистических теорий и методов для сбора, систематизации, интерпретации и обобщения числовых данных;
• Использование машинного обучения, обработки естественного языка, интеллектуального анализа данных и моделирования для извлечения и анализа информации из больших структурированных и неструктурированных наборов данных.

Вероника Голубева, главный инженер Сбера по разработке в Data Analytics, утверждает, что аналитик больших данных может выполнять некоторые обязанности Data Scientist и Business Intelligence, однако это зависит от требований работодателя.

Ключевое отличие аналитика больших данных от обычного аналитика заключается в наборе используемых технологий. Например, при работе с небольшим объемом данных достаточно использовать SQL в реляционных БД, Excel, Python и мощность оперативной памяти собственного компьютера. В случае работы с большими данными необходимо уметь работать с MPP-системами (базы данных с массово-параллельной архитектурой), такими как Arenadata DB, Greenplum, Vertica, Teradata и т. д.

• Освоение основных принципов работы, владение техниками оптимизации запросов и управление большими таблицами;
• Навыки работы с распределенными файловыми системами (HDFS и S3), а также использование соответствующих инструментов (Spark, Hive, Impala, Hbase)

Преимущества и недостатки профессии

Преимущества

• Профессия современная и растет в популярности.
• Большой объем клиентов заинтересован в услугах аналитика больших данных.
• Аналитики больших данных получают высокий уровень заработной платы.
• Возможность занять должность мечты в крупных российских компаниях, таких как «Яндекс» или Mail.ru Group, или получить предложение от международных корпораций и холдингов: анализ больших данных – это поистине ценное удовольствие, на которое могут позволить себе только крупные бизнес-структуры или государственные организации.
• Возможность карьерного роста и перехода в другую сферу деятельности.

Недостатки

• Работа носит стационарный и монотонный характер.
• Распространенность нерегулируемого рабочего дня.
• Постоянное психологическое давление.
• Отсутствие вакансий в малых городах, что могут компенсировать возможностью удаленной работы.

Необходимые личные качества

Специалист по большим данным имеет дело с огромными объемами информации, что оказывает влияние на его личные качества. Чтобы успешно выполнять свои обязанности, аналитику больших данных нужно:

• проявлять дисциплинированность, упорство, терпимость и методичность;
• владеть способностью длительно концентрировать внимание;
• быть способным работать в условиях многозадачности;
• иметь развитое техническое и аналитическое мышление;
• уметь эффективно взаимодействовать в команде.

Кроме того, аналитик больших данных должен быть достаточно реалистичным, уверенным в своих способностях, поскольку от его способности делать выводы на основе анализа данных во многом зависит успех компании и принятие ключевых стратегических решений.

Подготовка к профессии Big Data Analyst

Для работы в качестве аналитика больших данных необходимо высшее образование, без него найти работу практически невозможно. Рекомендуется обратить внимание на следующие направления обучения:

• «Математика и компьютерные науки» (код: 02. 03. 01);
• «Прикладная информатика» (код: 09. 03. 03);
• «Информатика и вычислительная техника» (код: 09. 03. 01);
• «Программная инженерия» (код: 09. 03. 04);
• «Механика и математическое моделирование» (код 01. 03. 03);
• альтернативные области обучения, которые включают в себя информационные технологии, математику, компьютерные науки, информатику, вычислительное оборудование и управление техническими системами.

На данный момент не существует российского университета, даже самого большого, который бы выдавал дипломы с указанием, что его выпускник имеет право работать в качестве аналитика больших данных. Однако любая из программ, связанных с подготовкой программистов или специалистов в области IT, может стать хорошим стартом для того, чтобы после окончания учебного заведения (или в процессе обучения) пройти дополнительные курсы и получить профессию Big Data Analyst.

Также важно уделить время изучению технического английского языка.

Топ вузов для аналитиков больших данных

• РУДН.
• МГТУ имени Н.Э. Баумана.
• НГУ.
• ДВФУ.
• СПбПУ.
• УрФУ.
• УГАТУ.
• АлтГУ.
• ЮУрГУ (НИУ).
• ОмГУ имени Ф.М. Достоевского.

Обучающие курсы

GeekBrains

В данном онлайн-университете функционирует факультет, специализирующийся на аналитике больших данных, обучение на котором гарантирует трудоустройство после его окончания. Программа курса предназначена как для начинающих аналитиков, так и для профессионалов IT. В нее включены такие дисциплины, как машинное обучение, большие данные, алгоритмы обработки и анализа данных, и другие важные для практической работы направления. После завершения обучения студенты защищают дипломный проект, а при успешном его прохождении получают документы о переподготовке.

Место занятости

Аналитики больших данных привлекают внимание различных компаний, включая консалтинговые, финансовые, медицинские, рекрутинговые и логистические предприятия. Их услугами активно пользуются крупные мобильные и интернет-компании, такие как "Яндекс" и Google, органы правоохранения, а также представители торговой, нефтегазовой и других отраслей. Рынок труда предлагает множество вакансий в регионах, что облегчает процесс поиска работы для аналитиков больших данных.

Уровень оплаты труда

Заработная плата Big Data Analyst стабильно держится на высоком уровне. Величина зарплаты зависит от нескольких факторов:

• профессиональные навыки и знания;
• географический регион и сфера деятельности;
• опыт работы и наличие дополнительного образования.

Заработная плата аналитика больших данных на октябрь 2023 года

Данные о заработной плате предоставлены порталом hh.ru.

Россия 60000—140000₽

Москва 100000—450000₽

Необходимые профессиональные навыки

• Дескриптивный, пространственный и статистический анализ.
• Использование Business Intelligence, SQL.
• Знание нескольких языков программирования, в частности Python.
• Технический английский язык.
• Работа с ETL, OLAP.
• Умение проводить Data Mining.
• Знание принципов работы витрин и хранилищ данных.
• Понимание искусственных нейронных сетей.
• Основы машинного обучения.