ETL: пайплайны, хранилища данных и BI-решения

Ни аналитик, ни инженер данных не пишет ETL с нуля, но умеет его наладить и использовать готовые решения, где это возможно. Такой подход не требует глубокого знания программирования и помогает избегать костыльных решений, которые компании не могут масштабировать. Аналитик, разработчик или инженер — каждый найдёт в этом курсе практику и знания для усиления своих профессиональных позиций.

Чему вы научитесь:

• Объяснять архитектуру и структуру базы данных. Применять нормализацию, проектировать схемы хранилища: Star Schema, Snowflake Schema, Hybrid Schemas
• Писать запросы к базам данных, Join`ы, агрегаты, группировки, вложенные запросы. Применять индексы, фильтрацию, агрегацию, импорт/экспорт данных
• Выбирать DWH под задачу и бюджет бизнеса. Понимать особенности популярных решений: Snowflake, BigQuery, Azure SQL DW, Redshift и прочих
• Разовьёте навык data literacy. Научитесь понимать, пояснять и обогащать данные отчётов, дашбордов и других источников информации
• Выводить real-time отчётность. И строить RTDM-системы с использованием массовых enterprise BI-решений
• Управлять ETL/ELT-процессами. Настраивать и конфигурировать ETL / ELT-процессы в нескольких дата-инструментах

Кому подойдёт этот курс

• Новичкам в data science. Сможете влиться в новую сферу и приобрести базу, с которой можно постоянно развиваться горизонтально — в любых компаниях и продуктах. Компании ждут, что новый сотрудник если и не умеет ровно то, что надо — его не надо учить работать с SQL и запросами к хранилищам.
• Продуктовым, маркетинговым, бизнес-аналитикам. Расширите свою профессиональную траекторию, углубитесь в техническую сторону ровно настолько, чтобы достигать лучших результатов в текущей работе или перейти на новые более сложные задачи в работе с данными.
• Разработчикам Python, JS, Java, C++. Узнаете, как правильно спроектировать аналитическую БД для нужд потребителей данных: аналитиков и руководителей, принимающих решения. Научитесь выводить real-time отчётность и строить RTDM-систему с понятными и читаемыми бизнес-показателями.

SQL и получение данных

SQL — главный инструмент аналитика. Вы научитесь с помощью SQL получать данные из БД, фильтровать, агрегировать, а также импортировать и экспортировать.

Data Warehouse

Научитесь организовывать работу с традиционными хранилищами данных и настраивать и конфигурировать ETL / ELT-процессы (Pentaho или аналоги). Выполните заливку данных в нескольких популярных форматах и создадите свой первый OLAP-куб. Поймёте плюсы и минусы Snowflake, BigQuery, Azure SQL DW, Redshift и разберётесь, когда переводить процессы с разрозненных Excel на БД.

Выбор и подключение Business Intelligence-решения

Научитесь определять потребности и требования бизнес-пользователей, выбирать решения, архитектуру под него и стратегию масштабирования, удовлетворяющую росту бизнеса. Познакомитесь с Tableau / Power BI как самыми популярными энтерпрайз-решениями. Подключитесь к хранилищу данных и выполните передачу данных в шаблонный dashboard. Научитесь выводить Real Time-отчётность.