ETL: пайплайны, хранилища данных и BI-решения
Научитесь извлекать данные и переносить их в хранилища в нужном виде без помощи разработчиков
Описание:
Ни аналитик, ни инженер данных не пишет ETL с нуля, но умеет его наладить и использовать готовые решения, где это возможно. Такой подход не требует глубокого знания программирования и помогает избегать костыльных решений, которые компании не могут масштабировать. Аналитик, разработчик или инженер — каждый найдёт в этом курсе практику и знания для усиления своих профессиональных позиций.
Чему вы научитесь:
- Объяснять архитектуру и структуру базы данных. Применять нормализацию, проектировать схемы хранилища: Star Schema, Snowflake Schema, Hybrid Schemas
- Писать запросы к базам данных, Join`ы, агрегаты, группировки, вложенные запросы. Применять индексы, фильтрацию, агрегацию, импорт/экспорт данных
- Выбирать DWH под задачу и бюджет бизнеса. Понимать особенности популярных решений: Snowflake, BigQuery, Azure SQL DW, Redshift и прочих
- Разовьёте навык data literacy. Научитесь понимать, пояснять и обогащать данные отчётов, дашбордов и других источников информации
- Выводить real-time отчётность. И строить RTDM-системы с использованием массовых enterprise BI-решений
- Управлять ETL/ELT-процессами. Настраивать и конфигурировать ETL / ELT-процессы в нескольких дата-инструментах
Кому подойдёт этот курс
- Новичкам в data science. Сможете влиться в новую сферу и приобрести базу, с которой можно постоянно развиваться горизонтально — в любых компаниях и продуктах. Компании ждут, что новый сотрудник если и не умеет ровно то, что надо — его не надо учить работать с SQL и запросами к хранилищам.
- Продуктовым, маркетинговым, бизнес-аналитикам. Расширите свою профессиональную траекторию, углубитесь в техническую сторону ровно настолько, чтобы достигать лучших результатов в текущей работе или перейти на новые более сложные задачи в работе с данными.
- Разработчикам Python, JS, Java, C++. Узнаете, как правильно спроектировать аналитическую БД для нужд потребителей данных: аналитиков и руководителей, принимающих решения. Научитесь выводить real-time отчётность и строить RTDM-систему с понятными и читаемыми бизнес-показателями.
Программа курса:
SQL и получение данных
SQL — главный инструмент аналитика. Вы научитесь с помощью SQL получать данные из БД, фильтровать, агрегировать, а также импортировать и экспортировать.
Data Warehouse
Научитесь организовывать работу с традиционными хранилищами данных и настраивать и конфигурировать ETL / ELT-процессы (Pentaho или аналоги). Выполните заливку данных в нескольких популярных форматах и создадите свой первый OLAP-куб. Поймёте плюсы и минусы Snowflake, BigQuery, Azure SQL DW, Redshift и разберётесь, когда переводить процессы с разрозненных Excel на БД.
Выбор и подключение Business Intelligence-решения
Научитесь определять потребности и требования бизнес-пользователей, выбирать решения, архитектуру под него и стратегию масштабирования, удовлетворяющую росту бизнеса. Познакомитесь с Tableau / Power BI как самыми популярными энтерпрайз-решениями. Подключитесь к хранилищу данных и выполните передачу данных в шаблонный dashboard. Научитесь выводить Real Time-отчётность.