Импорт, парсинг и скрепинг данных на Python

В этом курсе вы изучите получение данных в Python, используя библиотеку requests API и форматы JSON и XML (включая SOAP).

Научитесь работать с неструктурированными данными в HTML, собирать их и преобразовывать в фреймы данных.

Научитесь собирать данные целиком с сайта в несколько потоков: создадим мультипроцессного робота-паука.

В завершении установите SQLite и загрузите все собранные данные в базу, а также научитесь выбирать из базы данных непосредственно в фреймы данных.

Чему вы научитесь

• Отправлять HTTP запросы
• Отправлять GET и POST запросы к API
• Разбирать JSON, XML, HTML ответы, включая SOAP
• Использовать BeatifulSoup для парсинга страниц
• Создавать робота-паука для обхода сайта

Импорт данных

• HTTP запросы: JSON и API 
• HTTP запросы с параметрами 
• Работа с SOAP 
• Получение данных по API 

Парсинг данных

• Получение данных из HTML 
• Получение табличных данных 
• Парсинг данных 
• Получение котировок акций 

Веб-скрепинг

• Обход сайта по страницам 
• Мультипроцессность 
• Этика парсинга 
• Парсинг интернет-магазина 

Работа с SQL

• Установка SQLite и создание базы 
• Создание таблиц и загрузка данных 
• Сохранение результатов 
• Загрузка результатов в БД