Импорт, парсинг и скрепинг данных на Python

Работа с API, JSON, XML, HTML и SQL, парсинг сайтов 

Импорт, парсинг и скрепинг данных на Python
Цена
1494
Кэшбэк до 7.5%
12 уроков12 уроков
СертификатСертификат
РусскийРусский
Udemy
Купить с кэшбэком

Описание:

В этом курсе вы изучите получение данных в Python, используя библиотеку requests API и форматы JSON и XML (включая SOAP).

Научитесь работать с неструктурированными данными в HTML, собирать их и преобразовывать в фреймы данных.

Научитесь собирать данные целиком с сайта в несколько потоков: создадим мультипроцессного робота-паука.

В завершении установите SQLite и загрузите все собранные данные в базу, а также научитесь выбирать из базы данных непосредственно в фреймы данных.

Чему вы научитесь

  • Отправлять HTTP запросы
  • Отправлять GET и POST запросы к API
  • Разбирать JSON, XML, HTML ответы, включая SOAP
  • Использовать BeatifulSoup для парсинга страниц
  • Создавать робота-паука для обхода сайта

Программа курса:

Импорт данных

  • HTTP запросы: JSON и API 
  • HTTP запросы с параметрами 
  • Работа с SOAP 
  • Получение данных по API 

Парсинг данных

  • Получение данных из HTML 
  • Получение табличных данных 
  • Парсинг данных 
  • Получение котировок акций 

Веб-скрепинг

  • Обход сайта по страницам 
  • Мультипроцессность 
  • Этика парсинга 
  • Парсинг интернет-магазина 

Работа с SQL

  • Установка SQLite и создание базы 
  • Создание таблиц и загрузка данных 
  • Сохранение результатов 
  • Загрузка результатов в БД