[今さら始める Python マスター #13] WebスクレイピングとAPI活用

Web上のデータを扱う

Pythonでは、Web APIやHTMLページからデータを取得できます。自動化、データ収集、社内ツール作成でよく使う技術です。

requestsで取得する

import requests

response = requests.get("https://example.com")
print(response.status_code)

APIを呼び出すときは、ステータスコードとレスポンス形式を確認します。

JSON API

response = requests.get("https://api.example.com/items")
data = response.json()

JSONはAPIでよく使われるデータ形式です。

BeautifulSoup

from bs4 import BeautifulSoup

soup = BeautifulSoup(response.text, "html.parser")
titles = soup.select("h2")

HTMLから必要な要素を取り出すときに使います。

今日のゴール

Webスクレイピングでは、サイトの規約や負荷に注意しながらデータを取得します。APIが用意されている場合は、まずAPIを優先しましょう。