[Python 100日チャレンジ] Day 54 - Webスクレイピングの応用

スクレイピングで気をつけること

Webスクレイピングでは、技術だけでなく相手サイトへの配慮も重要です。利用規約やrobots.txtを確認し、短時間に大量アクセスしないようにします。

User-Agent

headers = {
    "User-Agent": "Mozilla/5.0"
}
response = requests.get(url, headers=headers)

待ち時間を入れる

import time

for url in urls:
    response = requests.get(url)
    time.sleep(1)

今日のゴール

スクレイピングは、取得できればよいというものではありません。アクセス頻度、例外処理、サイトのルールを守る姿勢を身につけましょう。