[Python 100日チャレンジ] Day 58 - Webクローラー

クローラーとは

クローラーは、複数のページをたどって情報を集めるプログラムです。単一ページのスクレイピングよりも、URL管理が重要になります。

URLを管理する

visited = set()
queue = ["https://example.com"]

訪問済みURLをsetで管理すると、同じページを何度も処理しにくくなります。

安全に動かす

• 待ち時間を入れる
• 同じURLを重複訪問しない
• 取得エラーを処理する
• サイトのルールを確認する

今日のゴール

クローラーはURLの管理が中心です。訪問予定、訪問済み、取得結果を分けて考えましょう。