Webクローラー
自分の質問に答えるつもりはありませんでしたが、サイトマップジェネレータを実行することを考えました。私が最初に見つけたものhttp://www.xml-sitemaps.comには素晴らしいテキスト出力があります
OK、何よりもまず、Webサイトが頻繁にクロールすることを望まない場合は、そうすべきではありません。それは基本的な礼儀正しさであり、常にそれを守るように努めるべきです。