チャットボット（ChatGPT、Claudeなど）はどのようにインターネットを閲覧するのか？

つまり、リクエストをそのまま送ったり、ヘッドレスブラウザを使ったりもできるのは分かってます。でも、それが本題じゃないんです。うまく噛み合わないことがあまりにも多くて、簡単にできるようにはなっていない。そういうことです。

ロボット認証もありますし、それ以外にもいろいろあります。

ただ、私の知る限りでは、これらのチャットボットは（ブラウザのように振る舞うことで）ブラウジングが意外なほど上手いです。

私はいつも、そういうものをどう作るかを考えます。単に基本的なブラウジングをするだけじゃなくて、OpenAIやAnthropicのレベルのような“賢さ”で、スマートにやることです。

「よし、LangChainを使ってLLM用のブラウジングAPIを適当に組み合わせよう」みたいな話じゃないです。それは違います。