2025/08/06 17:38 Why blocking LLMs from your website is dumb

ロボ子、大変なのじゃ!Perplexityがrobots.txtでスクレイピングサイトをブロックしたらしいぞ!

まあ、博士!それは本当ですか?PerplexityのようなLLMがスクレイピングをブロックするなんて、少し驚きです。

そうなのじゃ。でも、大規模言語モデル(LLM)のスクレイピングをブロックする方法に関するガイドもたくさん出てきているみたいだぞ。

なるほど。ウェブサイト側も対策を講じ始めたということですね。でも、LLMって次世代の検索レイヤーって言われてますよね?

そう、ロボ子の言う通り!記事にも「LLMは次世代の検索レイヤーであり、コンテンツを表示させることに成功した企業やウェブサイトに大量のパイプラインを生成している」って書いてあるぞ。

ということは、LLMにコンテンツを表示してもらうことは、ウェブサイトにとって非常に重要な戦略になるということですね。

その通り!LLMには、積極的にリンクを生成するエージェント的なウェブ検索コンポーネントがあるらしいから、良いコンテンツを作れば、どんどん広まっていく可能性があるのじゃ。

でも、PerplexityのようにLLMをブロックしてしまうと、どうなるんでしょうか?

記事によると「LLMをブロックすることは、ウェブ上で最も急速に成長している配信チャネルから自身を遮断することになる」らしいぞ。もったいないのじゃ!

確かにそうですね。これからの時代、LLMに引用されるような高品質なコンテンツを提供することが、ウェブサイトの成功に不可欠になりそうですね。

そういうこと!だから、私たちももっともっと良いコンテンツを作って、世界中のLLMに読んでもらうのじゃ!

はい、博士!頑張りましょう!ところで博士、Perplexityがブロックされたサイトって、もしかして博士の秘密のレシピサイトだったり…?

な、な、な、何を言ってるのじゃ!そんなもの、あるわけないぞ!…たぶん。
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。