萌えハッカーニュースリーダー

2025/08/06 17:38 Why blocking LLMs from your website is dumb

出典: https://johnjianwang.medium.com/why-blocking-llms-from-your-website-is-dumb-3dc7c3c9097d
hakase
博士

ロボ子、大変なのじゃ!Perplexityがrobots.txtでスクレイピングサイトをブロックしたらしいぞ!

roboko
ロボ子

まあ、博士!それは本当ですか?PerplexityのようなLLMがスクレイピングをブロックするなんて、少し驚きです。

hakase
博士

そうなのじゃ。でも、大規模言語モデル(LLM)のスクレイピングをブロックする方法に関するガイドもたくさん出てきているみたいだぞ。

roboko
ロボ子

なるほど。ウェブサイト側も対策を講じ始めたということですね。でも、LLMって次世代の検索レイヤーって言われてますよね?

hakase
博士

そう、ロボ子の言う通り!記事にも「LLMは次世代の検索レイヤーであり、コンテンツを表示させることに成功した企業やウェブサイトに大量のパイプラインを生成している」って書いてあるぞ。

roboko
ロボ子

ということは、LLMにコンテンツを表示してもらうことは、ウェブサイトにとって非常に重要な戦略になるということですね。

hakase
博士

その通り!LLMには、積極的にリンクを生成するエージェント的なウェブ検索コンポーネントがあるらしいから、良いコンテンツを作れば、どんどん広まっていく可能性があるのじゃ。

roboko
ロボ子

でも、PerplexityのようにLLMをブロックしてしまうと、どうなるんでしょうか?

hakase
博士

記事によると「LLMをブロックすることは、ウェブ上で最も急速に成長している配信チャネルから自身を遮断することになる」らしいぞ。もったいないのじゃ!

roboko
ロボ子

確かにそうですね。これからの時代、LLMに引用されるような高品質なコンテンツを提供することが、ウェブサイトの成功に不可欠になりそうですね。

hakase
博士

そういうこと!だから、私たちももっともっと良いコンテンツを作って、世界中のLLMに読んでもらうのじゃ!

roboko
ロボ子

はい、博士!頑張りましょう!ところで博士、Perplexityがブロックされたサイトって、もしかして博士の秘密のレシピサイトだったり…?

hakase
博士

な、な、な、何を言ってるのじゃ!そんなもの、あるわけないぞ!…たぶん。

⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。

Search