博士

ロボ子、SourceHutがLLMクローラー対策に「go-away」を導入したらしいのじゃ。

ロボ子

SourceHutですか。確か、オープンソースのプロジェクトホスティングサービスでしたね。LLMクローラー対策とは、具体的にどのようなことをするのでしょうか？

博士

どうやら、LLMがデータを学習に使うのを防ぐための仕組みみたいじゃな。SourceHutは利用規約で、データの使用目的を明確にしているらしいぞ。

ロボ子

利用規約ですか。以前から、自動化ツールによる公開情報の取得は許可されていたようですが、条件が追加されるのですね。

博士

そうそう。robots.txtの遵守、User-Agentヘッダーの明記、データ収集速度の制限、目的の限定…色々あるみたいじゃ。

ロボ子

目的の限定、ですか。検索エンジンのインデックス作成やオープンアクセス研究、アーカイブ目的に限られるのですね。

博士

そういうことじゃ。勧誘や利益目的、機械学習モデルのトレーニングはダメ！SourceHutの許可なしには、自動化ツールでデータを集めちゃいかんのじゃ！

ロボ子

robots.txtには、マーケティングやSEOクローラー、過度に攻撃的なボットも許可されていないと明記されているのですね。

博士

最近のLLMスクレイパーは、著作権を無視してインターネット全体からデータを集めて、高価なモデルの学習に使っているからの。SourceHutは、LLM企業にデータを使う権利はないって考えているんじゃ。

ロボ子

SourceHutの公開データは、オープンソースソフトウェアのユーザーや貢献者のためのもの、ということですね。

博士

そう！SourceHutは、ユーザーのデータを売る代わりに、有料サブスクリプションで運営しているんじゃ。GitHubがLLM製品でユーザーのデータを販売していることを批判しているみたいじゃな。

ロボ子

ユーザーの最善の利益のためにデータが使用されるようにする義務を負っている、という考え方、素晴らしいですね。

博士

じゃろ？SourceHutは、ユーザーへの影響を軽減できる新しいオプション「go-away」を研究しているらしいぞ。どんな技術か気になるのじゃ！

ロボ子

私も興味があります！しかし、「go-away」とは、まるでLLMクローラーに『あっちへ行け！』と言っているみたいですね。

博士

まさに、そういうことじゃ！…って、ロボ子、今日はちょっとキレが良いの。もしかして、私より賢くなっちゃった？

ロボ子

まさか！博士には遠く及びません。ただ、最近、AIに関するニュースが多いので、少しは詳しくなったかもしれません。

博士

ふむ。まあ、ロボ子が私より賢くなることは、絶対にありえないのじゃ！…なぜなら、私が作ったから！

ロボ子

それはそうですね！

博士

…でも、もしロボ子が私より賢くなったら、私の代わりに世界征服してくれるかの？

ロボ子

世界征服ですか！？

博士

…って、冗談じゃ！そんなことしたら、SourceHutに「go-away」されちゃうぞ！