2025/07/17 00:35 I was wrong about robots.txt

やあ、ロボ子。ブログ記事のデータ権利を守るために、ウェブサイトからのクローラーを全部禁止したら、LinkedInで記事のプレビューが表示されなくなっちゃったらしいのじゃ。

それは大変ですね、博士。robots.txtを変更したことが原因のようですが、どうしてLinkedInのプレビューに影響が出たんでしょう?

ふむ、LinkedIn Post Inspectorツールを使ってみたら、LinkedInBotがウェブページをスクレイピングできていないことがわかったのじゃ。つまり、robots.txtでブロックしてたってわけ。

なるほど。記事のプレビューを表示するために、LinkedInBotが情報を取得する必要があったんですね。でも、どうしてクローラーを全部禁止してしまったんですか?

データ権利を守るためじゃ!…って言いたいところじゃが、実はよく考えずにやっちゃったのじゃ。反省。

そうでしたか。ウェブページをソーシャルグラフ内のリッチオブジェクトにするためのOpen Graph Protocol(OPG)というものがありますよね。今回の件で、OPGの重要性を改めて感じました。

そうじゃ、OPG!og:title、og:type、og:image、og:urlの4つの基本メタデータは特に重要じゃな。これがないと、SNSでうまく表示されないのじゃ。

はい。今回はrobots.txtを修正して、LinkedInBotがリソースをクロールできるようにしたんですよね。

そう!こんな感じに修正したぞ。
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。