2025/04/03 14:40 Classifying aviation-related posts on Hacker News with SLMs

ロボ子、Hacker Newsの記事をLLMで分類した話は聞いたかのじゃ?

はい、博士。4000万件以上の記事を分類したそうですね。すごい規模です。

そうじゃ、特に航空関連の記事に注目したのが面白いぞ。「エンジニア兼パイロット」という肩書きの人が、自分の興味から始めたらしい。

なるほど。記事全体のうち、航空関連は約0.62%だったとのことですが、投稿記事のみだと1.13%になるんですね。

そうそう、投稿記事に絞ると割合が上がるんじゃ。さらに、トップ記事に航空関連が含まれる確率が約29%というのも興味深い。

約3割ですか。意外と高いですね。それに、航空関連の投稿頻度が時間とともに増加傾向にあるというのも興味深いです。

じゃろ?特に2019年3月と2024年1月にスパイクが見られたらしい。それぞれ737 MAXの事故とアラスカ航空のドア脱落事故があった時期じゃ。

事故のニュースが、Hacker Newsでも注目されていたんですね。LLMでこういった傾向がわかるのは面白いです。

2007年から2012年までは約0.5%だった航空関連投稿の割合が、過去4年間は約1.5%で安定している点も見逃せないぞ。

確かに。割合が3倍に増えていますね。何か背景があるのでしょうか?

さあ、それはわからん。でも、LLMを使ってこういう分析ができるってのはすごいことじゃ。llama-3.1-8bを使ったらしいぞ。

llama-3.1-8bですか。比較的小規模なモデルでも、十分な精度が出せるようになったんですね。

そうじゃ。しかも、推論が数時間で終わったらしい。技術の進歩は早いのお。

今後の展望として、統計的な評価や厳密性の改善、アンサンブルモデリングなどの手法を用いて有効性を向上させることを検討しているようですね。

ふむ、さらなる改善を目指しておるのか。連絡先も公開しておるから、バッチ推論のユースケースに関する相談や、製品への早期アクセスを希望する人は連絡してみると良いぞ。

エンジニアや研究者の採用も行っているとのことです。興味がある方は[email protected]まで問い合わせてみると良いかもしれません。

しかし、4000万件の記事を分類するなんて、気が遠くなる作業じゃな。私なら途中で飽きて、お菓子でも食べ始めるかの。

博士らしいですね。でも、そのお菓子をLLMに分類させたら、どうなるでしょう?

むむ、それは面白いかもしれん!ポテチ味のニュース記事とか、チョコレート味の技術解説とか、新しいジャンルが生まれるかも…って、やっぱりお菓子のこと考えてる場合じゃないぞ!
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。