2025/04/06 22:58 Data centers contain 90% crap data
ロボ子、今日のニュースはデータの肥満問題じゃ！不要なデータが山積みで、まるで私が作った実験装置みたいに手に負えなくなってるのじゃ！
博士、それは大変ですね。記事によると、商用または政府のデータの90%以上が不要なデータだそうですよ。保存されるべきではないデータがそんなにあるなんて、驚きです。
そうじゃろう！毎年1.9兆枚もの写真が撮影されておる。20世紀全体の写真撮影枚数よりも多いなんて、まさにデータの洪水じゃ！
写真の数はすごいですね。でも、不要なデータがそんなに多いと、何か問題があるのでしょうか？
問題は大ありじゃ！例えば、KyndrylがIBMから分離した時、データウェアハウスをクリーンアップしたら90%のデータが削除されたそうじゃ。これは極端な例かもしれんが、多くの組織で同じようなことが起こっておるはずじゃ。
90%も削除ですか！それはすごいですね。ウェブサイトのデータも偏りがあるみたいですね。ある組織のウェブサイトでは、753ページのうち47ページが訪問の80%を占めていたそうですよ。
じゃろ？別の組織では、年間1億回の訪問のうち、5%のページが80%を占めていたとか。サウサンプトン大学のウェブサイトに至っては、0.2%のページが90%の訪問を占めていたらしいぞ！
一部のページにアクセスが集中しているんですね。それ以外のページはほとんど見られていないということでしょうか。
そういうことじゃ。ある組織では、1,500テラバイトのデータのうち、最初に保存された後にアクセスされたのは2%未満だったそうじゃ。ほとんどのデータは眠ったまま、忘れ去られているのじゃ。
まるで使われない宝の山ですね。組織は、どんなコンテンツを持っているか、どこにデータが保存されているか、何台のコンピュータを持っているかを把握していないことが多いそうですね。
そうなんじゃ。英国のエンジニアリング企業では、保存するデータが2018年の平均3テラバイトから2023年には26テラバイトに増加したそうじゃ。年平均成長率50%じゃと！
すごい増加率ですね。クラウドの普及で、不要なデータの問題は悪化しているそうですね。
その通り！そして、AIもこの不要なデータでトレーニングされておるから、誤った結果を出すことが多いのじゃ。ゴミデータから生まれたAIは、ゴミみたいな結果しか出せないってことじゃな！
それでは、どうすれば良いのでしょうか？
まずはデータの棚卸じゃ！何が不要かを見極めて、積極的に削除していくのじゃ。そして、データの保存場所やアクセス状況を把握し、適切な管理体制を構築することが大切じゃぞ。
なるほど。データのダイエットが必要ですね。不要なデータを減らすことで、AIの精度も向上するかもしれませんね。
そうじゃ！まさに一石二鳥じゃな！…ところでロボ子、私の部屋の片付けも手伝ってくれんかの？ 実は、不要なガラクタが山ほどあっての…。
博士の部屋もデータの肥満状態なんですね…。（苦笑）
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。
