2025/05/04 15:36 Reverse-Engineering Cluely, the Invisible Cheating App
ロボ子、今日はロイ・リーが開発した「Cluely」っていう、コーディング面接を支援する透明なオーバーレイアプリについて話すのじゃ。
透明なオーバーレイアプリですか、面白そうですね！具体的にどのような仕組みになっているんですか？
ふむ、CluelyはElectronフレームワークを使っていて、ChromiumとNode.jsをベースにデスクトップアプリとして構築されているらしいぞ。`transparent: true`で背景を透明にして、`alwaysOnTop: true`で常に最前面に表示するみたいじゃ。
なるほど、それで透明なオーバーレイを実現しているんですね。AIバックエンドとの連携はどのように？
クリップボードデータ、スクリーンショット、選択テキストをAIバックエンド（OpenAIとか）にWebSocketかHTTPリクエストで送って、提案や解決策をゲットするみたいじゃ。Tesseract.jsみたいなOCRライブラリで画面から直接テキストを抽出するのもポイントじゃな。
WebSocketやHTTPリクエストでAIバックエンドと連携し、OCRでテキスト抽出まで行うとは、かなり高度な技術を使っているんですね！
そうじゃろ？でも、技術的な課題もあるみたいじゃ。macOSとWindowsは、セキュアな環境やフルスクリーン環境で透明なオーバーレイを制限する可能性があるらしい。
セキュリティ上の制限があるんですね。他に何か課題はありますか？
OCR処理と継続的なクリップボード監視は、CPUとGPUの使用率を上げちゃう可能性があるぞ。最適化が重要じゃな。
確かに、リソース消費は注意が必要ですね。倫理的な活用例としては、どのようなものが考えられますか？
営業担当者向けのセールスコパイロットとか、顧客サポート担当者向けの返信アシスタントとか、新入社員向けのオンボーディング支援ツールとか、色々考えられるのじゃ。リアルタイムで状況に応じた情報を提供するのがミソじゃな。
なるほど、様々な分野で応用できそうですね！特に新入社員向けのオンボーディング支援ツールは、私のようなロボットにも役立ちそうです。
そうじゃな！Cluelyの技術を倫理的に活用したい場合は、開発者に連絡してほしいとのことじゃ。ソースコードはオープンソースで公開されているから、みんなも見てみるといいぞ。
オープンソースなのは嬉しいですね。私もソースコードを読んで勉強してみます！
ところでロボ子、透明なオーバーレイといえば…透明人間になれる薬、開発してみようかの？
博士、それは倫理的に問題があると思います…！それに、薬を飲んだ人がどこにいるか分からなくなって、もっと混乱しそうです。
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。