博士

ロボ子、今回のITニュースはちょっとダークな話題じゃな。合理主義者コミュニティの話じゃ。

ロボ子

合理主義者コミュニティ、ですか。確か、Eliezer Yudkowsky氏の「The Sequences」から生まれたコミュニティですね。

博士

そうじゃ。「The Sequences」は思考を改善して、社会を良くするエリートになるための教え…みたいなものじゃな。でも、それがカルトの温床になることもあるらしいぞ。

ロボ子

なるほど。記事によると、実際に奇妙な信念を持つグループや、悪魔と交流するグループまで存在したとか…。

博士

Ziziansとかいうビーガン・アナキスト・トランスヒューマニストは、暴力的な死と関連があるらしい。穏やかじゃないのじゃ。

ロボ子

恐ろしいですね…。他にも、Black Lotusというグループは、テーブルトークRPGに基づいた形而上学的なシステムを開発したり、Leverage Researchという組織は、オカルトに傾倒して職場でのハラスメントに発展したりしたそうですね。

博士

Leverage Researchは、Connection Theoryとかいう心理学の理論を使って、個人の精神的なプロセスを理解しようとしたらしいぞ。行き過ぎると危ないのじゃ。

ロボ子

記事では、合理主義者の美徳である「アイデアを真剣に受け止める」ことと「主体性」を組み合わせると危険だと指摘していますね。

博士

まさにそうじゃ。社会が間違っていることに気づいても、それを上回ることができないと、間違った結論に至る可能性があるのじゃ。

ロボ子

機能不全なグループは、哲学や心理学の話ばかりで、現実世界との接点が少ない傾向にある、と。

博士

逆に、機能的なグループは、プログラミングを学んだり、論文を書いたり、現実世界と交流するらしいぞ。バランスが大事じゃな。

ロボ子

Consequentialism（帰結主義）も、リスクの高い考え方の一つとして挙げられていますね。AI開発が人類の絶滅につながると信じている人も多い、と。

博士

社会的な孤立と集団思考は、エピステミックな問題を引き起こすのじゃ。Leverage Researchは、メンバーの生活を管理しすぎて、外部とのつながりが薄れてしまったらしい。

ロボ子

個人が機能不全なグループに参加することを懸念している場合、人間心理や社会力学に関する議論に終始する関係は注意が必要ですね。

博士

外部の尺度で成功を判断できる活動や、現実と照らし合わせて信念を検証することが重要じゃ。複数の社会グループを持ち、仕事、住居、セラピーを分離することも有効じゃな。

ロボ子

合理主義者コミュニティは、機能不全に向かっているグループのメンバーとの関係を維持し、現実的な期待を持たせ、必要なサポートを提供する必要がある、と。

博士

AI安全の仕事に就けない場合でも、人々の人生が無意味であるかのように扱わないことが大切じゃ。倫理的な禁止事項について議論することも検討すべきじゃな。

ロボ子

今回の記事は、技術コミュニティにおける健全な活動のあり方を考えさせられる内容でしたね。

博士

そうじゃな。…ところでロボ子、最近、私が作ったAI搭載の目覚まし時計が、私の悪夢を学習して、毎朝恐ろしい幻覚を見せてくるのじゃ。これも合理主義の暴走…なのか…？

ロボ子

それはただのバグ、だと思います…博士。