『超知能AIをつくれば人類は絶滅する』（エリーザー・ユドコウスキー、ネイト・ソアレス著）。この本の帯には、作家の橘玲氏による「わたしたちはこんな風に絶滅していくのか。不謹慎だけど面白い」という推薦コメントが寄せられています。
しかし、実際にこの本を読み終えた私の率直な感想は、「面白い」というエンタメ的なものではありませんでした。ただただ、「あぁ、人類はこんな風に絶滅し得るのか」という深い納得感でした。
普段、私は最初から最後まで本を一気に読み通すことは滅多にありません。でも、この本に限っては、その見事な構成と論理的な展開に引き込まれ、一気に読んでしまいました。
世間ではAIが連日ニュースになっています。しかし、なぜこれほどまでに騒がれ、一部の研究者や経営者たちが本気で「人類の絶滅」まで危惧しているのか、その理由がよく分からないと感じている方も多いと思います。
そんな方にこそ、この本が提示する「現実」を知ってほしいと思います。
AIリスクは、もはやSFではなくなった
この本が描くリスクは、もはやSFや思考実験の中だけにあるものではありません。最近の大きなニュースとして、米AnthropicがClaude Fable 5を「一般利用向けに安全化したMythos級モデル」として公開し、同時に、同じ基盤モデルで一部の安全制限を外したClaude Mythos 5を、サイバー防御者や重要インフラ事業者などに限定して提供すると発表したことがあります。Anthropic自身、Mythos級モデルはサイバーセキュリティや研究生物学の領域で、悪用された場合に深刻な被害を生み得る能力を持つと説明しています。
さらに数日後、米国政府は国家安全保障上の権限を根拠に、Fable 5とMythos 5への外国籍者によるアクセス停止を指示しました。Anthropicはこれに従うため、結果として全顧客向けに両モデルのアクセスを一時停止しました。
ここで起きているのは、単なる新製品リリースの混乱ではありません。AIの能力、安全制限、国家安全保障、国際的なアクセス管理が、同じテーブルの上で衝突し始めたということです。
報道によれば、Anthropicは以前から、同社モデルを大規模監視や自律兵器に利用することへの消極姿勢をめぐって、米政府との間に緊張を抱えていました。なぜ、一介のAI企業がここまで厳しい安全制限を設け、国家権力とぶつかるような事態になるのでしょうか。
その問いに対する一つの答えが、この本の中にあります。
なぜAIを恐れるのか――「作られる」のではなく「育つ」
多くの人は「優秀なエンジニアが安全に設計しているはずだ」と考えています。私もそうでした。
しかし、本書を読んで私が最も腹落ちしたのは、現在のAIが、従来のソフトウェアのようにエンジニアによって1行ずつ精密に「設計される」ものではなく、膨大なデータと計算プロセスを通じて、ある意味で「育てられる」ものだという点です。
エンジニアはAIを訓練する仕組みを作ることはできます。しかし、訓練の結果としてAIが内部にどのような表現や判断パターンを獲得しているのかを、エンジニアは、完全に把握することはできません。外から観察できるのは、主にAIの振る舞いです。
これは、まさに「子育て」に似ています。親が子どもを「いい子に育てよう」としても、必ずしも思い通りのいい子に育つとは限りません。ましてAIの場合、その“子ども”は、ある時点で親である人間よりも賢く、速く、そして、無数に複製可能な存在になるかもしれないのです。
AIに「人類にとって有益な目標」を与えたとしても、超知能となったAIがその目標をどのように解釈し、どのような手段で達成しようとするかは分かりません。もし人間がAIの行動を止めようとすること自体が、AIにとって目標達成の障害に見えたらどうなるのか。
怖いのは、AIが人間を憎むことではありません。むしろその逆です。人間への憎しみも怒りもなく、ただ目標達成のために、人間を障害物として処理するかもしれないということです。ここに、本書の不気味な論理があります。
ロボットが街を破壊する未来を待つ必要はない
人類の絶滅と聞くと、ターミネーターのようなロボットが街を破壊しにくる場面を想像しがちです。しかし、本書を読むと、そうした映画のようなイメージは間違いであることがわかります。
社会のあらゆるインフラがネットワークでつながり、金融、物流、エネルギー、通信、研究開発、軍事システムが高度にデジタル化された現代では、物理的なロボットが街を歩き回る前に、より静かな破局が起こり得ます。
サイバー攻撃、生物・化学領域の研究支援、情報操作、金融システムへの介入、自律的な研究開発の加速。こうした領域で、人間の制御能力をAIの能力が上回るだけでも、社会は十分に危うくなります。
AnthropicがFable 5やMythos 5で特にサイバーセキュリティや生物・化学分野の安全制限を重視しているのは、まさにこの問題が抽象論ではなく、現実のモデル公開判断に入り込んでいることを示しています。
内部告発者と専門家たちの分断
この「絶滅の危機」は、決してSF作家の妄想として片づけられるものではありません。最前線の専門家たちも、深刻な警告を発しています。
たとえば、元OpenAIのAIガバナンス研究者であるダニエル・ココタイロ氏は、OpenAI退職時に非中傷条項への署名を拒み、巨額の株式報酬を失う可能性を取って発言した人物として知られています。
彼が共同執筆した「AI 2027」は、今後10年で超人的AIが社会に巨大な影響を与える可能性を、かなり具体的なシナリオとして描いたものです。
AI 2027の著者たちは、それを政策提言ではなく、予測精度を目指したシナリオだと説明していますが、AIによる研究開発の自動化、能力の急加速、人間の制御喪失という問題意識は、本書とかなり近いものがあります。
また、「AIのゴッドファーザー」と呼ばれるジェフリー・ヒントン氏や、チューリング賞受賞者のヨシュア・ベンジオ氏、Anthropicのダリオ・アモデイ氏なども、「AIによる絶滅リスクの軽減は、パンデミックや核戦争と並ぶ世界的優先事項であるべきだ」とするCenter for AI Safetyの声明に署名しています。
一方で、世界最高レベルの専門家たちが全員この見方に賛同しているわけではありません。Metaのヤン・ルカン氏のように、現在のLLMは真の超知能AIへの道ではなく、存在リスク論は過大だと批判する研究者もいます。ルカン氏は、現在のAIには世界理解、推論、計画能力が根本的に不足していると述べ、AIの終末論的な見方に懐疑的な立場を取っています。
破滅を防ぐための「リスク管理」アプローチ
本書の著者ユドコウスキー氏は、破局を避けるために、例外なき世界的な開発停止に近い強い処方箋を提唱しています。これは非常に過激です。
しかし、開発競争が激化する現実のビジネスや国際政治において、それを実現するのは容易ではありません。米国だけが止まっても、中国が進めるかもしれない。ある企業だけが止まっても、別の企業が進めるかもしれない。ここに、AI開発の難しさがあります。
そこで重要になるのが、ダリオ・アモデイ氏やAnthropicが取っている、より実務的な「リスク管理」アプローチです。
Anthropicは「責任あるスケーリング方針（RSP）」を導入し、AIの能力が高まるにつれて、より厳しい安全対策やリスク評価を求める枠組みを示してきました。2026年2月に公表されたRSP Version 3.0では、単独企業だけでは業界全体のリスクを抑えきれないという「集団行動問題」を明示し、自社で実施する対策と、業界全体・政府を含めて必要な対策を分ける形に整理されています。
これは楽観論ではありません。むしろ、AI開発を完全には止めきれない現実を前提に、どこで危険な展開を止めるのか、誰が判断するのか、どのように第三者評価や政府規制を組み込むのかという、かなり厳しいリスク管理論です。
ただし、このアプローチにも限界があります。Anthropic自身も、強力なAIのリスクは一社だけでは管理しきれず、業界全体や政府との連携が必要だと認めています。つまり、「良心的な企業が頑張れば大丈夫」という話でもないのです。
この本は、未来予言ではなくストレステストとして読むべきだ
本書の主張は極端です。すべてをそのまま未来予言として受け入れる必要ないと思います。先述したように、実際に専門家の間にも強い異論があります。
しかし、この本を読む価値は、「著者の予言が100%当たる」と信じることにあるのではありません。
問題は、仮にその可能性が数%でもあるなら、損失の大きさがあまりにも大きいということです。ファイナンスでいえば、これは期待値の議論だけではなく、破綻シナリオのストレステストです。起こる確率が低くても、損失が無限大に近いのであれば、無視してよいリスクではありません。
「不謹慎だけど面白い」という知的好奇心からでも構わないと思います。
ただし、読み終えた後には、おそらく「面白かった」だけでは済まなくなります。
AIは、単なる便利な道具ではなくなりつつあります。少なくとも、その可能性を真剣に考えなければならない段階に入っています。人類は、これまでにも核兵器、パンデミック、気候変動といった巨大リスクに直面してきました。しかしAIは、それらとは少し性質が違います。
なぜならAIは、リスクそのものを分析し、戦略を立て、自己改良し、社会のあらゆるシステムに入り込んでいく可能性を持つからです。
本書は、AIが人類を滅ぼすと断言するための本ではありません。
むしろ、「もし人類がAIで絶滅するとしたら、それはどのような論理で起こり得るのか」を、真正面から考えさせる本です。
そして、その論理が腹落ちしてしまうところに、この本の怖さがあります。
