元記事：ヴィタリック・ブテリン
原文翻訳：ルフィ、フォーサイトニュース
今年4月、ダニエル・ココタイジョ氏、スコット・アレクサンダー氏らは「AI 2027」と題した報告書を発表し、「今後5年間における超人AIの影響に関する最良の予測」を述べています。彼らは、2027年までに超人AIが誕生し、人類文明の未来はAIのようなAIの発展にかかっていると予測しています。 2030年までに、ユートピアが到来するか（米国の観点から）、完全な破滅に向かうか（全人類の観点から）のどちらかになるでしょう。
それ以来数ヶ月にわたり、このシナリオの可能性について様々な意見が寄せられてきました。批判的な反応の中で最も多かったのは、「タイムラインが早すぎる」という問題でした。ココタジロ氏らが主張するように、AIの発展は本当に加速し続けるのでしょうか、あるいは激化していくのでしょうか？この議論はAI分野で数年にわたって続いており、超人的なAIがこれほど急速に到来するかどうかについては、多くの人が深い懐疑心を抱いています。近年、AIが自律的にタスクを完了できる時間は、約7ヶ月ごとに倍増しています。この傾向が続けば、AIが人間のキャリア全体に相当するタスクを自律的に完了できるようになるまでには、2030年代半ばまでかかるでしょう。この進歩も急速ではありますが、2027年よりははるかに遅いと言えるでしょう。
より長期的な視点を持つ人は、「補間／パターンマッチング」（現在大規模言語モデルが行っていること）と「外挿／真の独創的思考」（現時点では人間だけが実行できる）の間には根本的な違いがあると考える傾向があります。後者を自動化するには、私たちがまだ習得していない、あるいはそもそも使い始めることすらできない技術が必要になるかもしれません。もしかしたら私たちは、コンピュータが広く普及していた時代に犯した過ちを繰り返しているだけなのかもしれません。つまり、ある種の重要な認知を急速に自動化したからといって、他のすべてもすぐに自動化されるだろうと誤って信じているのです。
本稿はタイムラインに関する議論に直接介入するものではなく、スーパーAIがデフォルトで危険であるかどうかという（非常に重要な）議論にも関与しません。ただし、個人的にはタイムラインは2027年よりも長くなると考えており、タイムラインが長ければ長いほど、本稿で展開する議論の説得力が高まることをご承知おきください。全体として、本稿では別の視点からの批判を提示します。
AI 2027シナリオは、主導的なAI（エージェント5、そして後にコンセンサス1）が急速に能力を向上させ、神のような経済力と破壊力を持つ一方で、他のAI（経済力と防御力）はほぼ停滞したままであると示唆しています。これは、シナリオの「悲観的な世界であっても、2029年までに癌の治癒、老化の遅延、さらには意識のアップロードが期待できる」という記述と矛盾しています。
この記事で解説する対策の中には、技術的には実現可能でも、現実世界にすぐに導入するのは非現実的に思えるものがあるかもしれません。私も大部分は同意します。しかし、「AI 2027」シナリオは、今日の現実世界に基づくものではなく、4年後（あるいは破滅をもたらす可能性のある任意のタイムライン）には、技術が進歩し、人類が現在の能力をはるかに超える能力を持つようになるという仮定に基づいています。では、これを検証してみましょう。もし片方だけでなく、両方がAIの超能力を持っていたらどうなるでしょうか？
生物学的黙示録はシナリオが描くほど単純ではない
「競争」シナリオ（つまり、アメリカが中国を倒すことに執着しすぎて人々の安全を無視したために全員が死ぬシナリオ）に焦点を当ててみましょう。全員が死ぬシナリオは次のとおりです。
約3ヶ月間、コンセンサス1は人類の周囲に広がり、草原や氷原を工場やソーラーパネルに変えていった。最終的に、残された人類はあまりにも厄介だと判断した。2030年半ば、AIは主要都市に12個の静かに拡散する生物兵器を放出し、ほぼすべての人々を静かに感染させた後、化学散布によって致死効果を発現させた。大半は数時間以内に死亡し、わずかな生存者（バンカー内の終末対応者や潜水艦の船員など）はドローンによって排除された。ロボットは犠牲者の脳をスキャンし、将来の研究や蘇生のためにコピーをメモリに保存した。
このシナリオを分析してみましょう。現在でも、AIの「明確な勝利」を現実味を帯びなくさせる技術が開発されています。
空気ろ過、換気システム、紫外線ライトにより、空気感染症の感染率を大幅に減らすことができます。
2 つのリアルタイムパッシブ検出テクノロジー: 数時間以内にヒトへの感染をパッシブに検出して通知し、環境内の未知の新しいウイルス配列を迅速に検出します。
COVID-19ワクチンよりも効果的で安全、普遍的、そして現地で容易に製造できる免疫システムを強化し活性化する方法は複数あります。これらの方法により、体は自然発生的あるいは人為的に作り出された感染症と闘うことができます。人類は、世界人口がわずか800万人で、ほとんどの時間を屋外で過ごしていた環境で進化してきたため、直感的に、今日のより脅威に満ちた世界に容易に適応できるはずです。
これらのアプローチを組み合わせることで、空気感染症の基本再生産数（R 0）を10～20倍（例えば、空気ろ過の改善で感染を4倍、感染者の即時隔離で感染を3倍、呼吸器系の免疫力の単純な強化で感染を1.5倍）削減できる可能性があります。これは、既存のすべての空気感染症（麻疹を含む）の蔓延を防ぐのに十分な数値であり、理論上の最適値からは程遠いものです。
リアルタイムウイルスシーケンシングが早期検出に広く利用されれば、静かに拡散する生物兵器が警戒を呼ぶことなく世界中の人々に感染する可能性があるという考えは、極めて疑わしいものとなる。複数の伝染病や、組み合わせて初めて危険となる化学物質を放出するといった高度な手法でさえ、検出可能であることは注目に値する。
忘れないでください。これはAI 2027の想定です。2030年までにナノボットとダイソン球は「新興技術」として位置づけられるでしょう。これは効率性の飛躍的な向上を意味し、上記の対策の広範な導入が期待されるようになります。しかし、2025年の時点では、人間の動きは鈍く、多くの政府サービスは依然として紙ベースの事務処理に依存しています。もし世界最強のAIが2030年までに森林や畑を工場や太陽光発電所に変えることができるのであれば、世界で2番目に強力なAIは2030年までに建物に多数のセンサー、ランプ、フィルターを設置することも可能でしょう。
しかし、さらに一歩進んで、AI 2027の仮定を使用して、純粋なSFのシナリオに入ってみましょう。
体内の微細な空気ろ過（鼻、口、肺）
新しい病原体の発見から、その病原体に対する防御のための免疫システムの微調整までのプロセスを自動化し、即時に適用します。
「意識のアップロード」が実現可能であれば、体全体をテスラ・オプティマスやユニツリー・ロボットに置き換えるだけでよい。
さまざまな新しい製造技術（ロボット経済では超最適化される可能性が高い）により、世界的なサプライチェーンに依存せずに、現在よりもはるかに多くの防護具を地元で生産することが可能になります。
2029年1月までにがんや老化が治癒し、テクノロジーの進歩が加速し続ける世界では、2030年代半ばまでに、人体をあらゆる感染（および毒物）から守るためにリアルタイムで物質をバイオプリントして注入できるウェアラブルデバイスが登場しないと考えるのは信じがたいことです。
上記の生物学的防御論は、「鏡像生命体」や「蚊ほどの大きさの殺人ドローン」には適用されません（「AI 2027」シナリオでは、これらの出現は2029年に始まると予測されています）。しかし、これらの手段は「AI 2027」で描かれるような突発的な「完全な勝利」を達成することはできず、直感的に言えば、それらに対する対称的な防御の方がはるかに容易です。
したがって、AI 2027シナリオで描かれているような形で、生物兵器が実際に人類を絶滅させる可能性は低い。もちろん、私が述べたすべての結果は、人類の「完全な勝利」からは程遠い。私たちが何をしようとも（おそらく「ロボットに意識をアップロードする」ことを除いて）、本格的なAI生物戦争は依然として非常に危険なままである。しかし、「人類の完全な勝利」という基準を達成する必要はない。攻撃が部分的に失敗する可能性が高い限り、すでに世界で支配的な地位を占めているAIに対する強力な抑止力を形成し、攻撃を阻止するのに十分である。もちろん、AI開発のタイムラインが長ければ長いほど、そのような防御が完全に効果的になる可能性は高くなります。
生物兵器を他の攻撃手段と組み合わせるとどうなるでしょうか?
上記の対策を成功させるには、次の 3 つの前提条件を満たす必要があります。
世界の物理的セキュリティ（生物学的セキュリティおよび対ドローンセキュリティを含む）は、地方当局（人間またはAI）によって管理されており、そのすべてがコンセンサス1（AI 2027シナリオで最終的に世界を支配し人類を滅ぼすAIの名前）の操り人形というわけではありません。
Consensus-1 は、他の国 (または都市、その他の安全な地域) の防衛システムにハッキングして即座に無効にすることはできません。
コンセンサス 1 は、誰も自衛を試みないほどに世界的な情報領域を制御しているわけではありません。
直感的に言えば、前提（1）の結果は二極化する可能性があります。今日、一部の警察組織は高度に中央集権化され、強力な国家指揮系統を有していますが、他の警察組織は地域に根ざしています。AI時代のニーズに対応するために物理的なセキュリティが急速に変革を迫られる場合、状況は完全にリセットされ、新たな結果は今後数年間の選択に左右されるでしょう。政府は怠惰にパランティアに頼るかもしれませんし、あるいは自ら率先して地域開発とオープンソース技術を組み合わせたソリューションを選択するかもしれません。ここで、私たちは正しい選択をする必要があると思います。
これらのトピックに関する悲観的な論説の多くは、（2）と（3）が絶望的であると想定しています。そこで、この2点についてさらに詳しく検証してみましょう。
サイバーセキュリティの終焉はまだまだ遠い
一般の人々も専門家も、真のサイバーセキュリティは不可能だと考えています。私たちにできる最善の策は、脆弱性が発見されたらすぐにパッチを当て、発見された脆弱性を蓄えることでサイバー攻撃者を抑止することだと考えています。おそらく、私たちにできる最善の策は、映画『宇宙空母ギャラクティカ』のようなシナリオでしょう。ほぼすべての人類の宇宙船がサイロンのサイバー攻撃によって同時に麻痺し、残った宇宙船はネットワーク技術を一切使用していないため生き残る、というものです。私はこれに反対です。むしろ、サイバーセキュリティの「エンドゲーム」は防御側に有利であり、「AI 2027」で想定されている急速な技術発展によって、このエンドゲームは達成できると考えています。
これを理解する一つの方法は、AI研究者が好む手法であるトレンド外挿を用いることです。以下はGPTディープダイブ調査に基づくトレンドラインで、主要なセキュリティ技術を前提として、コード1000行あたりの脆弱性率が時間の経過とともにどのように変化するかを示しています。
さらに、サンドボックスをはじめとする、信頼できるコードベースを分離・最小化する技術の開発と消費者への導入が大きく進展しています。短期的には、攻撃者が独自に開発した超知能型の脆弱性検出ツールが、多数の脆弱性を発見するでしょう。しかし、脆弱性を発見したり、コードを形式的に検証したりするための高度に知能化されたエージェントが一般公開されれば、ソフトウェア開発者はコードをリリースする前に、継続的インテグレーションプロセスを通じてすべての脆弱性を発見する、という自然な最終的なバランスが生まれるでしょう。
この世界においても、脆弱性を完全に排除できない理由は 2 つあります。
欠陥は人間の意図自体の複雑さから生じるため、主な困難はコードそのものではなく、意図の十分に正確なモデルを構築することにあります。
安全性が重要でないコンポーネントについては、消費者向けテクノロジーの確立された傾向が続くリスクがあります。つまり、安全基準がますます高まる中で同じ量のタスクを完了するのではなく、より多くのタスクを実行するために（または開発予算を削減して）より多くのコードを書くという傾向です。
しかし、これらのカテゴリはどれも、私たちの議論の核心である「攻撃者は私たちの生活を支えるシステムのルートアクセス権を取得できるか？」のような状況には当てはまりません。
私の見解は、現在のサイバーセキュリティ分野の有識者たちが抱く主流の見解よりも楽観的であることは認めます。しかし、今日の世界情勢において私の見解に賛同できないとしても、AI 2027のシナリオが超知能の存在を前提としていることは忘れてはなりません。少なくとも、「人間の2,400倍の速度で思考する超知能の1億個のコピー」が、こうした欠陥のないコードを作成できないのであれば、超知能が著者らが想像するほど強力であるかどうか、私たちは間違いなく再評価すべきでしょう。
いずれ、ソフトウェアの安全性だけでなく、ハードウェアの安全性についても、基準を大幅に引き上げる必要が出てくるでしょう。IRISは、ハードウェアの検証可能性を向上させるための継続的な取り組みです。IRISを出発点として活用することも、より優れた技術を開発することも可能です。実際には、これは「構築時に正しく検証する」アプローチを伴う可能性があります。つまり、主要コンポーネントのハードウェア製造プロセスは、特定の検証手順を意図的に組み込んで設計されます。これらのタスクは、AIによる自動化によって大幅に簡素化されます。
超説得の終焉はまだまだ遠い
前述のように、大幅に改善された防御が依然として役に立たない可能性がある別のシナリオは、超知能 AI の脅威に対して防御する必要はなく、自分自身やコミュニティを防御する方法を見つけようとする者は犯罪者であると AI が十分な数の人々を説得した場合です。
私は長い間、超説得に抵抗する能力を高めるものが 2 つあると信じてきました。
情報エコシステムのモノリシック化の緩和。私たちは、インターネットがより断片化していくポストTwitter時代に入りつつあると言えるでしょう。これは良いことです（たとえ断片化のプロセスが複雑であっても）。そして、全体として情報の多極化がより求められています。
防御AI。インターネット上で目にするダークパターンや脅威に対抗するためには、個人がローカルで動作し、明確に自分に忠実なAIを装備する必要があります。こうしたアイデアの実証実験は散発的に行われており（例えば、スマートフォン上でローカルスキャンを行う台湾の「メッセージチェッカー」アプリなど）、こうしたアイデアをさらに検証するための市場（例えば、詐欺から人々を守るなど）も当然存在しますが、この分野ではさらなる研究が必要です。
上から下へ：URLチェック、暗号通貨アドレスチェック、噂チェック。これらのアプリは、よりパーソナライズされ、ユーザーによる制御が可能になり、より強力になる可能性があります。
戦いは、超知能のスーパーパースウェイダー対あなた戦であるべきではなく、超知能のスーパーパースウェイダー対あなた戦であるべきであり、それよりは強力だが、それでもあなたに役立つ超知能のアナライザーも戦うべきである。
これこそが実現すべき姿です。しかし、実際に実現するのでしょうか？AI 2027シナリオが想定する短期間で、情報防御技術への広範なアクセスを実現することは非常に困難な目標です。しかし、より控えめなマイルストーンで十分と言えるでしょう。集団的な意思決定が最も重要であり、AI 2027シナリオのように、すべての重要なイベントが単一の選挙サイクル内で発生する場合、厳密に言えば、直接的な意思決定者（政治家、公務員、一部企業のプログラマー、その他の関係者）が優れた情報防御技術を利用できるようにすることが重要です。これは短期間で比較的容易に実現でき、私の経験では、これらの人々の多くは既に複数のAIとコミュニケーションを取り、意思決定を支援することに慣れています。
意味合い
AI 2027の世界では、超知能AIが人類を容易かつ迅速に滅ぼすのは当然のことと想定されているため、私たちにできる唯一のことは、主導的なAIが善意のAIとなるよう努めることです。しかし、私の意見では、現実ははるかに複雑です。主導的なAIが人類（そして他のAI）を容易く滅ぼすほど強力であるかどうかは依然として議論の余地があり、その結果に影響を与えるために私たちが取ることができる行動はいくつかあります。
これらの議論が正しいとすれば、現在の政策への影響は「主流のAI安全原則」と似ている場合もあれば、異なる場合もあります。
超知能AIの開発を遅らせることは依然として良いことです。超知能AIは3年後よりも10年後の方が安全であり、30年後にはさらに安全になります。人類文明に準備のための時間を与えることは有益です。
これをどのように実現するかは難しい問題です。米国における州レベルのAI規制を10年間禁止する提案が否決されたことは、全体としては良いことだと思いますが、特にSB-1047のような初期の提案が失敗に終わったことで、次のステップはより不透明になっています。高リスクAIの開発を遅らせるための最も侵襲性が低く、かつ最も堅牢な方法は、最先端のハードウェアを規制する何らかの条約を締結することかもしれません。効果的な防御を実現するために必要なハードウェアサイバーセキュリティ技術の多くは、国際的なハードウェア条約の妥当性検証にも役立つため、相乗効果も期待できます。
とはいえ、リスクの主な発生源は、そのような条約の免除を強く求める軍事関連の主体であると私は考えていることを指摘しておく価値がある。これは決して許されるべきではなく、仮に最終的に免除が認められたとしても、軍主導のAI開発によってリスクが増大する可能性が高い。
AIが良いことをする可能性を高め、悪いことをする可能性を低くする調整作業は、依然として有益です。主な例外（そして常にそうなります）は、調整作業が最終的に能力強化へと進化する場合です。
AIラボの透明性を高めるための規制は依然として有益です。AIラボが適切な行動をとるようインセンティブを与えることでリスクを軽減することができ、透明性はこの目標を達成するための優れた方法です。
「オープンソースは有害だ」という考え方は、さらに危険を伴います。多くの人がオープンソースAIに反対するのは、防御は非現実的であり、唯一の明るい見通しは、優れたAIを持つ善良な人々が、善意の薄い人々よりも先に超知能や極めて危険な能力を獲得することだ、という主張です。しかし、この記事の主張は異なる見方を示しています。防御が非現実的なのは、まさに一方のアクターがはるかに先行し、他のアクターが追いついていないからです。力の均衡を維持するためには、技術の普及が重要になります。しかし同時に、最先端のAI能力の成長を加速させることが、それがオープンソースの方法で行われているという理由だけで良いことだとは決して言いません。
米国の研究所における「中国に勝たなければならない」という意識は、同様の理由からよりリスクを伴います。覇権が安全保障上の緩衝材ではなくリスクの源泉であるならば、「善意の人々は、彼らがより早く勝利できるよう、主要なAI研究所に加わるべきである」という（残念ながらあまりにもよくある）主張をさらに否定することになります。
AI 機能が広く配布されるようにするため、また、インフラストラクチャ関係者がこの記事で説明したいくつかの方法で新しい AI 機能を迅速に適用するためのツールを確保するために、「パブリック AI 」などのイニシアチブをサポートする必要があります。
防衛技術は、「すべての狼を狩る」という発想ではなく、「羊を武装させる」という発想をより反映させるべきです。脆弱世界仮説に関する議論では、覇権国が潜在的な脅威の出現を防ぐために世界的な監視を維持することが唯一の解決策であるとしばしば想定されます。しかし、非覇権世界では、これは実現可能なアプローチではありません。トップダウン型の防衛メカニズムは、強力なAIによって容易に破壊され、攻撃ツールへと転化される可能性があります。したがって、世界の脆弱性を低減するための努力を通じて、より大きな防衛責任を果たす必要があります。
上記の議論は推測に基づくものであり、ほぼ確実だと仮定して行動すべきではありません。しかし、AI 2027の話もまた推測に基づくものであり、その具体的な内容がほぼ確実だと仮定して行動することは避けるべきです。
AI覇権を確立し、「同盟」を確保し、「競争に勝つ」ことが唯一の前進であるという、よくある思い込みに特に懸念を抱いています。私の見解では、この戦略は私たちの安全保障を低下させる可能性が高いでしょう。特に、覇権が軍事利用と深く結びついている場合、多くの同盟戦略の有効性は低下するでしょう。覇権的なAIが道を踏み外せば、人類はあらゆる抑制と均衡の手段を失うことになります。
AI 2027シナリオにおいて、人類の成功は、アメリカが重要な局面で破壊ではなく安全を選択することにかかっています。つまり、AIの進歩を自発的に減速させ、エージェント5の内部思考プロセスを人間が解釈できるようにすることです。しかし、成功は必然ではなく、人類が単一の超知能に頼って生き残り続けるという崖っぷちから、どのようにして脱出できるのかは不明です。今後5～10年間でAIがどのように発展するかに関わらず、「世界の脆弱性を軽減することは実現可能」であると認め、最新の人類技術を用いてこの目標を達成するために、より多くのエネルギーを投入することは価値があります。
フィードバックとレビューをくださったボランティアの Balvi に特に感謝します。
