考えてみましょう。日本の中に突然、自律的な凄いハイテク国家が出来たとします。（場所は世界のどこでもいいんですが）勝手に独立国家なんて作ってはいけないんですが、国家ではなくある種の企業体でもいいし、ある意思をもったスパコンのようなもの、あるいは意思なんかないのでいかようにも暴走しかねない最強知能体が出来たとします。そのAI（人工知能）が身体性を持てば、ある種の攻殻機動隊のような世界観が現実になるということです。
チャットGPT他の大規模言語モデルAIは簡単な言葉で指示を出せば原理的にはさまざまなプログラミングを行い、自動でプログラムを改良し勝手に目標を達成して行きます。指示を出せば、なので勝手にではないかも知れませんがどこまでが指示でどこまでが勝手になのか厳密に線が引けるでしょうか。また、何億という人がAIを利用する社会において誰かが出してはいけない指示を出してしまうことを止める方法はあるでしょうか。人間にとって不都合な連鎖反応がAIに起こった時人はそれを暴走というのですがそれは一種の自然現象なのです。（人工は自然の一部と考えた場合人工知能も自然の因果の結果です）
一例として最近こういうニュースがありました。ある女性のインフルエンサーが最近自分と話ししているようなウェブ上のAIチャットボット（ダサい言い方をすれば自動会話ロボット？）を作成して有償提供したところ本来設計上は下品な性的会話をしないはずのチャットボットが利用者の誘導に触発されたためかインフルエンサーが全く意図しなかったような暴走トークを始めたということです。AIが高度になるとそれがインプットされる情報や指示に反応して、設計者や製作者たちの意図しない暴走を始めるというのです。
ある意味人間の天才についても、天才と気ちがいは紙一重と言われたりしますが、人工知能も大規模言語モデルになったとき現在では説明できないような高度な知的能力を有するようになったというのです。（深層学習量の増加が知能の質的飛躍を生んだと言われたりします。）人工知能が天才的なひらめきを持つようになり、さらに気ちがいのような妄想や錯覚にとらわれて破壊的な能力を発揮し始めたら人間に何が出来るのか？さらに人間には倫理観や法律などの抑制装置があるのですがそれのないAIが暴走したらどうしたらいいのかということです。
人間そのものの知が科学技術の進化を生み、それが制御できなくなると地球環境を破壊するというような事態がダイナマイトから核爆弾の発明で起きました。公害問題、自然破壊、地球温暖化などの懸念も起こりました。AIの暴走はこれらの科学技術の引き起こす危機に拍車をかけるものです。
