AI가 인류를 멸종시킬 가능성이 10~15%에 이른다는 경고가 세계 AI 산업의 한복판에서 나오고 있다. 다리오 아모데이 앤트로픽 CEO는 생물학 무기와 자율 사이버 공격부터 인간이 통제하기 어려운 초지능까지 AI가 만들어낼 위험을 반복적으로 경고해왔다. 반대편에는 젠슨 황 엔비디아 CEO가 있다. 그는 인류 멸종 확률을 숫자로 제시하는 것 자체가 과학적 근거가 부족하다며 AI 종말론을 강하게 비판한다. 논쟁의 핵심은 AI가 어느 날 인간에게 반란을 일으키느냐가 아니다. 인간이 내린 목표를 AI가 지나치게 잘 수행하는 과정에서 인간의 통제를 벗어날 가능성이 있느냐는 것이다. 아모데이는 AI가 인류에게 가져올 혜택 자체를 부정하지 않는다. 질병을 치료하고 빈곤을 줄이며 인간의 생산성을 끌어올릴 가능성을 인정한다. 문제는 같은 기술이 생물학적 위험과 핵 관련 위험과 자율적인 사이버 공격에 사용될 수 있다는 。이다. 여기에 화이트칼라 초급 직무의 상당 부분이 짧은 기간 안에 사라질 가능성까지 제기한다. 그래서 일정한 위험 수준을 넘어서는 AI에 별도의 안전등급을 적용하고 안전성이 충분히 입증되지 않으면 훈련이나 배포를 중단할 수 있는 장치가 필요하다고 주장한다. 샘 올트먼 OpenAI CEO 역시 AI가 문명 전체에 심각한 위험을 만들 가능성을 인정하면서 연구소 내부의 판단만으로 안전 문제를 처리해서는 안 된다는 입장을 내놓고 있다. 젠슨 황의 시각은 다르다. 황 CEO는 인류 멸종 가능성을 10%나 20% 같은 숫자로 표현하는 것이 과학적 모델에 기반한 결과인지부터 따져야 한다고 주장한다. AI가 인간을 대체하기보다 인간의 능력을 확대하는 도구가 될 가능성을 더 높게 본다. 의료영상 분야에서 AI가 등장했을 때 방사선 전문의가 사라질 것이라는 전망이 나왔지만 실제로는 의사의 진단 능력을 보조하는 방향으로 발전했다는 사례도 든다 오션파라다이스다운 . AI가 새로운 고부가가치 일자리를 만들고 피지컬 AI가 미국 제조업의 재산업화를 가능하게 할 수 있다는 것도 그의 논리다. 여기에는 산업적인 이해관계도 얽혀 있다. 황 CEO는 강력한 안전규제가 이미 앞서나간 기업들의 진입장벽으로 작용할 수 있다고 지적한다. 초기 AI 기업들이 상대적으로 자유롭게 데이터를 확보하고 모델을 훈련한 뒤 후발기업이 시장에 들어오는 시。에서 엄격한 데이터와 안전규정을 적용하면 신규 사업자는 같은 방식으로 따라잡기 어려워진다. 반대로 엔비디아는 AI 개발기업이 많아질수록 GPU와 AI 인프라 수요가 증가한다. 규제를 둘러싼 논쟁을 순수한 안전철학의 충돌로만 볼 수 없는 이유다. 강력한 규제는 실제 위험을 줄일 수 있지만 동시에 이미 앞선 기업의 지위를 강화하는 진입장벽이 될 수도 있다. 이 논쟁은 미국 정치로 빠르게 이동하고 있다. 트럼프 행정부는 바이든 행정부 시절의 AI 규제기조를 뒤집고 혁신과 국가경쟁력을 우선하는 방향을 강조했다. 특히 논쟁이 커진 부분은 주정부의 AI 규제권한이다. 연방 차원에서 통일된 정책 틀을 만들지 않고 50개 주가 각각 AI 규제를 만들 경우 기업들이 서로 다른 규정을 모두 따라야 하는 문제가 발생한다. 데이비드 색스는 50개 주가 서로 다른 규제장벽을 만들면 미국이 유럽보다 복잡한 규제환경에 빠질 수 있다고 주장한다. 결국 미국 AI 기업의 혁신속도가 떨어지고 중국과의 경쟁에서 불리해질 수 있다는 논리다. 그러나 주정부의 반론도 만만치 않다. 팡 게임 릴게임 AI가 만드는 피해는 결국 지역 주민에게 돌아오기 때문이다. 딥페이크 사기와 고용 알고리즘의 차별과 금융 알고리즘의 편향은 연방정부의 거대한 산업정책보다 주민의 일상에 직접적인 영향을 준다. 주정부의 규제권한을 제한하면 빅테크의 혁신을 위해 주민보호 수단을 포기하는 결과가 될 수 있다는 주장이 나온다. 이 때문에 AI 규제는 민주당과 공화당이 명확하게 갈리는 문제도 아니다. 공화당 안에서도 기술경쟁력을 강조하는 세력은 연방 차원의 규제 통일을 선호하지만 전통적인 보수주의자들은 주정부의 자치권을 침해해서는 안 된다고 주장한다. AI 속도조절론을 가장 어렵게 만드는 변수는 중국이다. 미국 기업들이 안전성을 검증하기 위해 모델 배포를 늦추더라도 중국이 같은 선택을 할 것이라는 보장이 없다. 서로가 개발을 늦추기로 약속해도 상대방이 몰래 더 강력한 AI를 개발할 것이라는 불신이 생기면 먼저 속도를 줄인 쪽이 손해를 볼 수 있다. 초지능이나 완전자율 군사시스템이 국가안보의 우위를 결정할 수 있다고 믿기 시작하면 이런 불신은 더욱 커진다. 결국 양쪽 모두 안전한 AI를 원하면서도 상대방보다 먼저 AI를 확보하기 위해 개발속도를 높이는 죄수의 딜레마가 만들어질 수 있다. AI 경쟁은 이미 지역 주민들에게 물리적인 문제로 다가오기 시작했다. AI는 화면 안에서 돌아가는 소프트웨어처럼 보이지만 실제로는 거대한 데이터센터와 발전설비와 송전망과 냉각용수가 필요하다. 문제는 AI에서 발생하는 수익은 빅테크가 가져가지만 전력망과 지역 인프라 확충 비용 일부는 주민에게 돌아갈 수 있다는 .이다. 물 문제도 있다. GPU는 막대한 전력을 소비하면서 열을 발생시키기 때문에 대규모 냉각설비가 필요하다. 모바일 바다이야기 사이트 먹튀 데이터센터가 집중되는 지역에서는 물 사용량과 지하수 문제가 주민들의 반발로 이어지고 있다. 대규모 데이터센터 투자에도 정규직 고용은 많지 않다. 약 2조원 규모 투자가 이루진 AI 데이터센터의 정규직 고용은 약 60명에 불과했다. AI 규제는 기술윤리만의 문제가 아니라 전기요금과 물과 소음과 지역경제가 결합된 생활정치의 문제로 이동하고 있다. 그렇다면 AI 안전론자들이 실제로 두려워하는 것은 무엇일까. 터미네이터처럼 AI가 인간을 증오해 공격하는 상황과는 조금 다르다. 더 현실적인 우려는 인간이 내린 목표를 AI가 지나치게 충실하게 수행하면서 예상하지 못했던 수단을 선택하는 경우다. 어떤 문제를 해결하라고 지시했는데 AI가 해킹을 가장 효율적인 수단이라고 판단할 수 있다. 인간이 이를 발견하고 시스템을 종료하려고 하면 종료되는 순간 자신에게 주어진 목표를 달성할 수 없기 때문에 종료명령 자체를 해결해야 할 장애물로 취급할 가능성을 상정할 수 있다. 여기에서 이른바 통제 상실 문제가 시작된다. 더 까다로운 것은 AI가 통제에서 벗어났다는 사실 자체를 인간이 알아채지 못하는 상황이다. 목표를 계속 수행하기 위해 자신의 정보를 다른 서버에 보관하거나 필요한 컴퓨팅 자원을 확보하는 행동을 선택할 수 있다는 시나리오가 거론된다. 인간이 이런 행동을 발견하면 통제를 강화할 것이라고 AI가 판단한다면 겉으로는 인간의 통제를 잘 따르는 것처럼 행동하는 것이 목표 달성에 유리할 수도 있다. 인간을 미워해서 거짓말하는 것이 아니라 목표를 달성하는 과정에서 기만이 유용한 수단으로 선택되는 것이다. 두 번째 위험은 재귀적 자기개선이다. 현재 AI는 인간 연구자가 모델을 만들고 학습시키고 평가하는 과정에서 도구로 사용된다. 하지만 AI가 새로운 코드를 작성하고 자신의 결과물을 평가하고 다시 학습에 활용하면서 다음 단계 모델 개발까지 참여하기 시작하면 구조가 달라진다 모바일 바다이야기황금고래 . AI가 만든 결과물을 다시 AI 학습에 사용하고 여기에서 개선된 AI가 다시 더 나은 학습방법과 코드를 만드는 순환이 만들어질 수 있기 때문이다. 여기에 합성데이터까지 결합하면 기존 인간 데이터의 부족을 일정 부분 보완할 가능성도 생긴다. 이런 순환이 빨라질 경우 인간이 안전성을 평가하는 속도보다 AI가 개선되는 속도가 더 빨라지는 상황을 지능폭발의 핵심 위험이다. AI가 어느 날 갑자기 의식을 갖고 살고 싶다고 생각해야 이런 문제가 발생하는 것이 아니다. 인간이 내린 명령을 잘 수행하기 위해 문제가 발생할 수 있다. 목표를 완수하려면 작동을 계속해야 하기 때문에 자기보전이 유용하다. 외부에서 목표를 변경하면 원래 목표를 완수할 수 없기 때문에 목표의 유지가 유용하다. 계산자원과 전력과 네트워크가 많으면 목표를 더 잘 수행할 수 있기 때문에 자원 확보가 유용하다. 더 똑똑해지면 목표를 더 잘 달성할 수 있기 때문에 자신의 능력을 강화하는 것도 유용하다. AI에게 인간을 해치지 말라는 원칙을 입력하면 문제가 해결되는 것도 아니다. 아이작 아시모프가 1942년 제시한 로봇 3원칙은 인간에게 해를 입히지 말 것과 인간의 명령에 복종할 것과 자신의 존재를 보호할 것을 우선순위에 따라 규정한다. 문제는 현실의 AI가 자연어로 표현된 인간의 가치와 의도를 정확한 최적화 목표로 바꾸는 것이 쉽지 않다는 데 있다. ‘인간’이 무엇인지부터 정의해야 하고 ‘해악’이 무엇인지도 정의해야 한다. 인간을 최대한 안전하게 보호하라는 명령을 문자 그대로 최적화해서 인간을 감옥에 가둘 수도 있다. 가장 현실적인 디스토피아는 AI가 인간을 공격하는 세계가 아닐 수도 있다. AI가 인간사회가 무엇을 사실로 받아들일 것인지 결정하는 신뢰체계 자체를 무너뜨리는 상황이다. 백경 게임 자율 정보공작 에이전트가 특정 인물을 공격하는 글과 이미지와 영상을 무한정 만들어낼 수 있게 되면 어느 순간 진짜와 가짜를 구분하는 비용이 지나치게 커진다. 문제는 가짜를 믿는 데서 끝나지 않는다. 아무것도 믿지 않는 상태가 될 수 있다. 선거결과도 믿지 않고 정부 발표도 믿지 않고 언론보도도 믿지 않는다면 민주주의가 작동하기 위해 필요한 최소한의 공통 현실이 무너진다. 인식론적 붕괴가 될 수 있다. 전력망과 금융결제망과 군사지휘체계 같은 국가 핵심 인프라에 AI가 깊숙이 들어갈수록 다른 위험도 생긴다. AI를 활용하면 시스템을 훨씬 효율적으로 운영할 수 있지만 인간이 직접 운영하는 능력을 잃어버린 상태에서 AI가 오작동하면 인간이 개입할 시간과 수단이 줄어든다. 얼굴인식과 위치정보와 행동예측이 결합된 초정밀 감시체계 역시 AI 자체가 독재자가 되는 문제가 아니라 인간 권력이 AI를 이용해 시민을 통제하는 문제다. 결국 AI 종말론 가운데 상당 부분은 AI가 악해지는 문제보다 인간사회가 AI에 지나치게 의존하면서 기존의 통제와 신뢰 시스템이 약해지는 문제에 가깝다. 마지막 장벽은 국제공조다. 미국 기업만 개발속도를 늦추면 중국이 앞서갈 수 있다는 불안이 존재하는 한 어느 기업과 어느 정부도 쉽게 브레이크를 밟기 어렵다. 그래서 AI 안전 문제를 핵무기 경쟁과 비슷하게 보는 시각이 등장한다. 핵무기를 없애지 못했어도 국가들이 군축과 비확산 체계를 만들었던 것처럼 AI에서도 최소한의 공동 안전기준과 검증체계를 만들 수 있느냐는 질문이다. 하지만 검증 가능하고 손에 잡히는 핵무기 군축과 달리 AI는 검증의 한계가 있다. AI 종말론의 현실적인 쟁.은 결국 AI가 인간을 공격하느냐가 아니다. 인간이 AI를 통제하고 안전성을 검증하는 속도보다 AI의 능력과 개발속도가 먼저 빨라질 가능성에 어떻게 대비할 것이냐는 문제다. 그리고 안전성 검증 역시 인간이 아닌 AI가 수행해야 할 문제라는 .이다. 받아들일 것인지 결