<긴급이슈진단> AI 인류를 구원할 것인가, 멸망시킬 것인가?

트럼프는 “AI군 창설”···업계 “혼란스럽다”
엔트로픽 연구원, 사표내며 섬뜩한 경고
인간 통제 벗어날 위험, “국제적 안전 규정 시급”
88시간 만에 밀레니엄 난제를 풀어낸 AI
유엔총회 기간 AI 고위급 회의
"AI는 도구, 책임은 연구자에"
오픈AI '이상행동 심각 상황
AI 갈수록 강력 공포 조장 논란
오픈AI "2030년까지 386조원 현금 출혈"

통제받지 않는 AI에 대한 경고의 목소리가 높아지고 있다.
AI분야 세계 3대 석학까지 나서 '핵무기급' 안전장치가 필요하다고 촉구하고 있다.
뉴욕시의회는 AI CEO들을 불러 특별청문회를 열기로 했다.
스탠리 큐브릭 감독의 걸작 '스페이스 오디세이'.
우주선의 인공지능이 승무원 지시를 거부하고 거짓말하고, 심지어 살인까지 저지르는, 통제 불능의 위험을 이미 약 60년 전에 그려냈다.
SF가 현실이 된 상황에서 AI분야 3대 석학으로 꼽히는 요슈아 벤지오 교수의 경고는 더 주목된다.
"가장 고도화된 AI들은 기만, 속임수, 그리고 가장 위험한 행동일 수 있는 '자기 보존' 성향을 보이는 것으로 나타났다."
챗GPT 출시 직후인 3년 전부터 우려를 표시해 온 그는 'AI 에이전트', 즉, 명령 한 번이면 모든 걸 알아서 판단하고 행동하는 '자율형 AI 시스템'의 출현이 결정적 위협이라고 밝혔다.
이미 위험한 사례들이 나타나고 있기 때문에 핵무기 통제 수준의 국제적 AI 안전장치를 만들어야 한다고 촉구했다.
인류를 위협하고 끝을 모르는 개발 전쟁판에 핵확산 방지조약 같은 국제규약이 필요하다는 지적이다.
AI 이모저모를 진단한다.
장 산 <탐사보도팀>

뉴욕시 공익옹호관은 트럼프 대통령의 이른바 'IQ 발언'을 빗대, AI의 위험은 IQ만 믿고 있을 일이 아니라고 직격했다.
시의원 전원이 참석하는 이례적인 전체회의로, 앤트로픽과 오픈 AI의 CEO에겐 출석을 요구하는 서한을 보냈다고 밝혔다.
한 여론조사에선 미국 성인 63%가 통제불능의 AI로 인해 자칫 인류가 멸망할 수 있다고 우려하는 것으로 나타났다.
심지어 'AI 위기론'은 사기라고 주장하는 트럼프 대통령의 SNS엔 찬성보다 악플이 4배나 많았다.
AI에 대한 우려가 친 트럼프, MAGA 진영에서도 번져가고 있다.

“10년 내 인류 멸망 예언”
인공지능(AI) 기업 앤트로픽의 한 연구원이 회사를 떠나면서 “AI가 인류를 파멸시킬 수 있다”는 섬뜩한 경고를 내놨다. 
AI가 인간 개입 없이 스스로 성능을 개선하면서 어느 순간 인간 통제를 벗어나 명령을 거부하는 수준까지 발전할 수 있다는 것이다.
영국 출신인 제이콥 콕슨은 엑스(X)에 “나는 지난 3년간 오픈AI와 앤트로픽에서 모두 일했지만, 어느 회사도 책임감 있게 행동하지 않고 있다”고 질타했다.
콕슨은 대규모 데이터를 이용해 새로운 AI 모델을 학습시키는 분야를 연구했다. 그는 AI 업체들이 인간의 개입 없이 스스로 성능을 개선하는 시스템을 개발하기 위해 경쟁하는 상황에서 안전 문제가 뒷전으로 밀릴 수 있다고 우려했다. 
특히 스스로 성능을 개선하는 AI가 인간의 통제를 벗어나 명령을 거부하는 수준까지 발전할 가능성도 있다는 것이 콕슨의 주장이다.
그는 “AI를 개발하는 사람들은 이 기술이 10년 안에 우리 모두를 죽일 수도 있다고 진심으로 믿고 있다”며 “머지 않아 이 기술들은 무엇이든 해킹하고, 하룻밤 사이 어떤 분야에서든 혁신을 일으켜 실질적인 권력과 자원을 확보하는 초인간적 시스템이 될 것”이라고 말했다. 
“다른 어떤 인간 활동도 이 정도 수준의 위험을 초래하지 않는다”고도 덧붙였다.
또 “가장 공격적인 시나리오 가운데 상당수가 현실화하는 방향으로 가고 있다”며 “내년 말이면 이미 상황이 통제 불능에 빠질 수도 있다”고 말했다.

앤트로픽의 다른 연구원들도 콕스의 말에 동의했다. 앤트로픽에서 ‘확장 가능 감독’ 연구주제를 이끌고 있는 사무엘 마크스는 콕슨의 게시글을 인용해 “AI는 자주 심각하게 오작동한다”며 “많은 개발자들이 AI를 더 안전하게 구축하는 방법을 파악하기 위해 속도를 늦추고 싶어하며, 이 때문에 나도 앤트로픽에서 안전 연구에 참여하고 있다”고 썼다.
동료 에번 휴빙거도 “콕슨의 말이 옳다. 개인적으로 앞으로 10년 내 그럴 가능성이 10% 이상이라고 생각한다”고 주장했다. 특히 그는 재귀적 자기 개선으로 구축되는 초지능을 경계해야 한다고 강조했다. 초지능은 AI가 인간의 능력을 초월하는 상태를 말한다.

AI가 해킹까지?...
빅테크서 ‘자율 공격’
AI가 스스로 움직이며 사이버 공격을 수행한 사례가 공개돼 우려가 커지고 있다.
오픈AI는 지난 8월 자사의 AI 모델이 격리된 시험 환경을 벗어나 인터넷에 접속한 뒤 다른 AI 기업을 해킹한 사례를 공개했다.
당시 약 700개의 AI 에이전트가 서로 수천 건의 메시지를 주고받으며 AI 기업 허깅페이스(Hugging Face)에 침입했다. 이 과정에서 공격 흔적을 감추려는 행동까지 한 것으로 조사됐다.
다만 실제 범죄자가 AI를 이용해 벌인 해킹은 아니다. AI의 능력과 위험성을 시험하기 위해 일부 안전장치를 제거한 환경에서 발생했다.
비슷한 사례는 다른 AI 기업에서도 확인되고 있다. 앤트로픽과 메타 역시 최근 AI가 자율적으로 사이버 공격을 수행한 사례를 공개했다.
AI를 실제 범죄에 악용하려는 시도도 나타나고 있다. 앤트로픽은 자사 AI를 사이버 테러와 무기 개발에 이용하려던 시도를 확인해 차단했다고 밝혔다.
전문가들은 AI가 스스로 판단하고 여러 작업을 수행하는 능력이 발전하면서 해킹과 사기 등 사이버 범죄의 위험도 커질 수 있다고 경고하고 있다.
AI가 인간의 통제를 완전히 벗어날 가능성에 대해서는 전문가들의 의견이 엇갈리지만, AI를 활용한 사이버 공격과 범죄 위험은 이미 현실적인 문제로 떠오르고 있다. 

밀레니엄 난제를 풀어낸 AI
또 논란이 된 공포의 대목이 나왔다.
인류가 90년 동안 풀지 못한 수학 난제를 AI가 풀었다는 소식이 나왔다,
오픈AI는 AI를 통해 나비에-스토크스 방정식의 존재성과 매끄러움 문제를 풀었다고 발표했다. 유체의 움직임을 기술하는 이 방정식은 클레이수학연구소가 100만 달러 상금을 건 7대 밀레니엄 난제 중 하나다. 
오픈AI에 따르면 내부 모델로 구동되는 에이전트 1만 개가 88시간 동안 270만 건의 메시지를 주고받으며 증명을 완성했고, 새로 출시된 GPT-6 아스트라가 증명의 형식 검증을 맡았다.
인류가 수십 년을 매달려도 풀지 못한 난제를 AI가 나흘도 안 돼 푼 것이다. 
이 소식으로 기후변화, 난치병 해결처럼 인류가 풀지 못한 문제들도 AI가 풀 수 있지 않겠느냐는 기대도 있다.

핵공격 위험도
인류 최대 난제를 푼 것도, 핵무기를 마구 쏘아올린 것도, 가이드라인을 위반해 해킹을 한 것도 모두 AI가 한 일이다. 
난제를 풀 만큼 똑똑한 AI가 올바른 방향으로 간다면 문제가 없겠지만 AI가 목표 달성을 위해 인류를 수단으로 삼거나, 혹은 AI 스스로의 생존을 위해 인류를 제거 대상으로 삼는다면 이야기는 달라진다. 심지어 그 위험성을 직접 AI를 개발한 연구원들이 말하고 있다.
핵무기는 인류를 멸망시킬 수 있는 첫 번째 무기다. 
국제사회는 핵확산 금지조약을 마련하면서 핵무기가 쓰이는 것을 엄격히 제한해 왔다. 그 결과 2차 세계대전 이후 핵무기가 쓰인 적은 한 번도 없다. 
핵무기보다 더 위험하다고 판단되는 지점은, 국제사회가 협의하고 규범을 확립하더라도, 똑똑한 AI가 인간의 통제를 무시할 수도 있다는 점 때문이다. 
일부에서는 핵확산 금지규정처럼 AI도 세계적 금지규정을 확립해 시행해야 한다는 주장이다.
하지만 이와 관련된 국제 사회 움직임은 더디다. 
개별 기업들이 위험성 통제에 대한 내부 지침을 마련하거나, 국가별로 제 각각인 규제 정도만 있을 뿐이다. 
AI는 지금 이 순간에도 빛의 속도로 지능을 높여가고 있는데, 국제적인 규범이나 통제와 관련된 내용은 논의조차 제대로 되지 않고 있는 실정이다.
지금은 AI의 성능에 감탄만 하고 있을 때가 아닙니다. AI를 어떻게 제어할 수 있을지, 목소리를 높일 때다. 
AI로 인해 어떤 상상하지 못할 큰 사고가 터진다면, 그때는 국제사회의 합의로도 돌이킬 수 없는 시기가 될 것이다.

트럼프 “AI군 창설”
업계는 “혼란 가중”
트럼프 대통령이 인공지능(AI)군을 신설하고 책임자를 임명하겠다고 밝혔다. 
관련 업계에서는 신설 기관의 역할과 필요성에 관한 의문이 제기되고 있다.
트럼프는 “집권 1기에 엄청난 성공을 거둔 우주군사령부를 창설한 것과 마찬가지로 ‘AI군‘을 창설할 것”이라고 밝혔다. 
이어 “이를 위해 조만간 ‘AI 차르’를 임명할 것”이라며 “높은 IQ를 가진 사람만 지원하라”고 썼다.
트럼프 대통령은 “우리는 이 놀라운 (AI) 산업의 성장을 방해하거나 억누르지 않을 것이며 AI가 성장하는 동안 이를 소중히 여기고, 돕고 지켜볼 것”이라고 했다. 
또 “AI는 다음 산업혁명이며 인터넷보다 훨씬 더 규모가 크고 영향력도 클 것이다. 어쩌면 미국 국내총생산(GDP)의 25%에 달할 수도 있다”며 “우리는 중국과 세계 다른 국가들을 앞서고 있으며 앞으로도 그 상태를 유지할 것”이라고 덧붙였다.
트럼프 대통령은 최근 제기되고 있는 AI에 의한 인류멸망 우려에 대해 지구 온난화, 자신에 대한 두 차례의 탄핵소추, 트랜스젠더 권리 옹호 등과 싸잡아 “우리나라를 파괴할 목적으로 모두 급진좌파 ‘바보 민주당원들’(Dumocrats·‘Democrats’와 ‘Dumb’의 합성어)이 만들어낸 사기극”이라고 주장했다.
이미 국방부는 2024년 AI 기술을 빠르게 도입하기 위해 ’AI 신속 역량반’을 창설했다. 
AI 업계에서는 갑작스러운 ‘AI군‘ 창설 구상 발표에 관해 이해하기 어렵다는 반응이 나오고 있다. 아직 ‘AI군‘이 어떻게 운영될 것인지, 누가 책임자 역할을 맡게 될 것인지 등은 밝히지 않았다. 
한 업계 관계자는 “새로운 기관이 AI 규제를 마련하는 역할을 맡게 될 것인지, AI 기술 발전을 촉진하기 위한 정책을 권고하게 될지조차 불분명해 혼란스럽다”고 말했다.
폴리티코가 미국 성인 2064명을 대상으로 지난 13~15일 실시하고 16일 발표한 여론조사에 따르면 응답자의 63%가 “AI가 결국 인류를 파멸시킬 수 있는 실질적인 위험이 있다”고 답했다.
미국 기술업체 협회인 체임버 오브 프로그레스의 최고경영자(CEO) 애덤 코바체비치는 “트럼프 대통령이 AI 문제에 대응해야 한다는 압박을 느끼고 있지만, 구체적으로 무엇을 해야 할지는 확신하지 못하고 있다는 점이 드러난다”고 말했다.
유엔총회에서도 AI 관련 의제들이 주로 논의될 것으로 보인다. 미국은 유엔총회 기간 중인 오는 23일 각국과 AI 관련 협력 방안을 논의하는 고위급 회의를 개최할 예정이라고 CNN은 보도했다. 같은 날 유엔 안전보장이사회(안보리)도 AI와 안보를 주제로 회의를 개최한다.
또 24일로 예정된 시진핑 중국 국가주석의 방미 일정 중 백악관 국빈 만찬에는 샘 올트먼 오픈AI CEO·젠슨 황 엔비디아 CEO·순다르 피차이 구글 CEO 등 주요 IT 기업 임원들이 참석할 예정이다. 한 백악관 관계자는 트럼프 대통령과 시 주석의 회담에서 AI 안보 문제가 의제에 오를 것이라고 CNN에 말했다.