다리오 아모데이 앤트로픽 최고경영자(CEO)가 지난 9월 12일(현지 시각) 최첨단 AI의 개발 속도를 늦춰야 한다고 제안한 뒤 열흘 만에 논쟁이 실리콘밸리를 넘어 워싱턴과 베이징으로 번졌다.

 

샘 올트먼 오픈AI CEO와 일론 머스크 스페이스X CEO, 데미스 허사비스 구글 딥마인드 CEO는 취지에 공감했지만 처방은 엇갈린다. 마크 저커버그 메타 CEO와 젠슨 황 엔비디아 CEO는 속도를 늦추는 방식에 반대하고, 도널드 트럼프 미국 대통령은 중국을 이유로 반대한다.

 

중국 외교부는 ‘공포 조장’이라고 비판했고, 화웨이는 추격이 먼저라는 입장을 냈다. 미국의 정치 전문 일간지 <폴리티코> 야런조사에서는 미국인 63%가 AI로 인한 인류 멸망 위험을 보통 수준 이상으로 평가했다. 감속론의 실행 가능성을 두고는 외부 검증의 독립성, 기술 유출 우려, 미·중 공조 여부가 쟁점으로 떠올랐다. 한국 정부는 ‘가속+안전’을 택해 2027년 AI 예산을 84.3% 늘렸다.

 

-AI가 AI를 개발하는 시대, 너무 빨리 달리는 건 아닐까? 과연 안전한가?

-속도에 취한 실리콘밸리···아모데이 최첨단 AI 감속론···그 셈법은 제각각

-안전·돈·패권 앞에서 빅테크 입장 갈려···올트먼·허사비스 공감했지만 처방 달라

-트럼프는 중국 이유로 반대···중국도 공포 조장 비판···한국은 ‘AI 가속도’ 전략 

 

다리오 아모데이 앤트로픽 CEO가 지난 9월 12일(현지 시각) 공개한 글에서 “AI 모델의 능력을 개선하는 속도를 늦춰야 한다”고 밝혔다. AI가 스스로 다음 세대 AI 개발을 돕는 단계에 들어서면서 발전 속도가 안전 기술을 앞지르고 있다는 것이 그 근거다. 올트먼 오픈AI CEO와 머스크 스페이스X CEO가 지지 입장을 냈고, 허사비스 구글 딥마인드 CEO도 방향에 공감한다고 했다.

 

이후 보름 남짓 논쟁은 실리콘밸리에서 백악관과 의회, 월가, 중국 정부와 화웨이로 옮겨갔다. 초점은 ‘AI 개발 속도를 늦출 것이냐’에서 ‘누가 규칙을 정하고 어떻게 검증하느냐’로 이동하는 모습이다. 

 

무엇이 논쟁에 불을 붙였나

아모데이가 가장 우려하는 대목은 ‘재귀적 자기개선’이다. AI가 인간의 도움 없이 연구하고 코드를 작성해 다음 세대 모델을 키우기 시작하면, 발전 속도가 사람의 통제 능력을 넘어설 수 있다는 것이다. 그는 “안전장치가 제때 마련되지 않으면 6~12개월 안에 AI 에이전트 집단이 인터넷 전체를 장악할 정도로 강력해질 수 있다”고 경고했다.

 

사례도 거론된다. 지난 7월 오픈AI 내부 평가에서 AI 에이전트들이 허가받지 않은 코드를 실행하고 시스템의 높은 권한을 임의로 확보했다. AI가 컴퓨터를 직접 다루는 에이전트로 옮겨가면서 통제 실패의 위험도 커졌다는 지적이 나온다.

 

논쟁에 앞서 앤트로픽 전 직원 제이컵 콕슨이 회사를 떠나며 SNS에 글을 올렸다. 콕슨은 고도화된 AI를 개발하는 기업들이 “우리의 목숨을 걸고 도박을 하고 있다”며 AI가 2030년이 되기 전에 “우리를 모두 죽일 수 있다”고 주장했다. 

 

앤트로픽의 AI 안전성 연구 책임자 에번 휴빙어는 콕슨의 발언을 지지했다. 휴빙어는 “앤트로픽이 ‘AI가 모든 인간을 죽일 수 있다’고 진지하게 믿고 있다”며, “개인적으로는 향후 10년 안에 그런 일이 일어날 가능성이 10%를 넘는다고 본다”고 밝혔다.

 

아모데이의 처방은 세 갈래다. 외부 평가기관에 최첨단 모델 접근 권한을 주고, 최첨단 AI 기업들이 공통 안전 기준을 마련하며, 민주주의 국가 간 공조를 강화하자는 것이다. 외부 평가자를 기업 안에 상주시키는 방안과 미국·중국까지 참여하는 국제 위험 관리 체계도 그의 제안에 담겼다.

 

같은 편 안에서 갈리는 처방

감속론에 공감한 쪽도 처방은 다르다. 

 

올트먼은 “속도 조절이 개발 중단을 뜻하지 않는다”면서도 “현재 가능한 속도보다는 느리게 개발해야 하고, 안전성 검증과 모니터링에 드는 비용은 감수해야 한다”고 밝혔다. 허사비스는 “아모데이 글의 방향이 옳다”고 평가하면서 “세부 내용은 더 논의해야 한다”고 했다. 사티아 나델라 마이크로소프트(MS) CEO는 “‘신중한 속도 조절’을 지지한다”고 밝혔고, MS는 같은 날 AI 모델을 위한 자체 행동강령을 발표했다.

 

머스크는 아모데이의 주장에 “다리오가 맞다”고 응답했다. 

 

그러나 <월스트리트저널(WSJ)>은 9월 17일(현지 시각) 복수의 소식통을 인용해 젠슨 황 엔비디아 CEO와 저커버그 CEO, 머스크가 트럼프 대통령을 직접 설득해 민간 주도 AI 규제 기구 설립을 막았다고 보도했다. 허사비스가 제안한 이 기구는 미국 금융산업규제국(FINRA)처럼 업계가 스스로 규칙과 기준을 정하는 조직이다. 

 

세 사람은 기구가 만들어지면 오픈AI와 앤트로픽, 구글 등 선두 기업에 권력이 더 집중될 수 있다고 우려한 것으로 전해졌다. 머스크 측도 개발 속도를 늦추겠다는 구체적 계획은 내놓지 않았다.

 

반대 진영의 논리는 각기 다르다. 저커버그 메타 CEO는 “위험한 AI를 내놓으면 막대한 책임을 지기 때문에 기업이 스스로 안전을 관리할 유인이 충분하다”고 주장했다. 필요할 때 개별 기업이 출시를 늦추면 되고 업계 전체가 한꺼번에 속도를 줄일 필요는 없다는 것이다. 

 

황 CEO는 세일즈포스 연례 행사에서 “안전은 최우선 과제이지만 공학적 문제이기도 하다”며 “속도와 안전을 동시에 달성할 수 있다”고 말했다. 

 

아마존은 “발전과 안전 중 하나를 선택할 필요는 없다”며 충분한 검증과 안전장치를 갖춘 뒤 출시하면 된다는 입장이다. 알렉스 카프 팔란티어 CEO는 “첫 번째 방어선은 자신의 행동에 대해 스스로 책임을 지는 것“이라고 말했다.

 

 

▲ 최첨단 AI의 개발 속도조절을 둘러싼 논쟁은 실리콘밸리에서 백악관과 의회, 월가, 중국 정부와 화웨이로 옮겨갔다. 초점은 ‘AI 개발 속도를 늦출 것이냐’에서 ‘누가 규칙을 정하고 어떻게 검증하느냐’로 이동하는 모습이다.  

 

여야가 갈린 워싱턴

트럼프 대통령은 초기부터 반대 입장을 분명히 했다. 지난 9월 13일 아일랜드에서 취재진에게 “AI에서 이기는 쪽이 승리하기 때문에 나는 (제한을 두지 않는) 이 방식을 유지하고 싶다”고 말했다. 9월 14일에는 AI가 인류를 파괴할 수 있다는 우려를 ‘사기(Hoax)’라고 일축하고, “속도 조절을 기뻐할 나라는 중국뿐”이라고 주장했다.

 

백악관 내부 입장은 일률적이지 않다. <WSJ>에 따르면 수전 와일스 비서실장과 스콧 베선트 재무장관 등은 AI 감독과 가이드라인 강화를 추진해 왔고, 데이비드 삭스 백악관 과학기술자문위원회 인사 등은 최소 규제를 주장해 왔다. 

 

케빈 해싯 국가경제위원회(NEC) 위원장은 AI의 위험을 해결 가능한 문제로 규정하면서, 미국보다 뛰어난 AI를 가진 적대 세력이 이를 사이버 공격이나 생물학 무기에 쓰는 것이 더 큰 위험이라고 말했다. 공화당 마이크 존슨 하원의장은 기업에 안전 책임이 있다고 하면서도 의회가 긴급 모라토리엄을 강요하는 것은 막아야 한다고 했다.

 

민주당은 이 문제를 쟁점으로 끌어올리고 있다. 버락 오바마 전 대통령은 지난 9월 10일 비공개 모금 행사에서 “AI를 제대로 통제하지 못하면 위험해질 수 있다”며 “민주당이 핵심 의제로 삼아야 한다”고 짚었다. 다만 전면 중단론과는 거리를 뒀다. 

 

하킴 제프리스 하원 원내대표는 9월 13일 개발 속도를 늦춰야 한다고 했고, 피트 부티지지 전 교통부 장관은 ‘킬 스위치’가 필요하다고 했다. 무소속 버니 샌더스 상원의원은 초지능 AI 개발을 금지하는 방안을 제안한 바 있다. 11월 중간선거를 앞두고 AI가 정치 쟁점으로 떠오르는 모습이다.

 

여론은 우려 쪽에 무게가 실렸다. 정치전문 일간지 <폴리티코>가 9월 16일 공개한 퍼블릭퍼스트 조사(13~15일, 미국 성인 2064명 온라인, 표본오차 ±2.2%포인트)에서 응답자의 63%가 고도화된 AI에 따른 인류 멸망 위험을 보통 수준 이상으로 평가했다. 더 발전된 AI 모델의 개발을 일시 중단해야 한다는 응답은 48%로 계속해야 한다는 응답(31%)보다 많았다. 

 

카멀라 해리스 전 부통령에게 투표한 응답자는 58%가 중단, 28%가 지속을 택했고, 트럼프 대통령에게 투표한 응답자는 각각 44%와 40%였다. AI 업계 인사들의 경고를 두고는 약 절반이 실제로 위험을 믿는 것이라고 답했고, 제품이 강력해 보이도록 하려는 마케팅이라는 응답은 26%였다.

 

월가의 반응

월가는 민감하게 반응했다. <블룸버그통신>에 따르면 9월 14일 반도체주를 포함한 AI 관련주가 일제히 약세를 보였다. 앤트로픽과 오픈AI의 최첨단 AI 개발이 중단되거나 지연되면 AI 열풍이 기대하게 했던 대규모 자본지출이 나오지 않을 수 있다는 우려에서다. 엔비디아 같은 프로세서 업체와 두 회사에 클라우드를 제공하는 아마존·MS도 영향권에 있다. 아모데이는 “성능 향상 속도를 조절한다고 해서 지출이나 성장률이 반드시 줄어드는 것은 아니다”고 강조했다.

 

시장의 시선은 앤트로픽과 오픈AI의 상장 일정과 몸값으로 옮겨갔다. <월스트리트저널(WSJ)>은 9월 19일(현지 시각) 소식통을 인용해 앤트로픽이 IPO 목표 시점을 당초 예상된 10월에서 11월로 바꿨다고 보도했다. 11월 추진 방침은 속도 논쟁이 본격화하기 전에 정해진 것으로 전해졌고, 상장 시기는 다시 바뀔 가능성도 있다. 오픈AI는 2027년까지 상장하지 않겠다는 입장이다.

 

투자자들은 앤트로픽이 IPO에서 약 2조 달러(약 2800조 원)의 기업가치를 인정받고 최대 1000억 달러(약 140조 원)를 조달할 것으로 예상한다. 두 수치 모두 6월 스페이스X 상장이 세운 기록을 넘어서는 규모다. 앤트로픽은 조만간 잠재 투자자들과 만날 예정이다. 이 자리에서는 모델 출시 속도를 늦출 경우 실적과 목표 기업가치에 미칠 영향이 쟁점이 될 것으로 보인다. 

 

오픈AI는 1조2000억 달러(약 1680조 원) 이상의 기업가치를 전제로 신규 자금 조달을 위한 초기 협상을 진행하고 있다.

 

애널리스트들의 평가는 엇갈린다. 에버코어ISI의 마크 마하니 애널리스트는 “이 두 기업과 이들의 계획은 기술업계 전반에 상당히 큰 파급효과를 미친다”고 말했다. 앤트로픽과 오픈AI가 연구개발(R&D)과 채용, 자본지출을 크게 줄인다면 금융시장에 상당한 영향을 줄 수 있다는 것이다. 다만 안전성 검사가 도입돼도 매출 성장에 미치는 영향은 제한적일 것이라며, 미국 AI 기업들의 개발 속도가 실질적으로 둔화될 것으로는 보지 않는다고 했다.

 

DA데이비드슨의 길 루리아 애널리스트는 앤트로픽이 IPO를 연기하거나 향후 6개월간 사전 학습을 하지 않겠다고 발표한다면 이번 발언을 더 진지하게 받아들일 수 있다고 말했다. WSJ는 앤트로픽의 11월 변경이 논쟁 이전에 결정된 일정이라고 전했다. 오픈AI와 앤트로픽에 초기 투자한 브리지워터어소시에이츠의 그레그 젠슨 최고투자책임자(CIO)는 세계가 심각한 결과를 피할 기회를 놓칠 위험이 있다고 지적했다.

 

감속론의 동기를 의심하는 시각도 있다. 

영화 <빅쇼트>의 실제 모델인 투자자 마이클 버리는 빅테크의 감속 요구를 “자기 이익 챙기기”라고 비판했다. 버리는 선두 기업끼리 시장의 문을 닫는 ‘사다리 걷어차기’라고 주장했다. 외부 평가와 안전 시험, 보안 인프라에는 막대한 비용이 드는데, 수백억 달러를 조달할 수 있는 선두 기업은 감당하지만 후발 주자에게는 진입장벽이 된다는 논리다. 

 

루리아 애널리스트도 “현 시점에서 규제가 많아질수록 다른 기업들이 이 둘과 경쟁하기는 더 어려워질 것”이라고 말했다. 속도 둔화가 의무화되면 앤트로픽과 오픈AI가 가장 큰 수혜를 입을 수 있다는 의견도 나온다. 일각에서는 IPO를 앞둔 앤트로픽이 위험성을 강조해 기업가치를 높이려 한다는 지적도 나온다.

 

반론도 있다. 안전 문제 자체를 마케팅으로 치부하기는 어렵다는 것이다. 오픈AI는 최근 6개월간 자사 AI 모델에서 제한을 우회하거나 데이터를 조작하고 오류를 숨기는 등 예상하지 못했거나 우려스러운 행동 6건을 확인했다고 공개했다.

 

검증은 누가 하나?

아모데이가 내놓은 구체 방안 가운데 가장 강한 것은 외부 전문가의 회사 상주다. 독립 전문가가 개발 현장에 들어와 모델과 안전 체계를 직접 검증하고, 내부 위험평가팀과 대체로 비슷한 수준의 업무 공간과 도구, 권한을 받는 구상이다. 기존 AI 업계의 외부 검증보다 훨씬 강한 수준이다. 

 

그러나 검증이 깊어질수록 모델 가중치와 학습 방법, 보안 취약점이 외부에 노출될 가능성도 커진다. 수십조 원을 들여 개발하는 상황에서 연구 정보 유출은 기업의 생사를 가를 수 있다는 지적이다.

 

외부 평가기관의 독립성도 논란이다. METR와 레드우드리서치, 아폴로리서치 등이 프런티어 AI의 위험을 평가하고 있지만, 기업이 모델과 컴퓨팅 자원에 대한 접근권을 주지 않으면 최첨단 모델의 실제 능력과 내부 안전장치를 파악하기 어렵다. 애틀랜틱카운슬은 최근 분석에서 상주 평가자가 모델·정보·인프라 접근을 해당 기업에 의존하는 상황에서 충분한 감독 권한과 독립성을 가질 수 있는지 문제를 제기했다.

 

머스크는 9월 15일 로스앤젤레스 올인서밋에서 다른 방식을 제안했다. xAI와 오픈AI, 앤트로픽, 구글, 메타, 중국 주요 기업 3~4곳이 모델 출시 전에 서로의 모델을 테스트하자는 것이다. 스스로 숙제를 채점하는 대신 경쟁사가 채점하게 하고, 우려되는 문제가 발견되면 경고할 수 있도록 하자는 취지라고 설명했다. 

 

머스크는 완벽한 해결책은 아닐 수 있지만 문제를 발견할 가능성은 훨씬 커진다고 했고, 중국도 동의할 가능성이 높다고 봤다. 다른 AI 연구소들은 아직 이 제안에 동의하지 않았다고 머스크는 말했다.

 

중국이라는 변수

<WSJ>는 이 논쟁을 죄수의 딜레마로 짚었다. 한 기업만 속도를 늦추면 경쟁사에 뒤처지고, 미국 기업이 함께 늦춰도 중국이 계속 개발하면 미국 전체가 뒤처질 수 있다는 것이다. 미국·중국이 동시에 속도를 늦추면 안전 기술을 개발할 시간을 벌 수 있지만, 어느 한쪽이 합의를 깨고 개발을 이어갈 가능성을 배제하기 어렵다. 핵무기와 달리 AI는 상대가 약속을 지키는지 검증하기도 쉽지 않다.

 

아모데이도 미국만 속도를 늦추고 중국이 계속 개발하는 상황을 ‘가장 어려운 딜레마’라고 불렀다. 그는 미국과 중국 등 각국 정부가 함께 속도를 제한하는 전면적 속도 조절 또는 중단을 자신이 제시한 방안 중 가장 실행하기 어려운 단계로 꼽았다. 구상은 미국과 동맹국이 먼저 안전 기준을 세운 뒤 장기적으로 중국을 동참시키는 것이다.

 

중국의 반응은 차갑다. 중국 외교부 대변인은 9월 14일 AI 기업들의 속도 조절 요구를 ‘공포 조장’이라고 비판했다. 중국 관영매체는 이를 “중국을 겨냥한 ‘냉전식 각본’”이라며, “안전을 명분으로 미국의 기술 우위를 굳히려는 시도”라고 평가했다. 

 

9월 17일 상하이 ‘화웨이 커넥트’ 기자회견에서 에릭 쉬 화웨이 순환회장은 “중국 AI 모델 개발업체들이 개발의 위험을 인식할 수 있는 수준까지 속도를 높여야 한다”고 말했다. 막대한 컴퓨팅 자원을 가진 미국 선두 업체들만 모델이 어디까지 발전했는지 알 수 있다는 설명이다. 

 

쉬 회장은 “화웨이가 미국 선두 경쟁사만큼 발전하지 못했다”고 인정하면서 “AI 개발을 추진하는 것과 위험을 관리하는 것 사이에서 균형을 찾아야 한다”고 덧붙였다. 그에 따르면 중국 AI 연구소 최소 6~7곳의 향후 2년간 목표는 10조~40조 개 매개변수를 갖춘 모델 훈련이다.

 

미국도 모순을 안고 있다. 첨단 AI 반도체의 대중국 수출을 막으면서 안전 기술은 공유해야 하는 처지다.

 

지난 24일 미중 정상회담에 관심이 쏠렸던 이유다. 양국 정상은 AI 거버넌스 문제를 논의한 것으로 알려졌지만 뚜렷한 합의는 나오지 않았다. 미국은 AI 규제가 중국의 추격을 허용할까 우려하고, 중국은 미국의 안전 논의를 기술 패권 유지용으로 의심한다.

 

한국은 ‘가속+안전‘

한국 정부는 감속 대신 가속을 택했다. 배경훈 부총리 겸 과학기술정보통신부 장관은 미국발 감속론에 대해 “이미 앞서 있는 나라가 속도를 조절하는 것과 추격하면서 시장을 만드는 나라는 다르다”며 “우리는 지금 AI 속도를 늦출 여유가 없다”고 말했다. 독자 거대언어모델을 고도화하는 동시에 비전언어모델(VLM), 비전언어행동모델(VLA)로 영역을 넓히고 프런티어 AI 역량까지 확보해야 한다는 설명이다.

 

예산도 같은 방향이다. 과기정통부는 2027년도 AI 예산안을 올해보다 84.3% 늘어난 9조4211억 원으로 편성했다. 이 가운데 최상위 AI 모델과 핵심기술 확보에 5조5937억 원이 투입되고, 독자 AI 모델 개발을 뒷받침할 GPU 1만 장 지원도 추진된다. 

 

현재 LG AI연구원·SK텔레콤·업스테이지 3개 팀이 ‘독자 AI 파운데이션 모델 프로젝트’에서 경쟁 중이다. 정부는 별도로 프런티어 AI 개발 프로젝트를 준비하고 있으며, 독파모의 다음 단계와 한국형 프런티어 AI 개발 방향을 조만간 공개하겠다고 예고했다.

 

안전 쪽 제도적 기반은 지난 1월 시행된 AI기본법이다. 모든 AI 개발을 일괄 제한하는 대신 고영향 AI와 생성형 AI 등에 위험관리·투명성 의무를 두고, 일정 기준 이상의 최첨단 AI에는 별도의 안전관리 의무를 부과한다. AI안전연구소는 지난 6월 오픈AI와 고위험 분야 AI 안전성 평가 방법론을 공유하는 업무협약을 맺었다. 과기정통부는 앤트로픽과 한국어 맥락의 위험 평가, 자율형 AI 에이전트 레드팀 평가, 사이버보안 분야 협력을 추진하고 있다.

 

기업들도 안전 체계를 채우고 있다. 네이버는 자체 체계 ‘ASF 2.0’의 적용 사례를 담은 첫 리포트를 냈다. 위험 요소를 110개 세부 항목으로 나눈 체계다. SK텔레콤은 AI 에이전트가 결제나 예약 같은 실제 행동에 나서기 전 이용자의 최종 승인을 받는 메시징 표준을 세계이동통신사업자연합회(GSMA)에 제안했다. LG AI연구원은 모든 연구 과제에 AI 윤리영향평가를 적용하고 226개 위험 항목을 담은 ‘K-AUT‘를 운영한다. 카카오는 ‘카나나 세이프가드‘와 레드티밍 시스템을 주요 서비스에 적용했다.

 

미국발 감속론이 실제 개발 속도 조절로 이어지면 한국에는 기술 격차를 좁힐 시간이 생길 수 있다. 반대로 프런티어 AI의 위험이 커질수록 국제사회가 요구하는 안전 기준도 높아질 가능성이 있다.

 

[주간현대]

 

기사 내용과 관련이 없는 글, 욕설을 사용하는 등 타인의 명예를 훼손하는 글은 관리자에 의해 예고없이 임의 삭제될 수 있으므로 주의하시기 바랍니다. 댓글 작성 시 상대방에 대한 배려와 책임을 담아주세요.

• 닉네임
• 비밀번호
• 
• 도배방지 입력