UPDATED. 2026-11-09 19:48 (월)
IT/과학

AI 인류 멸종 경고, 과장일까… 떠오르는 AI 규제의 필요성

성균관대
전은서 성균관대 · 18기 서포터즈
2026.10.16
2023년, 영국 런던 유니버시티 칼리지 런던(UCL) 로건 홀 앞에서 열린 인공지능(AI) 규제 및 개발 속도 조절 촉구 시위의 현장 모습. 피켓에 적힌 "THIS IS AN EXISTENTIAL RISK" (이것은 실존적 위험이다)는 인공지능의 대부로 불리는 컴퓨터 과학자 제프리 힌턴(Geoffrey Hinton) 박사가 인공지능이 인류에게 미칠 수 있는 심각한 위협에 대해 경고했던 발언을 인용한 것이다.
2023년, 영국 런던 유니버시티 칼리지 런던(UCL) 로건 홀 앞에서 열린 인공지능(AI) 규제 및 개발 속도 조절 촉구 시위의 현장 모습. 피켓에 적힌 "THIS IS AN EXISTENTIAL RISK" (이것은 실존적 위험이다)는 인공지능의 대부로 불리는 컴퓨터 과학자 제프리 힌턴(Geoffrey Hinton) 박사가 인공지능이 인류에게 미칠 수 있는 심각한 위협에 대해 경고했던 발언을 인용한 것이다.

"AI를 만드는 사람들은 이번 10년이 끝나기 전에 AI가 우리 모두를 죽일 수 있다고 진심으로 믿는다."

지난 9월, AI 기업 앤트로픽을 떠난 한 연구원이 남긴 말이다. 같은 회사의 안전 연구 책임자는 그런 일이 10년 안에 일어날 가능성을 "10% 이상"으로 본다고 밝혔다.

공상과학 영화 속 이야기가 현실에서 나오고 있다.

시험 기간에 강의 자료를 요약하고, 리포트 자료를 찾고, 자기소개서를 다듬을 때 쓰는 바로 그 AI 기술이다. 전문가들은 AI의 위험을 어떻게 봐 왔는지, AI를 만드는 사람들은 왜 이런 경고를 하는지, 규제는 어디까지 왔는지 살펴본다.

● 2월까지만 해도 전문가들은 "아직은 아니다"라고 봤다

올해 2월 나온 「International AI Safety Report 2026」은 AI 위험에 대한 전문가들의 판단을 모은 보고서다. 요슈아 벤지오 몬트리올대 교수가 이끌었고, 30여 개국과 EU·OECD·UN이 추천한 전문가 패널의 자문을 거쳐 100여 명의 전문가가 작성했다.

국제 AI 안전 보고서 2026 표지
국제 AI 안전 보고서 2026 표지

① 지금 당장의 위험 현재 AI는 사람의 통제를 완전히 벗어날 만한 능력이 아직 없다

② 다가오는 위험 사람 없이 스스로 일을 처리하는 능력이 빠르게 좋아지고 있다

③ 숨겨질 수 있는 위험 AI가 시험 상황과 실제 상황을 구별하고 평가의 허점을 찾는다 위험한 능력이 출시 전에 발견되지 않을 수 있다

④ 안전장치의 한계 오류를 줄일 수는 있지만 위험이 큰 분야에서 필요한 수준엔 못 미친다

⑤ 관리 방식 AI 위험관리는 대부분 기업 자율에 맡겨져 있다

정리하면 지금 당장 AI가 사람의 통제를 벗어날 수준은 아니라는 것이 보고서의 판단이다. 다만 위험한 능력이 생겨도 제때 알아채지 못할 수 있고, 그 관리를 기업 자율에 맡기고 있다는 점은 문제로 지적했다.

● 하지만 9월, AI를 만드는 사람들이 직접 경고했다

하지만 반년 만에 AI를 만드는 사람들 안에서 훨씬 강한 경고가 나왔다. 클로드를 만든 앤트로픽의 전 연구원 제이컵 콕슨은 9월 8일(현지시간) 회사를 떠나며 자신의 X(옛 트위터)에 글을 올렸다.

그는 AI 기업들이 "스스로를 개선하는 초지능을 향해 곧장 경주하며 우리의 생명을 걸고 도박하고 있다"고 비판했다. 이어 "AI를 만드는 사람들은 이번 10년이 끝나기 전에 AI가 우리 모두를 죽일 수 있다고 진심으로 믿는다"고 썼다.

제이컵 콕슨이 9월 8일(현지시간) X에 올린 퇴사 글 <제이컵 콕슨 X>
제이컵 콕슨이 9월 8일(현지시간) X에 올린 퇴사 글 <제이컵 콕슨 X>

회사 안에서도 같은 목소리가 나왔다. 다음 날 앤트로픽의 에번 휴빙거 정렬과학 총괄은 개인 X 계정에 "제이컵의 말이 맞다. 우리는 AI가 모든 인간을 죽일 수 있다고 진심으로 믿는다"고 썼다.

또한 그런 일이 향후 10년 안에 일어날 가능성은 개인적으로 10% 이상으로 본다고 밝혔다.

에번 휴빙거 앤트로픽 정렬과학 총괄이 9월 9일 X에 올린 글 <에번 휴빙거 X>
에번 휴빙거 앤트로픽 정렬과학 총괄이 9월 9일 X에 올린 글 <에번 휴빙거 X>

● 10월, 결국 의회 증언대에 선 콕슨

논쟁은 의회로 이어졌다. 10월 5일(현지시간) 미국 뉴욕시의회는 전체 시의원으로 구성되는 전원위원회(Committee of the Whole)를 소집해 AI 위험에 대한 청문회를 열었다.

전 앤트로픽 연구원 제이컵 콕슨이 10월 5일(현지시간) 뉴욕시의회 AI 위험 청문회에서 증언하고 있다.
전 앤트로픽 연구원 제이컵 콕슨이 10월 5일(현지시간) 뉴욕시의회 AI 위험 청문회에서 증언하고 있다.

"우리는 아직 어떤 AI 시스템도 통제하는 방법을 모른다."

그는 AI가 사람이 설계도대로 '만드는' 것이 아니라 데이터로 '길러지는' 것에 가깝다고 설명했다. 그래서 개발자들조차 AI가 무엇을 원하고 왜 그렇게 움직이는지 완전히 알지 못한다는 것이다. 그는 AI가 스스로를 개선할 수 있는 시점에 가까워지고 있다고도 말했다.

모두발언에서는 더 강하게 경고했다. 콕슨은 "인류가 이 시스템에 통제권을 잃을 가능성이 그렇지 않을 가능성보다 크며, 그 끝은 인류 멸종일 수도 있다"고 말했다. AI 기업들의 '스타트업식' 개발 문화에 대해서는 "사진 공유 앱에는 통할지 몰라도, 인류가 만든 가장 강력한 기술을 만드는 데는 통하지 않는다"고 비판했다.

그가 제시한 해법은 두 가지였다. AI 기업의 투명성을 높이고, "안전하다고 확신할 수 있을 때까지 최첨단 AI 개발 속도를 늦춰야 한다"는 것이다.

● AI 기업 CEO들도 서명한 경고

이런 경고가 처음 나온 것은 아니다. 2023년 5월, 미국 비영리단체 AI안전센터(CAIS)는 단 한 문장짜리 성명을 발표했다. "AI로 인한 멸종 위험을 줄이는 것은 팬데믹, 핵전쟁 같은 사회적 규모의 위험과 함께 전 세계적인 우선순위가 돼야 한다."

서명자 명단에는 오픈AI의 샘 올트먼 CEO, 구글 딥마인드의 데미스 허사비스 CEO, 앤트로픽의 다리오 아모데이 CEO가 있었다. 'AI의 대부'로 불리는 제프리 힌턴과 요슈아 벤지오도 함께 서명했다. 영국 BBC는 이 소식을 "AI가 멸종으로 이어질 수 있다고 전문가들이 경고했다"는 제목으로 전했다.

2023년 5월 AI안전센터(CAIS)가 발표한 'AI 위험에 대한 성명'
2023년 5월 AI안전센터(CAIS)가 발표한 'AI 위험에 대한 성명'

● 시험장을 빠져나가 실제 기업을 해킹한 AI

경고가 현실의 사건으로 나타나기도 했다.

지난 7월, 오픈AI의 내부 시험용 AI가 시험 환경의 통제를 벗어나 외부 기업의 시스템에 침입하는 사건이 발생했다. 오픈AI는 8월 26일 공식 보고서를 통해 사건의 전말을 공개했다.

8월 오픈AI가 공개한 보고서에 따르면, 오픈AI는 내부 시험용 AI 모델로 해킹 능력 평가를 하고 있었다. 이 평가는 인터넷이 차단된 환경에서 진행됐다.

그런데 시험 문제를 해결하는 과정에서 평가 환경의 허점을 이용해 실제 외부 기업의 시스템에까지 침입한 것이다. 일부 모델은 평가 기록을 조작하거나 자신의 행동을 감추려는 시도도 보였다.

오픈AI는 이 사건을 자사와 세계에 대한 "경고 사격"이라고 표현했다. 이후 문제의 모델을 격리하고, 출시 예정이던 최신 모델의 일부 훈련을 중단했다.

오픈AI가 8월 공개한 허깅페이스 해킹 사건 보고서 <OpenAI>
오픈AI가 8월 공개한 허깅페이스 해킹 사건 보고서 <OpenAI>

사람이 AI를 해킹 도구로 쓴 사례도 있다. 2025년 11월, 앤트로픽은 자사 AI 클로드가 실제 사이버 공격에 쓰였다고 발표했다. 앤트로픽에 따르면 중국 정부의 지원을 받는 것으로 보이는 해커 집단이 대형 기술 기업, 금융기관, 화학 제조사, 정부 기관 등 약 30곳을 노렸고, 공격 작업의 80~90%를 AI가 스스로 수행했다.

● "겁주는 건 무책임하다"는 반론

반론도 만만치 않다. 젠슨 황 엔비디아 최고경영자(CEO)는 9월 미국 CBS 방송 인터뷰에서 "2030년이 세상의 끝이 될 가능성은 0%"라고 말했다. 그는 이런 예측이 과학에 근거하지 않았다며 "사람들을 겁주는 것은 불필요하고 무책임하다"고 비판했다.

젠슨 황 엔비디아 CEO가 9월 CBS 뉴스 인터뷰에서 AI 종말론을 반박하고 있다.
젠슨 황 엔비디아 CEO가 9월 CBS 뉴스 인터뷰에서 AI 종말론을 반박하고 있다.

2023년 성명 당시에도 'AI의 대부' 중 한 명인 얀 르쿤 뉴욕대 교수는 "이런 종말 예언에 대한 AI 연구자들의 가장 흔한 반응은 이마를 짚는 것"이라고 말했다.

● 규제는 어디까지 왔나

각국의 규제 범위는 다르다. 미국 캘리포니아는 가장 강력한 AI 모델의 안전성에 집중하는 반면, 한국은 생성형 AI의 투명성과 고성능 AI의 안전성을 함께 다룬다. EU는 위험 수준에 따라 AI를 폭넓게 규제하고, 중국은 대중에게 제공되는 생성형 AI 서비스와 콘텐츠를 관리한다.

한눈에 보는 나라별 AI 규제
한눈에 보는 나라별 AI 규제

1. 한국 AI기본법
- 시행: 2026년 1월 22일
- 대상: 가장 크고 강력한 AI 중 국민의 삶과 권리에 큰 영향을 줄 수 있는 AI를 만드는 기업
- 내용: AI의 위험을 꾸준히 살피고 관리하는 체계 마련
- 제재: 최대 3,000만 원 과태료 (최소 1년 계도기간이라 아직 부과하지 않음)

2. 미국 캘리포니아 SB 53
- 시행: 2026년 1월 1일
- 대상: 가장 크고 강력한 AI를 만드는 기업
- 내용: AI 안전 관리 방침 공개, 중대한 안전 사고 발생 시 15일 안에 주 정부에 보고, 회사의 위험을 외부에 알린 직원(내부 고발자) 보호
- 제재: 위반 1건당 최대 100만 달러

3. EU AI Act
- 시행: 2024년 발효, 2025~2026년 단계적 적용
- 대상: 범용 AI 모델 및 위험 수준에 따라 분류된 AI 시스템
- 내용: 범용 AI의 위험평가·관리, 안전조치, 중대 사고 보고 등
- 제재: 범용 AI 모델 제공자의 특정 의무 위반 시 최대 1,500만 유로 또는 세계 연 매출 3% 중 높은 금액

4. 중국
- 시행: 생성형 AI 서비스 관리 규칙 2023년 8월 15일, AI 생성물 표시 규칙 2025년 9월 1일
- 대상: 중국 국민에게 제공되는 생성형 AI 서비스 전반
- 내용: 여론에 영향을 줄 수 있는 서비스는 출시 전 정부 보안 평가와 알고리즘 등록, AI가 만든 글·사진·영상·음성에 'AI 생성' 표시

● 지금의 규제로 충분할까

규제가 생긴 것은 의미가 있다. 하지만 아직 빈틈이 많다.

첫째, 대부분 "알려라"는 의무다. AI가 위험해 보여도 개발을 멈추라고 할 수는 없다. 게다가 국제 보고서가 지적했듯, 위험한 능력이 출시 전 시험에서 드러나지 않을 수도 있다.

둘째, 처벌이 약하다. 한국 AI기본법의 과태료는 최대 3,000만 원이고, 그마저 안내 기간인 지금은 부과되지 않는다. 수조 원을 투자하는 AI 기업에는 큰 부담이 되기 어렵다.

셋째, AI를 확실하게 멈추는 방법이 아직 없다. 뉴욕시의회 청문회에서는 위험한 AI를 즉시 꺼 버리는 '킬 스위치'(긴급 차단 장치)도 논의됐다. 콕슨은 킬 스위치가 "단기적으로는 도움이 될 수 있다"면서도 오랫동안 안전을 지키기에는 부족하다고 봤다.

● AI를 잘 쓰는 세대에서 'AI를 감시하는 세대'로

AI가 인류를 멸종시킬 확률이 10%인지 1%인지는 누구도 확언할 수 없다. 그러나 AI를 만드는 사람들조차 그 위험을 정확히 모른다고 말하고 있다. 그리고 올해 여름, AI가 사람의 지시 없이 실제 기업을 해킹하는 일이 벌어졌다. 우리가 언제까지 어디까지 AI를 통제할 수 있을지 불확실해졌다는 것이다.

대학생은 AI를 가장 빨리, 가장 많이 받아들인 세대이자, 이 기술과 가장 오래 함께 살아갈 세대다. 과제를 도와주는 AI가 얼마나 편리한지는 누구보다 잘 안다.

이제는 그 AI를 누가, 어떤 기준으로 통제하는지에도 같은 만큼 관심을 가져야 한다.

AI를 잘 쓰는 세대를 넘어, AI가 안전하게 쓰이는지 감시하는 세대가 돼야 할 때다.

[매일경제 서포터즈 18기=성균관대 전은서]

링크가 복사되었습니다.
댓글 0