AI 기업은 왜 규제를 말하기 시작했을까

최근 AI 업계에서 ‘속도 조절’이라는 말이 자주 등장한다. AI의 발전 속도가 너무 빠르니 잠시 속도를 늦추고, 안전성을 확인하면서 개발해야 한다는 주장이다.

그런데 이 말을 조금 다르게 생각해볼 필요가 있다.

AI의 속도를 조절한다는 것은 결국 무엇을 의미할까.

기업들이 알아서 천천히 개발하자는 선언만으로는 속도를 조절할 수 없다. 경쟁사가 계속 달리고 있는데 한 기업만 멈춰 있을 수도 없다. 결국 실제적인 속도 조절은 일정 수준 이상의 AI에 대해 안전성 평가를 요구하고, 위험관리 기준을 만들고, 배포 조건을 정하는 방식으로 나타날 수밖에 없다.

결국 속도조절론의 상당 부분은 규제의 문제로 귀결된다.

실제로 EU AI Act도 범용 AI 모델 가운데 일정 수준 이상의 시스템적 위험을 가진 모델에 대해 모델 평가, 위험 완화, 중대한 사고 보고, 사이버보안 등의 의무를 부과하는 방향으로 제도를 만들었다.

여기까지 보면 규제는 AI 기업을 제약하는 장치처럼 보인다.

그런데 반대편에서 보면 조금 다른 모습이 보인다.

규제는 기업을 제약하지만, 동시에 책임의 경계를 만든다

아직 규칙이 만들어지지 않은 산업에서 사고가 발생하면 책임의 범위 역시 불분명하다.

AI가 예상하지 못한 행동을 했다면 어디까지가 개발사의 책임일까. 충분한 테스트를 하지 않은 것이 문제일까. 그렇다면 어느 정도까지 테스트했어야 충분한 것일까. 모델을 만든 기업과 이를 서비스한 기업, 서비스를 사용한 사람 가운데 누가 어디까지 책임져야 할까.

기술이 강력해질수록 이런 질문은 더 어려워진다.

반대로 국가가 기준을 정하면 상황이 달라진다.

일정 규모 이상의 모델은 이런 평가를 받아야 하고, 이런 위험관리 절차를 갖춰야 하며, 문제가 발생하면 이런 방식으로 보고해야 한다는 기준이 생긴다.

기업 입장에서는 해야 할 일이 명확해진다.

EU가 범용 AI 모델에 관한 규칙과 행동강령을 설명하면서 반복해서 사용하는 표현 가운데 하나도 법적 확실성(legal certainty) 이다. 규제는 기업을 제한하는 동시에 무엇을 해야 규칙을 준수한 것인지 명확하게 만들어주는 역할도 한다.

물론 규정을 지켰다고 해서 사고에 대한 모든 법적 책임이 사라지는 것은 아니다. 하지만 적어도 기업은 자신이 어디까지 대비해야 하는지 알 수 있다.

이 점에서 규제는 단순한 족쇄가 아니다.

책임의 범위를 제도화하는 장치이기도 하다.

자동차 산업도 비슷한 길을 걸었다

자동차 산업을 생각해보면 이해하기 쉽다.

자동차가 처음 등장했을 때부터 지금과 같은 충돌안전기준과 각종 안전규정이 존재했던 것은 아니다. 산업이 커지고 자동차가 사회 전체에 영향을 미치기 시작하면서 정부는 자동차가 충족해야 할 안전기준을 만들어왔다.

미국의 경우 연방 자동차안전기준(FMVSS)을 통해 자동차와 관련 부품이 충족해야 하는 최소한의 안전성능을 규정하고 있다. 제조사는 자신이 만든 차량이 이 기준을 충족한다는 것을 인증해야 한다.

이것은 자동차 회사에는 분명한 규제다.

하지만 동시에 중요한 의미가 하나 더 있다.

‘안전한 자동차를 만들어라’라는 추상적인 요구가 ‘이 기준을 충족하라’라는 구체적인 요구로 바뀐 것이다.

규제가 산업을 막기만 한 것이 아니라, 산업이 사회 안에서 작동할 수 있는 경계를 만든 셈이다.

그렇다면 AI는 지금 어느 단계에 있는가

지금 AI 기업들은 이전보다 훨씬 강력한 모델을 만들고 있다. 단순히 질문에 답하는 수준을 넘어 도구를 사용하고, 외부 시스템과 연결되고, 여러 단계를 스스로 수행하는 에이전트 형태로 발전하고 있다.

능력이 커질수록 개발자가 모델의 모든 행동을 미리 예상하기도 어려워진다.

그렇다면 기업 입장에서도 규칙이 없는 상태가 반드시 편한 것만은 아닐 수 있다.

모델의 능력이 제한적일 때는 개발사가 대부분의 위험을 예상하고 관리할 수 있다. 그러나 AI의 자율성과 영향력이 커질수록 문제가 발생했을 때 기업이 어디까지 책임져야 하는지가 점점 불분명해진다.

그래서 조금 다른 관점에서 지금의 ‘AI 속도조절론’을 바라볼 수 있다.

AI 기업들이 규제를 이야기하는 것은 정말 자신의 개발 속도를 늦추기 위해서일까.

어쩌면 앞으로 등장할 훨씬 강력한 AI를 사회에 내놓기 위해서는 오히려 먼저 규칙이 필요해진 것은 아닐까.

정부가 안전성 평가 기준을 정하고, 위험관리 의무를 정하고, 사고 발생 시 대응 절차를 정해놓으면 기업 역시 그 안에서 움직일 수 있다.

규제가 기업을 묶는 동시에, 기업이 어디까지 책임져야 하는지를 사회가 함께 정해주는 셈이다.

속도를 늦추자는 말의 또 다른 의미

그래서 AI 속도조절론을 단순히 ‘AI가 위험하니 개발을 늦추자’는 주장으로만 보면 한쪽 면만 보게 될지도 모른다.

자동차가 대중화되면서 자동차 산업에 안전기준이 필요해졌고, 의약품 산업이 성장하면서 승인과 검증 체계가 만들어졌다.

AI 역시 비슷한 단계에 들어서고 있을 가능성이 있다.

그리고 여기에는 흥미로운 역설이 있다.

기술이 강력해질수록 기업은 규제를 피하고 싶어 하는 것이 아니라, 오히려 명확한 규칙을 필요로 할 수도 있다.

앞으로의 AI가 지금보다 훨씬 강력해지고, 개발한 기업조차 그 행동을 완전히 예측하기 어려운 수준으로 발전한다면 이 문제는 더욱 중요해질 것이다.

그때 기업에게 가장 부담스러운 것은 규제 그 자체가 아니라, 어쩌면 어디까지 책임져야 하는지 아무도 정해놓지 않은 상태일지도 모른다.

그렇다면 지금 AI 기업들이 ‘안전’과 ‘속도 조절’, 그리고 ‘규제’를 먼저 이야기하기 시작한 것은 무엇을 의미하는가.

정말 AI의 발전을 멈추기 위한 이야기일까.

아니면 더 강력한 AI가 등장하기 전에, 그 AI를 사회에 내놓을 수 있는 규칙과 책임의 경계선을 먼저 만들기 시작한 것일까.