선의는 검증 장치가 아니다.
기업은 자신이 책임 있게 행동한다고 말할 수 있다. 유명한 창업자들이 같은 약속에 서명할 수도 있다. 그러나 선언에 참여한 사람의 명성과 선언의 신뢰성은 같은 것이 아니다.
AI 개발을 늦추는 기준이 사회의 안전을 위한 것이라면, 그 기준은 경쟁 기업과 신규 진입자에게도 이해 가능해야 한다. 언제 멈추고, 어떤 증거로 다시 시작하며, 누가 예외를 승인하는지 보여 주지 못하면 안전은 원칙이 아니라 재량이 된다.
책임 있는 브랜드는 “우리를 믿어 달라”고 말하는 기업이 아니다. 믿지 않아도 확인할 수 있게 만드는 기업이다.
독립 평가자는 누구에게 충성하는가.
Anthropic의 다리오 아모데이는 제3자 평가자가 연구소 내부에 지속적으로 접근하고, 안전 관행과 사고를 확인하며, 기업의 편집 통제 없이 결과를 공개하는 구상을 제안했다. 제한적인 보안상 비공개는 허용하되, 평가 결과의 주인은 기업이 아니어야 한다는 생각이다.
좋은 출발이다. 그러나 “독립”이라는 이름만으로 독립성이 생기지는 않는다. 평가자를 누가 선정하고 비용을 내는가. 불리한 결과도 공개할 권리가 있는가. 다른 연구소에도 같은 기준을 적용하는가. 평가자가 기업과 결별한 뒤에도 자신의 판단을 설명할 수 있는가. 이 질문에 답해야 한다.
안전 규칙이 진입장벽이 되지 않으려면.
OECD는 AI 시장의 혁신을 위해 개방성과 경쟁 가능성이 중요하다고 지적한다. 동시에 컴퓨팅·데이터·전문 인력의 집중, 수직 통합, 선발 기업의 이점이 시장을 굳힐 위험도 경고한다. 안전 기준이 필요하다는 사실과 그 기준이 기존 기업을 보호할 수 있다는 위험은 동시에 존재한다.
따라서 규칙은 기업의 이름이 아니라 능력과 위험 수준에 연결되어야 한다. 같은 위험에는 같은 기준을 적용하고, 평가 방식과 재개 조건을 공개하며, 신규 기업도 감당할 수 있는 평가 접근성을 마련해야 한다. 안전이 경쟁을 없애는 면허가 되면, 사회는 위험을 줄이는 대신 선택권을 잃는다.
확인할 수 있는 네 가지.
- 멈춤 기준이 특정 기업이 아니라 모델의 능력과 위험에 따라 적용되는가.
- 평가자가 필요한 정보에 접근하고 불리한 결과도 독립적으로 공개할 수 있는가.
- 사고와 시정 조치, 재개 근거가 사후에라도 기록되는가.
- 규칙을 만든 주체와 이의를 심사할 주체가 분리되어 있는가.
OECD의 책임 있는 AI 실사 지침도 정책을 세우는 데서 끝나지 않는다. 영향을 식별하고, 예방·완화하고, 결과를 추적하고, 소통하고, 필요한 경우 구제하는 순환을 요구한다. 신뢰는 한 번의 약속이 아니라 반복해서 남는 기록에 가깝다.
범위와 한계.
이 글은 특정 기업이 법을 위반했다고 판단하지 않는다. 현재 소송에는 법원의 사실 인정이나 판결이 없으며, 제안된 거버넌스 기준은 저자의 분석이다. 독립 평가와 공개 규칙도 모든 AI 위험을 제거하지 못한다. 기술 능력과 시장 구조가 바뀌면 기준 역시 공개적으로 재검토되어야 한다.