실리콘 밸리의 AI 단속: 개발자들이 광범위한 새로운 규제에 말문이 막힌 상황

제안된 AI 정책은 첨단 AI 시스템의 잠재적 위험에 대한 여러 가지 주요 우려 사항을 강조합니다:

1. 실존적 및 재앙적 위험: 정책은 "주요 안보 위험"을 자기 복제 자율 에이전트를 설립하거나 인간의 통제를 영구적으로 벗어나는 등 지구상의 모든 사람에게 해를 끼칠 수 있는 실존적 또는 전 지구적 재앙적 위험으로 정의합니다.

2. 능력 벤치마크 vs. 컴퓨팅 벤치마크: 정책은 FLOPS와 같은 컴퓨팅 기반 벤치마크를 사용하여 AI 시스템을 우려 수준별로 분류할 것을 제안합니다. 그러나 이 접근 방식은 효율성 향상으로 인해 컴퓨팅 자원이 적은 모델에서도 더 높은 기능을 발휘할 수 있다는 점을 정확하게 반영하지 못할 수 있습니다.

3. 조기 교육 중단: 정책은 중간 수준의 우려 AI 시스템에 대해 정기적인 성능 테스트를 받도록 하고, 시스템이 예상치 못한 높은 기능을 보이면 교육을 중단해야 한다고 제안합니다. 이는 첨단 AI 시스템 개발을 지연시킬 수 있습니다.

4. 극도로 높은 우려 AI 판단: 정책은 무기 개발 지원, 글로벌 권력 불안정화 또는 기타 재앙적 위험을 초래할 수 있는 AI 시스템을 식별하기 위한 표준 개발을 요구합니다. 12개월 내에 이러한 표준을 정의하는 것은 AI 발전 속도가 빠르기 때문에 어려울 수 있습니다.

5. 하드웨어 모니터링: 정책에는 AI 개발에 사용되는 고성능 하드웨어(GPU 등)의 구매, 판매 및 사용을 보고해야 한다는 요구 사항이 포함되어 있어, 정부의 감독과 이러한 하드웨어에 대한 접근 제한이 증가할 수 있습니다.

6. 피해의 예측 가능성: 정책은 개발자가 AI 시스템의 신뢰성 "놀라움"을 유효한 변론으로 사용할 수 없다고 명시합니다. 개발자는 첨단 AI 시스템이 다양한 심각한 위험을 초래할 수 있다는 것을 알고 있어야 합니다.

7. 비상 권력: 정책은 대통령과 관리자에게 주요 안보 위험에 대응하여 AI 하드웨어 파괴, 모델 가중치 삭제, AI 연구소 물리적 압수 등의 광범위한 권력을 부여합니다.

8. 내부고발자 보호: 정책은 AI법 위반 행위를 보고하거나 거부하는 내부고발자를 보호합니다. 내부고발자의 신념이 잘못된 경우에도 보호받습니다.