오픈AI는 문샷AI와 연관된 조직이 자신의 모델의 보호된 추론을 대규모로 빼내는 행위를 적발했다고 밝혔습니다.

1/ 오픈AI가 보안 블로그에 조직적인 모델 증류 캠페인을 적발해 차단했다는 글을 올렸습니다. 7월 첫 주부터 누군가 오픈AI 모델의 보호된 추론을 체계적으로 빼내려 했고, 오픈AI는 이를 적대적 증류로 규정했습니다. 적대적 증류는 다른 회사 모델의 출력이나 추론을 허가 없이 대량으로 모아 자기 모델을 훈련하고 복제하는 데 쓰는 행위입니다. 오픈AI는 관찰한 운영자 모두가 한 주체에서 나왔는지는 분명하지 않다고 밝히면서도, 핵심 무리는 키미를 개발한 문샷AI와 연관된 개인들이라고 적었습니다. 오픈AI가 문샷을 공개적으로 지목한 것은 이번이 처음입니다.

오픈AI가 문샷AI를 공개적으로 지목했습니다. 누군가 1만 5천 명이 넘는 사용자 무리를 이용해 오픈AI 모델의 숨겨진 추론을 대규모로 빼내려 했고, 오픈AI는 핵심 무리가 Kimi 개발사 문샷AI와 연관됐다고 밝혔습니다. 실제 추론 탈취 방법과 사건의 전말을 정리했습니다🧵

2/ 오픈AI 설명으로 보호된 추론은 모델이 과제를 풀면서 남기는 내부 기록입니다. 오픈AI는 o1 이후 이 원문 대신 정리한 요약만 사용자에게 보여 왔고, 앤트로픽과 구글도 비슷한 방식을 택했습니다. 원문에는 최종 답에서 뺀 정보가 들어 있습니다. 문제를 쪼개고 가설을 세웠다가 버리는 과정도 함께 담겨 있어서, 모아 두면 다른 모델이 그 능력을 따라 배우는 학습 재료가 됩니다. 오픈AI는 공격자들이 암호를 깨거나 데이터베이스에 침입하지 않았고, 저장된 사용자 대화에도 접근하지 않았다고 강조했습니다. 서버는 멀쩡했는데 모델과 주고받는 대화만으로 감춰 둔 추론이 밖으로 나온 사건입니다.