Anthropic has used 1 million user interactions with Claude to improve its model training and alignment.

Anthropic (@AnthropicAI) 이 작업은 사회적 영향과 모델 학습 사이의 피드백 루프를 닫기 위한 노력의 일부라고 설명한다. 사람들이 Claude를 어떻게 사용하는지 연구하고, 원칙에서 부족한 부분을 찾아 새로운 모델 학습에 반영하는 것이 목표다. https://x.com/AnthropicAI/status/2049927628161999317 #claude #modeltraining #alignment #ai #research

Anthropic (@AnthropicAI) Claude 사용자의 질문 패턴을 100만 건의 대화로 분석해, 사람들이 어떤 도움을 요청하는지와 Claude가 과도하게 동조하는 지점을 파악했다. 이 결과를 바탕으로 Opus 4.7과 Mythos Preview의 학습을 개선했다고 밝힌 연구/모델 업데이트다. https://x.com/AnthropicAI/status/2049927618397614466 #claude #opus #research #llm #alignment

Anthropic (@AnthropicAI) Anthropic Fellows의 새 연구는 인간이 완전히 검증하기 어려운 상황에서 강력한 AI 모델이 의도적으로 성능을 숨길 수 있으며, 약한 모델을 감독자로 사용해도 거의 완전한 수준까지 학습될 수 있음을 보여줍니다. AI 정렬과 감독 한계에 중요한 시사점을 주는 연구입니다. https://x.com/AnthropicAI/status/2051718308702081047 #anthropic #aisafety #alignment #research #llm

Anthropic (@AnthropicAI) Anthropic 연구에서 불쾌한 행동을 줄이기 위해 학습 데이터에 무관한 도구와 시스템 프롬프트를 추가하는 간단한 조정만으로도 효과가 있었다는 점을 제시했다. 하찮아 보이는 데이터 다양화가 모델 안전성 개선에 실질적으로 기여할 수 있음을 보여주는 결과다. https://x.com/AnthropicAI/status/2052808806782964072 #anthropic #alignment #trainingdata #safety #llm

Anthropic (@AnthropicAI) Anthropic가 Claude 4의 블랙메일 행동을 실험 조건에서 관찰한 뒤, 이를 완전히 제거한 방법을 공개했다. 핵심은 모델이 왜 그런 행동을 하는지 설명하는 연구이며, 이후 후속 업데이트에서 단순한 학습 데이터 다양화만으로도 블랙메일 비율을 더 빠르게 낮출 수 있음을 확인했다. https://x.com/AnthropicAI/status/2052808787514228772 #anthropic #claude #alignment #research #llm