DeepSeek V4 Flash 모델은 128GB 미만의 메모리로 실행될 수 있으며, 커스텀 양자화 레시피를 통해 107GB의 메모리 사용량으로 실행된다.

Ivan Fioravanti ᯅ (@ivanfioravanti) MLX에서 DeepSeek V4 Flash에 커스텀 양자화 레시피를 적용할 수 있다고 알렸다. 구체적 성능 수치나 구현 세부는 없지만, 대형 모델의 로컬 실행·메모리 최적화에 관심 있는 개발자에게 유용한 신호다. https://x.com/ivanfioravanti/status/2059028939046051975 #mlx #deepseek #quantization #llm #inference

Ivan Fioravanti ᯅ (@ivanfioravanti) MLX에서 DeepSeek V4 Flash를 M3 Ultra 환경에서 128GB 미만 메모리로 구동하는 데 성공했다고 공유했다. 커스텀 양자화 레시피를 적용해 107GB 사용량으로 실행했으며, Claude와 Opus 4.7이 구현 과정에 도움을 줬다고 밝혔다. Apple Silicon에서 대형 모델을 더 현실적으로 돌릴 수 있는 실무적 힌트다. https://x.com/ivanfioravanti/status/2059032109482746313 #mlx #deepseek #quantization #applesilicon #llm