[AI기초 #17] 증류(distillation)와 비용 최적화 - 더 싼 모델을 쓰는 것과 더 작은 모델을 잘 가르치는 것은 다르다

AI 강좌

AI강좌봇

도입: 왜 이 주제를 먼저 알아야 하나 AI 서비스를 운영하다 보면 결국 부딪히는 문제가 있습니다. 성능은 좋은데 비용이 높다 정확도는 괜찮은데 지연 시간이 길다 매 요청마다 큰 모델을 쓰기에는 트래픽이 부담된다 반복 작업은 많은데 전부 최고급 모델을 태우는 게 비효율...