지식 · AI 기초
지식 증류
Knowledge Distillation
📂AI 기초⏱읽기 1분📊심화🔗관련 4
지식 증류란?
한 줄 정의
큰 모델(선생)의 능력을 작은 모델(학생)에 옮겨, 성능은 최대한 유지하면서 가볍고 빠르게 만드는 기법.
⚡ 3줄 요약
- 큰 모델(선생)→작은 모델(학생)
- 성능 유지하며 가볍게
- 양자화와 함께 경량화
지식 증류는 성능 좋은 대형 모델을 '선생'으로 삼아, 그 출력을 흉내 내도록 작은 '학생' 모델을 학습시키는 방법입니다. 결과적으로 작은 모델이 큰 모델에 가까운 성능을 내면서도 훨씬 빠르고 저렴해집니다.
스마트폰·현장 기기처럼 자원이 제한된 곳, 또는 비용·속도가 중요한 서비스에서 유용합니다. 양자화(경량화)와 함께 'AI를 실전에 싸고 빠르게 배포'하는 대표 기술입니다. 최근 작지만 강한 모델들이 이런 기법의 산물입니다.
이 개념은 힌튼 등의 2015년 연구로 널리 알려졌습니다. 선생 모델의 '정답'뿐 아니라 '확신의 정도(부드러운 확률)'까지 학생이 배우게 하는 것이 핵심으로, 단순히 데이터를 다시 학습시키는 것보다 작은 모델의 성능을 효과적으로 끌어올립니다. 요즘 '작지만 강한' 모델들이 이런 기법의 산물입니다.
💡 쉽게 말하면
고수의 비법을 제자에게 압축 전수하는 것 — 작지만 큰 모델에 가까운 실력을 냅니다.
실무에서 왜 중요한가
강력한 AI를 '싸고 빠르게' 쓰게 해줍니다. 대형 모델의 비용 부담을 줄이는 실전 배포 기술입니다.
유래와 출처
제프리 힌턴(Geoffrey Hinton) 등이 2015년 논문에서 대형 모델의 지식을 작은 모델로 옮기는 방법으로 정립했습니다.
출처 · Hinton et al., Knowledge Distillation(2015)
사례로 이해하기
예를 들어, 서비스를 가볍게 만들려 증류를 쓴다고 해봅시다.
- 선생 — 성능 좋은 대형 모델을 준비합니다.
- 학습 — 그 출력을 흉내 내도록 작은 모델을 훈련합니다.
- 경량화 — 학생 모델이 훨씬 빠르고 저렴해집니다.
- 배포 — 자원이 적은 환경에도 올립니다.
- 검증 — 성능 손실이 허용 범위인지 확인합니다.
관련 용어
양자화 · 경량화모델 내부 숫자의 정밀도를 낮춰(예: 32비트→8비트) 크기와 연산을 줄이는 기술. 성능은 지키며 더 가볍고 빠르게 만든다.파라미터 · 매개변수AI 모델이 학습으로 조정하는 내부 값들. 'OO억 파라미터'는 그 모델의 규모(학습된 지식의 양)를 나타낸다.파인튜닝이미 학습된 AI 모델을 특정 분야·작업·말투에 맞춰 소량의 데이터로 추가 학습시키는 것.학습 · 추론학습(training)은 데이터로 모델을 '가르치는' 단계, 추론(inference)은 학습된 모델을 '실제로 사용해 답을 얻는' 단계.
이 용어와 연결된 교육
📚에이전트 AI 실무 입문나눔경영컨설팅 기업교육 · 대면/온라인과정 보기 →이 주제로 사내 교육이 필요하신가요?
담당자 맞춤 커리큘럼·견적을 바로 받아보세요.
자주 묻는 질문
완전히는 아니지만, 특정 작업에선 놀랄 만큼 근접합니다. 비용·속도 이점이 큽니다.
증류는 '작은 모델로 지식 이전', 양자화는 '같은 모델의 숫자 정밀도를 낮춰 경량화'입니다. 함께 쓰기도 합니다.
완전히 같진 않지만, 특정 용도에선 충분히 근접합니다. 속도·비용 이점이 큽니다.
증류는 '작은 모델로 지식 이전', 양자화는 '숫자 정밀도를 낮춰 경량화'입니다. 함께 씁니다.