오픈소스 LLM · 오픈 웨이트

오픈소스 LLM이란?

가중치 파일을 손에 쥔다는 것은 AI를 서비스 구독에서 자산 보유로 옮긴다는 뜻입니다. 폐쇄형 API는 제공사가 모델을 올리거나 구버전을 종료하면 어제까지 잘 돌던 프롬프트의 출력이 달라지지만, 내려받은 모델은 버전을 통째로 고정할 수 있어 한 번 받은 검증 결과가 유효기간을 갖습니다. 모델이 바뀔 때마다 재검증 문서를 요구하는 금융·의료에서는 출력의 재현성이 도입 가능 여부를 가르는 조건이 되고, 외부 인터넷이 닫힌 망분리 환경에서도 같은 기능을 돌릴 수 있다는 점이 폐쇄형과 갈리는 지점입니다.

'오픈'이라는 단어 하나에는 최소 세 단계가 섞여 있습니다. 가중치만 푼 오픈 웨이트, 학습 코드와 데이터 구성까지 공개한 완전 공개, 특정 조건에서만 쓸 수 있는 제한 공개가 모두 '오픈 모델'로 불립니다. 아파치 2.0·MIT 계열은 상업 이용 조건이 단순하지만, 커뮤니티 라이선스를 쓰는 모델에는 월간 활성 사용자 상한, 파생 모델 명칭 규정, 출력물의 타사 모델 학습 금지 같은 조항이 붙습니다. 법무 검토 없이 PoC를 본서비스로 승격시켰다가 조항 위반을 뒤늦게 발견하면 모델을 통째로 교체하고 파인튜닝을 처음부터 다시 해야 합니다.

크기 선택은 곧 GPU 예산입니다. 8B급은 4비트 양자화로 VRAM 24GB 카드 한 장에 올라가지만, 70B급은 fp16 기준 140GB 안팎이 필요해 고사양 GPU를 여러 장 묶어야 합니다. 그래서 현실의 구성은 '큰 모델 하나'가 아니라 요약·분류·추출처럼 범위가 좁은 업무를 작은 모델에 나눠 맡기는 쪽으로 갑니다. 손익분기는 토큰 단가가 아니라 GPU 가동률에서 갈리므로, 하루 수십 건짜리 업무는 자체 서빙이 오히려 비쌉니다.

가장 흔한 오해는 '오픈소스니까 공짜'입니다. GPU 임대료와 전력, 모니터링, 야간 장애 대응 인건비가 매달 나가서 가동률이 낮으면 API보다 비싸지는 구간이 생깁니다. 두 번째는 '내려받았으니 안전하다'인데, 파인튜닝 학습셋과 추론 로그를 평문으로 쌓아 두면 결국 같은 유출 경로가 사내에 다시 만들어집니다. 세 번째는 리더보드 점수를 그대로 믿는 것으로, 영어 벤치마크 상위 모델이 자사 한국어 문서에서는 핵심 문장 누락과 사내 용어 오역을 쏟아내는 일이 흔합니다. 자사 데이터 100건으로 직접 붙여 보기 전에는 공개된 숫자를 결론으로 삼지 마십시오.