LLM, GPT, 생성형 AI… 헷갈리는 AI 용어 한방 정리

LLM, GPT, 생성형 AI… 헷갈리는 AI 용어 한방 정리

회의실에서 "그거 RAG로 하면 되지 않나요?"라는 말에 멈칫한 적 있으신가요? 이 가이드를 따라 30개 핵심 AI 용어를 정리하면, 다음 회의에서는 여러분이 설명하는 사람이 됩니다.

왜 AI 용어 정리가 필요한가

• B2B 영업 미팅에서 고객이 **"생성형 AI 도입 검토 중"**이라고 할 때, LLM과 SLM의 차이를 설명할 수 있으면 신뢰도가 2배 올라갑니다.

• 사내 DX(디지털 전환) 회의에서 용어를 정확히 쓰면 커뮤니케이션 오류가 60% 이상 줄어듭니다.

Before: "AI 그거… ChatGPT 같은 거 쓰면 되는 거 아닌가요?"

After: "우리 유스케이스는 RAG 기반 SLM을 사내 데이터에 파인튜닝해서 도입하는 게 비용 대비 효과적입니다."

Step 1: 기초 중의 기초 — AI 계층 구조 5개 용어 이해하기

이 단계에서는 AI 세계의 지도를 그립니다. 아래 5개 용어는 위에서 아래로 "포함 관계"입니다.

1. AI (Artificial Intelligence, 인공지능)

• 한 줄 정의: 인간의 지능을 모방하는 모든 기술의 총칭입니다.

• 회의에서 쓰는 법: "이건 AI 중에서도 어떤 범주에 해당하나요?"

• 💡 AI는 가장 큰 우산입니다. 모든 하위 용어는 AI 안에 들어갑니다.

2. ML (Machine Learning, 머신러닝)

• 한 줄 정의: 데이터를 학습해서 패턴을 찾아내는 AI의 하위 분야입니다.

• 예시: 스팸 메일 필터, 고객 이탈 예측 모델

• Before/After: 규칙 기반 필터(정확도 70%) → ML 기반 필터(정확도 95%)

3. DL (Deep Learning, 딥러닝)

• 한 줄 정의: 인공 신경망을 여러 층 쌓아서 학습하는 머신러닝의 한 방법입니다.

• 핵심 포인트: "딥"은 신경망의 층이 깊다(deep)는 뜻입니다.

4. 생성형 AI (Generative AI)

• 한 줄 정의: 기존 데이터를 분석만 하는 게 아니라, 새로운 콘텐츠(텍스트·이미지·코드)를 만들어내는 AI입니다.

• 예시: ChatGPT(텍스트), Midjourney(이미지), Suno(음악)

• 💡 "분석형 AI"와 대비해서 설명하면 이해가 빠릅니다. 분석형은 "이 고객은 이탈할 확률 80%", 생성형은 "이 고객에게 보낼 이메일 초안을 작성해줘"입니다.

5. Foundation Model (파운데이션 모델)

• 한 줄 정의: 대규모 데이터로 사전 학습된 범용 AI 모델로, 다양한 작업에 활용할 수 있는 기반 모델입니다.

• 예시: GPT-4, Claude, Gemini, LLaMA

실습 프롬프트 — ChatGPT에 입력해 보세요:

"AI, 머신러닝, 딥러닝, 생성형 AI, 파운데이션 모델의 관계를 초등학생도 이해할 수 있게 러시아 마트료시카 인형에 비유해서 설명해줘."

Step 2: 언어 모델 핵심 용어 7개 마스터하기

이 단계가 실무에서 가장 자주 등장하는 구간입니다.

6. LLM (Large Language Model, 대규모 언어 모델)

• 한 줄 정의: 수십억~수조 개의 텍스트 데이터를 학습한 초대형 언어 모델입니다.

• 대표 모델: GPT-4(OpenAI), Claude(Anthropic), Gemini(Google)

• 회의 활용 예: "이 업무에는 LLM을 직접 쓸지, API로 연동할지 검토해야 합니다."

7. SLM (Small Language Model, 소규모 언어 모델)

• 한 줄 정의: LLM보다 파라미터 수가 적지만, 특정 작업에 최적화된 경량 모델입니다.

• 대표 모델: Phi-3(Microsoft), Gemma(Google)

• Before/After: LLM API 비용 월 500만 원 → SLM 자체 운영 시 월 80만 원

• 💡 B2B 영업 시 고객이 비용을 걱정하면 "SLM + 파인튜닝 조합"을 대안으로 제시하세요.

8. GPT (Generative Pre-trained Transformer)

• 한 줄 정의: OpenAI가 만든 LLM 시리즈의 이름이며, 동시에 "사전 학습된 생성형 트랜스포머"라는 기술 구조를 뜻합니다.

• 핵심: GPT는 고유명사(OpenAI 제품)이자 기술 아키텍처입니다. "GPT 계열 모델"이라고 하면 후자의 의미입니다.

9. Transformer (트랜스포머)

• 한 줄 정의: 2017년 구글이 발표한 딥러닝 구조로, 현재 거의 모든 LLM의 엔진에 해당합니다.

• 왜 중요한가: "Attention Is All You Need"라는 논문에서 시작되어 AI 역사를 바꿨습니다.

• 💡 트랜스포머는 자동차의 엔진, GPT는 그 엔진으로 만든 특정 자동차 모델이라고 비유하면 됩니다.

10. 파라미터 (Parameter)

• 한 줄 정의: AI 모델이 학습 과정에서 조정하는 내부 변수의 개수입니다. 흔히 모델의 "크기"를 나타냅니다.

• 감각적 이해: GPT-3는 1,750억 개, GPT-4는 약 1.8조 개(추정)의 파라미터를 가집니다.

• 회의 활용: "이 모델은 70B(700억) 파라미터급이라 온프레미스 GPU가 필요합니다."

11. 토큰 (Token)

• 한 줄 정의: LLM이 텍스트를 처리하는 최소 단위입니다. 한국어 기준 한 글자가 보통 1~2토큰입니다.

• 비용 계산: GPT-4o 기준 입력 100만 토큰당 약 $2.50 → 한국어 A4 1장(약 1,500자) ≈ 2,000~3,000토큰

• 💡 "토큰 수 = 비용"이므로, 프롬프트를 간결하게 쓰면 API 비용이 절감됩니다.

12. 컨텍스트 윈도우 (Context Window)

• 한 줄 정의: 모델이 한 번에 읽고 처리할 수 있는 최대 토큰 수입니다.

• 비교: GPT-3.5(4K 토큰) → GPT-4o(128K 토큰) → Claude 3.5(200K 토큰)

• 실무 의미: 컨텍스트 윈도우가 클수록 긴 문서를 한 번에 넣어 분석할 수 있습니다.

실습 프롬프트:

"이 영업 제안서(아래 텍스트)를 읽고, 고객이 가장 관심을 가질 3가지 포인트를 요약해줘. [제안서 전문 붙여넣기]"

Step 3: 실무 활용 단계 — 모델을 쓰는 방법 관련 용어 8개

13. 프롬프트 (Prompt)

• 한 줄 정의: AI 모델에게 주는 질문 또는 지시문입니다.

• Before: "매출 자료 정리해줘" → 결과: 두루뭉술한 표

• After: "2024년 Q3 매출을 부서별로 분류하고, 전분기 대비 증감률을 %로 표시한 표를 만들어줘" → 결과: 바로 보고서에 쓸 수 있는 표

14. 프롬프트 엔지니어링 (Prompt Engineering)

• 한 줄 정의: 원하는 결과를 얻기 위해 프롬프트를 체계적으로 설계하는 기술입니다.

• 핵심 기법 3가지:

  • 역할 부여: "당신은 10년 경력의 B2B 영업 전략가입니다"

  • 구조 지정: "표 형식으로 / 3가지로 / 500자 이내로"

  • 예시 제공: "아래 예시처럼 작성해줘"

15. Few-shot / Zero-shot / One-shot

• Zero-shot: 예시 없이 바로 질문하는 것입니다. "이메일 초안 써줘"

• One-shot: 예시 1개를 주는 것입니다. "아래 예시처럼 이메일 써줘 [예시 1개]"

• Few-shot: 예시 2~5개를 주는 것입니다.

• Before(Zero-shot): 결과 일관성 60% → After(Few-shot): 결과 일관성 90%

16. RAG (Retrieval-Augmented Generation, 검색 증강 생성)

• 한 줄 정의: LLM이 답변할 때 외부 데이터베이스를 검색해서 참고한 후 답변을 생성하는 기술입니다.

• 왜 중요한가: LLM은 학습 시점 이후의 정보를 모릅니다. RAG를 쓰면 사내 최신 문서를 기반으로 답변할 수 있습니다.

• B2B 활용: 고객사 매뉴얼 1,000페이지를 RAG에 연결 → 신입사원이 즉시 전문가 수준 답변 가능

• 💡 "파인튜닝 vs RAG" 비교 질문이 자주 나옵니다. 파인튜닝은 모델 자체를 바꾸는 것이고, RAG는 모델은 그대로 두고 참고 자료만 연결하는 것입니다. 비용과 시간 면에서 RAG가 훨씬 가볍습니다.

17. 파인튜닝 (Fine-tuning)

• 한 줄 정의: 사전 학습된 모델을 특정 도메인 데이터로 추가 학습시키는 것입니다.

• 예시: 범용 GPT → 법률 문서 10만 건으로 파인튜닝 → 법률 특화 AI

• 비용감: OpenAI GPT-4o mini 파인튜닝 기준 학습 100만 토큰당 $3.00

18. 할루시네이션 (Hallucination, 환각)

• 한 줄 정의: AI가 그럴듯하지만 사실이 아닌 정보를 만들어내는 현상입니다.

• 실무 위험: 제안서에 존재하지 않는 통계를 넣으면 신뢰도가 무너집니다.

• 💡 방지법: ① 출처 요청 프롬프트 추가 ② RAG 활용 ③ 팩트체크 단계 필수화

19. 임베딩 (Embedding)

• 한 줄 정의: 텍스트·이미지를 숫자 벡터(좌표)로 변환하는 것입니다. AI가 의미를 비교할 수 있게 해줍니다.

• 실무 예시: 고객 문의 1만 건을 임베딩 → 유사 문의 자동 분류 → 응대 시간 40% 단축

20. API (Application Programming Interface)

• 한 줄 정의: 외부 프로그램이 AI 모델의 기능을 호출해서 사용할 수 있게 해주는 연결 통로입니다.

• 회의 활용: "자체 개발 앱에 GPT-4o API를 연동하면 별도 AI를 만들 필요 없습니다."

• Before: 직원이 ChatGPT 창에 수동 입력(건당 3분) → After: API 자동 연동(건당 0.5초)

실습 프롬프트:

"나는 B2B SaaS 영업사원이야. 고객이 'RAG와 파인튜닝 중 어떤 걸 도입해야 하나요?'라고 물었을 때, 비용·속도·정확도 3가지 기준으로 비교표를 만들어줘. 각 항목에 구체적 수치 예시를 포함해줘."

Step 4: AI 서비스 & 비즈니스 용어 8개

21. ChatGPT

• 한 줄 정의: OpenAI가 GPT 모델 위에 대화형 인터페이스를 씌운 서비스 이름입니다.

• 💡 GPT는 엔진, ChatGPT는 자동차입니다. 혼용하지 마세요.

22. Copilot (코파일럿)

• 한 줄 정의: Microsoft가 Office 365, Windows, GitHub 등에 탑재한 AI 어시스턴트 브랜드입니다.

• 실무 예시: Excel에서 "이 데이터의 트렌드를 차트로 만들어줘"라고 Copilot에 입력

23. 에이전트 (AI Agent)

• 한 줄 정의: 사람의 개입 없이 스스로 판단하고 여러 도구를 활용해 작업을 완수하는 AI 시스템입니다.

• 예시: "경쟁사 뉴스를 매일 수집 → 요약 → 슬랙에 전송"을 자동으로 수행

• Before: 담당자가 매일 1시간 소요 → After: 에이전트가 자동 수행, 사람은 검토만(10분)

24. 멀티모달 (Multimodal)

• 한 줄 정의: 텍스트·이미지·음성·영상 등 여러 형태의 데이터를 동시에 처리하는 능력입니다.

• 예시: GPT-4o에 제품 사진을 올리고 "이 제품의 영업 포인트를 3가지 뽑아줘"라고 요청

25. 온프레미스 (On-premise) vs 클라우드 (Cloud)

• 온프레미스: 자사 서버에 직접 AI 모델을 설치·운영하는 방식입니다.

• 클라우드: AWS, Azure 등 외부 서버에서 AI를 사용하는 방식입니다.

• 선택 기준: 보안 민감 데이터(의료·금융) → 온프레미스 / 빠른 도입 → 클라우드

• 비용 비교: 온프레미스 초기 투자 약 3~5억 원 vs 클라우드 월 500~2,000만 원

26. 오픈소스 모델 (Open Source Model)

• 한 줄 정의: 모델의 가중치(학습 결과)를 공개해서 누구나 다운로드·수정·배포할 수 있는 모델입니다.

• 대표 모델: Meta의 LLaMA 3, Mistral, Falcon

• 💡 오픈소스 = 무료는 아닙니다. 운영 인프라(GPU 서버) 비용이 별도로 듭니다.

27. 토큰 이코노미 (Token Economy / 가격 체계)

• 한 줄 정의: API 사용 시 입력·출력 토큰 수에 따라 과금되는 비용 구조입니다.

• 비교(2024년 말 기준):

  • GPT-4o: 입력 $2.50 / 출력 $10.00 (100만 토큰당)

  • Claude 3.5 Sonnet: 입력 $3.00 / 출력 $15.00 (100만 토큰당)

  • GPT-4o mini: 입력 $0.15 / 출력 $0.60 (100만 토큰당)

28. 가드레일 (Guardrail)

• 한 줄 정의: AI가 부적절하거나 위험한 답변을 하지 않도록 안전장치를 설정하는 것입니다.

• B2B 중요성: 고객 대면 챗봇에 가드레일 미설정 시 브랜드 리스크 발생

• 설정 예시: "경쟁사를 비방하는 답변 금지", "의료·법률 조언 금지", "확인되지 않은 수치 사용 금지"

Step 5: 트렌드 & 전략 용어 최종 2개

29. AGI (Artificial General Intelligence, 범용 인공지능)

• 한 줄 정의: 특정 작업이 아닌 인간처럼 모든 지적 작업을 수행할 수 있는 AI입니다.

• 현재 상태: 아직 달성되지 않았습니다. 현재의 GPT-4o, Claude 등은 ANI(특화 지능) 단계입니다.

• 회의 활용: "현재 수준은 AGI가 아니라 특정 업무에 특화된 AI이므로, 도입 범위를 명확히 해야 합니다."

30. AI 거버넌스 (AI Governance)

• 한 줄 정의: 조직 내 AI 사용의 정책·윤리·보안·규정 준수를 관리하는 체계입니다.

• 필수 항목: 데이터 프라이버시 정책, AI 산출물 검증 프로세스, 직원 AI 사용 가이드라인

• Before: 직원마다 제각각 AI 사용 → 데이터 유출 위험 → After: 거버넌스 수립 → 보안 사고 0건

Step 6: 30개 용어 총정리 — 치트시트

💡 이 표를 캡처하거나 인쇄해서 모니터 옆에 붙여두세요. 회의 중 3초 만에 용어를 확인할 수 있습니다.

Step 7: 실전 활용 — 오늘 바로 써먹는 3가지 시나리오

시나리오 A: 영업 미팅에서 고객 질문에 답하기

고객: "파인튜닝이랑 RAG 중에 뭘 해야 하죠?"

추천 답변 프레임:

"고객님, 두 가지는 목적이 다릅니다. RAG는 모델은 그대로 두고 사내 문서를 검색 소스로 연결하는 것이라 2~4주 내 빠르게 도입 가능합니다. 파인튜닝은 모델 자체를 바꾸는 것이라 정확도는 높지만 데이터 준비에 2~3개월이 필요합니다. 우선 RAG로 MVP를 만들고, 성과를 본 후 파인튜닝으로 고도화하는 것을 추천드립니다."

시나리오 B: 사내 보고서에 AI 도입 비용 산출하기

ChatGPT에 입력:

"월간 고객 문의 10,000건을 GPT-4o mini API로 처리한다고 가정해. 문의 1건당 평균 입력 500토큰, 출력 300토큰일 때, 월간 API 비용을 계산해줘. 그리고 GPT-4o로 처리할 경우의 비용도 비교표로 만들어줘."

시나리오 C: 팀 교육 자료 만들기

ChatGPT에 입력:

"우리 팀(마케팅 부서, 10명)을 위한 AI 용어 퀴즈를 만들어줘. LLM, RAG, 파인튜닝, 할루시네이션, 프롬프트 엔지니어링, 토큰, 멀티모달 7개 용어에 대해 각각 4지선다 문제를 만들고, 정답과 해설도 포함해줘."

마무리 체크리스트

오늘 학습이 끝났다면, 아래를 확인하세요:

• AI → ML → DL → 생성형 AI → LLM 계층 구조를 말로 설명할 수 있다

• LLM과 SLM의 차이를 비용 관점에서 설명할 수 있다

• RAG와 파인튜닝을 비유로 구분해 설명할 수 있다

• 토큰 개념을 이해하고 API 비용을 개략 산출할 수 있다

• 할루시네이션의 위험성과 3가지 방지법을 말할 수 있다

• 치트시트를 모니터 옆에 출력해서 부착했다

💡 최종 팁: 용어를 "아는 것"과 "회의에서 자연스럽게 쓰는 것"은 다릅니다. 이번 주 회의에서 최소 3개 용어를 의식적으로 사용해 보세요. 한 번 입 밖으로 내면, 그때부터 여러분의 언어가 됩니다.