지식 · AI
트랜스포머
Transformer
한 줄 정의
문장 속 모든 단어의 관계를 한 번에 파악하는 '어텐션' 방식의 신경망 구조. 오늘날 생성형 AI의 기반.
트랜스포머는 이전 방식(단어를 순서대로 하나씩 처리)과 달리, '셀프 어텐션(self-attention)'으로 문장 안 모든 단어가 서로 얼마나 관련 있는지를 동시에 계산합니다. 덕분에 긴 문맥을 잘 이해하고, 병렬 처리가 가능해 대규모 학습이 빨라졌습니다.
이 구조 덕분에 모델을 크게 키울 수 있게 됐고, GPT·Claude·Gemini 같은 대규모 언어모델이 모두 이 위에 세워졌습니다. 즉, 트랜스포머는 현대 생성형 AI 붐을 가능하게 한 '엔진'입니다.
실무에서 왜 중요한가
왜 2020년대 들어 AI가 갑자기 똑똑해졌는지 — 그 기술적 분기점이 바로 트랜스포머입니다.
유래와 출처
2017년 구글 연구진(바스와니 등)이 논문 「Attention Is All You Need」에서 제시했습니다. 순환·합성곱 없이 오직 어텐션만으로 시퀀스를 처리한다는 발상이 이후 거의 모든 대형 AI 모델의 토대가 됐습니다.
출처 · Vaswani et al., 「Attention Is All You Need」(2017, Google) · 원문 보기
사례로 이해하기
예를 들어, 트랜스포머가 문맥을 이해하는 방식을 단순화해 봅시다.
- 입력 — '그 은행 앞 강가에 앉았다'라는 문장을 받습니다.
- 어텐션 — '은행'이 금융이 아니라 '강가'와 관련됨을 문맥에서 계산합니다.
- 동시 처리 — 모든 단어의 관계를 한 번에 병렬로 파악합니다.
- 표현 — 문맥이 반영된 의미 표현을 만듭니다.
- 확장 — 이 구조를 크게 키운 것이 GPT·Claude 같은 LLM입니다.
관련 용어
이 용어와 연결된 교육
📚클로드 코워크 핵심기능 활용나눔경영컨설팅 기업교육 · 대면/온라인과정 보기 →이 주제로 사내 교육이 필요하신가요?
담당자 맞춤 커리큘럼·견적을 바로 받아보세요.
자주 묻는 질문
트랜스포머는 '구조', LLM은 그 구조로 만든 '대형 언어모델'입니다. LLM이 트랜스포머 위에 세워집니다.
문장 속 어떤 단어가 서로 관련 있는지를 파악해 문맥을 이해하게 해주는 핵심 메커니즘이기 때문입니다.