AI PoC · 파일럿
AI Proof of Concept and Pilot
AI PoC이란?
- PoC는 되는가, 파일럿은 굴러가는가
- 성공 기준과 중단 기준을 시작 전에 숫자로
- 다음 단계의 주인과 예산을 함께 승인
PoC와 파일럿은 같은 말처럼 쓰이지만 답하는 질문이 다릅니다. PoC는 '기술적으로 되는가'를 묻고, 파일럿은 '우리 조직에서 굴러가는가'를 묻습니다. PoC는 소수 인원이 표본 데이터로 2~6주 안에 끝내는 실험이고, 파일럿은 한두 부서가 실제 업무에서 두세 달 써 보는 시범 운영입니다. 둘을 섞으면 PoC는 끝없이 길어지고 파일럿은 준비 없이 시작됩니다.
시작 전에 정해야 할 것은 도구가 아니라 성공 기준과 중단 기준입니다. '보고서 초안 작성 시간이 30% 이상 줄고 검토자가 고친 분량이 절반 이하'처럼 숫자로 적고, 기준에 못 미치면 접는다는 점까지 승인권자와 합의합니다. 기준 없이 시작한 PoC는 결과가 어떻든 '가능성을 확인했다'로 끝나고, 다음 단계의 예산을 판단할 근거가 남지 않습니다. 비교할 기준선은 시작 전에 재 둡니다.
파일럿에서는 기술보다 운영을 봅니다. 사용자가 실제로 매주 쓰는가, 틀린 결과를 누가 어떻게 걸러 내는가, 보안 지침과 충돌하지 않는가, 계정과 사용량 비용이 인원 확대 시 얼마가 되는가입니다. 대상 부서는 의욕 높은 곳 하나와 평범한 곳 하나를 함께 넣어야 전사 확대 때의 반응을 가늠할 수 있습니다. 비용은 제품의 버전과 요금제에 따라 달라지므로 견적 시점의 조건을 기록해 둡니다. 파일럿이 끝나면 확대, 수정 후 재시도, 종료 가운데 하나로 결론을 내야 합니다.
현장에서 가장 흔한 어긋남은 PoC가 줄줄이 성공했는데 아무것도 확산되지 않는 상태입니다. 잘 정리된 표본 데이터와 열의 있는 소수로 한 실험은 대개 성공합니다. 문제는 그다음 단계의 주인과 예산이 없는 것입니다. PoC를 승인할 때 '성공하면 누가, 어떤 예산으로 파일럿을 맡는가'를 함께 정해야 합니다. 또 파일럿 참가자에게 기존 업무량을 그대로 둔 채 새 도구 사용을 얹으면 낮은 사용률이 도구 탓인지 시간 탓인지 가릴 수 없게 됩니다.
| 구분 | PoC(개념 검증) | 파일럿(시범 운영) |
|---|---|---|
| 답하는 질문 | 이 업무에서 기술적으로 되는가 | 우리 조직에서 실제로 굴러가는가 |
| 참여 범위 | 소수 인원, 표본 데이터 | 한두 부서, 실제 업무 |
| 기간 | 2~6주 | 두세 달 |
| 주로 보는 것 | 결과물의 품질과 정확도 | 사용률, 검토 절차, 보안, 비용 |
| 끝난 뒤 결정 | 파일럿으로 갈지, 접을지 | 전사로 넓힐지, 고칠지, 접을지 |
개념 검증과 시범 운영은 본래 신기술·신제품 개발과 정보시스템 도입에서 널리 쓰이던 단계 구분입니다. 특정 창시자 없이 굳어진 실무 용어이며, 기업의 AI 도입에서도 같은 구분을 그대로 가져와 씁니다.
가상의 사례로 살펴보겠습니다. 건설 자재를 유통하는 D사는 임직원 420명입니다. 지난 1년간 AI 관련 PoC를 5건 진행해 모두 '가능성 확인'으로 보고했지만, 실제 업무에 쓰이는 것은 하나도 없었고 다음 해 예산 심의에서 그 이유를 지적받았습니다.
- 기획팀장은 견적서 초안 작성 한 가지만 골라 PoC를 다시 잡았습니다. 승인 문서에 '작성 시간 30% 이상 단축, 검토 수정률 20% 이하, 미달 시 종료'를 적고 영업본부장의 서명을 받았습니다.
- 영업지원팀 3명이 지난 분기 견적 60건을 표본으로 4주간 실험했습니다. 시작 전 한 주 동안 건당 작성 시간을 재 두었더니 평균 42분이었습니다.
- PoC 결과 건당 25분, 수정률 14%가 나와 기준을 넘겼습니다. 본부장은 "그럼 두 지점에서 실제로 써 보자"며 파일럿 예산과 담당자를 그 자리에서 지정했습니다.
- 파일럿은 의욕 높은 수도권 지점과 평범한 지방 지점 한 곳씩, 28명이 10주간 진행했습니다. 지방 지점의 주간 사용률이 3주 차에 35%까지 떨어져 지점장이 주간 목표를 조정했습니다.
- 10주 뒤 두 지점 평균 사용률은 71%, 건당 작성 시간은 42분에서 27분이 됐습니다. 계정 비용을 반영한 확대안이 승인돼 9개 지점 전체로 넓혔습니다.