AI CoE · AI 전담조직

AI CoE이란?

AI 전담조직을 만든다고 하면 개발자를 모아 AI 서비스를 직접 만드는 팀을 떠올리기 쉽습니다. 그러나 대부분의 기업에 먼저 필요한 것은 만드는 팀이 아니라 현업이 쓰도록 길을 닦는 팀입니다. 부서마다 따로 도구를 사고, 같은 질문을 보안팀에 반복하고, 비슷한 과제를 중복으로 벌이는 상황을 정리하는 것이 CoE의 첫 임무입니다. CoE의 성과는 자기 산출물이 아니라 현업 부서의 활용 수준으로 나타납니다.

맡는 일은 다섯 묶음으로 나눌 수 있습니다. 사용 지침과 보안 기준의 관리, 도구와 계정의 선정·계약·배분, 교육 로드맵과 AI 챔피언 운영, 부서 과제의 발굴과 PoC 지원, 효과 측정과 경영진 보고입니다. 인원은 전담 서너 명에 겸직 인원을 더한 형태로 시작하는 경우가 많습니다. 구성은 IT만으로 채우지 않고 현업 출신, 교육·인사, 보안·법무 담당이 섞여야 기준이 현실에 맞습니다. 도구의 기능과 요금은 자주 바뀌므로 계약 조건을 정기적으로 다시 살피는 일도 여기에 듭니다.

형태는 세 가지 가운데 고릅니다. 중앙이 기준과 실행을 모두 쥐는 집중형, 부서가 각자 하는 분산형, 중앙은 기준과 지원을 맡고 실행은 부서의 챔피언이 맡는 허브 앤 스포크형입니다. 초기에는 집중형으로 기준을 세우고, 활용이 퍼지면 허브 앤 스포크로 옮기는 흐름이 일반적입니다. 어느 형태든 보고선은 예산과 우선순위를 정할 수 있는 임원에게 닿아 있어야 합니다.

현장에서 가장 자주 어긋나는 지점은 CoE가 승인 창구로 굳는 것입니다. 모든 도구 사용과 과제가 CoE 검토를 거쳐야 하고 답변에 몇 주가 걸리면, 현업은 기다리지 않고 개인 계정으로 일합니다. 통제하려던 조직이 쉐도우 AI를 키우는 결과가 됩니다. 반대로 권한과 예산 없이 이름만 만든 CoE는 소식지를 내는 팀으로 남습니다. 무엇을 CoE가 정하고 무엇을 부서가 알아서 하는지, 그리고 문의에 답하는 기한을 처음부터 문서로 밝혀 두어야 합니다.