아태 고객 5배 증가, 소버린 AI 기업 코히어 한국 독립 법인 설립으로 조직 사업 기반 확대

소버린 AI 기업 코히어가 한국에 독립 법인을 설립하고 일본에서도 현지 법인 설립을 추진하며, 기업과 공공기관을 대상으로 아시아태평양 지역 사업을 확대한다. 지난해 서울에 아태지역 허브를 개설한 데 이어 현지 엔지니어링과 영업, 고객 지원 조직을 확충하고, 금융과 제조, 통신, 에너지, 공공부문 등 데이터 보안과 규제 준수가 중요한 산업을 중심으로 고객 기반을 넓힌다는 계획이다.

코히어는 5일 서울 소공동 웨스틴조선호텔에서 기자간담회를 열고 한국의 AI 미래와 기업 혁신에서 소버린 AI가 갖는 의미, 한국·일본 현지 법인 설립과 싱가포르 공공부문 협력 확대를 포함한 아태지역 사업 전략을 소개했다. 현장에는 프랭크 오다우드 코히어 사업총괄책임과 장화진 아시아태평양 총괄 대표 사장이 참석했다.

규제 산업 겨냥한 소버린 AI 전략…기업이 인프라 통제권 확보

오다우드 책임은 코히어를 기업과 정부기관이 AI 인프라와 데이터에 대한 소유권, 운영 권한을 유지할 수 있도록 지원하는 소버린 AI 기업으로 소개했다. 최근 소버린 AI와 프라이빗 AI가 시장의 주요 화두로 떠오르기 이전부터 규제가 엄격한 기업과 공공기관을 위한 엔터프라이즈 AI를 개발해 왔으며, 소비자 대상 서비스를 제공한 뒤 기업 시장으로 방향을 전환한 것이 아니라 설립 단계부터 금융과 제조, 통신, 헬스케어, 제약, 공공기관 등 보안과 규제 요건이 복잡한 환경을 주요 대상으로 삼았다는 설명이다.

또한 범용적인 질문에 답하는 소비자용 챗봇보다 기업 내부의 데이터와 업무 체계를 활용해 구체적인 업무를 수행하는 AI를 지향해 왔다고 강조했다. 기업이 보유한 시스템과 데이터를 외부 서비스에 종속시키지 않으면서도, 실제 업무에 AI를 적용할 수 있도록 모델과 플랫폼, 배포 환경을 함께 제공하는 것이 코히어의 사업 방향이라는 것이다.

2019년 설립된 코히어는 파운데이션 모델부터 기업용 AI 플랫폼, 검색·리트리벌 모델까지 자체 제품군을 구축하고 있다. 공동창업자이자 최고경영자인 에이단 고메즈는 오늘날 대규모언어모델의 기반이 된 트랜스포머 아키텍처를 제시한 논문 ‘어텐션 이즈 올 유 니드’의 공동 저자로, 코히어는 이러한 모델 개발 역량을 바탕으로 고객의 기존 시스템과 AI를 연동하는 사업을 전개하고 있다.

퍼블릭 클라우드부터 에어갭까지…배포 환경과 데이터 운영 방식 고객이 선택

오다우드 책임은 코히어의 소버린 AI 전략이 데이터의 저장 위치와 모델이 구동되는 인프라, 사용자별 접근 권한, AI 에이전트가 수행할 수 있는 업무 범위를 고객이 직접 관리하는 구조에 기반한다고 소개했다. 코히어 제품은 퍼블릭 클라우드와 가상사설클라우드, 기업 내부 데이터센터와 온프레미스 환경은 물론, 외부 네트워크와 완전히 분리된 에어갭 환경에도 배포할 수 있다는 설명이다.

이와 함께 AWS와 마이크로소프트 애저, 오라클클라우드인프라스트럭처 등 주요 퍼블릭 클라우드와 엔비디아·AMD 기반 하드웨어를 지원하며, 고객은 자체 보안 정책과 규제 요건, 운영비용을 고려해 구축 방식을 선택할 수 있다. 이에 따라 데이터와 모델, 인프라가 위치하는 장소뿐 아니라 이를 어떤 방식으로 보호하고 운영할지도 고객이 결정할 수 있다.

오다우드 책임은 데이터 주권의 정의가 국가와 시장마다 다르지만, 모델과 플랫폼, 애플리케이션 계층을 포함하는 전체 AI 스택을 제공하면 각 지역의 규제와 산업별 요구에 맞춰 시스템을 구성할 수 있다고 말했다. 또한 코히어가 FedRAMP를 비롯해 국가별로 요구되는 AI 보안·안전 기준에 대응하고 있으며, 엔비디아 등 기술 파트너들과 관련 인프라와 솔루션을 개발하고 있다는 내용도 덧붙였다.

이러한 배포 구조는 기업 고유의 데이터와 업무 노하우를 외부 모델 학습에 노출하지 않고 내부에 유지하는 것과도 연결된다. 오다우드 책임은 기업의 데이터가 경쟁력을 구성하는 핵심 자산인 만큼, AI를 도입한 이후에도 데이터의 소유권과 활용 범위를 고객이 계속 통제할 수 있어야 한다고 짚었다.

기업 AI 성과 기준은 ROI와 총소유비용…업무별 모델 선택 강조

오다우드 책임은 기업들이 AI 도입 과정에서 모델의 크기나 벤치마크 점수보다 기존 시스템과의 연계, 투자수익률과 총소유비용을 중요하게 살펴보고 있다고 진단했다. 기업들은 이미 ERP와 CRM, 데이터베이스, 협업 도구와 사내 애플리케이션에 상당한 비용을 투입한 만큼, 새로운 AI가 기존 시스템을 대체하는지보다 현재 환경과 결합해 어떤 추가적인 업무 효과를 만들어낼 수 있는지를 확인하고 있다는 것이다.

그는 “기업 고객들은 이미 투자한 시스템과 함께 어떤 추가적인 가치와 효과를 만들어낼 수 있는지를 궁금해한다”며 “AI는 기존 소프트웨어를 대체하기보다 기업이 보유한 소프트웨어와 데이터를 보완하고 활용도를 높여야 한다”고 말했다.

또한 생성형 AI를 도입해 일부 업무가 편리해졌더라도 모든 업무에 대규모 프런티어 모델을 적용하면 토큰 사용량과 운영비가 늘어나, 기대했던 만큼의 사업적 가치를 확보하기 어려울 수 있다고 지적했다. 이에 따라 반복적인 문서 처리와 자료 정리, 행정·사무 업무에는 상대적으로 작고 효율적인 모델을 사용하고, 복잡한 추론과 전문적인 의사결정이 필요한 업무에는 고성능 모델을 배치하는 방식이 필요하다는 설명이다.

오다우드 책임은 기업에서 성과를 거둔 AI 활용 사례도 외부에서 주목받는 서비스보다 반복적인 백오피스 업무 자동화에 집중된 경우가 적지 않다고 소개했다. 문서 검색과 보고서 작성, 고객 문의 처리, IT 지원 등 많은 시간이 투입되는 업무를 줄이는 것이 AI 도입 효과를 확인하는 출발점이 될 수 있다고 덧붙였다.

‘노스’로 에이전트 운영하고 ‘컴파스’로 기업 데이터 검색

코히어는 엔터프라이즈 AI 플랫폼 ‘노스’를 업무별로 여러 모델과 에이전트를 구성하고 관리할 수 있는 기반으로 소개했다. 노스는 기업이 자체 인프라 안에서 AI 에이전트와 워크플로 자동화 기능을 구축·운영할 수 있도록 설계됐으며, 코히어 모델뿐 아니라 다른 프런티어 모델과 오픈소스 모델도 함께 사용할 수 있다.

오다우드 책임에 따르면 기업은 노스의 에이전트 카탈로그에 여러 모델과 에이전틱 AI 솔루션을 등록하고, 업무 종류와 비용을 기준으로 사용할 모델을 선택할 수 있다. 또한 모델이 퍼블릭 클라우드나 기업 내부 데이터센터 가운데 어디에 배치돼 있는지와 관계없이 하나의 플랫폼에서 에이전트를 구성·관리할 수 있으며, 별도의 플러그인이나 코딩 없이 활용할 수 있는 도구와 워크플로 기능도 제공한다.

노스가 지원하는 업무 범위에는 재무와 영업, 인사, IT, 고객 지원 등이 포함된다. 예산 전망과 CRM 데이터 업데이트, 영업 미팅 준비를 비롯해 사내 정보와 업무 맥락을 바탕으로 대응하는 고객 지원 에이전트, IT 지원 티켓 자동 처리 등이 대표적인 활용 사례로 제시됐다.

기업 내부 데이터 검색에는 ‘컴파스(Compass)’가 활용된다. 코히어는 컴파스가 임베드(Embed)와 리랭크(Rerank), 번역 기술을 결합해 문서와 데이터에서 관련 정보를 찾고, 검색 결과의 우선순위를 조정한다고 설명했다.

이 과정에서 검색된 문서 전체를 대규모 모델에 전달하는 대신 리랭크 모델이 관련성이 높은 자료를 먼저 선별하면, 프런티어 모델이 처리해야 하는 토큰의 양을 줄일 수 있다. 오다우드 책임은 이를 통해 검색 결과의 관련성을 높이면서 생성형 AI의 추론 비용도 낮출 수 있다고 말했다.

또한 임베드 4는 텍스트뿐 아니라 이미지와 표, 그래프, 코드, 다이어그램이 포함된 PDF 보고서와 프레젠테이션 자료를 분석하도록 개발됐으며, 리랭크 4는 낮은 지연시간과 다국어 검색, 기업별 요구에 맞춘 세부 조정 기능을 제공한다.

적은 수의 GPU로 기업 AI 운영…다국어·검색 모델 제품군 확대

오다우드 책임은 코히어 모델의 컴퓨팅 효율성을 주요 강점으로 제시했다. 코히어에 따르면 일부 모델은 비교적 적은 수의 GPU에서도 구동할 수 있도록 설계돼, 대규모 데이터센터를 운영하기 어려운 기업이나 네트워크 지연이 큰 환경, 외부 연결이 제한된 현장에서도 에이전틱 AI를 사용할 수 있다.

현재 공개된 커맨드 A 플러스는 복잡한 추론과 멀티모달·다국어 에이전틱 작업을 지원하는 오픈소스 기업용 모델이다. 코히어는 이 모델이 최소 2개의 H100 GPU에서 구동되며, 대규모 인프라 투자가 어려운 기업도 자체 환경에서 AI 애플리케이션을 구축할 수 있도록 컴퓨팅 자원 요구량을 낮췄다고 소개했다.

아울러 코히어는 기존 고효율 모델과 함께 보다 복잡한 추론과 대규모 업무를 처리할 수 있는 제품도 준비하고 있다. 오다우드 책임은 올해 말까지 커맨드 A 플러스 계열의 1조 파라미터급 대형 모델을 추가로 선보일 계획이라고 밝혔다.

다국어와 번역 기술도 아태지역 사업 확대를 위한 기반으로 제시됐다. 코히어는 지역별 언어를 활용해 모델의 검색과 추론 성능을 높이고 있으며, 커맨드 A 번역을 비롯한 번역 모델을 임베드·리랭크 기술과 결합해 비영어권 기업의 데이터 활용을 지원하고 있다고 설명했다.

오다우드 책임은 코히어가 실시한 아랍어 벤치마크에서 주요 프런티어 모델과 유사한 수준의 결과가 나왔다고 소개했다. 이어 현지 언어에 맞춘 모델과 검색 기술이 비영어권 시장의 기업용 AI 도입에서 중요한 요소라고 평가했다.

LG CNS·후지쯔부터 금융·통신까지…산업별 적용 사례 제시

한국에서는 LG CNS와의 협력이 대표 사례로 제시됐다. 오다우드 책임은 코히어가 LG CNS와 함께 국내 기업의 환경과 업무에 맞춘 AI 솔루션을 제공하고 있으며, 생산성과 운영 효율을 측정할 수 있는 활용 사례를 구축하고 있다고 소개했다.

일본에서는 후지쯔와 공동 개발한 일본어 대규모언어모델 ‘타카네’가 언급됐다. 타카네는 코히어의 기반 모델을 활용해 일본어와 현지 기업 환경에 맞춰 개발됐으며, 일본 디지털청에서도 활용되고 있다. 코히어는 일본 법인 설립을 추진하는 한편, 후지쯔와의 협력을 확대하고 일본의 언어와 규제, 산업별 요구에 맞춘 소버린 AI 솔루션을 개발한다는 방침이다.

글로벌 금융 분야에서는 캐나다왕립은행의 ‘노스 포 뱅킹’ 사례가 소개됐다. 코히어에 따르면 RBC는 9만명 배포를 목표로 현재 5만명 이상에게 플랫폼을 제공했으며, 이 가운데 약 4만5000명이 실제로 서비스를 사용하고 있다.

오다우드 책임은 기업이 AI 플랫폼 계정을 임직원에게 일괄 제공한 뒤 전체 계정 수를 이용자 수로 제시하는 경우가 있지만, 실제 성과를 판단하려면 활성 이용자와 업무 활용도를 살펴봐야 한다고 말했다. 또한 RBC에서는 여러 업무용 에이전트가 플랫폼 안에서 개발돼 활용되고 있다고 덧붙였다.

통신 분야에서는 사우디텔레콤컴퍼니가 2만명 이상의 이용자를 대상으로 ‘노스 포 텔코’를 배포하고, 플랫폼에서 150개가 넘는 맞춤형 에이전트를 구축한 사례가 제시됐다. 코히어는 STC가 보유한 통신 산업 데이터와 도메인 지식을 활용해 자체 업무에 맞춘 모델도 개발했다고 밝혔다.

델과는 비즈니스 프로세스 자동화를 위한 AI 에이전트를 구성하고 배포하는 엔드투엔드 솔루션을 제공하고 있다. 이와 함께 코히어 기술은 델 AI 팩토리의 통합 에이전틱 검색증강생성 엔진에도 포함돼 있으며, 관련성이 높은 정보를 자동으로 색인하고 저장한 뒤 업무 요청에 맞춰 추출하는 데 활용된다.

공공부문에서는 싱가포르 국방부 산하 과학기술청과 일본 디지털청 등이 주요 협력 대상으로 제시됐다. 코히어는 싱가포르 공공기관과의 협력을 확대하고, 개인정보 보호와 보안, 투명성에 대해 높은 기준을 요구하는 기관에서 사용할 수 있는 엔터프라이즈 AI 플랫폼을 제공한다는 계획이다.

한국 독립 법인 설립…2027년 아태 사업 기반 네 배로 확대

아태지역 사업 확대는 한국과 일본, 싱가포르에 구축한 기존 사업 기반을 중심으로 진행된다. 코히어의 아태지역 조직은 제품과 엔지니어링, 솔루션 아키텍처, 영업, 고객 성공 등으로 구성돼 있으며, 지난해 서울에 아태지역 허브를 개설한 이후 현지 인력과 파트너 체계를 확충해 왔다.

코히어는 지난 12개월 동안 아태지역 조직을 두 배로 늘렸으며, 올해 말까지 기술·사업 인력을 현재의 두 배로 다시 확대할 예정이다. 여기에 신규 사무소 개설을 더해 2027년 말까지 역내 사업 기반을 현재의 네 배 규모로 키운다는 목표도 세웠다.

고객 기반 역시 확대되고 있다. 코히어에 따르면 아태지역 고객 수는 지난 1년간 다섯 배 증가했으며, 금융 서비스와 제조, 에너지, 기술, 공공부문 등 규제가 엄격한 산업을 중심으로 매출이 늘고 있다. 향후 1년 동안 아태지역 고객 기반을 다시 세 배 이상 확대한다는 목표도 제시했다.

한국에서는 별도 법인을 설립해 상시적인 현지 사업 기반을 구축하고, 국내 기업과 공공기관을 지원하는 엔지니어링·영업·고객 지원 조직을 확대한다. 일본에서도 현지 법인 설립을 추진하면서 후지쯔를 비롯한 주요 기업과의 협력을 넓히며, 싱가포르에서는 기존 공공부문 협력을 강화해 보안과 데이터 보호 요건이 높은 정부기관의 AI 도입을 지원할 예정이다.

장화진 아시아태평양 총괄 대표 사장은 “아태지역은 전 세계에서 가장 역동적인 기업용 AI 시장 가운데 하나”라며 “코히어는 역내 현지 파트너들과 장기적인 소버린 AI 역량을 구축하기 위한 투자를 지속하고 있다”고 말했다.

이어 “이번 사업 확대는 실제 고객 수요와 대규모 환경에서 안전하고 신뢰할 수 있는 AI 시스템을 제공하며 쌓아온 신뢰를 반영한다”며 현지 엔지니어링 인력과 기업 전담 지원, 공공기관 협력을 계속 확대하겠다는 입장을 나타냈다.

이날 코히어는 기업 AI의 도입 기준으로 모델의 규모와 성능뿐 아니라 데이터가 저장되는 위치, 사용자가 모델과 에이전트를 통제할 수 있는 범위, 기존 업무 시스템과의 연동, 투자비 회수 가능성을 함께 제시했다. 한국과 일본 현지 법인 설립을 통해 지역별 규제와 기업의 요구에 현지에서 대응하고, 국내 기술 기업과 산업별 파트너, 공공기관과의 협력을 바탕으로 규제 산업의 적용 사례를 늘린다는 계획이다.