연구 결과: 생성형 AI 얼리 어답터 기업들의 평균 ROI, 41%로 나타나

생성형 AI는 단순히 유행에 그치지 않고 대세로 자리를 잡아가면서 기업들에게 실질적인 가치를 만들어내고 있습니다. 전 세계 많은 조직들이 생성형 AI 솔루션을 구현하고 있는 가운데, 놀라운 성과와 동시에 여러 과제가 부상하고 있습니다. 현재 세간의 관심은 생성형 AI가 실질적으로 얼마나 많은 가치를 제공하고 있는지 그리고 엔터프라이즈별로 최적의 생성형 AI 전략을 어떻게 수립할 수 있는지에 집중되어 있습니다.

Snowflake는 생성형 AI의 실질적인 영향을 이해하기 위해 전 세계 3,300여 개 조직을 대상으로 설문조사를 실시하여, 생성형 AI로 상당한 진전을 이루고 있는 얼리 어답터 기업 1,900곳을 파악했습니다. Snowflake의 최신 보고서 "생성형 AI의 파격적인 ROI"에 자세히 소개된 이 설문조사 결과에 따르면, 얼리 어답터 기업 중 92%가 긍정적인 ROI 성과를 보고했으며, 평균 ROI가 41%로 나타났습니다. 또한 이러한 ROI 성과로 인해 데이터 인프라(81%), LLM(78%), 지원 소프트웨어(83%), 인재(76%)에 대한 투자를 늘렸다는 응답률도 높게 나타났습니다.

위 수치들은 전반적인 평균치로, 보고서에서는 세계 8개 리전과 6개 주요 산업에 대한 핵심 내용을 소개하고 있습니다만, 본 블로그에서는 보다 거시적인 수치들을 살펴봅니다. 리전별 및 업종별 자세한 인사이트는 전체 보고서에서 확인하시기 바랍니다.

코드에서 고객 관리로  

생성형 AI는 엔터프라이즈 전반에 걸쳐 괄목할 만한 성과를 내고 있습니다. 설문조사 결과, AI가 “판도를 뒤바꿀 정도의” 또는 “상당한” 영향을 미치고 있다고 답한 얼리 어탑터 기업의 응답률은 75%를 웃도는 높은 수치를 보였습니다. 기술 영역에서는 생성형 AI가 관련 팀들의 작업 방식을 혁신하고 있는 것으로 조사되었습니다. 개발 팀 중 54%가 코드 품질 및 버그 감지 개선을 위해 생성형 AI를 사용하고 있으며, IT 운영 팀의 70%는 인프라 최적화 및 비용 분석에 이를 활용하고 있는 것으로 나타났습니다. 보안 팀 역시 비슷한 추세로, AI 사용을 보안 태세 개선과 인시던트 대응 시간 단축에 집중하고 있다는 응답률이 65%로 나타났습니다.

생성형 AI 기술은 고객 대면 부서에도 혁신적인 변화를 가져오고 있습니다. 영업 부서의 생성형 AI 기술 채택률은 38%로 상대적으로 낮았으나, 그럼에도 불구하고 매출 증가 및 예측 정확도 측면에서 실질적인 성과를 보고 있는 것으로 조사되었습니다. 마케팅 팀(채택률 44%)은 개인화된 콘텐츠 생성을 통해 참여도가 상승한 것으로 나타났고, 고객 서비스 부서(채택률 56%)는 AI 기반 챗봇 및 지식 관리를 통해 만족도 점수가 향상되었다고 응답했습니다.

전통적으로 기술과 거리가 먼 부서에서도 뚜렷한 성과를 보고 있습니다. HR 팀은 생성형 AI 덕분에 채용부터 성과 관리에 이르기까지 인사 업무 전반을 더욱 효율적으로 처리하고 있는 것으로 나타났으며, 60%는 채용의 질이 향상되었다고 응답했습니다. 조달 부서에서는 사용자의 76%가 분석 및 계약 관리 부문에서 획기적인 변화 혹은 큰 영향이 있었다고 응답했습니다. 제조 운영 부서에서는 수요 예측 및 유지 보수 일정 관리 측면에서 상당한 이점을 누리고 있다는 사용자의 응답률이 79%였습니다. 

이처럼 조직 내 전 부서에 걸쳐 생성형 AI가 이미 강력한 성과를 내고 있지만, 사실 생성형 AI의 무궁무진한 잠재력을 모두 활용하기까지는 아직 갈 길이 멉니다.

실행 환경 현황

설문조사 대상 기업 대부분(69%)은 저마다 최우선 순위의 생성형 AI 이니셔티브를 추진하고 있지만, 동시에 어려운 전략적 결정에 부딪히고 있습니다. 조사 기업 중  18%는 고객 대면 프로젝트의 임팩트가 가장 클 것이라고 생각하지만, 인프라의 한계, 보안 우려, 정확도 문제로 인해 직원 대면 이니셔티브에 집중하고 있다고 응답했습니다. 한편, 13%는 직원 애플리케이션에서 더 큰 잠재력을 보고 있음에도 불구하고 오히려 고객 대면 관련 프로젝트에 중점을 두고 있는 것으로 나타났으며, 곧바로 배포 가능한 솔루션을 통해 보다 예측 가능한 수익을 확보할 수 있다는 점을 주된 이유로 꼽았습니다. 

또한, 비정형 데이터와 관련된 과제가 특히 시급한 것으로 나타났습니다. 비정형 데이터는 엔터프라이즈 정보의 80~90%를 차지할 정도로 그 비중이 높지만, 비정형 데이터 중 절반 이상이 LLM 애플리케이션용으로 준비되어 있다고 응답한 얼리 어답터 기업의 비율은 11%에 불과합니다. 시간이 많이 소요되는 데이터 관리(55%), 품질 문제(52%) 및 데이터 민감성 관련 우려(50%) 등이 큰 방해 요소로 작용하고 있는 것으로 나타났습니다. 필자가 만나본 최고데이터책임자(CDO)들은 지난 1년 사이, 정형 데이터만 다루던 방식에서 벗어나, 비정형 데이터라는 광활하고 거친 세계에 발을 들여놓았다면서 비록 생성형 AI의 위력 덕분에 비정형 데이터라는 거대한 보고(寶庫)를 활용할 수 있게 되었지만, 때로는 그 방대한 양에 압도되는 느낌을 지울 수가 없다고 토로했습니다.

하지만 시간이 흐르고 적용 경험과 성공 사례가 축적되면 생성형 AI를 더욱 능숙하게 활용하고 그 기반 데이터의 방대한 규모에도 잘 대처할 수 있을 것입니다. 물론 그러한 상황에서도 기술 자체는 계속해서 고도화하고 진화할 것입니다. 대부분의 조직은 현재 상용이든 오픈 소스든 상관없이 멀티 모델 전략을 추구하고 있습니다. 얼리 어답터 기업 중 93%는 앞으로 1년 이내에 2개 이상의 LLM을 배포할 계획이며, 3개 이상을 계획하고 있다는 응답률도 59%에 달했습니다.

한편, 모델 맞춤화가 표준 관행으로 자리를 잡아가고 있습니다. 얼리 어답터 기업의 96%가 LLM을 교육, 튜닝 또는 보강하고 있는 것으로 나타났는데, 여기에는 독점 데이터 파인 튜닝(80%), 컨텍스트 인식과 정확도를 높이기 위한 검색 증강 생성(RAG)의 구현(71%) 등이 포함됩니다. 그런데 이런 작업에는 멀티테라바이트급의 데이터 세트 처리가 필요한 경우가 많아, 시스템 구현에 또 다른 복잡한 단계가 추가된다는 문제가 있습니다.

그럼에도 불구하고, ROI 지표와 기업들의 지속적인 투자 확대 의지에서 볼 수 있듯이, 생성형 AI가 제공하는 이점은 이러한 어려움들을 압도하고도 남습니다.

필수 요건으로서 데이터의 중요성 

초기 개념 증명을 통해 생성형 AI의 잠재력을 입증할 수 있지만, 프로덕션에 이르기까지는 강력한 데이터 인프라가 필요합니다. 얼리 어답터 기업들도 이 사실을 잘 인식하고 있습니다. 81%는 향후 1년 동안 클라우드 기반 데이터 웨어하우징에 대한 투자를 늘릴 계획이며, 평균적으로 24%의 지출 증가를 예상하고 있습니다.

이들 기업의 최우선 순위로는 보안이 꼽혔으며(84%가 중요 또는 매우 중요하다고 응답), 고급 AI 기능 및 통합 분석 역량에 대한 수요도 이에 못지 않게 높게 나타났습니다. 그러나 성공하기 위해서는 기술 인프라 그 이상이 필요합니다. 즉, 성과를 추적하고 최적화하기 위해서는 잘 설계된 사용 사례와 포괄적인 측정 시스템이 필요합니다.

Snowflake는 고객들이 현 AI 시대의 요구를 충족하고, 빠르게 늘어나고 있는 에이전틱 AI 관련 기회를 선점할 수 있도록 그에 걸맞은 인프라와 인사이트를 지원해 왔습니다. 현재 고객들은 AI를 도입함에 있어 시스템 전체를 조망하는 포괄적인 관점에서 투자와 ROI를 분석하고, 일관되고 세련된 사용자 경험을 제공하는 방식으로 접근하고 있습니다.

이제 시작일 뿐 

공공 영역에서는 생성형 AI가 세계를 어떻게 바꿀지, 그리고 기술 기업, 도입 기업, 더 나아가 사회 전체가 어떤 정책과 접근 방식을 따라야 할지에 대한 논의가 여전히 활발하게 이뤄지고 있지만, 엔터프라이즈 환경 내에서는 생성형 AI가 이미 뚜렷한 존재감을 드러내고 있다는 점은 의심의 여지가 없습니다.

그렇다고 진정한 AI 네이티브 경험이 등장한 것은 아닙니다. 지금까지 우리는 기존의 업무 방식에 생성형 AI를 접목하여 속도를 높이고 품질을 개선하고 비용을 절감하는 데 주력해 왔습니다. 하지만 머지 않아 소비자 영역에서 우리가 미처 상상도 하지 못한 기능을 가진 AI를 보게 될 것입니다. 앞서 모바일 시대에도 스마트폰 앱이 처음 등장했을 때 Uber와 같은 택시 호출 서비스가 나타나리라 전혀 예상하지 못했지만, 지금은 온갖 종류의 차량 호출 서비스와 배달 앱이 우리 삶의 일부로 자리매김하고 있는 것처럼 말입니다.

기업들이 생성형 AI를 통해 어떻게 놀라운 수익을 올리고 있는지 궁금하시다면 "생성형 AI의 파격적인 ROI" 보고서를 다운로드하세요.