③ Where to Use AI

18세기 초 영국의 광산에서는 갱도를 깊이 팔수록 차오르는 지하수 탓에 질 좋은 광맥을 눈앞에 두고도 채굴을 포기하는 일이 허다했다. 1712년경 토머스 뉴커먼(Thomas Newcomen)이 실용적인 형태의 증기기관을 만들어내고 나서야 비로소 펌프를 움직여 이 지하수들을 퍼 올릴 수 있었고, 이후 뉴커먼 기관은 광산의 배수에 널리 사용되기 시작했다. 하지만 이 기계에는 치명적인 약점 역시 하나 존재했는데, 바로 석탄을 엄청나게 먹어치운다는 것이었다.

이후 제임스 와트(James Watt)는 초기 형태의 증기기관에 별도의 응축기를 다는 방식으로 열 손실을 크게 줄였다. 이를 통해 같은 양의 물을 퍼내는 데 필요한 석탄의 양을 대폭 절감할 수 있었는데, 흥미로운 것은 와트의 사업 방식이었다. 제임스 와트는 새로운 기관의 특허 사용료를 기존 뉴커먼 방식과 비교해 절감되는 연료비에 연동했다. 새로운 기술의 가치를 절감된 석탄 비용의 금전적 가치에 직접 연결한 셈이다.

하지만 이렇게 절감된 석탄의 비용은 기계가 위치한 장소에 따라 전혀 달랐다. 예를 들어 석탄이 저렴한 미들랜즈의 주요 탄전에서는 뉴커먼 방식의 기관이 석탄을 많이 소비한다는 사실이 그리 비싼 문제가 아니었다. 실제로 초기 뉴커먼 기관은 이런 탄전 지역에서 상대적으로 빠르게 확산됐다. 반면 영국 남서부 콘월 지방에서 주석이나 구리를 캐내던 광산에서는 석탄을 외부에서 실어 와야만 했다. 석탄 가격이 높았던 이곳은 처음에는 오히려 연료를 많이 소비하는 뉴커먼 기관에 불리한 지역이었다. 그러나 연료효율을 크게 높인 와트 기관이 등장하면서 바로 그 높은 석탄 가격이 새로운 기술의 경제적 가치를 키우는 조건으로 바뀌었다. 18세기 영국의 증기기관 확산을 분석한 Nuvolari et al. (2011)의 연구에서도 석탄 가격은 뉴커먼 기관과 와트 기관의 상대적 채택을 가르는 중요한 변수로 나타난다.

제임스 와트의 증기기관은 석탄이 싼 곳에서나 비싼 곳에서나 똑같이 석탄을 아껴주는 기술이었다. 하지만 증기기관의 가치를 결정하는 것은 해당 기술이 놓인 환경이었다. 이 과거의 예시는 무언가 새로운 기술이 더 좋은 기술이라는 사실과, 그 기술에 기꺼이 돈을 지불할 가치가 있다는 사실은 같지 않다는 것을 보여준다.

오늘날의 AI도 마찬가지다.

AI로 할 수 있는 일이 많아질수록 선택은 더 어려워진다

이 원리를 AI를 적용하는 오늘날의 기업 현장에 적용하는 일은 더 까다롭다. 초기 와트 방식의 증기기관은 주로 광산에서 물을 빼낸다는 뚜렷한 목적이 있었기에 그중에서 석탄이 상대적으로 비싼 곳을 찾아내면 가치를 설명하기가 어렵지 않았다. 하지만 이와 달리 AI는 기업의 거의 모든 사무 업무에 파고들 수 있는 범용 기술(GPT)이다.

생성형 AI가 처음 등장했을 때 기업의 시선은 자연스레 AI가 무엇을 할 수 있는지에 쏠렸다. 글을 쓰고, 회의를 요약하고, 계약서를 분석하며, 코드를 짜는 능력은 그 자체로 마법과 같이 경이로워 보였다. 새로운 모델이 발표될 때마다 AI가 할 수 있는 기능의 목록은 길어졌고, 이제는 여러 시스템을 오가며 스스로 업무를 처리하는 에이전트(Agent)까지 등장했다.

불과 얼마 전까지만 해도 AI를 어디에 쓸지를 찾는 것 자체가 숙제였지만, 지금은 현업 부서에 아이디어를 요청하면 수백, 수천 개가 쏟아진다. LinkedIn을 보면 매일같이 자기가 AI를 써서 무엇을 만들었다는 이야기가 지겹도록 반복된다. 2024년 삼성SDS가 사내에서 생성형 AI 활용 아이디어를 모집했을 때 무려 1만4417건의 아이디어가 모였다. 이는 사실상 기업이 해야 하는 고민이 AI를 어디에 쓸지 찾는 단계에서 무엇부터 손대야 할지를 골라내야 하는 단계로 이동했음을 보여준다.

그런데도 여전히 수많은 기업에서 AI를 도입하는 논의를 할 때 "AI로 무엇을 할 수 있는가?"라는 기능적 질문에서 출발한다.

하지만 AI가 보고서 초안도 쓰고 번역도 하며 고객 응대까지 거뜬히 해낸다면, 할 수 있다는 사실 자체로는 그 어떤 우선순위도 걸러낼 수 없다. 그래서 기업이 흔히 꺼내 드는 다음 기준이 바로 AI의 개선 효과가 가장 큰 곳부터 시작하자는 것이다. 무척 그럴듯해 보이는 생각이지만, 이는 와트 기관이 석탄을 얼마나 아끼는지만 쳐다보고 정작 그 석탄의 시장 가격은 따져보지 않는 것과 비슷하다.

100% 개선된 작은 문제와 5% 개선된 큰 문제

직원들이 매주 20분씩 공들여 작성하는 정기 내부 보고서가 있다고 가정해 보자. 생성형 AI를 도입했더니 보고서의 품질은 그대로 유지되면서 작성 시간이 10분으로 단축됐다. 같은 시간에 두 배의 업무를 할 수 있게 되었으니 기술적 개선 효과만 놓고 보면 생산성이 100% 향상된 아주 훌륭한 성과다.

하지만 냉정히 따져보자. 회사가 이 프로젝트를 통해 실제로 얻은 것은 직원 한 명당 고작 일주일에 10분이라는 쪼가리 시간이다. 보고서 작성은 애초에 기업의 재무적 판돈이 작게 걸린 과업이었기에, 효율을 두 배로 끌어올린다 한들 그게 움직이는 경제적 가치는 미미하다.

이번에는 은행의 기업 대출 심사 프로세스를 들여다보자. 고도화된 AI를 도입했지만 심사 시간 단축은 5% 남짓에 불과했고 부도 예측 정확도 역시 고작 몇 %포인트 높아지는 데 그쳤다고 하자. 그러나 대출 심사에서는 단 한 건의 오판도 큰 손실로 이어질 수 있다. 그 미세한 몇 %포인트의 개선으로 대형 부실 대출 몇 건만 사전에 걸러내더라도 회사가 얻는 가치는 앞선 보고서 자동화 사례와 비교하기 어려울 만큼 커질 수 있다.

두 사례에서 기술적 개선의 폭은 보고서가 압도적이었지만, 실제 창출될 수 있는 경제적 가치는 대출 심사가 훨씬 클 수 있다. AI가 만들어내는 개선의 크기와 그 개선이 걸려 있는 문제의 경제적 크기는 별개의 문제이기 때문이다.

AI 투자기회의 크기를 판단하려면 적어도 두 가지를 함께 봐야 한다. 기술이 얼마나 크게 개선할 수 있는가와, 개선하려는 문제가 애초에 얼마나 큰 경제적 가치를 걸고 있는가이다. 현실의 AI 프로젝트 평가에서는 앞의 숫자는 비교적 쉽게 보인다. 시간을 몇 퍼센트 줄였는지는 시스템 도입 직후 곧바로 측정할 수 있다. 반면 그 개선이 기업의 어떤 경제적 결과를 움직일 수 있는지는 훨씬 더 따져봐야 한다.

그렇다면 이를 좀 더 파보기 위한 질문을 던져보자. 애초에 우리는 왜 하필 그 과업을 골라 개선하려 했는가?

AI 자체의 성능보다, 그 성능이 바꾸어 놓을 결정을 보자

특정 과업의 진정한 가치를 따지려면 그 과업의 결과물이 궁극적으로 어떤 결정으로 이어지는지를 추적해야 한다. AI를 예측(Prediction)의 비용을 낮추는 기술로 설명해온 경제학 연구도 바로 이 연결고리를 강조한다. 예측은 기업이 어떤 행동을 취할지 선택하기 위한 투입물(Input)에 불과하며, 그 가치는 더 나은 의사결정으로 이어졌을 때 비로소 창출된다는 뜻이다(Agrawal et al., 2018, 2019).

그렇다면 똑같이 훌륭한 예측 개선이라도 그 예측이 사용되는 의사결정의 무게에 따라 경제적 가치가 달라질 것이다.

다음 달 신제품 수요 예측 정확도를 90%에서 95%로 높여주는 훌륭한 AI가 있다고 치자. 만약 재고가 떨어져도 단 하루 만에 상품을 다시 조달할 수 있는 유통기업이라면 어떨까? 예측이 조금 빗나가도 즉각 바로잡을 수 있기에, 예측이 5%포인트 정교해졌다고 해서 기업의 실질적인 현금흐름에 큰 변화가 생기지 않을 수도 있다.

반대로 핵심 상품을 최소 석 달 전에 해외에서 선주문해야 하는 하이엔드 패션 브랜드라면 이야기가 전혀 다르다. 이들은 예측이 틀려도 중간에 궤도를 수정하기 어렵다. 수요를 과대평가했다면 시즌이 지난 재고를 큰 폭으로 할인해 밀어내야 하고, 과소평가했다면 뼈아픈 품절 사태로 매출은 물론 충성 고객까지 경쟁사에 빼앗길 수 있다. 이런 환경에서는 앞선 사례와 동일하게 예측력이 고작 5% 개선됐다고 해도 할인판매 방어, 잃어버릴 뻔한 매출의 보전, 운전자본 효율화라는 큰 재무적 차이를 만들어낼 수 있다.

두 기업이 도입한 AI 모델의 기술적 성능은 똑같지만 그 경제적 차이를 가르는 것은 틀린 판단을 내렸을 때 치러야 하는 대가의 차이다. 석탄 1톤의 가치가 석탄이 싼 탄전과 외딴 콘월 광산에서 갈렸던 것과 같은 이치다.

그러니 AI에 대한 유스케이스를 고를 때는 "이 업무를 AI로 얼마나 쌈박하게 자동화할 수 있는가?"를 묻기 전에, 현재 우리 회사가 이 결정에서 오판을 내리거나 타이밍이 늦어져서 얼마의 돈을 잃고 있는지를 먼저 따져 물어야 한다. 이러한 원인을 파고들다 보면 놀랍게도 정답이 AI가 아닌 경우도 오히려 많을 가능성이 높다. 막대한 손실의 원인이 겹겹이 쌓인 불필요한 결재 단계나, 부서별로 파편화된 데이터, 혹은 이미 돈 주고 사놓고 방치한 소프트웨어 탓이라면 그것을 먼저 정비하는 편이 비싼 AI를 욱여넣는 것보다 훨씬 싸고 빠르다.

비싼 문제를 찾는 궁극적인 목적은 맹목적으로 AI 쓸 곳을 찾는 것이 아니라 우리 회사의 가치를 창출해내는 것이기 때문이다.

똑같은 AI를 쥐여줘도 돈 되는 문제를 찾아내는 안목은 다르다

결국 성공적인 AI 투자의 중요한 과제 중 하나는 가치 있는 문제를 정확히 짚어내어 이를 AI의 역량과 연결하는 데 있다.

최근에는 이 과정을 직접 실험한 흥미로운 연구도 등장했다. 2026년 515개의 고성장 스타트업을 대상으로 실시된 현장실험에서는 새로운 AI 모델의 스펙이나 성능이 아니라, 기업이 AI를 자신들의 생산 과정 어디에 연결할지를 찾아내는 문제에 주목했다(Kim et al., 2026).

연구진은 실험 대상 중 일부 기업에 다른 기업들이 AI를 제품개발이나 전략 등 여러 활동에 어떻게 적용해 생산방식을 바꿨는지를 보여주는 사례들을 제공했다. 특정 소프트웨어의 매뉴얼을 가르친 것이 아니라, 다른 기업의 사례를 통해 자기 사업 안에서 미처 생각하지 못했던 AI의 활용처를 탐색할 수 있도록 한 것이다. 결과는 흥미로웠다. 처치를 받은 기업들은 대조군보다 AI의 새로운 활용처를 44% 더 많이 찾아냈다. 특히 제품개발과 전략 영역에서 새로운 적용이 늘었다. 이후 이 기업들은 완료한 과업이 12% 많았고, 유료고객을 확보할 가능성도 18% 높았으며 매출에서도 차이가 나타났다(Kim et al., 2026).

이 연구가 던지는 질문은 AI에 접근할 수 있다는 것과, 그 AI가 자기 회사의 어디에서 가치를 만들 수 있는지를 발견하는 것은 서로 다른 문제일 수 있다는 것이다. 즉, 같은 AI를 쓸 수 있는 기업들 사이에서도 무엇과 무엇을 연결하느냐에 따라 성과가 달라질 수 있다.

중요한 것은 아이디어 따위가 아니다

앞으로 기업 내에서 "AI를 이렇게 써보자"는 아이디어는 차고 넘치게 쏟아질 것이다. 당장 챗GPT를 켜놓고 우리 회사 상황에 맞는 AI 활용법 100가지를 뽑아달라고 지시하면 그럴싸한 답변이 쏟아질 것이다. 반면 그 수많은 아이디어를 현실로 구현할 내부 개발자, 정제된 데이터, 투입 가능한 예산, 그리고 조직 전체가 감당할 수 있는 변화의 양은 아이디어가 늘어나는 속도만큼 증가하지 않는다.

그래서 AI 투자는 흔히 하는 브레인스토밍처럼 새로 나온 AI를 우리 부서 어디에 한번 써볼까?에서 출발해서는 대부분 망할 것이다. 먼저 기업 안에서 경제적 가치가 크게 걸려 있는 결정과 과업을 찾아야 한다. 낡은 직감에 의존한 오판으로 큰 기회비용을 지불하는 곳, 의사결정이 늦어 고객을 경쟁사에 빼앗기는 곳, 비싼 전문가의 시간이 낮은 가치의 정보처리에 묶여 있는 곳, 짙은 불확실성 때문에 수요와 가격을 제대로 판단하지 못해 재고가 쌓이는 곳을 찾아내야 한다.

그런 다음에야 비로소 AI가 이 문제를 더 잘 풀 수 있는지를 물어볼 가치가 있다.

18세기 제임스 와트의 증기기관은 분명 어디에 가져다 놓아도 뉴커먼의 낡은 기계보다 연료를 덜 먹는 좋은 기술이었다. 그러나 그 혁신적인 효율에 가장 큰 경제적 가치가 붙은 곳은 석탄이 비싼 지역이었고, 그 사실은 기계의 성능표만 들여다봐서는 알 수 없고 석탄의 가격까지 함께 봐야 했다.

다가올 AI 시대의 비즈니스도 크게 다르지 않다. AI 모델은 앞으로도 빠르게 진화할 것이고, AI가 무엇을 할 수 있는지는 점점 더 쉽게 답할 수 있게 될 것이다. 그래서 기업들은 우리 회사에서 AI가 잘했을 때 가장 큰 돈이 움직이는 일은 무엇인지를 물어야 한다. AI가 잘하는 일에 현혹돼 자질구레한 잡무들을 자동화하면서 만족할 것이 아니라, AI가 그 일을 잘 해냈을 때 우리 회사의 가장 큰 가치가 움직이는 곳을 찾아내야 한다.

References

Acemoglu, D., & Restrepo, P. (2019). Automation and new tasks: How technology displaces and reinstates labor. Journal of Economic Perspectives, 33(2), 3–30. https://doi.org/10.1257/jep.33.2.3

Agrawal, A., Gans, J. S., & Goldfarb, A. (2018). Prediction machines: The simple economics of artificial intelligence. Harvard Business Review Press.

Agrawal, A., Gans, J. S., & Goldfarb, A. (2019). Artificial intelligence: The ambiguous labor market impact of automating prediction. Journal of Economic Perspectives, 33(2), 31–50. https://doi.org/10.1257/jep.33.2.31

Autor, D. H., Levy, F., & Murnane, R. J. (2003). The skill content of recent technological change: An empirical exploration. The Quarterly Journal of Economics, 118(4), 1279–1333. https://doi.org/10.1162/003355303322552801

Kim, H., Kim, D., & Koning, R. (2026). Mapping AI into production: A field experiment on firm performance (INSEAD Working Paper No. 2026/20/STR). INSEAD. https://doi.org/10.2139/ssrn.6513481

Nuvolari, A., Verspagen, B., & von Tunzelmann, N. (2011). The early diffusion of the steam engine in Britain, 1700–1800: A reappraisal. Cliometrica, 5(3), 291–321. https://doi.org/10.1007/s11698-011-0063-6

Samsung SDS. (2024, September 4). Samsung SDS realizes hyper-automation innovation with GPU-centric AI cloud [Press release]. https://www.samsungsds.com/us/news/real-240903.html