중심 질문: 사람이 규칙을 만드는 시스템에서, 데이터가 패턴을 학습하는 시스템으로 무엇이 달라졌을까?
The Wave of AI
AI가 최근 큰 물결처럼 다가왔다.
각 기업에서 AI가 실제로 어느 정도의 성과를 내고 있는지 모두 알 수는 없다. 하지만 미국에서 들려오는 프로그래머 감원 소식과 국내 개발 현장에서 AI 기반 개발 방식이 도입되는 모습을 보면 변화의 속도가 심상치 않다.
앞으로 소프트웨어 역시 사람이 사용하는 기능만 제공하는 것으로는 부족할지 모른다. AI에게 데이터를 제공하고, AI의 판단을 실제 Action으로 연결할 수 있는 소프트웨어가 중요해질 것이라고 생각한다.
나도 지난 2~3개월 동안 에이전트를 활용해 업무를 수행해봤다. 결과는 꽤 만족스러웠다. 다만 난도가 높은 작업이나 시각화 작업에서는 생각보다 많은 암묵지를 AI에게 전달해야 했다.
AI가 모든 것을 알아서 해주는 시대라기보다, 인간과 AI가 일하는 방식을 처음부터 다시 설계해야 하는 시기가 온 것에 가깝다는 생각이 든다.
그래서 앞으로는 인간의 창의성과 함께 Data & AI Literacy가 더욱 중요해질 것이다.
최근 《넥스트 비즈니스 모델 2026》을 읽고 ChatGPT와 독서토론을 했다. 데이터 경제의 감을 잡는 데 꽤 도움이 됐다. 토론을 통해 이런 생각을 정리했다.
데이터의 길목을 장악한다는 것은 과거의 데이터를 많이 소유하는 것이 아니라, 고객과 기업이 자신의 서비스를 지속적으로 이용하게 함으로써 세상에서 지금 일어나고 있는 활동이 살아 있는 데이터가 되어 끊임없이 자신에게 흘러오는 구조를 장악하는 것이다.
그래서 요즘 데이터 파이프라인, Lakehouse, Spark, Databricks를 공부하고 있다.
공부할수록 시대의 변화를 느낀다.
사람이 지식을 정의하는 모델링에서, 데이터로부터 패턴을 학습하는 모델링으로 넘어왔다.
다르게 표현하면, 결정론적 사고의 영역에서 확률론적 사고의 영역으로 시스템의 판단 방식이 확장되고 있다.
모델링은 현실을 그대로 복사하는 일이 아니다
갑자기 모델링 이야기를 꺼내는 것이 낯설 수도 있다. 하지만 AI를 이해하려면 그 이전의 시스템이 어떻게 현실을 표현하고 판단했는지부터 볼 필요가 있다.
현실에는 정보가 너무 많다.
고객 한 명만 해도 이름, 나이, 주소, 직업, 소득, 구매 이력, 취향 등 수많은 특성을 가지고 있다. 하지만 쇼핑몰과 병원과 은행이 고객을 바라보는 관점은 서로 다르다.
따라서 모델은 현실 그 자체가 아니다.
목적과 관점에 따라 현실에서 필요한 것을 선택하고 구조화한 표현이다.
이 관점에서 시스템을 바라보면 모델링도 여러 종류로 나뉜다.
- Data Modeling — 무엇을 기억할 것인가?
- Process Modeling — 일이 어떤 순서와 상태로 흘러가는가?
- Rule Modeling — 어떤 조건에서 어떤 판단과 결과가 발생하는가?
오랫동안 내가 익숙했던 것은 이런 모델링이었다.
전통적인 업무 시스템에서는 사람이 규칙을 정의한다.
Input → Rule → Decision / Action
같은 입력과 같은 규칙이라면 같은 결과가 나온다. 판단 기준이 명확하기 때문에 결과가 나온 이유도 설명하기 쉽다.
하지만 현실의 모든 문제를 사람이 규칙으로 정의할 수 있을까?
텍스트를 다뤄보면 이 한계가 금방 드러난다. 같은 단어도 문맥에 따라 의미가 달라지고, 사람의 감정이나 의도처럼 명확한 조건식으로 정의하기 어려운 것도 많다.
규칙을 계속 추가하는 것만으로는 해결하기 어려운 문제들이 존재한다.
여기서 접근 방법이 달라진다.
사람이 Rule을 작성하는 대신 데이터에서 Pattern을 찾게 하는 것이다.
머신러닝의 세계가 시작된다.
단순화하면 판단의 흐름은 다음처럼 바뀐다.
Data → Pattern → Probability → Prediction
그리고 중요한 점이 하나 있다.
Prediction이 곧 Action은 아니다.
예를 들어 AI가 어떤 거래의 사기 가능성을 87%라고 예측했다고 해서 반드시 결제를 차단해야 하는 것은 아니다. 실제 행동에는 다시 업무 정책이 필요하다.
Data → Pattern → Prediction → Policy / Rule → Action
결국 머신러닝이 등장했다고 Rule이 사라지는 것이 아니다. 오히려 AI의 Prediction과 현실의 Action 사이에서 Rule과 Policy가 다시 중요해진다.
그리고 AI Agent
그래서 AI Agent를 단순히 LLM을 호출하는 프로그램으로만 보면 중요한 부분을 놓친다고 생각한다.
기업 시스템에는 여전히 데이터가 필요하고, 업무 규칙이 필요하고, 프로세스가 필요하고, 실제 작업을 수행할 Tool이 필요하다.
AI는 그 사이에서 판단할 수 있는 범위를 넓혀준다.
전통적인 시스템이 사람이 정의한 프로세스와 룰을 실행했다면, 머신러닝은 데이터에서 패턴을 학습해 Prediction을 만든다. 그리고 Agent는 그 판단을 Tool과 Workflow를 통해 다시 현실의 Action으로 연결한다.
Process / Data / Rule Modeling
↓
Pattern / Probability / Prediction
↓
Reasoning / Tool / Action이 흐름을 이해하면 AI Agent가 왜 데이터 플랫폼, 업무 시스템, Workflow와 함께 이야기되어야 하는지도 조금씩 보이기 시작한다.
다시 데이터의 길목으로
그래서 처음의 질문으로 돌아온다.
왜 나는 지금 데이터 엔지니어링과 AI를 같이 공부하고 있을까?
데이터 엔지니어링은 살아 있는 데이터가 흐를 수 있는 길을 만든다.
AI는 그 데이터에서 패턴을 찾고 판단하는 능력을 만든다.
Agent는 그 판단을 실제 시스템의 행동으로 연결한다.
Data Flow → Pattern → Prediction → Action
내게는 이 흐름이 하나의 큰 그림으로 보이기 시작했다.
기술 하나하나의 기능에 매몰되기보다 이 큰 흐름을 먼저 이해하면, 새로운 기술이 등장하더라도 그것이 어디에 위치하고 무엇을 바꾸는지 훨씬 쉽게 이해할 수 있을 것 같다.
아마 이것이 내가 요즘 데이터 플랫폼과 AI를 함께 공부하는 이유다.