기업에서 생성되는 데이터의 80% 이상이 비정형 데이터인 것을 아시나요?
비정형 데이터는 AI를 활용한 데이터 분석에서 가장 핵심으로 떠오르는 요소이지만, 그대로는 학습이 불가능해 구조화 하는 작업이 필수입니다.
그렇다면 비정형 데이터란 정확히 어떤 데이터를 의미할까요? 그리고 기업들은 AI 활용의 가장 큰 과제인 비정형 데이터 문제를 어떻게 풀어나갈 수 있을까요?
AI가 고도화되면서 정형 데이터와 비정형 데이터 사이의 간극을 좁히고 그동안 손 닿지 않았던 데이터의 가치를 극대화 하는 것이 드디어 가능해지고 있습니다.
두 가지 유형의 데이터를 동시에 분석할 수 있게 된다면, 기업 입장에서는 리텐션 향상부터 대규모 초개인화까지 다양한 방식으로 퍼포먼스를 극대화할 수 있어 그야말로 게임 체인저로서의 역할이 가능해집니다.
정형 데이터와 비정형 데이터의 차이를 이번 아티클에서 소개합니다
정형 데이터와 비정형 데이터, 무엇이 다를까?
데이터 인텔리전스와 분석의 역사는 스프레드시트와 함께해 왔습니다. 정형 데이터는 행과 열로 구성된 명확한 스키마(데이터베이스 내에 구조와 제약 조건을 정의한 설계도) 안에 존재하며, SQL(구조화 쿼리 언어)로 즉시 조회할 수 있습니다. 한 번 정형화된 데이터는 체계적인 분석과 관리가 가능하며, 정확한 수치 기반의 정교한 인사이트를 도출하는 데 강점을 가지고 있습니다. 그러나 정형 데이터는 사전에 설계된 데이터 모델과 시스템 구조에 의존하기 때문에, 미리 정의된 항목과 지표만을 추적·분석할 수 있다는 한계를 지닙니다. 따라서 설계 단위에서 고려되지 않은 정보나 새로운 유형의 데이터에 대해서는 유연하게 대응하기 어렵습니다.
반면, 비정형 데이터는 고정된 형식 없이 생성·축적되는 데이터입니다. 고객 리뷰, 소셜 미디어 반응, 회의 녹취록 등에서 얻을 수 있는 데이터가 여기에 해당합니다. 이러한 데이터는 자유로운 형식으로 존재해서 분석가가 먼저 의미를 추출하지 않으면 직접 조회할 수 없다는 어려움이 있습니다. 하지만 비정형 데이터에는 정형 데이터가 담지 못하는 맥락(context)이 담겨 있다는 점에서 중요한 가치를 지니고 있습니다. 예를 들어, 비즈니스 성과를 분석 할때 정형 데이터는 '무엇이 발생했는가(What)'를 설명한다면, 비정형 데이터는 그 현상이 ‘왜 발생했는가(Why)’에 대한 배경과 원인을 이해하는 데 중요한 단서를 제공합니다. 따라서 기업은 정형 데이터의 객관성과 비정형 데이터의 맥락적 통찰을 결합함으로써 보다 입체적이고 심층적인 의사결정을 수행할 수 있습니다.
현재 기업들은 어떻게 두 가지 데이터를 다루고 있을까?
데이터 전처리 및 활용 역량을 내재화한 기업들은 정형 데이터와 비정형 데이터의 특성을 고려하여 두 데이터 유형을 병행 처리하는 이원화된 데이터 운영 체계를 구축·운영하고 있습니다.
한 축에는 BI(Business Intelligence) 팀이 자리하고 있습니다. BI 팀은 데이터 웨어하우스에 축적된 정형 데이터를 기반으로 대시보드와 시각화 툴을 활용하여 비즈니스에 필요한 사용자 행동 패턴, 시장 트렌드, 핵심성과지표(KPI)를 분석하고 인사이트를 도출해냅니다.
다른 한 축에는 고객 성공(Customer Success) 팀과 커뮤니티 매니저가 있습니다. 이들은 고객 문의 티켓, SNS 반응, 커뮤니티 게시글 등 비정형 데이터를 직접 분석하여 고객과 파트너의 반응을 파악하고, 정량적 데이터만으로는 설명하기 어려운 맥락적 정보를 도출해냅니다. 또한 영업 녹음 기록, 제품 리뷰, NPS(Net Promoter Score) 서베이, 계약서 등의 다양한 비정형 데이터 소스를 융합해 서비스의 고객 경험과 시장 반응에 대한 심층적인 이해를 이끌어냅니다.
이론적으로는 두 팀이 협력하여 정형 데이터와 비정형 데이터 분석 결과가 결합될 때 보다 완전한 비즈니스 인사이트를 확보할 수 있습니다. 그러나 현실적으로 대부분의 기업에서는 BI 팀과 CS팀이 각기 독립적으로 분석 업무를 수행하고 있기 때문에, 정량 데이터와 정성 데이터가 하나의 리포트로 통합되지 못하며, 결과적으로 기업은 데이터가 내포하고 있는 전체 인사이트를 충분히 발굴·활용하지 못하게 됩니다.
ThinkingAI의 AI 에이전트가 비정형 데이터 문제를 해결하는 방법
ThinkingAI의 Agentic Engine은 기업의 실시간 프로덕트 환경을 모니터링하고, 리포트를 생성하며, 즉각적으로 행동하는 전문 AI 에이전트를 배포할 수 있습니다. 특히 비정형 데이터를 실시간으로 수집하는 기능을 갖추고 있어, 데이터 인텔리전스의 다음 단계를 노리는 기업들에게 최적의 솔루션입니다.
Agentic Engine이 경쟁 솔루션과 차별화되는 핵심은 지난 10년간 축적·고도화해 온 정밀한 사용자 행동 데이터 수집을 기반으로, 사용자 피드백, SNS 및 커뮤니티 리뷰, 내부 지식 베이스 등 다양한 정형·비정형 데이터를 통합하여 AI 에이전트에 완전한 비즈니스 맥락(Full Context)을 제공한다는 점입니다. 이를 통해 AI 에이전트는 특정 이벤트나 상황을 단편적인 데이터가 아닌 자사 비즈니스 관점에서 이해하고, 보다 정교한 의사결정을 수행할 수 있습니다.
Agentic Engine은 이를 위해 SDK 기반 행동 데이터, 고객 지원 히스토리, 커뮤니티 여론, 내부 문서 등 서로 다른 출처의 데이터를 단절 없이 연결하는 구조를 만들었습니다. 또한 시맨틱 레이어를 통합해 비정형 데이터를 AI가 실제로 활용할 수 있는 형태로 가공합니다. 결과적으로 AI 에이전트는 단순한 수치 데이터뿐만 아니라 고객 의도, 시장 반응, 사내 지식 베이스까지 함께 이해할 수 있는 기반을 확보하게 됩니다.
그 결과, 정형 데이터와 비정형 데이터 모두를 기반으로 행동하는 분석 에이전트가 탄생했습니다. 다시 말해, 데이터 인텔리전스 관점과 고객 성공 관점의 인사이트를 양방향으로 이해하고 이를 하나로 결합하여 '통합 컨텍스트'를 구성하는 AI 에이전트입니다. 이 에이전트는 단순히 '무슨 일이 일어났는가'가 아니라, '무엇때문에 어떤 일이 일어났는가'를 바탕으로 의사결정을 내립니다.
Agentic Engine은 또한 실시간 데이터 변화를 감지해 이탈률 급증이든, 데모 체험 기간에서의 유료 구독으로의 전환 실패등의 다양한 행동을 포착할 뿐만 아니라, 사람의 개입 없이 캠페인 실행과 A/B 테스트까지 직접 수행하는 비즈니스 루프를 설계할 수 있습니다.
비정형 데이터가 있으신가요? Agentic Engine으로 그 잠재력을 끌어내세요
Agentic Engine은 비정형 데이터를 AI가 직접 활용할 수 있는 컨텍스트로 전환합니다. 이를 통해 지금까지 사일로 속에 숨어있던 데이터의 가치를 최대한 끌어낼 수 있습니다.
궁금하시다면, 문의하기를 통해 Agentic Engine이 여러분의 비정형 데이터를 어떻게 실행 가능한 인사이트로 바꿔드리는지 직접 확인해 보세요.
