DATA OPERATIONS · AI BUSINESS · 2026.09.18

중복 데이터, 이제는 자동으로 걸러내세요

고객 명단을 열었는데 같은 거래처가 표기만 다르게 두세 번 등록된 걸 본 적 있으신가요? 중복은 눈에 잘 띄지 않지만 매출 집계, 중복 연락, 상담 이력 관리에 조용히 영향을 미칩니다. AI로 중복 후보를 자동으로 찾고 사람이 최종 확인하는 구조를 만들면 데이터를 훨씬 깔끔하게 유지할 수 있습니다.

같은 거래처가 왜 여러 번 등록될까

영업팀은 전화로 받은 명함 정보를 CRM에 입력하고, CS팀은 문의 게시판에서 접수된 이름으로 새 레코드를 만들고, 온라인 주문 시스템은 결제자 이름으로 또 다른 항목을 만듭니다. 같은 거래처인데도 '(주)보센'과 '보센', '010-1234-5678'과 '01012345678'처럼 표기만 다르면 시스템은 이를 전혀 다른 데이터로 인식합니다. 처음에는 몇 건 안 되어 보이지만, 채널이 늘고 담당자가 바뀌는 동안 중복은 계속 쌓입니다.

방치하면 생기는 문제

중복 데이터가 쌓이면 가장 먼저 매출·거래 집계가 흔들립니다. 같은 거래처의 매출이 두세 개 레코드에 나뉘어 잡히면 실제 거래 규모를 과소평가하게 되고, 반대로 이벤트나 안내 메시지를 같은 고객에게 중복으로 여러 번 보내는 일도 생깁니다. 상담 이력도 레코드별로 흩어지면서, 담당자가 바뀌면 이전 상담 내용을 다시 물어봐야 하는 불편도 생깁니다.

사람이 직접 찾기 어려운 이유

중복은 완전히 똑같은 문자열로 남지 않습니다. 상호명은 법인 형태 표기(주식회사/㈜)나 띄어쓰기가 다르고, 전화번호는 하이픈 유무나 지역번호 표기가 다르며, 담당자 이름에 오탈자가 섞이기도 합니다. 데이터가 수백 건을 넘어가면 눈으로 비교해 중복을 찾는 것은 사실상 불가능해지고, 엑셀의 단순 중복 제거 기능도 완전히 같은 값만 잡아내기 때문에 이런 '표기만 다른 중복'은 놓치기 쉽습니다.

AI·자동화로 중복을 찾는 방법

자동화는 크게 두 단계로 이뤄집니다. 먼저 이름·전화번호·주소 같은 주요 항목을 정규화합니다 — 공백과 특수문자를 제거하고, 전화번호 형식을 통일하고, 법인 표기를 표준화합니다. 그다음 정규화된 값을 기준으로 유사도를 비교해 같은 대상일 가능성이 높은 후보를 찾아냅니다. 완전 일치가 아니라 유사도 기반으로 비교하기 때문에 표기가 조금씩 달라도 후보로 잡아낼 수 있고, AI는 이 후보 목록을 만드는 데까지만 쓰고 최종 병합 여부는 담당자가 확인하는 구조가 안전합니다.

자동 탐지 가능한 중복 vs 사람이 봐야 하는 중복

도입 전 체크리스트

• 현재 고객·거래처 데이터가 몇 개 시스템에 나뉘어 있나요?
• 같은 대상을 구분할 고유 식별자(전화번호, 사업자번호 등)가 있나요?
• 중복 후보를 누가, 어떤 기준으로 최종 확인할 것인가요?
• 병합 시 거래 이력이나 상담 기록이 유실되지 않도록 관리되고 있나요?

자주 하는 실수

• 모든 중복을 자동으로 병합하려는 것 — 유사도가 높아도 실제로는 다른 대상일 수 있어, 확인 없이 병합하면 되돌리기 어렵습니다.
• 한 번만 정리하고 끝내는 것 — 새 데이터는 계속 들어오므로 주기적으로 재점검하는 구조가 필요합니다.
• 정규화 기준 없이 비교하는 것 — 표기를 통일하지 않고 비교하면 실제 중복도 놓치기 쉽습니다.

FAQ

중복 데이터는 보통 어떻게 생기나요?

같은 고객이나 거래처라도 담당자가 다르거나 접수 채널이 다르면 상호명을 줄여 쓰거나, 전화번호 형식을 다르게 입력하거나, 오탈자가 섞이면서 시스템에는 별개의 데이터로 저장됩니다. 전화, 이메일, 방문, 온라인 문의처럼 여러 채널에서 각각 등록하면 이런 중복이 쌓이기 쉽습니다.

중복을 자동으로 합치면 원본 데이터가 훼손되지 않나요?

자동화는 중복일 가능성이 높은 후보를 찾아 제안하는 역할까지만 맡기고, 실제로 합칠지 여부는 사람이 확인하는 구조가 안전합니다. 특히 매출이나 거래 이력이 걸린 데이터는 자동 병합보다 후보 제시 후 승인 절차를 두는 편이 낫습니다.

Voxen은 이렇게 접근합니다

Voxen은 AI를 억지로 모든 단계에 넣기보다 현재 업무와 데이터를 먼저 살펴보고 가장 단순하고 안정적인 자동화 구조를 찾습니다. 데이터 수집·엔지니어링, AI 판단, API·대시보드, 맞춤 시스템 구축을 실제 비즈니스 프로세스에 맞게 연결합니다.

이 글도 읽어보세요

• 여러 시스템 숫자가 다르게 나온다면 — 시스템 간 숫자 불일치를 자동 점검하는 방법입니다.
• 문의폼만 받아두고 있나요? — 문의 데이터를 CRM으로 자동 연결하는 방법입니다.
• 사내 엑셀·ERP 데이터를 API로 연결하는 방법 — 흩어진 데이터를 하나로 연결하는 구조입니다.