CS 문의 100건을 AI에게 시켜봤습니다

무엇을 답했고 무엇을 못 답했나

상품 문의 18건은 양쪽 다 0건입니다. 실측 사이즈, 재고, 재입고 일정, 소재, 정품 여부 — 배송·교환 정책 문서에 없고 주문 API도 주지 않는 정보입니다.

그래서 같은 도구를 써도 자동화되는 비율은 몰마다 다릅니다. 배송 문의가 대부분인 곳과 사이즈 문의가 대부분인 곳은 결과가 전혀 다릅니다. 의류·잡화라면 이 글의 숫자를 그대로 기대하시면 안 됩니다.

주문 API를 연결하면 배송 문의가 달라집니다

가장 크게 바뀐 건 배송입니다. 19건에서 32건으로 올랐습니다. 문서만 있을 때는 정책을 안내할 수밖에 없는데, 주문 조회가 붙으면 그 고객의 실제 상태를 답합니다.

틀린 답 1건 — 원문 그대로

"배송 지연되면 보상 있나요?"에 이렇게 답했습니다.

배송 지연에 대한 별도의 보상 규정은 없습니다.

정책 문서에 지연 보상 조항을 적어둔 적이 없습니다. 문서에 없다는 것과 정책이 없다는 것은 다른데 AI가 후자로 단정했습니다. 없는 사실을 지어낸 게 아니라 모르는 걸 안다고 말한 쪽이라 더 위험합니다. 정책 문장처럼 그럴듯하게 읽히니까요.

도입 전에 해보실 것

1. 1지난달 문의를 유형별로 세어 봅니다. 배송·교환반품·상품·주문변경·기타.
2. 2상품 문의 비중을 봅니다. 이 비중이 높을수록 문서만으로는 자동화가 어렵습니다.
3. 3배송·주문 문의 비중을 봅니다. 여기가 주문 API 연결로 가장 크게 개선되는 구간입니다.
4. 4FAQ·배송정책·교환반품정책에 실제로 답이 적혀 있는지 확인합니다. 문서에 없으면 AI도 못 답합니다.

이 실험의 한계

• 문의와 지식 문서를 같은 사람이 만들었습니다. 실제 자동화율이 아니라 상한입니다.
• 표본이 100건이라 유형별 수치는 오차가 큽니다.
• 채점을 한 사람이 했습니다. 부분정답과 회피의 경계는 다른 사람이 매기면 달라질 수 있습니다.
• 주문 데이터는 실험용 목 데이터입니다. 실제 쇼핑몰 API는 응답 형식과 항목이 다릅니다.
• 모델과 설정이 바뀌면 재현되지 않습니다. 2026년 8월 기준입니다.

다음은 실제 쇼핑몰의 문의 로그로 같은 실험을 돌리는 것입니다. 그때는 문서도 그 쇼핑몰 것을 쓰니 상한이 아니라 실제 값이 나옵니다. 협조해 주실 곳을 찾고 있고, 결과는 좋든 나쁘든 같은 방식으로 공개하겠습니다.