AI 수요예측을 도입했는데 정확도가 오르지 않는 이유

안녕하세요! 트레이드매트릭스입니다.

글로벌 비즈니스와 SCM(공급망관리)의 최신 트렌드를 가장 빠르고 정확하게 분석해드립니다.

AI 수요예측 도입 후 가장 많이 듣는 보고가 “정확도가 85%입니다”입니다. 그런데 이 한 문장만으로는 재고를 줄여도 되는지, 안전재고를 더 쌓아야 하는지 아무것도 판단할 수 없습니다.

같은 데이터로 두 개의 결론이 나온 날

한 제조사 SCM 팀의 이야기를 익명으로 옮깁니다. 솔루션 도입 6개월 차 성과 보고에서 기획 부서는 “정확도가 크게 개선됐다”고 했고, 현장 물류 담당자는 “결품은 그대로”라고 했습니다.

원인은 단순했습니다. 기획 부서는 전 품목을 단순 평균한 지표를 봤고, 물류 담당자는 매출 상위 품목의 오차를 체감하고 있었습니다. 저회전 품목 수백 개의 작은 오차가 평균을 끌어올려, 핵심 품목의 큰 오차를 가려버린 것입니다.

지표를 바꾸자 그림이 달라졌습니다. 문제는 모델이 아니라 측정 체계였습니다.

MAPE와 WMAPE는 다른 질문에 답합니다

AWS 권장 가이드가 정리한 수요계획 지표 정의를 기준으로 보겠습니다.

MAPE(평균 절대 백분율 오차)는 품목별 오차율을 구한 뒤 단순 평균합니다. 품목 수가 많고 판매량 편차가 크면 소량 품목의 오차율이 전체 값을 좌우합니다.

WMAPE(가중 평균 절대 백분율 오차)는 계산식이 다릅니다. 오차의 절댓값 합계를 실제 수요의 합계로 나눕니다. 그래서 물량이 큰 품목의 오차가 지표에 더 크게 반영됩니다.

재고 금액과 결품 손실은 결국 물량을 따라갑니다. 경영 보고용 대표 지표로 WMAPE를 권하는 이유입니다.

품목을 한 덩어리로 보지 않는 것도 중요합니다. 매출 기여도로 나눈 ABC 구분과 수요 변동성으로 나눈 XYZ 구분을 교차하면, 같은 오차율이라도 대응 방법이 달라집니다. 변동성이 큰 저회전 품목은 예측 정확도를 올리는 것보다 안전재고 정책으로 흡수하는 편이 현실적입니다.

수요예측 데이터를 실제 발주와 연결하는 실무 흐름은 tradematrixops.com의 AI·디지털 물류혁신 카테고리에서 이어서 확인하실 수 있습니다.

MAPE가 무너지는 지점을 알고 쓰셔야 합니다

예측 분야의 대표 교재인 『Forecasting: Principles and Practice』는 MAPE의 한계를 분명히 지적합니다.

실제값이 0이면 MAPE는 무한대가 되거나 정의되지 않습니다.

실제값이 0에 가까울수록 값이 극단적으로 튑니다.

신제품, 단종 직전 품목, 프로모션 비수기처럼 판매가 0에 근접하는 구간이 많은 데이터에서는 MAPE 하나로 성과를 판단하기 어렵습니다. 보완 지표로 제안되는 sMAPE 역시 양의 오차와 음의 오차에 다른 가중치를 주는 비대칭 문제가 있어, 같은 교재는 단순 예측을 기준으로 눈금을 조정하는 MASE를 대안으로 제시합니다.

편향을 보지 않으면 절반만 본 것입니다

오차의 크기만큼 중요한 것이 방향입니다. 편향(Bias)은 실제 합계에서 예측 합계를 뺀 값을 실제 합계로 나눠 구합니다.

값이 양수면 지속적으로 과소예측, 음수면 지속적으로 과대예측을 하고 있다는 뜻입니다.

추적 신호(Tracking Signal)는 누적 예측 오차를 평균 절대 편차로 나눈 값으로, 편향이 한 방향으로 쌓이는지를 알려주는 조기 경보 지표입니다.

오차율은 그대로인데 편향이 한쪽으로 누적되고 있다면, 그것은 모델 문제가 아니라 누군가의 조정 습관 문제일 가능성이 큽니다.

영업 조직이 목표 달성을 위해 예측을 높여 잡거나, 생산 조직이 결품을 피하려 수치를 올려 잡는 일은 흔합니다. 이런 조정은 한 달만 보면 보이지 않지만, 분기 누적으로 보면 명확한 패턴으로 드러납니다.

지표 비교표

지표	계산 방식	강점	주의점
MAPE	품목별 오차율의 단순 평균	직관적 해석	실제값 0 근처에서 불안정
WMAPE	오차 절댓값 합계 ÷ 실제 수요 합계	물량 비중 반영	소량 품목 문제 은폐 가능
Bias	(실제 합계 − 예측 합계) ÷ 실제 합계	편향 방향 확인	크기 정보는 없음
MASE	단순 예측 기준으로 눈금 조정	0값 구간에 강함	기준 예측 설정 필요
추적 신호	누적 오차 ÷ 평균 절대 편차	편향 누적 조기 감지	임계값 사전 합의 필요

AI 도입 효과는 FVA로 검증합니다

지표를 정리했다면 마지막 질문이 남습니다. AI 모델이 실제로 가치를 더했는가입니다.

이때 쓰는 방법이 FVA(Forecast Value Added)입니다. 통계 예측과 ‘순진한 예측(naive forecast)’을 기준선으로 두고, 각 단계의 조정 전후 정확도를 비교해 기여도가 양수인 단계만 남기는 접근입니다. 참여 부서와 순서를 정의하고, 기준 예측을 생성하고, 각 부서의 조정을 수집하고, 단계별 FVA를 계산하고, 음의 기여를 제거하는 다섯 단계로 운영됩니다.

다만 이 방법을 비판하는 시각도 분명히 존재합니다. 각 부서가 자기 기여도를 높이려 예측을 의도적으로 왜곡할 유인이 생긴다는 굿하트의 법칙 문제가 대표적입니다. 지표를 평가에 직접 연동하기 전에 반드시 고려해야 할 지점입니다.

측정 체계 설계 체크리스트

□ 대표 지표를 WMAPE로 정하고 문서로 고정했습니까

□ 집계 수준(품목·지역·채널)과 예측 시점(lag)을 통일했습니까

□ 편향과 추적 신호를 월 단위로 함께 보고하고 있습니까

□ 순진한 예측 기준선과 비교한 개선폭을 별도로 산출합니까

“측정 기준이 흔들리면, 아무리 좋은 모델을 써도 개선을 증명할 수 없습니다.”

AI 도입 실패의 상당수는 모델이 아니라 이 지점에서 발생합니다.

예측 데이터를 기반으로 안전재고를 재설계하는 방법은 tradematrixops.com에서 함께 확인해보시기 바랍니다.

결론: 이번 분기에 실행할 액션플랜 4가지

첫째, 대표 지표 하나를 먼저 확정하십시오.

경영 보고용 대표 지표를 WMAPE로 두고, MAPE는 품목 진단용 보조 지표로 내리십시오.

지표가 여러 개 떠다니면 회의마다 결론이 달라집니다.

둘째, 비교 조건을 고정하십시오.

같은 집계 수준, 같은 예측 시점, 같은 기간으로 맞추지 않으면 개선폭은 착시입니다.

산식과 조건을 한 장 문서로 만들어 관련 부서가 서명하도록 하시기 바랍니다.

셋째, 편향을 별도 항목으로 보고하십시오.

오차율 옆에 편향과 추적 신호를 나란히 붙여 보고하면 조정 습관이 드러납니다.

한 방향 누적이 3개월 이상 이어지면 프로세스 점검 신호로 삼으십시오.

넷째, 기준선 대비 개선폭을 남기십시오.

단순 예측 대비 얼마나 나아졌는지를 기록하면 솔루션 재계약 근거가 됩니다.

숫자로 남기지 않은 개선은 다음 예산 심의에서 인정받기 어렵습니다.

#수요예측 #예측정확도 #MAPE #WMAPE #예측편향 #추적신호 #FVA #AI수요예측 #공급망계획 #안전재고 #SCM지표 #디지털물류 #물류혁신 #재고관리 #SCM실무

참고 자료

• 예측 오차 지표 정의(AWS 권장 가이드)
• 예측 정확도 평가(Forecasting: Principles and Practice 한국어판)
• Forecast Value Added 개념과 한계(Lokad)
• MAPE·WMAPE와 예측 편향 해설(Demand Planning)

본 글은 일반적인 정보 제공을 목적으로 하며 투자·경영 자문이 아닙니다. 개별 도입 판단은 반드시 전문가와 함께 검토하시기 바랍니다.