인공지능 시대, 왜 공공언어 진단은 아직도 표본 조사를 하는 걸까?
공공언어 진단 사업은 2011년 처음 도입된 이래로 지금까지 표본조사 방식을 고수하고 있다. 추측건대 그 까닭은 모집단 분산 대비 표본 크기가 적정하기 때문이 아니라 평가 인력과 시간 등 물리적 자원의 한계 때문인 것으로 보인다. 즉, 통계적 타당성에 근거한 것이라기보다 자원 한계에 대응하기 위한 실용적 타협안에 가깝다. 이는 평가의 객관성과 신뢰성을 담보하기 어려울 뿐만 아니라 인공지능 기반의 디지털 전환기를 맞이한 현시점의 기대와도 부합하지 않는다.
기관 유형별 전수 조사 자료와 진단 표본의 규모
기관별로 2025년 1년동안 배포한 보도자료의 전수 조사량과 2026년 공공언어 진단 연구용역 제안요청서에 제시된 표본 조사량을 참고해 단순 표본율을 산출하였다.
| 기관 유형 | 전수 조사 | 표본 조사 | 단순 표본율 | 산출 근거 |
|---|---|---|---|---|
| 중앙행정기관 | 24,126건 | 2,112건 | 8.75% | 48곳 × 월 4건 × 11개월(1~11월) |
| 지방자치단체 | 303,058건 | 13,000건 | 4.29% | 광역 17곳×10건 + 기초 226곳×5건 = 월 1,300건 × 10개월(3~12월) |
| 시도교육청 | 26,847건 | 119건 | 0.44% | 17곳 × 월 1건 × 7개월(3~9월) |
| 공공기관 | 31,728건 | 2,464건 | 7.77% | 352곳 × 월 1건 × 7개월(3~9월) |
| 합계 | 385,759건 | 17,695건 | 4.59% | 기관 유형별 산출치 합계 |
기관 유형별 표본 구조를 함께 보면 격차가 더 분명해진다
표본 1건이 담당하는 전수 조사 자료의 수와 기관 유형별 단순 표본율을 함께 보면, 시도교육청의 표본 설계가 다른 기관과 상당히 다르다는 점을 한눈에 확인할 수 있다.
표본 1건이 대표하는 전수 조사 자료
기관 1곳당 연간 표본 수
※ 지방자치단체는 광역 월 10건, 기초 월 5건으로 실제 기관별 표본 수는 다름.
현재 설계에서 우선 검증해야 할 세 가지
표본선정의 독립성
중앙행정기관의 월 4건이 ‘2건 수집 + 2건 기관 제출’이라면 절반은 평가 대상 기관이 선택한다. 기관 제출 자료가 독립 선정 자료보다 체계적으로 좋은지 비교하여 선택편향 가능성을 검증해야 한다.
극소 표본의 안정성
교육지자체와 공공기관 일부는 월 1건, 연 7건이다. 정부업무보고자료는 연 1건, 홍보물은 연 2건이다. 이 정도의 n에서 기관 평균과 특정 문서·작성자 효과를 분리할 수 있는지 확인해야 한다.
기관 내 대표성
한 기관에서도 여러 부서가 다양한 정책 주제의 보도자료를 생산한다. 그러나 표본 수가 적으면 일부 주제나 부서의 자료만 선택될 수 있어, 그 결과를 기관 전체의 공공언어 사용 수준으로 일반화하기 어려울 수 있다.
표본의 대표성과 개선 효과를 함께 살펴볼 필요가 있다
표본 설계를 검토할 때에는 단순히 표본 수의 많고 적음만 볼 것이 아니라, 표본이 주요 주제와 생산 부서를 얼마나 포괄하는지, 그리고 평가 결과를 실제 개선에 연결할 수 있는지도 함께 살펴볼 필요가 있다.
주제·부서 포괄성
월별 표본은 시기를 나누는 효과는 있지만, 주요 정책 주제와 생산 부서를 고르게 포함하는지는 별도로 확인해야 한다.
과거 평가 이력 반영
지난 평가에서 낮은 수준을 보인 기관은 다음 해 표본을 확대하는 등 위험 기반·적응형 표본설계를 검토할 수 있다.
종단 추적 표본
매년 새 표본만 뽑지 말고 일부 기관이나 문서군을 반복 추적하여 실제 개선 여부를 확인할 필요가 있다.
기관 규모·기능 반영
같은 공공기관이라도 기능과 보도자료 배포량이 크게 다르므로 기관 특성과 모집단 크기를 고려한 표본 배분이 필요하다.
프로그램을 활용한 전수 조사는 기관별·주제별 언어 사용의 전체 구조를 확인하는 데 효과적이고, 전문가를 활용한 표본 조사는 문맥 판단이 필요한 항목을 확인하는 데 효과적이다. 두 방식을 결합하면 ‘몇 점인가’를 넘어 ‘어디가 문제이고 실제로 개선되고 있는가’를 확인할 수 있다.
평가를 위한 표본에서 개선을 위한 표본으로
기관 제출 자료를 사용할 경우 독립 표본과 구분하고 선택편향을 검증한다.
월별 선정에 주제·부서·기관 규모·보도자료 생산량을 보완 기준으로 검토한다.
과거 결과와 개선 필요도를 반영해 표본을 조정하고, 동일 기관의 변화를 장기 추적한다.
자동화가 가능한 항목은 전수 평가하고, 전문가 판단이 필요한 항목은 표본 평가한다.
* 이 보고서를 인용할 때에는 다음과 같이 참고문헌에 표기해 주세요.