결과 한눈에 보기
많이 사용된 표현과 널리 사용된 표현은 같은 의미일까?
특정 표현이 한두 개의 보도자료에서 여러 차례 반복되면 단어 빈도는 높아지지만, 조직 전체에 널리 퍼진 표현이라고 보기는 어렵다. 반대로 한 문서에서는 한 번씩만 사용되더라도 많은 보도자료에 나타난다면 해당 기관의 작성 관행과 더 밀접하게 관련된 현상일 수 있다.
해당 표현이 전체 보도자료에서 총 몇 회 사용되었는지를 나타낸다. 가장 직관적인 사용 규모 지표이다.
해당 표현이 몇 건의 보도자료에 사용되었는지를 나타낸다. 문서 빈도는 확산 범위의 기초값이며, 기관 간 비교에서는 전체 보도자료 수의 차이를 보정한 ‘문서 확산도’를 사용한다.
같은 문서 안에서 해당 표현이 얼마나 반복되는지를 나타낸다. 특정 사업명·정책명의 집중 반복을 구분하는 데 필요하다.
고빈도·정책 집중형·희소 표현을 사례로 비교하였다
노인
전국적으로 사용량이 많은 고빈도 표현이다. 여러 기관과 여러 정책 분야에서 넓게 사용될 가능성이 있어 문서 빈도의 영향이 큰 사례로 볼 수 있다.
경력단절여성
특정 고용·여성정책 분야에 사용이 집중될 가능성이 높은 표현이다. 단어 빈도와 문서 빈도의 차이가 비교적 뚜렷하게 나타날 수 있는 사례이다.
노숙자
전체 사용량이 매우 적은 희소 표현이다. 소수의 문서에 집중되었을 가능성이 높아 단순 순위보다 실제 사용 문서와 맥락 확인이 더 중요하다.
세 가지 산정 방식은 서로 다른 사용 양상을 포착한다
모형 1 · 단어 빈도형
표현의 총출현 횟수만 비교한다. 계산이 쉽고 절대 사용량을 바로 보여주지만 특정 문서의 반복 사용에 민감하다.
모형 2 · 확산 중심 민감도형
기관 규모를 보정한 문서 확산도와 로그로 완화한 반복강도를 사용하되, 확산 범위에 70%의 비중을 둔다. 70:30은 확산을 더 중시할 때 결과가 어떻게 달라지는지 확인하는 민감도 모형이다.
모형 3 · 동일 가중 기준형
전체 보도자료 수를 고려한 문서 확산도와 한 문서 안의 반복을 로그로 완화한 반복강도를 각각 50% 반영한다. 두 구성요소의 우선순위를 확정할 경험적 근거가 충분하지 않아 기준모형으로 삼았다.
확산과 반복에 동일한 가중치를 적용하였다
1. 문서 확산도 50%
표현이 기관의 전체 보도자료 가운데 얼마나 많은 문서에 나타났는지를 1,000건당 사용 문서 수로 환산한다.
2. 문서 내 반복강도 50%
사용 문서별 출현 횟수에 log₂(횟수)를 적용한 뒤 평균하여 같은 문서 안에서의 반복 정도를 측정한다. 한 문서에서 1회만 사용된 경우 반복강도는 0이다.
3. 최종 지수
문서 확산도와 반복강도를 각각 0~100점으로 표준화한 뒤 동일한 비중으로 합산한다.
평가 목적에 따라 적합한 지표가 달라진다
실증 결과는 가중치 선택이 단순한 기술적 차이가 아니라 실제 기관 순위에 영향을 줄 수 있음을 보여준다. 특히 사용 문서가 적은 표현에서는 반복강도 비중이 커질수록 특정 문서의 영향이 크게 나타날 수 있다.
| 구분 | 단어 빈도형 | 확산 중심 민감도형 | 동일 가중 기준형 |
|---|---|---|---|
| 핵심 질문 | 총 몇 회 사용했나? | 기관 규모를 고려할 때 얼마나 널리 퍼졌나? | 기관 규모를 고려할 때 얼마나 널리 퍼지고 반복됐나? |
| 주요 변수 | TF | 문서 확산도 + 반복강도 | 문서 확산도 + 반복강도 |
| 기관 규모 보정 | 없음 | 있음 | 있음 |
| 반복 효과 완화 | 없음 | 로그 변환 후 30% 반영 | 로그 변환 후 50% 반영 |
| 장점 | 직관적이고 실제 사용량 파악에 유리 | 확산을 중심으로 보면서 집중 반복도 보조적으로 반영 | 확산과 반복을 대등하게 반영하여 민감도 비교의 기준 제공 |
| 한계 | 특정 문서의 반복과 기관 규모에 민감 | 70:30은 확산 우선의 규범적 선택이므로 절대적 기준이 아님 | 동일 가중도 유일한 정답은 아니며 문서별 원자료가 필요 |
| 적합한 용도 | 기초 통계·절대 사용량 | 확산 우선 정책에서의 민감도 분석 | 기관 간 표준화 비교의 기준모형 |
모형을 선택하면 기관 순위가 어떻게 달라지는지 확인할 수 있다
평가모형을 선택하면 ‘노인·경력단절여성·노숙자’의 기관 순위가 같은 화면에서 바뀐다. 모형 1은 총출현 횟수, 모형 2는 문서 확산도 70%＋반복강도 30%, 모형 3은 문서 확산도 50%＋반복강도 50%를 적용하였다.
노인
고빈도 표현경력단절여성
정책 집중형 표현노숙자
희소 표현한 개의 종합점수보다 세 지표의 역할을 분명히 하는 것이 먼저다
실제로 어느 표현을 얼마나 많이 사용했는지 보여준다. 교정·교육 우선순위를 정할 때 중요한 기초값이다.
표현이 몇 건의 보도자료에 나타났는지를 보여준다. 기관 간 비교에서는 전체 보도자료 수 차이를 보정한 문서 확산도를 사용한다.
같은 문서에서 특정 표현이 집중적으로 반복되는 현상을 분리하여 파악할 수 있다.
사용 문서 수가 적으면 순위보다 표본 안정성을 먼저 확인해야 한다
‘경력단절여성’의 전남 사례처럼 1개 문서의 반복이 종합지수를 크게 끌어올릴 수 있고, ‘노숙자’처럼 전체 사용 문서가 7건에 불과한 표현은 기관 순위를 일반화하기 어렵다. 아래 기준은 통계적으로 확정된 보편 기준이 아니라 평가 오판을 줄이기 위한 잠정적 운영 규칙이다. 향후 누적 자료와 순위 변동성 검증을 통해 조정해야 한다.
종합등급에서는 제외하고 실제 사용 문서와 맥락을 직접 확인하는 사례 분석을 원칙으로 한다.
지수와 순위를 제시할 수 있으나 ‘소표본 주의’를 표시하고 가중치 변화에 따른 순위 민감도를 함께 공개한다.
일반 비교에 활용할 수 있으나, 특정 기관·문서의 집중 여부와 연도별 변동성은 계속 점검한다.
노인처럼 충분한 문서에서 사용된 표현은 70:30과 50:50 사이에서도 순위가 비교적 안정적이었다. 그러나 경력단절여성처럼 사용 문서가 적고 특정 문서의 반복이 큰 표현은 가중치에 따라 순위가 크게 달라졌다. 따라서 TF·DF·반복강도를 함께 보되, 희소 표현에는 잠정적 최소 사용 문서 수 기준과 소표본 주의 표시를 적용하는 것이 필요하다.
공공언어 개선 대상 표현의 빈도 평가는 어떻게 설계할까?
종합지수만 제시하지 말고 총출현 횟수와 사용 문서 수를 함께 제시해 결과를 직관적으로 확인할 수 있도록 한다.
보도자료 생산량 차이가 큰 기관을 직접 비교할 때에는 1,000건당 문서 확산도와 같은 규모 보정 지표를 병행한다.
70:30과 50:50 등 가중치를 달리했을 때 순위가 얼마나 변하는지 비교하여 특정 산식에 결과가 과도하게 의존하지 않는지 확인한다.
복합지표의 정규화·가중치·민감도 분석 원칙은 OECD·EU JRC, Handbook on Constructing Composite Indicators와 통계개발원 삶의 질 측정 포럼 자료를 참고하였다. 구성요소의 상대적 중요도에 관한 확정적 경험 근거가 없으므로 50:50을 기준모형으로 두고, 70:30은 문서 확산을 우선할 때의 민감도 모형으로 사용하였다. 로그형 빈도 완화 개념은 정보검색 분야의 용어 가중 방법을 참고하였다. Stanford Introduction to Information Retrieval, Chapter 6 · NIST, Automatic Indexing. 차별·비포용 표현의 기초값은 2025년 17개 광역자치단체 보도자료 전수 분석 자료를 활용하였다. 5건·30건 기준은 문헌에서 도출한 보편적 절단값이 아니라 이 연구의 잠정적 운영 기준이다.
* 이 보고서를 인용할 때에는 다음과 같이 참고문헌에 표기해 주세요.