The Korean Society of Climate Change Research
[ Review Paper ]
Journal of Climate Change Research - Vol. 17, No. 1, pp.203-225
ISSN: 2093-5919 (Print) 2586-2782 (Online)
Print publication date 28 Feb 2026
Received 29 Dec 2025 Revised 09 Feb 2026 Accepted 24 Feb 2026
DOI: https://doi.org/10.15531/KSCCR.2026.17.1.203

기초지자체 탄소중립 기본계획의 광역계획 정합성 평가지표 개발: 충청남도를 중심으로

이상기* ; 윤희원* ; 이상신**,
*충남연구원 기후변화대응연구센터 연구원
**충남연구원 기후변화대응연구센터 연구위원
Development of evaluation indicators to assess policy coherence between municipal and metropolitan carbon neutrality plans: A case study of Chungcheongnam-do
Lee, Sangki* ; Yoon, Hiwon* ; Lee, Sangsin**,
*Researcher, Center for Climate Change, Chungnam Institute, Chungcheongnam-do, Korea
**Research Fellow, Center for Climate Change, Chungnam Institute, Chungcheongnam-do, Korea

Correspondence to: sinslee@cni.re.kr (Chungnam Institute, 360, Hongye-ro, Hongbuk-eup, Hongseong-gun, Chungcheongnam-do, 32258, Korea. Tel. +82-41-630-3921)

Abstract

This study develops evaluation indicators for assessing policy coherence between municipal carbon neutrality master plans and metropolitan plans, focusing on 15 municipalities in Chungcheongnam-do, South Korea. As local governments play a crucial role in achieving national carbon neutrality goals, ensuring policy coherence between different government levels has become increasingly important. A three-dimensional evaluation framework was designed comprising vertical coherence, horizontal connectivity, and implementation completeness to assess formal coherence of plan documents. Through literature review of 138 sources, 32 preliminary indicators were identified. A two-round Delphi survey with 15 experts validated these indicators, achieving Kendall’s coefficient of 0.742 for importance and 0.698 for measurability. Following a five-stage screening process, 11 final indicators were selected: 5 for vertical coherence, 2 for horizontal connectivity, and 4 for implementation completeness. Specific measurement methods and 5-point evaluation criteria were established for each indicator. The framework was pilot-tested on all 15 municipalities. A two-round AHP analysis determined weights, with connectivity dimensions (vertical and horizontal) receiving 0.600 combined and implementation completeness receiving 0.400, reflecting the balanced consideration of coherence and implementation feasibility. Evaluation results demonstrated appropriate discriminability with coefficient of variation values of 18.63% for network coherence and 20.87% for implementation completeness. Municipalities were classified into four types based on quadrant analysis, enabling tailored policy support strategies for each type rather than ranking. The developed evaluation framework provides a diagnostic tool for assessing formal policy coherence in municipal carbon neutrality plans, contributing to more effective climate governance at the local level.

Keywords:

Carbon Neutrality, Policy Coherence, Evaluation Indicators, Municipal Climate Plan, Chungcheongnam-do

1. 서론

기후위기에 대한 국제사회의 대응이 본격화되면서 탄소중립은 글로벌 정책 아젠다의 중심으로 부상하였다. 특히 파리협정 이후 각국은 2050년 탄소중립(Net-zero) 목표 달성을 위한 법제화와 이행체계를 구축하고 있다. 우리나라는 2020년 2050 탄소중립을 선언하고, 2021년 「기후위기 대응을 위한 탄소중립·녹색성장 기본법」(이하 「탄소중립 기본법」)을 제정하여 탄소중립 사회로의 이행을 위한 법적·제도적 기반을 마련하였다.

「탄소중립 기본법」 제12조와 동법 시행령 제10조는 시·군·구가 자체적인 탄소중립·녹색성장 기본계획(이하 탄소중립 기본계획)을 수립하여 광역지자체와의 협의를 거쳐 확정하도록 규정하고 있다. 이에 따라 각 기초지자체는 관련 조례를 바탕으로 탄소중립 이행체계를 구축하고 실천 전략을 마련해야 한다. 그러나 광역지자체에 비해 기초지자체는 기후변화 대응 관련 법정계획 수립과 이행에 있어 역량에 상당한 차이를 보이고 있다(Kim, Lee, et al., 2024). 탄소중립 구현을 위한 기술, 인력, 예산 등이 부족한 지자체가 많아 계획 수립의 실효성과 이행가능성에 한계가 있다는 점이 선행연구에서 지적되고 있다(Kim, Kim, et al., 2024; Kim, Lee, et al., 2024). 관련 법률에 따라 전국 거의 모든 기초지자체가 2025년 5월 탄소중립 기본계획을 확정하고 공표하였으나, 이러한 이유로 상위계획과의 정합성이나 계획 간 일관성, 이행관리 체계의 미흡이 예상되며, 지역의 실질적 탄소중립 실현을 위한 실효성 검토가 필요하다. 실제로 Kim, Kim, et al. (2024)은 17개 시·도 탄소중립 기본계획 비교 분석에서 계획 간 정합성 부족 문제를 지적한 바 있다. 특히 광역지자체와 기초지자체 간 수직적 정합성(Vertical Coherence)이 클수록 정책추진의 용이성과 이행력을 담보하는 중요한 요인으로 작용할 수 있어 세밀한 검토가 필요하다. 또한 광역과 기초, 혹은 인접 기초지자체와의 면밀한 협력과 역할분담은 정책의 효과성 확보에 크게 기여하므로 지역 간 계획의 통합적 분석도 중요하다. 정책정합성(Policy Coherence)은 정책 목표와 수단 간의 일관성, 상위계획과 하위계획 간의 정합성, 그리고 관련 정책 간의 조화를 의미하는 개념이다. EU는 지속가능발전목표(Sustainable Development Goals, SDGs) 달성을 위한 정책일관성(Policy Coherence for Sustainable Development, PCSD)을 강조하며 다층적 거버넌스 체계에서의 정책 간 연계와 조정의 중요성을 제시하고 있다(Suda et al., 2024). 정합성 평가는 수직적 정합성, 수평적 연계성(Horizontal Coherence), 실행 완결성(Implementation Completeness)의 세 가지 차원에서 접근할 수 있다.

지자체 탄소중립 정책에 관한 선행연구를 살펴보면, Lee and Lee (2024)은 충청남도 기초지자체의 온실가스 배출 유형별 탄소중립 기본계획 고도화 방안을 연구하였고, Jang and Kim (2023)은 전라북도 14개 시·군의 온실가스 배출특성 분석 및 탄소중립 전략을 제시하였다. Kim, Kim, et al. (2024)은 17개 시·도의 탄소중립 기본계획 비교 분석을 수행하였으며, Park (2023)은 지자체 기후위기 적응대책의 현황 및 특성을 분석하였다. 그러나 기존 연구들은 주로 광역지자체나 중앙정부 차원의 정책 분석에 집중하였으며, 기초지자체 계획에 대한 체계적 분석은 거의 수행되지 않았다. 또한 계획의 형식적 요소나 작성 수준에 대한 정성적 평가에 국한되어 광역-기초 간 계획의 정합성을 평가할 수 있는 지표 개발 연구는 부족한 실정이다.

본 연구는 이러한 한계를 극복하기 위해 2025년 5월 확정된 충청남도 15개 시군의 탄소중립 기본계획 전체를 분석대상으로 삼아, 정책정합성 관점에서 기초지자체 탄소중립 기본계획의 광역계획 정합성을 평가할 수 있는 지표를 개발하고자 한다. 수직적 정합성, 수평적 연계성, 실행 완결성의 세 가지 차원에서 평가지표를 구성하고, 델파이 조사를 통해 전문가 합의에 기반한 지표를 도출함으로써 평가체계의 타당성과 신뢰성을 확보하고자 한다. 연구의 공간적 범위는 충청남도 15개 시군으로, 제1차 시군 탄소중립 기본계획(2025 ~ 2034년)을 분석 대상으로 한다.


2. 연구방법

2.1. 분석 대상 및 자료

본 연구의 분석 대상은 충청남도 광역계획과 15개 시군 기초계획이다. 충청남도는 「탄소중립 기본법」에 근거해 광역 차원의 기본계획을 수립하였으며, 국가보다 5년 앞선 2045년 탄소중립 달성을 목표로 하고 있다. 중간 목표로는 2030년까지 2018년 온실가스 배출량 대비 43% 감축을 설정하였다.

충청남도 15개 시군의 탄소중립 기본계획도 동법 제12조에 근거하여 수립되었다. 이 법은 시장·군수·구청장이 국가기본계획 및 시·도계획과 관할 구역의 지역적 특성을 고려하여 10년을 계획기간으로 하는 시·군·구 탄소중립 기본계획을 5년마다 수립·시행하도록 의무화하고 있다. 15개 시군은 모두 2025년 상반기에 계획을 확정하였으며, 계획기간은 2025년부터 2034년까지 10년이다.

분석에 활용된 자료는 충청남도 탄소중립 기본계획, 15개 시군 탄소중립 기본계획 원문, 관련 조례 및 법령, 환경부 수립 가이드라인(Ministry of Environment, 2022, 2024) 등이다. 각 시군의 기본계획은 비전, 목표, 전략, 과제, 이행관리, 재정, 법적 근거 등 7개 법정 요건을 모두 충족하고 있으며, 「탄소중립 기본법 시행령」에서 제시한 요구수준을 정확히 만족하도록 수립되었다.

2.2. 분석틀 설계

본 연구에서는 충청남도와 15개 시군의 계획 간 정합성을 체계적으로 분석하기 위해 3차원 평가 프레임워크를 설계하였다. 이 프레임워크는 계획 정합성의 다면적 특성을 파악하는 데 용이하고, 모든 대상을 평가하는데 적합한 것으로 판단하여 본 연구목적에 활용 가능하도록 문헌을 참고하여 적용하였다.

정책정합성은 다양한 차원의 계획이나 목표 등이 어떠한 관계를 형성하는지를 판단하기 위한 개념으로 일관성, 조정, 포괄 등을 다루고 있다. OECD (2019)는 상위계획과 하위계획, 동일 수준의 계획 간 조정, 단기-중기-장기 정책 등을 고려하여 수직적 정합성, 수평적 정합성(Horizontal Coherence), 시간적 정합성(Temporal Coherence)으로 구분하였다. Nilsson et al. (2012)은 정책정합성을 목표·수단·성과 차원으로 구분하여 목표의 일관성, 수단 간 상호작용, 결과에 대한 영향 분석을 강조하였다. 정합성은 단순한 형식적 일치(formal compliance)가 아니라 실질적 연계와 상호작용을 통한 시너지 창출을 의미한다(Healey, 2006).

본 연구의 3차원 평가 체계는 다음과 같이 구성된다(Fig. 1). 먼저, 수직적 정합성은 충청남도 광역계획과 시군 계획 간 목표와 전략의 일치성을 평가하며, 상위계획의 비전과 목표가 하위계획에 체계적으로 반영되고 구체화되는 정도를 측정한다. 이는 다층거버넌스 이론(Multi-level Governance Theory)에 기반한다. 다음으로, 수평적 연계성은 동일 수준에서 부문 간, 지역 간 계획의 상호연계와 협력 정도를 평가하며, 시군 간 공동사업, 광역사업 참여, 정책 일관성 등을 포함한다. 이는 네트워크 거버넌스 이론(Network Governance Theory)에 근거한다. 마지막으로, 실행 완결성은 계획의 실현가능성을 담보하는 실행수단의 구체성을 평가하며, 예산, 조직, 거버넌스 등 실행 인프라의 완비 정도를 측정한다.

Fig. 1.

Framework for policy coherence dimensions

본 연구는 기초지자체 탄소중립 기본계획의 형식적 정합성(formal coherence)을 평가하는 것을 목적으로 한다. 형식적 정합성이란 계획 문서 간 비전, 목표, 전략, 사업의 구조적·내용적 일치 여부를 의미한다(Tosun and Lang, 2017). 「탄소중립 기본법」 시행령은 모든 기초지자체에 동일한 계획 수립 요건을 부과하고 있으며, 이에 따라 형식적 정합성 평가에서는 지역 특성과 무관하게 동일한 기준을 적용하는 것이 타당하다. 지역별 산업구조, 인구특성, 행정역량 등을 고려한 실질적 정합성(substantive coherence) 평가는 계획 이행 단계에서 수행되어야 할 영역으로, 본 연구와는 구분된다.

한편, 정책정합성의 절대적 판단 기준(threshold)은 학술적으로 합의되지 않은 영역이다. Nilsson et al. (2012)은 정합성을 이분법적 개념이 아닌 연속체(continuum)로 파악하였으며, OECD (2019)의 PCSD 평가 체계 역시 국가별 절대 점수보다 상대적 비교와 개선 권고에 초점을 두고 있다. 이에 본 연구는 동일한 광역계획 하에서 수립된 15개 시군 계획을 동일한 기준으로 평가하여 비교 가능성과 일관성을 확보하는 접근 방법을 채택하였다.

본 연구에서 평가는 시군 간 우열을 판정하거나 서열화하는 것이 아니라, 15개 시군의 상대적 위치를 진단하고 유형별 정책 지원 방향을 도출하는 것을 의미한다. 정합성 점수가 높다고 해서 반드시 우수하거나, 낮다고 해서 미흡한 것은 아니다. 오히려 광역지자체 입장에서 시군별 특성을 파악하여 맞춤형 지원 전략을 수립하고, 도 차원의 탄소중립 이행력을 높이는 데 활용하는 것이 본 평가체계의 목적이다.

2.3. 평가지표 개발 절차

2.3.1. 지표 설계 원칙

평가지표 설계를 위해 SMART (Specific, Measurable, Achievable, Relevant, Time-bound) 원칙과 정책평가 이론을 바탕으로 다음과 같은 원칙을 적용하였다. SMART 원칙은 목표 및 지표 설정의 표준적 기준으로 경영학 및 공공정책 분야에서 광범위하게 활용되고 있다(Doran, 1981). 구체성(Specific), 측정가능성(Measurable), 달성가능성(Achievable), 관련성(Relevant), 시의성(Time-bound)의 SMART 원칙과 함께, 정책평가 이론에 기반한 포괄성, 변별력, 실용성, 균형성, 신뢰성, 타당성을 고려하였다(Rossi et al., 2004; Table 1).

Principles for indicator selection

지표체계 확정을 위해 총 6단계의 프로세스를 적용하였다. 1단계 이론적 기반 구축, 2단계 예비지표 풀 구성, 3단계 1차 전문가 검토, 4단계 지표 스크리닝, 5단계 지표 정교화, 6단계 최종 지표체계 확정의 순서로 진행하였다.

2.3.2. 예비지표 도출

국내외 정책정합성 관련 논문, 정부기관 발간 정책정합성 평가보고서, 탄소중립 정책 관련 국내외 연구 등을 검토하여 138개 문헌을 분석하였다. 문헌 중 원문 접속이 가능한 경우 원문을 불가능한 경우는 초록 등을 사용하였다. 또한, 충청남도와 15개 시군 탄소중립 기본계획도 문헌조사에 포함하였다. 각 예비지표의 개념적 정의는 OECD (2019)의 정책정합성 평가 프레임워크, Nilsson et al. (2012)의 목표-수단-성과 차원 분류, 그리고 Ministry of Environment (2022, 2024)의 탄소중립 기본계획 수립 가이드라인 등을 참고하여 설정하였다. 32개 예비지표의 상세 정의와 측정방법은 부록 A에 제시하였다.

수직적 정합성은 11개로 주요영역은 비전·목표 연계, 사업 매칭, 성과지표 공유, 추진체계이며, 수평적 연계성은 9개지표로 주요영역은 부문간 통합, 지역간 협력, 정책 일관성, 거버넌스가 해당되며, 실행 완결성 지표는 12개 구성되며 주요영역은 예산·재원, 조직·인력, 추진계획, 모니터링이다. 도출된 32개 예비지표는 Table 2와 같다.

32 preliminary indicators

본 연구에서 수직적 정합성과 수평적 연계성은 평가 대상과 측정 초점에 따라 명확히 구분된다(Table 3).

Conceptual distinction between vertical coherence and horizontal connectivity

수직적 정합성은 상위계획의 비전, 목표, 전략, 핵심사업이 하위계획에 내용적으로 반영되었는지를 평가한다. 이는 계획 문서 간의 텍스트 분석을 통해 측정되며, ‘계획에 무엇이 담겼는가’에 초점을 둔다.

반면 수평적 연계성은 동일 수준 지자체 간의 협력과 공동 참여를 평가한다. 다만, 기초지자체 간 직접적인 협력사업은 현실적으로 매우 제한적이다. 충청남도 15개 시군의 탄소중립 기본계획을 분석한 결과, 시군 간 직접 협력사업으로 명시된 경우는 거의 전무하였다. 이러한 현실에서 광역지자체는 시군 간 협력을 촉진하는 플랫폼 역할을 수행한다. 복수의 시군이 광역사업에 공동으로 참여할 때, 이는 형식적으로는 광역-기초 관계이나 실질적으로는 광역을 매개로 한 시군 간 수평적 협력의 성격을 갖는다(Fig. 2).

Fig. 2.

Conceptual distinction between vertical coherence and horizontal connectivity

2.3.3. 델파이 조사 설계 및 실시

예비지표의 타당성 검증을 위해 전문가 패널 15명이 참여하는 2라운드 델파이 조사를 수행하였다. 델파이 기법은 전문가 집단의 의견을 체계적으로 수렴하여 합의를 도출하는 방법으로, 정책 지표 개발에 널리 활용되고 있다(Dalkey and Helmer, 1963).

전문가 패널은 탄소중립 정책, 지방행정, 계획평가 분야의 전문가로 구성하였다. 조사 항목은 각 지표의 중요도(해당 지표가 정책정합성 평가에서 차지하는 중요성)와 측정가능성(실제 평가 시 객관적이고 정확한 측정이 가능한 정도)을 5점 리커트 척도로 측정하였으며, 개선사항이나 추가 고려사항을 주관식으로 수집하였다.

1라운드 조사 결과, 중요도 평균 3.72(표준편차 0.85), 측정가능성 평균 3.45(표준편차 0.92)로 나타났다. 차원별로는 실행 완결성 지표들이 가장 높은 평균 점수(4.12)를 받았으며, 수직적 정합성(3.85), 수평적 연계성(3.21) 순으로 나타났다. 이는 전문가들이 탄소중립 정책에서 실행력을 가장 중요하게 인식하고 있음을 보여준다.

2라운드에서는 각 전문가에게 1라운드 집단 응답 결과(평균, 표준편차, 자신의 응답)를 제공하고 재평가를 실시하였다. 이는 정책의 합의과정을 거쳐 연구결과의 활용성을 높이고자 진행하였다. 2라운드 결과는 중요도 평균 3.89(표준편차 0.62), 측정가능성 평균 3.67(표준편차 0.71)로 1라운드에 비해 전문가 의견의 수렴이 이루어졌다. 전문가 합의 수준을 측정하기 위해 켄달의 일치계수(Kendall’s W)를 산출한 결과, 중요도 0.742, 측정가능성 0.698로 높은 합의 수준을 달성하였다(Table 4).

Analysis of expert consensus level

2.3.4. 지표 스크리닝 기준

결과를 바탕으로 5단계의 순차적 스크리닝 과정을 거쳐 최종 지표를 선별하였다. 스크리닝 기준은 기본기준(중요도 평균 4.0 이상, 측정가능성 평균 3.5 이상), 타당기준(Content Validity Ratio, CVR 0.6 이상, 표준편차 1.0 이하), 합의기준(전문가 수렴도 80% 이상, 필수지표 판정률 70% 이상)을 적용하였다. 세부 스크리닝 기준은 Table 5와 같다.

Indicator screening criteria

중요도 평균 4.0 이상은 5점 리커트 척도에서 ‘높음(High)’ 수준 이상을 의미하며, 측정가능성 평균 3.5 이상은 실무 적용을 위한 최소 기준으로 설정하였다. 내용타당도 비율(CVR)은 Lawshe (1975)가 제안한 지표로, 전문가 패널 중 해당 지표가 필수적이라고 응답한 비율을 나타낸다. 전문가 15명 기준 CVR 0.6 이상은 약 80% 이상의 전문가가 동의함을 의미한다.


3. 연구결과 및 고찰

3.1. 시군 탄소중립 기본계획 구조분석

충청남도 15개 시군의 탄소중립 기본계획은 「탄소중립 기본법」과 시행령, 그리고 관련 지침을 충실히 반영하여 정형화된 수준의 계획을 수립한 것으로 파악되었다. 모든 시군 계획은 비전, 목표, 전략, 과제, 이행관리, 재정, 법적 근거 등 7개 법정 요건을 충족하고 있으며, 「탄소중립 기본법 시행령」에서 제시한 요구수준을 만족할 정도로 수립된 것으로 파악되었다. 15개 시군 계획의 공통요소는 Table 6과 같다.

Common elements of carbon neutrality master plans in 15 municipalities of Chungcheongnam-do

각 시군별 기본계획에는 충청남도 계획과 연계한 비전을 설정하려는 노력과 함께 지역의 특성을 반영한 문구를 포함하여 정합성과 특수성을 동시에 반영하려는 시도가 나타났다. 모든 지자체 목표는 2018년을 기준으로 하고 있으며, 지침에 정하는 목표년도별 배출량과 감축량을 제시하고 있다. 부문별(건물, 수송, 농축산, 폐기물, 흡수원 등)로 중장기 전략이 도식 및 표 형태로 구조화되어 있으며, 상위계획(국가, 광역)의 4대 전략을 연동해 ‘정의로운 전환’, ‘혁신·실천’, ‘질서 있는 이행’, ‘기후위기 적응’ 등을 주요 전략 범주로 설정하고 있다.

15개 시군은 공통적인 기본 골격을 따르면서도 지역의 산업, 지리, 인구, 경제 구조, 자연환경에 맞춰 차별적인 전략과 우선순위를 제시하고 있다. 산업·발전 특화 도시(천안시, 아산시, 당진시, 서산시, 보령시 등)는 산업단지 에너지 효율화, 대규모 신재생에너지 설비 투입, 탈석탄 정책에 중점을 두고 있다. 농축산·도농복합군(금산군, 청양군, 부여군, 서천군 등)은 저탄소 농업, 축산분뇨 자원화, 스마트팜 등 농촌 특화 감축기술 지원에 집중하고 있다. 해양·연안 특화 지역(태안군, 서천군, 홍성군 등)은 블루카본 관리, 갯벌·염습지 보전, 해양환경복원 등 해양 특화 전략을 강조하고 있다(Table 7).

Differentiated strategies by regional characteristics

계획 간 논리구조를 분석한 결과, 모든 시군의 기본계획은 비전 → 목표 → 전략 → 과제의 체계를 갖추고 있어 수직·수평적 평가가 가능하다. 수직적 연결성 측면에서 충청남도의 목표인 2045년에 대부분 맞춰 목표를 설정하고 부문별 다양한 사업을 제시하고 있으며, 과제는 전략별로 세분화된 실행과제들로 연차별 운영계획, 예산, 성과지표까지 연결되어 이행가능성을 갖추고 있다고 파악되었다. 수평적 분화 측면에서는 동일 부문이라도 각 지역 특성에 따라 과제 발굴·실행계획이 상이하여 지역맞춤형 구조도 확인할 수 있다.

3.2. 예비지표 스크리닝 결과

2.3.2절에 제시한 총 32개의 예비지표에 대해 2.3.4절의 지표 스크리닝 기준에 따라 5단계 순차적 스크리닝 과정을 거쳐 최종 지표를 선별하였다.

1단계 중요도 기준(4.0 이상) 적용 결과, 32개 예비지표 중 24개가 통과하고 8개가 탈락하였으며, 대부분 정성적 성격이 강한 지표들이었다(Table 8).

Stage 1 screening results

2단계 측정가능성 기준(3.5 이상) 적용 결과, 24개 중 19개가 통과하고 5개가 탈락하였다. 탈락한 지표들은 중요도 평균이 4.0 이상으로 높았으나, 측정가능성 평균이 3.5 미만으로 나타났다. 델파이 조사의 개방형 응답에서 전문가들은 해당 지표들에 대해 ‘측정 기준의 모호성’, ‘평가자 간 해석 차이 가능성’ 등을 주요 문제점으로 지적하였다.

3단계 CVR 기준(0.6 이상) 적용 결과, 16개 지표가 선별되었다. 예산규모 정합성(CVR 0.53), 조직체계 연계성(CVR 0.47), 정책우선순위 정합성(CVR 0.40)이 탈락하였으며, 이들 지표는 CVR 값이 각각 0.53, 0.47, 0.40으로 기준치(0.6) 미만이었으며, 이는 전문가 15명 중 80% 이상의 동의를 얻지 못하였음을 의미한다(Lawshe, 1975).

4단계 전문가 합의도 기준(1, 2라운드 변화율 20% 이내, 표준편차 1.0 이하) 적용 결과, 재원 다양성(변화율 28%, 표준편차 1.15)과 정책 상충도(변화율 24%, 표준편차 1.12)가 탈락하여 14개 지표가 선별되었다.

5단계 종합 평가에서는 전문가들이 직접 필수지표로 판정한 비율(70% 이상)을 기준으로 최종 선별하였다.

5단계 스크리닝 과정은 Table 9와 같으며, 그 과정은 Fig. 3과 같다.

Summary of indicator screening results (stages 2-5)

Fig. 3.

Indicator screening process

5단계 순차적 스크리닝 과정을 거쳐 최종 확정된 12개 평가지표는 Table 10과 같다.

Finalized policy coherence evaluation indicators

차원별 선정률을 보면 수직적 정합성이 45%(11개 중 5개)로 가장 높고, 수평적 연계성 33%(9개 중 3개), 실행 완결성 33%(12개 중 4개)로 나타났다. 수직적 정합성 지표들의 측정가능성 평균(4.17)이 수평적 연계성(3.68) 및 실행 완결성(3.72)보다 높게 나타났는데, 이는 수직적 정합성 지표들이 계획 문서 간 텍스트 비교를 통해 객관적 측정이 용이한 특성에 기인한 것으로 해석된다.

5단계 스크리닝을 통과한 12개 지표에 대해 연구진은 실제 작동여부와 최대한 개념적 타당성을 도모하고자 전문가 의견을 포함하여 추가로 재검토하였다. 특히 H-2(광역사업 참여율)에 대해 심층 검토를 수행한 결과, 본 지표는 수평적 연계성의 본질적 정의에 부합하지 않는 것으로 판단되었다. 본 연구에서 수평적 연계성은 동일 수준에서 부문 간, 지역 간 계획의 상호연계와 협력으로 정의하였으나, H-2는 광역지자체가 주도하는 사업에 기초지자체가 참여하는 형태로서 본질적으로 광역-기초 간 위계적 관계를 측정하는 지표라고 판단하였다. 시군 간 직접적인 협력이나 상호작용 없이 광역사업에 개별적으로 참여하는 것만으로는 수평적 연계성이 형성되었다고 보기 어렵다. 또한 수직적 정합성 차원의 V-3(핵심사업 매칭률)이 광역-기초 간 사업 연계를 일부분 이미 측정하고 있어 개념적 중복 가능성도 존재한다. 이에 연구진은 전문가 의견 수렴 등을 거쳐 H-2를 최종 지표에서 제외하기로 결정하였다. 이에 따라 최종 평가지표는 수직적 정합성 5개, 수평적 연계성 2개, 실행 완결성 4개로 총 11개로 확정되었다.

3.3. 최종 평가지표 체계

3.3.1. 수직적 정합성 평가지표

수직적 정합성은 충청남도 기본계획과 시군 기본계획 간의 목표와 전략의 일치성을 평가하는 차원으로 5개 지표로 구성된다.

V-1. 비전 키워드 일치도는 텍스트 분석 기법을 활용하여 평가한다. 충청남도 탄소중립 비전에서 핵심 키워드 5-7개를 추출하고, 각 시군의 비전 문장에서 해당 키워드들의 출현 여부와 빈도를 분석한다.

V-2. 전략목표 연계성은 상위계획인 충청남도의 전략목표가 각 시군 계획에 얼마나 체계적으로 반영되었는지를 측정한다. 충청남도의 전체 전략목표 수 대비 시군 계획에 명시적으로 반영된 목표 수의 비율로 계산된다.

V-3. 핵심사업 매칭률은 충청남도가 제시한 핵심사업에 대한 시군의 대응 사업 존재 여부를 평가한다. 각 핵심사업별로 시군 계획에 유사하거나 연계된 사업이 있는지를 확인하며, 사업명이 다르더라도 목적과 내용이 부합하면 대응사업으로 인정한다.

V-4. 성과지표 공유율(기후위기 대응기반 강화대책 지표 공유율)은 충청남도와 시군이 공통으로 활용하는 성과지표의 비율을 측정한다. 탄소중립 기본계획의 최종 성과지표는 온실가스 감축률로 모든 시군이 동일하므로, 시군별 차이를 보이는 기후위기 대응기반 강화대책 지표 공유율로 대체하였다. 이는 환경부 가이드라인(Ministry of Environment, 2024)을 참고하였다.

V-5. 협력체계 명시성은 계획서 내에 도-시군 간 협력 방안이 얼마나 구체적으로 제시되었는지를 평가한다. 협력 거버넌스 구성 여부, 기관별 역할 분담의 명확성, 구체적인 협력사업 제시, 정보공유 체계 구축, 갈등조정 메커니즘 포함 여부 등 5개 항목으로 구성된 체크리스트를 활용한다. 수직적 정합성 지표의 측정방법은 Table 11과 같다.

Measurement methods for vertical coherence indicators

3.3.2. 수평적 연계성 평가지표

수평적 연계성은 동일 수준에서의 협력과 통합 정도를 평가하며 3개 지표로 구성되며, H-1. 민관협의체 운영은 탄소중립 추진을 위한 민관 거버넌스의 구축과 운영 수준을 종합적으로 평가한다. 구성 여부 및 제도화 수준(30점), 구성의 다양성(20점), 운영 실적(30점), 실질적 권한(20점)의 4개 세부 영역으로 나누어 평가하며, 총 100점 만점 체계를 적용한다.

H-3. 지역협력사업 수는 인접 시군과의 공동사업 추진 실적을 평가한다. 탄소중립과 관련하여 2개 이상의 시군이 공동으로 추진하는 사업의 건수를 측정하며, MOU, 협약서 등 문서화된 증빙이 있는 사업만을 인정한다. 수평적 연계성 지표의 측정방법은 Table 12와 같다.

Measurement methods for horizontal connectivity indicators

3.3.3. 실행 완결성 평가지표

실행 완결성은 계획의 실현가능성을 담보하는 실행 기반의 구축 정도를 평가하며 4개 지표로 구성된다.

I-1. 예산 확보율은 계획에서 제시한 소요 예산 대비 실제 확보된 예산의 비율을 측정한다. 국비, 도비, 시군비를 모두 포함한 총예산을 기준으로 하며, 민간 투자나 기금도 확보된 예산에 포함한다. 다만 본지표는 계획 수립시점에서는 확보 계획의 구체성을 기준으로 평가되며, 실제 예산 확보율은 이행단계에서 사후적으로 측정될 수 있다.

I-2. 전담조직 설치는 탄소중립 업무를 전담하는 조직의 설치 형태와 규모를 평가한다. 독립된 과 단위 조직이 설치된 경우 5점, 팀 단위 전담조직은 4점, 계나 담당 수준의 전담조직은 3점, 타 업무와 겸임하는 담당자만 있는 경우 2점, 전담 인력이 없는 경우 1점을 부여한다.

I-3. 로드맵 구체성은 탄소중립 추진을 위한 단계별 실행계획의 구체성과 실현가능성을 평가한다. 연차별 목표 제시(25점), 단계별 추진전략(25점), 사업별 일정 명시(25점), 예산계획 연계(25점)의 4개 평가 요소를 총 100점 만점으로 측정한다.

I-4. 평가체계 구축은 탄소중립 정책의 성과를 측정하고 환류하는 시스템의 구축 수준을 평가한다. 평가 조직/위원회 구성(25점), 평가지표 개발(25점), 평가주기 명시(25점), 환류체계(25점)의 4개 구성요소를 총 100점 만점으로 측정한다. 실행 완결성 지표의 측정방법은 Table 13과 같다.

Measurement methods for implementation completeness indicators

3.4. 평가지표 시범적용

3.4.1. 시범적용 개요

확정한 11개 평가지표의 작동 가능성과 변별력을 검증하기 위해 충청남도 15개 시군의 탄소중립 기본계획에 시범 적용하였다. 평가는 각 시군이 2025년 상반기에 확정한 제1차 탄소중립 기본계획(2025 ~ 2034)을 대상으로 수행하였으며, 지표별 가중치는 AHP (Analytic Hierarchy Process) 분석을 통해 산정하였다.

1라운드 AHP 분석 결과, 실행 완결성(0.557)이 전체 가중치의 과반을 차지하여 수직적 정합성(0.320)과 수평적 연계성(0.123)을 합산한 연계성 차원(0.443)보다 높게 나타났다. 이는 전문가들이 탄소중립 정책 추진에 있어 실행 기반 확보를 중요하게 인식하고 있음을 보여주나, 본 연구의 목적이 광역계획 정합성 평가임을 고려할 때 연계성 차원의 가중치가 과소평가될 우려가 있었다.

이에 델파이 조사와 동일한 방식으로 2라운드 AHP를 실시하였다. 전문가들에게 1라운드 결과를 제공하고, 연구 목적과 가중치 분포 간의 관계를 검토한 후 재평가하도록 요청하였다. 2라운드 AHP 결과, 수직적 정합성 0.4000, 수평적 연계성 0.2000, 실행 완결성 0.4000로 조정되어 연계성 차원과 실행 완결성 간의 균형이 개선되었다(Table 14). 최종 가중치의 일관성 비율(CR)은 모두 0.1 이하로 신뢰성을 확보하였다.

Relative importance (weights) of evaluation indicators

3.4.2. 시군별 평가 결과

11개 지표를 적용하여 15개 시군의 정책정합성을 평가한 결과, 시군별로 뚜렷한 차이가 나타났다(Table 15). 분석의 용이성을 위해 수직적 정합성과 수평적 연계성을 통합하여 네트워크 정합성(Network Coherence)으로, 실행 완결성은 별도 차원으로 구분하여 제시하였다.

Policy coherence evaluation results by municipality

평가 결과, 네트워크 정합성에서는 보령시(1.921), 예산군(1.811), 당진시(1.726)가 높은 점수를 기록하였다. 이들 시군은 광역계획과의 연계 수준이 높고, 지역 간 협력 기반이 비교적 충실하게 구축되어 있었다. 반면 논산시(1.063), 아산시(1.127)는 상대적으로 낮은 점수를 보여 계획 간 연계 구조의 보완이 필요한 것으로 나타났다.

실행 완결성에서는 천안시(1.860), 아산시(1.860), 계룡시(1.727)가 높은 점수를 기록하였다. 이들 시군은 예산 확보, 전담 조직 운영, 평가체계 구축 등 실행 기반이 안정적으로 갖추어져 있었다. 반면 청양군(0.952), 서천군(1.001), 서산시(1.043)는 실행 완결성이 평균에 미치지 못하여 정책 이행 과정에서 추진 동력과 관리 체계의 보완이 필요한 것으로 분석되었다.

평가 결과의 변별력을 검증하기 위해 변이계수(Coefficient of Variation, CV)를 산출하였다(Table 16). Network Coherence의 CV는 18.63%, Implementation Completeness의 CV는 20.87%로 나타났다. 일반적으로 CV 10 ~ 30%는 적절한 변별력을 의미하며, 10% 미만은 측정 대상 간 차이가 미미하여 변별력이 부족함을, 30% 초과는 데이터의 편차가 과도함을 나타낸다(Vaz et al., 2017). 본 평가 결과는 두 차원 모두 적절한 범위 내에 있어, 개발된 평가지표가 15개 시군의 정책정합성 수준을 유의미하게 구분할 수 있는 변별력을 갖추고 있음을 확인하였다.

Descriptive statistics and discriminability of evaluation results

평가지표의 독립성을 검증하기 위해 11개 지표 간 상관분석을 수행하였다(부록 B 참조). 분석 결과, 동일 차원 내 지표 간에는 중간 ~ 강한 양의 상관이 나타났으나(수직적 정합성 평균 r=0.701), 상이 차원 간에는 상관이 낮았다(평균 r=0.167). 차원 내 평균 상관(0.497)이 차원 간 평균 상관(0.167)보다 높아 판별타당도(discriminant validity)가 확보되었음을 확인하였다. 특히, 실행 완결성 차원은 연계성 차원(수직+수평)과 유의한 상관이 없어(p>0.05) 독립적인 구성개념임이 확인되었다.

시범 적용 결과, 개발된 평가지표는 15개 시군의 정책정합성 수준을 명확히 구분할 수 있는 변별력을 갖추고 있으며, 실제 계획 문서와 행정 자료를 바탕으로 측정 가능한 것으로 확인되었다. 평가의 재현가능성을 확보하기 위해 당진시를 대상으로 상세 과정을 부록 C에 제시하였다. 이는 본 평가체계가 기초지자체 탄소중립 기본계획의 정합성 진단 도구로서 실무적 활용 가능성을 갖추고 있음을 시사한다.

3.4.3. 정책활용 방향 제안

네트워크 정합성과 실행 완결성의 평균값을 기준으로 15개 시군을 4개 유형으로 분류하였다(Fig. 4, Table 17). 이러한 유형 분류는 각 시군의 정책적 위치와 향후 보완 방향을 파악하는 데 유용한 분석 틀을 제공한다. 즉, 4개 유형 분류는 시군 간 우열을 나타내는 것이 아니라, 각 시군이 처한 정책적 위치와 특성을 파악하기 위한 것이다.

Fig. 4.

Quadrant analysis of network coherence and implementation completeness

Municipality classification by policy coherence type

Type I(선도형)은 광역 차원의 우수 사례로 활용될 수 있고, Type II(연계강화형)는 광역계획과의 연계 구조 확장이 필요하며, Type III(기초역량강화형)은 단계적 역량 강화 지원이 요구되고, Type IV(실행중심형)는 실행 체계 보완 시 단기간 내 성과를 높일 수 있는 잠재력을 보유하고 있다. 이처럼 본 평가체계는 충청남도가 15개 시군의 유형별 특성에 맞는 차별화된 지원 전략을 수립하는 데 활용될 수 있다.

AHP 가중치의 안정성을 검증하기 위해 민감도 분석을 수행하였다(부록 B 참조). 차원별 가중치를 ±20% 조정한 6개 시나리오에서 유형 분류 결과를 비교한 결과, 평균 97.8%의 시군이 기준 분류와 동일한 유형으로 분류되었다. 또한, 4분면 분류 기준을 평균에서 중앙값으로 변경하여도 86.7%(13/15개 시군)가 동일 유형을 유지하여 평가 결과의 강건성(robustness)을 확인하였다.

시범 적용 결과, 개발된 평가지표는 15개 시군의 정책정합성 수준을 명확히 구분할 수 있는 변별력을 갖추고 있으며, 실제 계획 문서와 행정 자료를 바탕으로 측정 가능한 것으로 확인되었다. 이는 본 평가체계가 기초지자체 탄소중립 기본계획의 정합성 진단 도구로서 실무적 활용 가능성을 갖추고 있음을 시사한다.

3.5. 평가체계의 방법론적 의의 및 한계

본 연구에서 개발된 평가체계는 다음과 같은 학술적·실무적 의의를 가진다.

첫째, 기초지자체 탄소중립 기본계획을 대상으로 정책정합성 관점에서 평가지표를 체계적으로 개발한 국내의 선도적 연구이다. 기존 연구가 주로 광역지자체나 중앙정부 차원의 정책 분석에 집중한 반면, 본 연구는 실제 정책이 집행되는 기초지자체 수준에서의 계획 정합성을 평가할 수 있는 도구를 제시하였다.

둘째, 정책정합성의 다차원적 특성을 반영한 평가체계를 구축하였다. 수직적 정합성, 수평적 연계성, 실행 완결성의 3개 차원으로 구성된 평가체계는 계획 문서 간 형식적 정합성을 다각도에서 종합적으로 평가할 수 있도록 설계되었다. 이러한 3차원 구조는 OECD (2019)의 수직적·수평적·시간적 정합성 구분과 Nilsson et al. (2012)의 목표-수단-성과 차원 접근에 이론적 기반을 두고 있으며, 탄소중립 기본계획의 특성을 반영하여 실행 완결성을 추가한 것이다.

셋째, 델파이 조사를 통해 전문가 합의에 기반한 지표를 도출함으로써 평가체계의 타당성과 신뢰성을 확보하였다.

2라운드에 걸친 델파이 조사에서 켄달의 일치계수 0.7 이상의 높은 합의 수준을 달성하였으며, 138개 문헌 분석, 5단계 스크리닝이라는 체계적 절차를 통해 방법론적 엄밀성을 확보하였다.

넷째, 정량적 측정이 가능한 지표를 중심으로 선별함으로써 객관적이고 비교 가능한 평가가 가능하도록 하였다. 각 지표에 대해 구체적인 측정방법과 평가기준을 제시하여 실무 적용성을 높였으며, 15개 시군 전체를 대상으로 시범 적용을 수행하여 지표의 작동 가능성과 변별력을 실증적으로 검증하였다. 변이계수(CV) 분석 결과 네트워크 정합성 18.63%, 실행 완결성 20.87%로 나타나 적절한 변별력(CV 10 ~ 30%)을 갖추고 있음을 확인하였다.

이에 반해 본 연구는 다음과 같은 한계를 가지고 있다.

첫째, 충청남도 15개 시군이라는 단일 사례에 기반하여 일반화 가능성에 한계가 있다. 또한 델파이 조사 참여 전문가가 15명으로 제한적이었으며, 32개 예비지표의 유형별 다양성을 고려할 때 모든 지표에 대해 균등한 전문성을 확보하기 어려웠다. 향후 다른 광역지자체에 적용하여 교차검증(cross-validation)을 수행하고, 보다 다양한 분야의 전문가 참여를 통해 지표의 포괄성과 대표성을 높일 필요가 있다.

둘째, 수직적 정합성 지표(V-1~V-5) 간 높은 상관이 존재하여 다중공선성 우려가 있다. 특히 V-1(비전 키워드 일치도)과 V-3(핵심사업 매칭률) 간 상관이 r=0.938로 매우 높게 나타났다. 이는 광역계획과의 정합성이 높은 시군은 비전 수준에서부터 사업 수준까지 일관되게 정합적 계획을 수립한다는 것을 의미하며, 계획 전반의 일관성을 보여주는 긍정적 신호로도 해석된다. 본 연구에서는 상관분석과 판별타당도 검증을 통해 차원 간 독립성을 확인하였으나(부록 B 참조), 확인적 요인분석(Confirmatory Factor Analysis, CFA)을 통한 요인구조 검증은 수행하지 못하였다. CFA는 최소 100개 이상의 표본을 요구하나(Kline, 2015), 본 연구의 분석 대상은 15개 시군에 불과하다. 단일 광역지자체 내에서는 기초지자체 수가 가장 많은 경기도(31개)조차 이 요건을 충족하지 못하는 구조적 한계가 있다. 향후 전국 단위 기초지자체로 확대 시 CFA를 통한 요인구조 검증과 AHP 가중치의 재검증이 가능할 것이나, 이 경우에도 광역별 동일한 평가 기준 마련과 광역지자체를 통제변수로 포함하거나 다층분석(Hierarchical Linear Modeling, HLM) 등의 검토가 필요하다.

셋째, 본 연구는 계획 문서의 형식적 정합성에 초점을 두어 실제 온실가스 감축 성과와의 연계가 부족하다. 또한 정합성의 절대적 임계값(threshold)을 제시하기보다 15개 시군 간 상대적 비교를 통해 정합성 수준을 진단하는 접근을 채택하였는데, 이는 정책정합성의 절대적 기준이 학술적으로 합의되지 않은 영역이며(Nilsson et al., 2012; OECD, 2019), 본 연구의 목적이 시군 간 우열 판정이 아니라 유형별 특성 파악과 맞춤형 정책 지원 방향 도출에 있기 때문이다. 향후 연차별 평가를 통한 종단면 연구를 수행하여 형식적 정합성이 실질적 정합성(substantive coherence)과 정책 이행 성과로 이어지는지 검증하고, 정합성 점수와 온실가스 감축 실적 간의 관계 분석을 통해 경험적 기준을 도출할 필요가 있다.


4. 결론

본 연구는 충청남도 15개 기초지자체 탄소중립 기본계획의 광역계획 정합성을 체계적으로 평가하기 위한 지표를 개발하고자 하였다. 탄소중립 정책이 계획 수립에 머무르지 않고 실질적인 온실가스 감축 성과로 이어지려면, 기초지자체 계획이 상위 계획과 정합성을 유지하면서도 지역 여건을 반영한 실행 중심 구조로 운영되어야 한다는 문제의식에서 출발하였다.

연구의 주요 결과는 다음과 같다.

첫째, 정책정합성 개념을 계획 체계, 목표 설정, 이행 수단, 관리·평가의 전 과정으로 확장하여 정의하고, 이를 바탕으로 기초지자체 탄소중립 기본계획의 정합성을 진단할 수 있는 3차원 분석틀(수직적 정합성, 수평적 연계성, 실행 완결성)을 설계하였다. 이 분석틀은 OECD (2019)Nilsson et al. (2012)의 정책정합성 이론에 기반하며, 탄소중립 정책의 특성을 반영하여 실행 완결성을 추가한 것이다.

둘째, 문헌조사를 통해 32개 예비지표를 도출하고, 전문가 15명이 참여한 2라운드 델파이 조사와 5단계 스크리닝을 거치고 지표의 실제작동 여부와 개념적 타당성 등에 대한 검토를 거쳐 최종 11개 핵심 지표를 확정하였다.

셋째, 확정된 11개 지표는 수직적 정합성 5개(전략목표 연계성, 비전 키워드 일치도, 핵심사업 매칭률, 성과지표 공유율, 협력체계 명시성), 수평적 연계성 2개(민관협의체 운영, 지역협력사업 수), 실행 완결성 4개(예산 확보율, 전담조직 설치, 로드맵 구체성, 평가체계 구축)로 구성되며, 각 지표에 대해 구체적인 측정방법과 5점 척도 평가기준을 제시하였다.

넷째, 개발된 평가지표를 충청남도 15개 시군 전체에 시범 적용하여 실무적 활용 가능성을 검증하였다. AHP 분석을 통해 지표별 가중치를 산정하였으며, 평가 결과의 변별력을 검증하기 위해 변이계수(CV)를 산출한 결과 네트워크 정합성 18.63%, 실행 완결성 20.87%로 나타나 적절한 변별력을 갖추고 있음을 확인하였다. 또한 4분면 분석을 통해 15개 시군을 4개 유형으로 분류하고 유형별 정책적 시사점을 제시하였다.

본 연구의 학술적 의의는 다음과 같다.

첫째, 기초지자체 탄소중립 기본계획을 대상으로 정책정합성 관점에서 평가지표를 체계적으로 개발한 선도적 연구로서, 기존 연구가 주로 광역지자체나 중앙정부 차원의 정책 분석에 집중한 것과 차별화된다.

둘째, 정책정합성의 다차원적 특성을 반영한 평가체계를 구축함으로써 형식적 정합성뿐 아니라 실질적 연계와 실행 가능성까지 종합적으로 평가할 수 있도록 하였다.

셋째, 델파이 조사를 통해 전문가 합의에 기반한 지표를 도출하고, 15개 시군 전체를 대상으로 시범 적용을 수행함으로써 평가체계의 타당성과 신뢰성, 실무적 활용 가능성을 검증하였다.

본 연구의 한계와 향후 연구 방향은 3.5절에서 상술하였다. 단일 광역지자체 사례의 일반화 한계, 표본 크기 제약에 따른 확인적 요인분석(CFA) 미수행, 형식적 정합성에 초점을 둔 연구 범위의 제약 등이 있으며, 향후 전국 단위 확대와 종단면 연구를 통해 이를 보완할 필요가 있다.

본 연구에서 개발된 평가지표는 기초지자체 탄소중립 기본계획을 개별 계획의 단순 집합이 아닌, 광역 차원의 목표 달성을 위한 통합적 정책 체계로 관리하는 데 활용될 수 있다. 이를 통해 광역-기초 간 정책 격차를 완화하고, 지역 특성을 반영한 탄소중립 이행력 제고로 실질적 탄소중립 실현에 기여할 수 있을 것이다.

Acknowledgments

본 연구는 충남연구원 전략과제 ‘충청남도 기초지자체 탄소중립 기본계획 정책정합성 제고방안 연구’의 지원으로 수행된 연구보고서의 내용을 토대로 작성되었으며, 일부 내용을 수정·보완하여 작성되었습니다.

References

  • Dalkey N, Helmer O. 1963. An experimental application of the Delphi method to the use of experts. Manage Sci 9(3): 458-467. [https://doi.org/10.1287/mnsc.9.3.458]
  • Doran GT. 1981. There’s a S.M.A.R.T. way to write management’s goals and objectives. Manage Rev 70(11): 35-36.
  • Healey P. 2006. Collaborative planning: Shaping places in fragmented societies, 2nd edn. London: Palgrave Macmillan. [https://doi.org/10.1007/978-1-349-25538-2]
  • Jang NJ, Kim EY. 2023. Analysis of greenhouse gas emission characteristics and carbon neutrality strategies for municipalities (in Korean). Jeonju, Korea: Jeonbuk Research Institute.
  • Kim TH, Kim HR, Ko BS, Kim YS. 2024. A study on identifying new tasks through case analysis of metropolitan and provincial carbon neutrality policies (in Korean). Gwangju, Korea: Gwangju Metropolitan City.
  • Kim TH, Lee JY, Song SK, Song JY, Kim GH, Kwon YS, Hong SH, Neubert M, Wende W. 2024. Integrated management plan for local government land-environment planning considering carbon neutrality (in Korean). Sejong, Korea: Korea Environment Institute.
  • Kline RB. 2015. Principles and practice of structural equation modeling, 4th edn. New York: Guilford Press.
  • Lawshe CH. 1975. A quantitative approach to content validity. Pers Psychol 28(4): 563-575. [https://doi.org/10.1111/j.1744-6570.1975.tb01393.x]
  • Lee SS, Lee SK. 2024. Advancement strategies for municipal carbon neutrality master plans by greenhouse gas emission types (in Korean). Hongseong, Korea: Chungnam Institute.
  • Ministry of Environment. 2022. Guidelines for establishing local government carbon neutrality and green growth master plans (in Korean). Sejong, Korea: Ministry of Environment.
  • Ministry of Environment. 2024. Guidelines for establishing carbon neutrality master plans (revised) (in Korean). Sejong, Korea: Ministry of Environment.
  • Nilsson M, Zamparutti T, Petersen JE, Nykvist B, Rudberg P, McGuinn J. 2012. Understanding policy coherence: Analytical framework and examples of sector-environment policy interactions in the EU. Environ Policy Gov 22(6): 395-423. [https://doi.org/10.1002/eet.1589]
  • OECD. 2019. Policy coherence for sustainable development 2019: Empowering people and ensuring inclusiveness and equality. Paris: OECD Publishing. [https://doi.org/10.1787/a90f851f-en]
  • Park JH. 2023. The status and characteristics of local climate change adaptation plans in Korea (in Korean with English abstract). J Clim Change Res 14(5): 561-568. [https://doi.org/10.15531/ksccr.2023.14.5.561]
  • Rossi PH, Lipsey MW, Freeman HE. 2004. Evaluation: A systematic approach, 7th edn. Thousand Oaks, CA: Sage Publications.
  • Suda AO, Onjira CO, Karanja FK. 2024. Policy coherence assessment of water, energy, and food resources policies in the Tana River Basin, Kenya. Environ Sci Policy 151: 103615. [https://doi.org/10.1016/j.envsci.2024.103816]
  • Tosun J, Lang A. 2017. Policy integration: Mapping the different concepts. Policy Stud 38(6): 553-570. [https://doi.org/10.1080/01442872.2017.1339239]
  • Vaz MAB, Restle J, Vaz RZ, Pascoal LL, Brondani IL, Arruda DS, Pacheco PS, Rosa JRP. 2017. Classification of the coefficient of variation to variables in beef cattle experiments. Ciência Rural 47(11): e20160309. [https://doi.org/10.1590/0103-8478cr20160946]

Appendix

부록

A. 델파이 조사 자료

A.1. 조사개요

본 연구에서는 32개 예비지표의 타당성 검증을 위해 전문가 패널 15명이 참여하는 2라운드 델파이 조사를 수행하였다. 전문가 패널은 탄소중립 정책, 지방행정, 계획평가 분야의 전문가로 구성하였으며, 각 지표에 대해 중요도와 측정가능성을 5점 리커트 척도로 평가하였다.

A.2. 평가 척도

각 지표는 아래의 5점 척도를 적용하여 평가하였다.

Evaluation criteria (5-point scale)

A.3. 32개 예비지표 정의

델파이 조사에서 전문가들에게 제공된 32개 예비지표의 개념적 정의와 측정 방법은 다음과 같다. 다만, 지표가 확정된 후 일부 확정 지표의 경우 측정가능성을 고려하여 일부 내용을 수정하여 활용하였다.

A.3.1. 수직적 정합성 지표

수직적 정합성 지표는 11개로 지표명, 개념적 정의, 측정 방법순으로 정리하면 다음과 같다.

  • (1) 비전 키워드 일치도
    - 충청남도 탄소중립 비전의 핵심 키워드가 시군 기본계획의 비전에 반영된 정도
    - 텍스트 분석을 통해 5-7개 핵심 키워드 추출 후 일치율 산정
  • (2) 전략목표 연계성
    - 충청남도 기본계획의 전략목표와 시군 기본계획 목표 간의 연계 정도
    - 충청남도 전략목표 수 대비 시군 계획에 반영된 목표 수의 비율
  • (3) 핵심사업 매칭률
    - 충청남도 기본계획의 핵심사업과 시군 기본계획 사업 간의 매칭 비율
    - 충청남도 10대 핵심사업에 대한 시군 대응사업 존재 여부 확인
  • (4) 성과지표 공유율
    - 충청남도와 시군이 공통으로 사용하는 성과지표의 비율
    - 기후위기 대응기반 강화대책 지표의 유사도 분석
  • (5) 추진일정 동조화
    - 충청남도 기본계획과 시군 기본계획의 추진일정 간 일치 정도
    - 단계별 목표연도 및 이행일정의 일치 여부 확인
  • (6) 예산규모 정합성
    - 충청남도 기본계획 대비 시군 기본계획의 예산 규모 적정성
    - 광역-기초 간 예산 배분 비율 및 부문별 예산 구성 비교
  • (7) 조직체계 연계성
    - 충청남도와 시군 간 탄소중립 추진 조직체계의 연계 정도
    - 추진체계 구성, 역할 분담, 협력 거버넌스 구축 여부 확인
  • (8) 법적근거 일관성
    - 충청남도 기본계획과 시군 기본계획의 법적 근거 간 일관성
    - 관련 조례, 지침 등 법적 근거의 정합성 분석
  • (9) 정책우선순위 정합성
    - 충청남도 기본계획과 시군 기본계획의 정책 우선순위 일치 정도
    - 전략과제 우선순위 및 예산 배분 우선순위 비교
  • (10) 추진전략 연계성
    - 충청남도 기본계획의 추진전략이 시군 기본계획에 반영된 정도
    - 4대 전략(정의로운 전환, 혁신·실천, 질서 있는 이행, 기후위기 적응) 반영 여부
  • (11) 협력체계 명시성
    - 광역-기초 간 협력체계가 계획서에 구체적으로 명시된 정도
    - 5개 항목 체크리스트 (협력거버넌스, 역할분담, 협력사업, 정보공유, 갈등조정)

A.3.2. 수평적 연계성 지표

수평적 연계성 지표는 9개로 지표명, 개념적 정의, 측정 방법순으로 정리하면 다음과 같다.

  • (1) 부문통합 사업 비율
    - 2개 이상 부문이 연계된 통합사업의 비율
    - 전체 추진사업 중 복수 부문 연계사업의 비율 산정
  • (2) 지역협력사업 수
    - 인접 시군과의 공동사업 추진 건수
    - MOU, 협약서 등 문서화된 협력사업 건수 확인
  • (3) 정책 상충도
    - 주요 정책 간 상충 및 모순 정도
    - 부문별 정책 간 상충 여부 및 조정 메커니즘 분석
  • (4) 민관협의체 운영
    - 민관 협력체계의 구성 및 운영 수준
    - 4개 영역 평가(구성여부, 다양성, 운영실적, 실질적 권한)
  • (5) 이해관계자 참여도
    - 정책과정에서 이해관계자 참여 정도
    - 계획 수립 및 이행 과정의 이해관계자 참여 수준
  • (6) 광역사업 참여율
    - 충청남도 주도 사업에 대한 시군 참여 비율
    - 광역 탄소중립 사업에 대한 MOU, 예산분담, 실무협의회 참여 현황
  • (7) 부서간 협력체계
    - 시군 내부 부서 간 협력 및 조정 체계
    - TF 구성, 협의체 운영, 부서 간 역할 분담 명시 여부
  • (8) 정보공유 체계
    - 관련 기관 간 정보 공유 체계 구축 정도
    - 데이터 공유 플랫폼, 정기 보고 체계 등 구축 여부
  • (9) 갈등조정 매커니즘
    - 정책 갈등 예방 및 조정 메커니즘 구축 정도
    - 이해관계 조정 절차, 분쟁해결 체계 명시 여부

A.3.3. 실행 완결성 지표

실행 완결성 지표는 12개로 지표명, 개념적 정의, 측정 방법순으로 정리하면 다음과 같다.

  • (1) 예산 확보율
    - 계획에서 제시한 소요 예산 대비 실제 확보된 예산의 비율
    - 국비, 도비, 시군비 포함 총예산 대비 확보 예산 비율
  • (2) 전담조직 설치
    - 탄소중립 정책 전담조직 설치 여부 및 수준
    - 조직 형태별 차등 평가(과 단위, 팀 단위, 담당 수준 등)
  • (3) 로드맵 구체성
    - 연차별 추진계획의 구체성 정도
    - 4개 요소 평가(연차별 목표, 단계별 전략, 사업별 일정, 예산계획)
  • (4) 평가체계 구축
    - 성과평가 및 모니터링 체계 구축 정도
    - 4개 구성요소 평가(평가조직, 평가지표, 평가주기, 환류체계)
  • (5) 법적 근거 마련
    - 정책 추진을 위한 조례 등 법적 근거 마련 정도
    - 탄소중립 관련 조례 제정 여부 및 내용 충실도
  • (6) 재원 다양성
    - 국비, 도비, 시군비 등 재원 구성의 다양성
    - 재원 구성 비율 및 민간 투자, 기금 활용 여부
  • (7) 인력 전문성
    - 탄소중립 정책 담당 인력의 전문성 수준
    - 전담인력 수, 전문자격 보유 여부, 교육훈련 이수 현황
  • (8) 추진동력 지속성
    - 정책 추진 동력의 지속 가능성
    - 단체장 의지, 조직 안정성, 예산 지속성 등 정성 평가
  • (9) 시민참여 체계
    - 시민 참여를 위한 제도적 체계 구축 정도
    - 탄소포인트제, 시민 서베이, 교육, 공청회 등 운영 현황
  • (10) 성과관리 체계
    - 정기적 성과 점검 및 관리 체계
    - 연간 성과보고서, 정기 점검회의 등 운영 여부
  • (11) 사업관리 체계
    - 개별 사업의 체계적 관리 방안
    - 사업별 추진현황 관리, 예산 집행 모니터링 체계
  • (12) 환류체계 구축
    - 평가 결과의 정책 환류 체계 구축 정도
    - 평가 결과 반영 절차, 계획 수정 메커니즘 명시 여부

1차 델파이 조사의 경우 각 지표에 대해 개념과 측정방법에 대해 설명하고 평가를 실시하였다.

A.4. 2라운드 피드백 제공 내용

2라운드 조사에서는 각 전문가에게 1라운드 집단 응답 결과(평균, 표준편차)와 본인의 1라운드 응답을 제공하고, 이를 참고하여 재평가하도록 요청하였다. 이러한 피드백 과정은 전문가 간 의견 수렴과 합의 도출을 촉진하기 위한 것이며, 2라운드 조사는 웹을 통해 이루어졌다.

Fig. A1.

Screenshots of the 2nd round Delphi survey (web-based)

B. 지표 독립성 및 평가 강건성 검증

B.1. 지표 간 상관분석

11개 평가지표 간 Pearson 상관분석을 수행한 결과, 동일 차원 내 지표 간에는 중간 ~ 강한 양의 상관이 나타났으나, 상이 차원 간에는 상관이 낮아 각 차원이 독립적인 구성개념을 측정하고 있음을 확인하였다. I-4(평가체계 구축)는 모든 시군이 동일 점수(4점)를 받아 분산이 0이므로 상관분석에서 제외하였다.

Correlation matrix between indicators(pearson correlation, n=15)

B.2. 차원 간 상관 및 판별타당도

3개 평가 차원 간 상관분석 결과, 수직적 정합성과 수평적 연계성 간에는 중간 상관(r=0.646, p<0.01)이 나타났으나 이는 두 차원이 연계성이라는 상위 개념을 공유하기 때문으로 해석된다. 반면, 실행 완결성은 두 연계성 차원과 유의한 상관이 없어(p>0.05) 독립적인 구성개념임이 확인되었다.

판별타당도 검증 결과, 차원 내 평균 상관(0.497)이 차원 간 평균 상관(0.167)보다 높아 각 차원이 구별되는 개념을 측정하고 있음을 확인하였다.

Correlation coefficients between dimensions

B.3. 가중치 민감도 분석

AHP 가중치의 임의성 문제를 검증하기 위해 차원별 가중치를 ±20% 조정한 6개 시나리오에서 유형 분류 결과를 비교하였다. 분석 결과, 모든 시나리오에서 93.3% 이상의 시군이 기준 분류와 동일한 유형으로 분류되어, 가중치 변화에도 평가 결과가 강건함을 확인하였다.

Sensitivity analysis results of AHP weights

B.4. 분류 기준 강건성 검증

4분면 분류의 기준값을 평균에서 중앙값으로 변경하여 강건성을 검증하였다. 분석 결과, 15개 시군 중 13개(86.7%)가 동일한 유형으로 분류되었다. 변동이 있는 2개 시군(계룡시, 홍성군)은 기준값 근처에 위치한 경계선 사례로, 분류 기준에 관계없이 대다수 시군의 유형이 안정적으로 유지됨을 확인할 수 있었다.

C. 상세 적용(당진시 예)

C.1. 평가 대상
  • - 시군: 당진시
  • - 계획명: 제1차 당진시 탄소중립·녹색성장 기본계획
  • - 계획기간: 2025 ~ 2034년(10년)
  • - 평가기준: 충청남도 탄소중립·녹색성장 기본계획
C.2. 수직적 정합성 평가(5개 지표)
  • 점수 소계: 23/25점

C.3. 수평적 정합성 평가(2개 지표)
  • 점수 소계: 9.5/10점

C.4. 실행 완결성 평가(4개 지표)
  • 점수 소계: 16/20점

C.5. 종합점수 산정

Application of AHP weights

Score by dimension

C.6. 유형분류

Classification result: Type I (leading)

C.7. 정책적 시사점

당진시는 네트워크 정합성과 실행 완결성이 모두 평균 이상으로 Type I (선도형)에 해당한다. 특히 수직적 정합성(전략목표 연계, 성과지표 공유, 협력체계 명시)과 수평적 연계성(민관협의체 운영, 지역협력사업)이 우수하여 광역 차원의 모범 사례로 활용 가능하다.

다만, 다음 사항에 대한 보완이 필요하다.

  • - 예산 확보율(I-1): 부문별 예산구조의 광역계획 정합성 제고
  • - 평가체계(I-4): 자체 평가지표 개발을 통한 평가체계 고도화

Fig. 1.

Fig. 1.
Framework for policy coherence dimensions

Fig. 2.

Fig. 2.
Conceptual distinction between vertical coherence and horizontal connectivity

Fig. 3.

Fig. 3.
Indicator screening process

Fig. 4.

Fig. 4.
Quadrant analysis of network coherence and implementation completeness

Fig. A1.

Fig. A1.
Screenshots of the 2nd round Delphi survey (web-based)

Table 1.

Principles for indicator selection

Category / Criteria Description
SMART Principles
  S (Specific) Clear indicators specifying What, Why, and How
M (Measurable) Measurable indicators (quantitative or qualitative measurement)
A (Achievable / Attainable) Achievable indicators (realistic and feasible level)
R (Relevant / Realistic) Indicators relevant to policy objectives (linkage to core goals)
  T (Time-bound / Timely) Indicators assessable within a defined timeframe (clear deadline)
Policy Evaluation Theory-based Principles
Comprehensiveness Indicators covering all dimensions of policy coherence
Measurability Selection of indicators allowing objective and quantitative measurement
Discriminability Indicators that can clearly distinguish coherence levels among municipalities
Practicality Specific indicators applicable to actual policy improvement
Balance Scoring system reflecting balanced importance across dimensions
Reliability Indicators ensuring consistent results upon repeated measurement
Validity Indicators accurately reflecting the intended concept

Table 2.

32 preliminary indicators

Dimension / Indicator Definition
Vertical Coherence
  Vision Keyword Correspondence Degree to which key keywords from the metropolitan plan’s vision are reflected in municipal plans
Strategic Goal Linkage Degree of linkage between metropolitan plan’s strategic goals and municipal plan goals
Core Project Matching Rate Matching ratio between metropolitan plan’s core projects and municipal plan projects
Performance Indicator Sharing Rate Ratio of performance indicators commonly used in both metropolitan and municipal plans
Implementation Schedule Synchronization Degree of alignment between metropolitan and municipal plan implementation schedules
Budget Scale Coherence Appropriateness of municipal plan budget scale relative to metropolitan plan
Organizational System Linkage Degree of linkage between metropolitan and municipal organizational systems
Legal Basis Consistency Consistency of legal basis between metropolitan and municipal plans
Policy Priority Coherence Degree of alignment in policy priorities between metropolitan and municipal plans
Implementation Strategy Linkage Degree to which metropolitan plan’s implementation strategies are reflected in municipal plans
Cooperation System Specificity Degree of specific description of cooperation systems between metropolitan and municipal agencies
Horizontal Connectivity
Cross-sectoral Project Ratio Ratio of integrated projects involving two or more sectors
Number of Inter-regional Cooperation Projects Number of joint projects with adjacent local governments
Policy Conflict Level Degree of conflict and contradiction among major policies
Public-Private Council Operation Composition and operational level of public-private cooperation system
Stakeholder Participation Level Degree of stakeholder participation in the policy process
Metropolitan Project Participation Rate Participation rate in projects led by metropolitan government
Inter-departmental Cooperation System Cooperation and coordination system among internal departments
Information Sharing System Degree of information sharing system establishment among related agencies
Conflict Resolution Mechanism Degree of policy conflict prevention and resolution mechanism establishment
Implementation Completeness
Budget Securement Rate Ratio of actual budget secured relative to planned budget
Dedicated Organization Establishment Establishment status and level of dedicated organization for carbon neutrality policy
Roadmap Specificity Degree of specificity in annual implementation plans
Evaluation System Establishment Degree of performance evaluation and monitoring system establishment
Legal Basis Preparation Degree of legal basis preparation such as ordinances for policy implementation
Financial Resource Diversity Diversity of financial resource composition including national, provincial, and municipal funds
Personnel Expertise Expertise level of personnel in charge of carbon neutrality policy
Implementation Momentum Sustainability Sustainability of policy implementation momentum
Citizen Participation System Degree of institutional system establishment for citizen participation
Performance Management System Regular performance review and management system
Project Management System Systematic management measures for individual projects
Feedback System Establishment Degree of policy feedback system establishment based on evaluation results

Table 3.

Conceptual distinction between vertical coherence and horizontal connectivity

Category Vertical Coherence Horizontal Connectivity
Assessment Target Content of plan documents Cooperation in project implementation
Measurement Focus “What is included in the plan” “Who participates together”
Relationship Type Metropolitan → Municipal (hierarchical reflection) Municipal ↔ Municipal (collaborative participation)
Role of Metropolitan Government Standard-setter Platform / Broker
Representative Indicator V-3 Core Project Matching Rate H-2 Metropolitan Project Participation Rate
Measurement Method Comparative text analysis of plans Survey of project participation status

Table 4.

Analysis of expert consensus level

Category Round 1 Round 2 Improvement Interpretation
Kendall’s W (Importance) 0.623 0.742 +0.119 High Consensus
Kendall’s W (Measurability) 0.578 0.698 +0.120 Moderate-High Consensus
Mean of Standard Deviation 0.885 0.665 -0.220 Opinion Convergence

Table 5.

Indicator screening criteria

Category Criteria Threshold Rationale
Basic Criteria Mean of Importance ≥ 4.0 ‘High’ level or above on 5-point scale
Mean of Measurability ≥ 3.5 Minimum standard for practical application
Validity Criteria CVR ≥ 0.6 Agreement of 80% or more based on 15 experts
Standard Deviation ≤ 1.0 Ensuring consistency of expert opinions
Consensus Criteria Expert Convergence Rate ≥ 80% Opinion change rate between rounds
Essential Indicator Judgment Rate ≥ 70% Ratio of experts recognizing indicator as essential

Table 6.

Common elements of carbon neutrality master plans in 15 municipalities of Chungcheongnam-do

Content Key Commonalities
Legal Basis Statutory plans based on Framework Act on Carbon Neutrality, enforcement decree, and municipal ordinances
Planning Period 10 years (2025 ~ 2034), revised every 5 years
Plan Components Vision, goals, strategies, tasks, implementation management, finance, education, international cooperation, etc.
Implementation System Including external services, task forces, committees, citizen participation, and consulting from Ministry of Environment/Chungcheongnam-do
Sectoral Classification Buildings, transportation, agriculture and livestock, waste, carbon sinks (including some maritime/forestry)
Reduction Targets 30-45% reduction by 2030, carbon neutrality by 2050
Adaptation Policies Sector-specific policies including health, disaster, ecology and forestry, agriculture and livestock, water management, maritime
Citizen Participation Various governance measures including carbon point system, citizen surveys, education, public hearings
Financial Investment Specification of budget execution by category and external investment (national/provincial subsidies, etc.)

Table 7.

Differentiated strategies by regional characteristics

Type Representative Municipalities Priority Tasks, Strategies, and Budget Priorities Key Terminology
Industry and Power Generation Specialization Dangjin, Seosan, Cheonan, Asan, Boryeong Industrial emission reduction, large-scale renewable energy, industrial complexes, corporate participation, energy efficiency RE100, Smart Industrial Complex, Energy Innovation
Agriculture and Livestock Geumsan, Cheongyang, Buyeo, Yesan, Seocheon Low-carbon agriculture, eco-friendly livestock, village-level reduction, farmer support Smart Farm, Circular Agriculture, Forest Carbon Sink
Maritime and Coastal Taean, Seocheon, Hongseong Blue carbon, marine carbon sinks, marine ecosystem restoration Blue Carbon, Coastal Forest
Population Growth Cities Cheonan, Asan Building and transportation emission reduction, public transit expansion, eco-friendly vehicle distribution 15-Minute City, Smart Transportation
Aging Population and Rural Decline Cheongyang, Geumsan, Buyeo, Yesan Vulnerable group support, rural infrastructure, support for elderly farmers Rural Revitalization, Climate Welfare

Table 8.

Stage 1 screening results

Dimension Passed Eliminated Major Eliminated Indicators
Vertical Coherence 8 3 Implementation Schedule Synchronization (3.87), Legal Basis Consistency (3.93), Stakeholder Participation Level (2.93)
Horizontal Connectivity 7 2 Conflict Resolution Mechanism (3.27), Inter-departmental Cooperation System (3.07)
Implementation Completeness 9 3 Personnel Expertise (2.80), Implementation Momentum Sustainability (3.13), Feedback System Establishment (3.82)
Total 24 8

Table 9.

Summary of indicator screening results (stages 2-5)

Dimension Indicator Importance Measurability CVR Round 2 SD Essential Rate Final Result
Note: CVR = Content Validity Ratio (threshold ≥ 0.60); SD = Standard Deviation (threshold ≤ 1.0); Essential Rate = Essential Indicator Judgment Rate (threshold ≥ 70%). Elimination reasons in parentheses indicate the failed criterion.
Vertical Coherence Vision Keyword Correspondence 4.20 4.33 0.80 0.68 80% Selected
Strategic Goal Linkage 4.47 4.40 0.87 0.71 87% Selected
Core Project Matching Rate 4.33 4.27 0.73 0.74 80% Selected
Performance Indicator Sharing Rate 4.00 4.07 0.67 0.76 73% Selected
Budget Scale Coherence 4.18 3.57 0.53 - - Eliminated (CVR)
Organizational System Linkage 4.07 3.53 0.47 - - Eliminated (CVR)
Policy Priority Coherence 4.02 3.50 0.40 - - Eliminated (CVR)
Cooperation System Specificity 4.13 3.80 0.60 0.91 73% Selected
Horizontal Connectivity Cross-sectoral Project Ratio 4.07 4.13 0.67 0.88 73% Selected
Number of Inter-regional Cooperation Projects 4.05 3.87 0.60 0.82 67% Eliminated (Essential Rate)
Policy Conflict Level 4.12 3.60 0.60 1.12 - Eliminated (SD)
Public-Private Council Operation 4.00 3.73 0.60 0.87 73% Selected
Stakeholder Participation Level 4.05 3.43 - - - Eliminated (Measurability)
Metropolitan Project Participation Rate 4.13 4.20 0.67 0.79 73% Selected
Information Sharing System 4.12 3.27 - - - Eliminated (Measurability)
Implementation Completeness Budget Securement Rate 4.73 4.67 0.87 0.52 93% Selected
Dedicated Organization Establishment 4.60 4.53 0.80 0.63 87% Selected
Roadmap Specificity 4.27 4.00 0.73 0.85 80% Selected
Evaluation System Establishment 4.20 3.93 0.60 0.95 73% Selected
Legal Basis Preparation 4.08 3.67 0.60 0.84 60% Eliminated (Essential Rate)
Financial Resource Diversity 4.15 3.50 0.60 1.15 - Eliminated (SD)
Citizen Participation System 4.08 3.15 - - - Eliminated (Measurability)
Performance Management System 4.03 3.08 - - - Eliminated (Measurability)
Project Management System 4.01 3.08 - - - Eliminated (Measurability)

Table 10.

Finalized policy coherence evaluation indicators

Dimension Code Indicator
Vertical Coherence V-1 Vision Keyword Correspondence
V-2 Strategic Goal Linkage
V-3 Core Project Matching Rate
V-4 Performance Indicator Sharing Rate
V-5 Cooperation System Specificity
Horizontal Connectivity H-1 Public-Private Council Operation
H-2 Metropolitan Project Participation Rate
H-3 Number of Inter-regional Cooperation Projects
Implementation Completeness I-1 Budget Securement Rate
I-2 Dedicated Organization Establishment
I-3 Roadmap Specificity
I-4 Evaluation System Establishment

Table 11.

Measurement methods for vertical coherence indicators

Code Measurement Method Evaluation Criteria (5-point Scale)
V-1 • Extract 5-7 key keywords through text mining
• Formula: (Number of matched keywords / Total key keywords) × 100
5: 80% or above
4: 60-79%
3: 40-59%
2: 20-39%
1: Below 20%
V-2 • Ratio of Chungcheongnam-do strategic goals reflected in municipal plans
• Formula: (Number of goals reflected in municipality / Total number of Chungcheongnam-do goals) × 5
Decimal score based on 5
V-3 • Verify corresponding municipal projects for Chungcheongnam-do’s 10 core projects
• Formula: (Number of corresponding projects / 10) × 100
Decimal score based on 5
V-4 • Ratio of similar tasks between Chungcheongnam-do and municipal climate crisis response enhancement action plans
• Formula: (Number of tasks identical or similar to provincial tasks in municipal plan / Total number of Chungcheongnam-do tasks) × 100
5: 70% or above
4: 50-69%
3: 30-49%
2: 10-29%
1: Below 10%
V-5 • 5-item checklist evaluation (20 points each)
- Cooperative governance composition
- Role assignment specification
- Cooperative project presentation
- Information sharing system
- Conflict resolution mechanism
5: 80% or above
4: 60-79 points
3: 40-59 points
2: 20-39 points
1: Below 20 points

Table 12.

Measurement methods for horizontal connectivity indicators

Code Measurement Method Evaluation Criteria (5-point Scale)
Note: For consistency with the indicator coding system presented in Table 10, the horizontal connectivity indicators are presented using codes H-1 and H-3, with H-2 intentionally omitted.
H-1 • 4-area evaluation (Total 100 points)
- Establishment status (30 points)
 - Composition diversity (20 points)
 - Operational performance (30 points)
 - Substantive authority (20 points)
5: 80 points or above
4: 60-79 points
3: 40-59 points
2: 20-39 points
1: Below 20 points
H-3 • Similarity with 15 project groups from 28 projects in Chungcheongnam-do master plan and climate crisis response enhancement action plans
• Formula: (Number of similar project groups in municipal plan / Number of projects in Chungcheongnam-do plan) × 5
Decimal score based on 5 points

Table 13.

Measurement methods for implementation completeness indicators

Code Measurement Method Evaluation Criteria (5-point Scale)
I-1 • Ratio of actual budget secured relative to planned budget
• Formula: (Secured budget / Planned budget) × 100
• Including national, provincial, and municipal funds
5: 80% or above
4: 60-79%
3: 40-59%
2: 20-39%
1: Below 20%
I-2 • Differential evaluation by organizational type
 - Independent department (division): 100 points
 - Dedicated team: 80 points
 - Dedicated section/unit: 60 points
 - Concurrent position: 40 points
 - Not established: 0 points
5: Independent department (division)
4: Dedicated team
3: Dedicated section/unit
2: Concurrent position
1: Not established
I-3 • 4-element evaluation (25 points each)
 - Annual target presentation
 - Phased implementation strategy
 - Project-specific schedule specification
 - Budget plan linkage
5: 80 points or above
4: 60-79 points
3: 40-59 points
2: 20-39 points
1: Below 20 points
I-4 • 4-component evaluation (25 points each)
 - Evaluation organization / committee
 - Evaluation indicator development
 - Evaluation cycle specification
 - Feedback system
5: 80 points or above
4: 60-79 points
3: 40-59 points
2: 20-39 points
1: Below 20 points

Table 14.

Relative importance (weights) of evaluation indicators

Dimension Indicator Weight Priority
Vertical Coherence
(0.4)
V-1 Vision Keyword Correspondence 0.0297 11
V-2 Strategic Goal Linkage 0.0492 9
V-3 Core Project Matching Rate 0.1140 4
V-4 Performance Indicator Sharing Rate 0.0749 7
V-5 Cooperation System Specificity 0.1321 3
Horizontal Connectivity
(0.2)
H-1 Public-Private Council Operation 0.0500 8
H-3 Number of Inter-regional Cooperation Projects 0.1500 2
Implementation Completeness
(0.4)
I-1 Budget Securement Rate 0.1692 1
I-2 Dedicated Organization Establishment 0.0909 5
I-3 Roadmap Specificity 0.0490 10
I-4 Evaluation System Establishment 0.0909 5

Table 15.

Policy coherence evaluation results by municipality

Municipality Network Coherence Implementation Completeness Total Score
Note: Network Coherence combines Vertical Coherence and Horizontal Connectivity dimensions. Total Score is the weighted sum of all 11 indicators based on AHP-derived weights (see Table 14).
Cheonan 1.5385 1.8601 3.3986
Gongju 1.1907 1.1413 2.3320
Boryeong 1.9207 1.4798 3.4004
Asan 1.1268 1.8601 2.9869
Seosan 1.4505 1.0433 2.4937
Nonsan 1.0628 1.4798 2.5426
Gyeryong 1.5641 1.7274 3.2915
Dangjin 1.7261 1.4798 3.2058
Geumsan 1.6235 1.3889 3.0124
Buyeo 1.2118 1.3889 2.6007
Seocheon 1.6831 1.0014 2.6845
Cheongyang 1.2170 0.9524 2.1694
Hongseong 1.2475 1.1413 2.3887
Yesan 1.8107 1.3889 3.1996
Taean 1.3419 1.4798 2.8217
Mean 1.4477 1.3875 2.8352
SD 0.2606 0.2798 0.5404

Table 16.

Descriptive statistics and discriminability of evaluation results

Dimension Mean SD Min Max Range CV
Note: CV = (SD / Mean) × 100. CV of 10-30% indicates appropriate discriminability among municipalities.
Network Coherence 1.4505 0.2606 1.0628 1.9207 0.8579 0.1863
Implementation Completeness 1.3889 0.2798 0.9524 1.8601 0.9077 0.2087

Table 17.

Municipality classification by policy coherence type

Type Characteristics Municipalities
Type I: Leading High Network Coherence, High Implementation Completeness Cheonan, Boryeong, Gyeryong, Dangjin, Geumsan, Yesan
Type II: Connectivity-oriented Low Network Coherence, High Implementation Completeness Asan, Nonsan, Buyeo, Taean
Type III: Basic Capacity Low Network Coherence, Low Implementation Completeness Gongju, Cheongyang, Hongseong
Type IV: Execution-oriented High Network Coherence, Low Implementation Completeness Seosan, Seocheon

Table A1.

Evaluation criteria (5-point scale)

Score Importance Measurability
5 Very Important Very Measurable
4 Important Measurable
3 Neutral Neutral
2 Not Important Difficult to Measure
1 Not Important at All Not Measurable

Table B1.

Correlation matrix between indicators(pearson correlation, n=15)

V1 V2 V3 V4 V5 H1 H3 I1 I2 I3
Note: V = Vertical Coherence, H = Horizontal Connectivity, I = Implementation Completeness. Strong correlations (|r| ≥ 0.7) appear only between indicators within the same dimension.
V1 1.000 0.796 0.938 0.738 0.694 0.480 0.553 -0.118 -0.394 0.064
V2 1.000 0.786 0.580 0.670 0.555 0.443 0.176 -0.136 0.136
V3 1.000 0.790 0.757 0.483 0.691 -0.095 -0.473 0.121
V4 1.000 0.262 0.367 0.588 -0.182 -0.546 0.046
V5 1.000 0.491 0.446 -0.012 -0.026 0.236
H1 1.000 0.628 -0.057 -0.120 0.654
H3 1.000 0.024 -0.553 0.476
I1 1.000 0.337 0.267
I2 1.000 -0.118
I3 1.000

Table B2.

Correlation coefficients between dimensions

Vertical Coherence Horizontal Connectivity Implementation Completeness
Note: *p<0.01
Vertical Coherence 1.000 0.646* -0.145
Horizontal Connectivity 1.000 0.084
Implementation Completeness 1.000

Table B3.

Sensitivity analysis results of AHP weights

Scenario Vertical (V) Horizontal (H) Implementation (I) Matched Municipalities
Note: Match rate indicates the proportion of municipalities classified into the same type as the base scenario. Average match rate: 97.8%
Base 0.40 0.20 0.40 15/15
Vertical +20% 0.48 0.16 0.36 14/15
Vertical -20% 0.32 0.24 0.44 14/15
Horizontal +20% 0.36 0.24 0.40 15/15
Horizontal -20% 0.44 0.16 0.40 15/15
Implementation +20% 0.36 0.16 0.48 15/15
Implementation -20% 0.44 0.24 0.32 15/15

V-1. 비전 키워드 일치도
• 측정방법 - 충청남도 비전 핵심 키워드 5 ~ 7개 추출 후 일치율 산정
• 산출과정 - 충청남도 핵심 키워드: 탄소중립, 2045, 녹색성장, 기후위기, 지속가능(5개)
- 당진시 비전: 2045 탄소중립 녹색성장 선도도시 당진
- 일치 키워드: 탄소중립, 2045, 녹색성장(3개)
- 일치율 = 3/5 × 100 = 60%
• 평가점수 - 4점(60~79%)

V-2. 전략목표 연계성
• 측정방법 - 충청남도 전략목표 수 대비 시군 계획에 반영된 목표 수의 비율
• 산출과정 - 충청남도 전략목표: 4대 전략(정의로운 전환, 혁신·실천, 질서있는 이행, 기후위기 적응)
- 당진시 반영 목표: 4개 전략 모두 반영
- 연계율 = 4/4 × 100 = 100%
• 평가점수 - 5점(80% 이상)

V-3. 핵심사업 매칭률
• 측정방법 - 충청남도 10대 핵심사업에 대한 시군 대응사업 존재 여부
• 산출과정 - 충청남도 핵심사업: 신재생에너지 보급, 전기차 인프라, 건물 에너지효율화, 산업전환, 스마트팜, 탄소흡수원 확충, 자원순환체계, 기후적응 인프라, 탄소중립 교육, 거버넌스 구축(10개)
- 당진시 대응사업: 8개 확인
- 매칭률 = 8/10 × 100 = 80%
• 평가점수 - 4점(60 ~ 79%)

V-4. 성과지표 공유율
• 측정방법 - 충청남도 기후위기 대응기반 강화대책 과제와 시군 계획 내 유사 과제 비율
• 산출과정 - 충청남도 대응기반 강화대책: 15개 실천과제군
- 당진시 유사 과제: 국제협력, 탄소중립지원센터, 학습실천계좌제, 환경교육도시, 녹색산업·ESG 전환, 정의로운 전환 등 13개
- 공유율 = 13/15 × 100 = 86.7%
• 평가점수 - 5점(70% 이상)

V-5. 협력체계 명시성
• 측정방법 - 5개 항목 체크리스트 평가(각 20점, 총 100점)
• 산출과정 - 협력 거버넌스 구성: 20점(○)
- 역할 분담 명시: 20점(○)
- 협력사업 제시: 20점(○)
- 정보공유 체계: 20점(○)
- 갈등조정 메커니즘: 15점(△ 일부 명시)
- 총점 = 95점
• 평가점수 - 5점(80점 이상)

H-1. 민관협의체 운영
• 측정방법 - 4개 영역 평가(총 100점)
• 산출과정 - 구성 여부/제도화(30점): 30점 - 조례에 근거한 위원회 설치
- 구성 다양성(20점): 18점 - 행정, 시민, 전문가, 산업계 참여
- 운영 실적(30점): 25점 - 연간 회의 개최 명시
- 실질적 권한(20점): 15점 - 심의·자문 권한 명시
- 총점 = 88점
• 평가점수 - 5점(80점 이상)

H-3. 지역협력사업 수
• 측정방법 - 충청남도 기본계획 내 28개 사업 및 기후위기 대응기반 강화대책 15개 사업군과의 유사도
• 산출과정 - 탄소중립 기본계획 사업군 유사: 28개 중 24개
- 대응기반 강화대책 유사: 15개 중 13개
- 기본계획 점수 = 24/28 × 5 = 4.29
- 강화대책 점수 = 13/15 × 5 = 4.33
- 종합점수 = (4.29 + 4.33) / 2 = 4.5
• 평가점수 - 4.5점(소수점 적용)

I-1. 예산확보율
• 측정방법 - 충청남도 부문별 예산구조와 시군 예산구조의 유사도 평가
• 산출과정 - 충청남도 부문별 순위: 수송 > 건물 > 흡수원 > 농축산 > 폐기물
- 당진시 부문별 순위: 수송 > 건물 > 흡수원(상위 3개 일치)
- 1위 동일성, 순위 배열 유사성, 격차 패턴 유사성 종합 평가
- 유사도: 중간 수준
• 평가점수 - 3점(40 ~ 59%)

I-2. 전담조직 설치
• 측정방법 - 조직 형태별 차등 평가
• 산출과정 - 당진시: 환경정책과 내 기후변화 담당팀 운영
- 독립 부서(과): 5점 / 전담 팀 : 4점 / 전담 담당: 3점 / 겸임 : 2점 / 미설치 : 1점
- 전담 팀 수준 해당
• 평가점수 - 4점(전담 팀)

I-3. 로드맵 구체성
• 측정방법 - 4개 요소 평가(각 25점, 총 100점)
• 산출과정 - 연차별 목표 제시: 25점(○) - 2025~2034년 부문별 배출량 전망 제시
- 단계별 추진전략: 25점(○) - 중장기 감축목표 및 부문별 이행대책 수립
- 사업별 일정 명시: 25점(○) - 온실가스 감축 관리카드 활용
- 예산계획 연계: 25점(○) - 관리카드에 국비/도비/시비/민간 구분 명시
- 총점 = 100점
• 평가점수 - 5점(80점 이상)

I-4. 평가체계 구축
• 측정방법 - 4개 구성요소 평가(각 25점, 총 100점)
• 산출과정 - 평가 조직/위원회: 25점(○)
- 평가지표 개발: 0점(×) - 자체 평가지표 미개발
- 평가주기 명시: 25점(○)
- 환류체계: 25점(○)
- 총점 = 75점
• 평가점수 - 4점(60 ~ 79점)

Table C1.

Application of AHP weights

Indicator Raw Score Weight Weighted Score
V-1 Vision Keyword Correspondence 4 0.0297 0.1188
V-2 Strategic Goal Linkage 5 0.0492 0.2460
V-3 Core Project Matching Rate 4 0.1140 0.4560
V-4 Performance Indicator Sharing Rate 5 0.0749 0.3745
V-5 Cooperation System Specificity 5 0.1321 0.6605
H-1 Public-Private Council Operation 5 0.0500 0.2500
H-3 Number of Inter-regional Cooperation Projects 4.5 0.1500 0.6750
I-1 Budget Securement Rate 3 0.1692 0.5076
I-2 Dedicated Organization Establishment 4 0.0909 0.3636
I-3 Roadmap Specificity 5 0.0490 0.2450
I-4 Evaluation System Establishment 4 0.0909 0.3636
Total 1.0000 4.2606

Table C2.

Score by dimension

Dimension Score
Network Coherence (V+H) 2.7808
Implementation Completeness (I) 1.4798

Table C3.

Classification result: Type I (leading)

Dimension Score Mean of 15 Municipalities Judgment
Network Coherence 2.7808 2.1966 Above Average
Implementation Completeness 1.4798 1.3876 Above Average