1. 정책실험(Policy experiment)의 필요성
보건, 복지, 노동, 교육 분야의 사회정책 사업의 경우 수혜집단이 명확하기 때문에 일단 정책이 시행되면 수혜집단의 반발이나 윤리적인 측면에서 정책을 축소하거나 중단하기 상당히 어렵습니다. 이런 특성 때문에 사회정책 분야의 정책을 새롭게 도입하고자 할 때는 정책의 효과를 과학적으로 검증하는 데에 어려움이 많았습니다. 미국, 캐나다 등 해외 선진국에서는 오래전부터 다양한 정책실험을 실행하여 왔습니다. 이런 세계적 추세 속에서 최근에 정부도 일자리, 복지 등 사회정책 분야에 대해서 정책실험 도입을 적극적으로 추진하고 있습니다. 올해 서울시는 '안심 소득 시범사업'을 시작했습니다. 이는 새로운 복지서비스를 본격적으로 시행하기에 앞서 정책의 효과를 미리 확인해보기 위함입니다.
02. 정책실험의 적절한 대상사업
정책실험 대상이 될 수 있는 사업의 특성은 크게 4가지가 있습니다. 첫째, 목표가 구체적이고 분명해야 하고, 둘째, 성과가 비교적 단기에 드러날 수 있도록 즉시성이 있어야 합니다. 셋째, 행정데이터 등을 통해 측정이 용이해야 하고, 넷째, 혜택을 받지 못하는 대조군의 비협조 문제를 감안하여 대조군 확보가 쉬워야 합니다. 얼마 전에 시행한 정부의 '취업성공 패키지'의 경우 중위소득 60% 기준으로 정책 수혜 대상이 결정되는 방식으로 설계가 되었는데요. 60% 기준으로 수혜대상 가부가 정해지는 방식을 조금 완화해서 60% 근처에 있는 중위소득 가구에 수혜 여부가 무작위 방식으로 결정되는 스킴을 도입하게 되면 수혜그룹과 비수혜 그룹 간 정책 성과를 비교할 수 있는 정책실험 설계가 가능할 수 있습니다. 참고로 이미 시행 중인 사업에 정책실험을 적용할 경우 사업에 미참여하는 그룹의 구성이 곤란하므로 사업 시작 이전부터 정책담당자와 연구자가 서로 긴밀하게 협력해서 수행하는 것이 좋을 것입니다.
03. 정책실험 수행
정책실험은 정책이 성과지표에 미치는 인과적 영향(Causal effect)을 분석하는 것으로 무작위 통제 실험(Randomized Controlled Trial) 방식으로 수행합니다. 정책의 효과성 평가는 수혜그룹과 비수혜 그룹 간 얼마나 동질적인 집단으로 구성하는지가 핵심이기 때문에 무작위 배정(Random sampling)을 통해 선택 편의(Selection bias)를 제거함으로써 그룹 간 평균적으로 유의한 차이가 없도록 만드는 것이 중요합니다. 무작위 배정 방식을 선택하는 방법은 현실적인 측면을 고려하여 크게 두 가지로 구분할 수 있는데요. 정책 수혜‘시점’을 무작위로 배정하는 방식과 정책 ‘참여 유인’을 무작위로 배정하는 방식이 있습니다. 다음으로, 데이터 수집과 관련하여 변화 이론의 프레임을 활용하여 단계별 핵심 변수를 데이터로 확보할 수 있도록 노력하고, 모집단과 모수를 확보할 수 있는 행정데이터를 수집하는 것이 효율적입니다. 데이터 수집 시기는 기초선(Baseline) 조사와 종료선(Endline) 조사와 함께 중간 또는 종료 이후 후속 조사도 필요합니다. 더불어 연구대상자에 미치는 위험을 최소화하고 인권 침해 방지 등을 위해 연구윤리심사는 필수적이라고 할 수 있습니다. 결과 분석 과정에서 고려해야 할 사항으로 먼저 기초선 조사를 통해 무작위 배정이 실험군과 대조군의 밸런스를 갖추고 있는지 검증(Checking of balance) 해야 하고, 종료선 조사를 통해 기초선 조사의 변수가 이탈을 체계적으로 발생(Attrition bias)시키는지 확인해야 합니다. 정책실험의 한계로는 시범사업의 효과가 본사업에도 동일하게 나타난다는 보장이 없다는 점입니다. 정책효과를 일반화하기 어렵다는 것인데요, 이를 극복하기 위해서는 단순히 효과성 분석뿐만 아니라 효과의 파급경로(mechanism)에 대한 이해가 필요합니다.
* 동 내용은 박윤수 외, “사회정책 효과성 평가를 위한 정책실험 도입방안 연구”(KDI 정책연구시리즈 2018-01)를 참고하여 작성되었습니다.
댓글