평가조사
평가
조사란
? 평가를 목적으로 실시되는 조사. 사회복지
프로그램의 성공여부나 효과
/효율성을 확인하는 것
평가조사의 목적은
?
①
프로그램 평가는 프로그램의 효과성과 효율성을 파악하여
예산 지원에 대한 정당성을 확보
②
클라이언트에게 필요한 정보를 제공함으로써 유익을 줄 수
있음
③
관리자의 의사 결정에 도움을 줌
. 프로그램 평가결과를
프로그램의 지속여부와 예산 편성에 대한 결정 등을
판단하는 근거로 활용
④
프로그램 운영자로 하여금 책무성을 다할 수 있도록 만듦
⑤
프로그램 개발과 개선에 필요한 정보를 제공
1. 평가조사의 목적
①
프로그램 평가에 얼마나 많은 시간이 제공되는가
?
②
어떤 자원이 있는가
?활용 가능한 직원이나 재원
③
평가보고서를 읽을 사람은 누구인가
? 읽는 사람이
클라이언트인지
, 일반 대중인지, 다른 조사
연구자인지에 따라서 보고서의 준비는 달리 이루어져야 함
④
평가의 목적이 무엇인가
? 즉,평가를 통해 무엇을
얻으려고 하는가에 따라 평가의 기획과 진행이 달라져야
함
2. 프로그램 평가시 사전 고려사항
1)
서비스 이용에 대한 평가
프로그램과 서비스를 누가
, 언제, 어떻게 이용하였는가를
평가하는 것
프로그램 관리자는 프로그램을 모니터링 하기 위해 서비스
이용 현황 자료를 활용할 수 있음
. 즉, 이용 현황 자료는
프로그램이 클라이언트 집단에 대한 계획된 개입의 정도를
측정하는 것이라 할 수 있음
이러한 자료를 통해 구체적이고 측정 가능한 목표를 개발할
수 있음
예 학습지도
, 시간(월요일에서 금요일 14:30-18:00)
클라이언트 수
(월평균 120명), 목표(연말까지 130명)
3. 프로그램 평가의 유형
2) 초기과정평가(formative evaluation)
과정평가는 프로그램을 개선하는데 초점을 둠
평가의 목적은 프로그램 발전을 위해 필요한 정보를
수집하는 것이 목적이며
, 적은 비용으로 신속하게 실행할
수 있음
일반적으로 과정평가는 개발단계에 있는 프로그램을
수정하거나 보완하는데 활용되며
, 통계적 접근이나
계량적 분석방법을 이용하지 않는 경향이 있음
3. 프로그램 평가의 유형
2) 초기과정평가(formative evaluation)
과정평가 방법은
?
①
전문가의 자문을 받음
②
전국적으로 인정된 기관에서 ‘표준모델’을 찾아냄
(
대략적인 지침을 제공함
)
③
특별위원회를 구성함
(직원, 클라이언트, 지역사회 유
지
, 기관의 운영 위원 등이 참여 가능함)
3. 프로그램 평가의 유형
3)과정평가
과정평가는 프로그램 수행과정 중 어느 단계에서도 실행할 수
있으며
, 프로그램의 종결 시점에 가서 그 프로그램이 과연
성공적이었는지 실패했는지를 평가하기 위해 실행함
주로 기술적
(narrative)형식을 띠며, 새로운 프로그램의
개발과정에 주요 결정 사항과 발생사항들을 묘사하고 있음
과정평가에서는 프로그램의 실행과정을 모두 기록하게 되며
,
주로 이야기 형식을 활용하여 의사결정과 새로운
프로그램개발에서 핵심적 사안들을 구체적으로 기술함
(즉,
어떤 프로그램을 시작하고 운영하는 데 필요한 것
, 반복하지
말아야 하는 실수
, 다음 팀에 대한 충고 등을 제공함)
3. 프로그램 평가의 유형
3)과정평가
과정평가에서 유용한 질문들
?
①
프로그램이 지역사회나 조직체 내에 도입된 이유는 무엇인가
?
②
프로그램의 기준
, 가정, 관례, 전통, 특성은 무엇인가?
③
프로그램의 내용은 무엇이며
, 그 구성요소는 무엇인가?
④
프로그램 대상자의 사회인구학적 속성은 어떻게 되는가
?
⑤
직원은 어떤 사람들이며
, 그 수는 적절한가? 그들을 평가하는
기준은 있는가
?
⑥
프로그램을 확대하거나 반복할 때 변화되어야 할 점은 무엇인가
?
⑦
결과에 대한 평가의 계획은 무엇인가
?
⑧
프로그램의 비용과 지출은 어떠한가
?
3. 프로그램 평가의 유형
3) 과정평가
과정평가에서 활용되는 유용한 자료
①
클라이언트의 사회인구학적 특징
②
클라이언트의 서비스 이용 현황
③
직원의 특성
: 전문직의 정도, 경력, 사회인구학적 특성
④
프로그램 활동
: 특별한 사건과 모임, 직원 모임, 제공된
훈련
, 작성된 프로그램 계획, 절차, 훈련 매뉴얼
⑤
위원회
, 직원, 협의회 모임의 회의록
⑥
프로그램과 관련된 공문과 내부문서
⑦
클라이언트 만족도 자료
⑧
제정관련 자료
: 프로그램 투입 비용과 지출
3. 프로그램 평가의 유형
4)클라이언트 만족도 평가
가장 단순하고 자주 사용하는 평가
클라이언트 만족도는 대부분 높게 나타남
. 그 이유는?
①
만족도 측정과 관련하여 클라이언트 평가도구는 대체로
기관에서 자체 제작된 것이므로 신뢰도와 타당도를 알 수 없음
②
참여자 선정에 오류
. 서비스에 만족하지 않은 사람은 초기에
탈락하여 서비스를 받지 않았거나 참여하지 않는 경향이 나타남
③
클라이언트가 스스로 가지는 취약성
. 서비스를 받는
클라이언트가 부정적으로 응답했을 경우에 서비스를 계속 받을
수 없을 것이라는 두려움과 위험요인이 발생할 수 있음으로
클라이언트는 이런 상황을 고려하여 서비스에 대해 긍정적인
반응을 보임
3. 프로그램 평가의 유형
4)클라이언트 만족도 평가
클라이언트 만족도 평가시 고려사항
①
신뢰도와 타당도가 검증된 척도를 사용함
②
동일한 도구를 반복해서 사용함
③
평가조사가 정기적으로 행해지도록 함
④
평가도구에는 충분한 정보를 얻기 위해 최소한 한 문항
이상의 개방형 질문을 포함함
3. 프로그램 평가의 유형
5) 결과에 대한 평가
성과평가 또는 효과성 평가로 알려져 있음
프로그램이 클라이언트에게 의도하였던 변화를
이루어냈는가를 보여줌
클라이언트의 변화를 보여주기 위해 주로 실험설계를
활용하여 인과관계를 파악하고
, 그 결과에 초점을 둠
3. 프로그램 평가의 유형
5) 결과에 대한 평가
프로그램 결과에 대해 평가할 때 다음과 같은 원칙을 활용함
①
가능한 통제집단을 둠
②
클라이언트 표본들을 대표성을 가져야 함
③
통제집단과 실험집단의 무작위 배정
④
결과에 대한 측정은 신뢰도와 타당도가 확보되어야 함
⑤
개입은 표준화되고 가능한 단일화하여 적용할 필요가 있음
⑥
임상적으로 의미있는 사정은 통계적으로 의미있는
분석결과를 수반함
3. 프로그램 평가의 유형
6) 비용 효과 및 비용 분석 평가
결과에 대한 평가의 한 유형이지만 프로그램의 비용을 분석한다는
점을 강조할 때 별도로 구분할 수 있음
각각 프로그램의 성공률을 비교할 수 있고
, 그 성공률을 비용
측면에서 비교 검토할 수 있음
비용이 적게 드는 프로그램이 항상 좋은 것은 아니며
, 비용이 많이
드는 프로그램이 비용 효과적인 경우가 많음
비용 편익 분석은 비용 효과성 조사와 달리 프로그램에 투입된
비용과 그 결과를 모두 금전단위로 측정하는 것을 말함
평가조사에서는 프로그램의 결과를 절대적인 기준으로 환산한다는
것이 용이하지 하지 않는 경우가 있지만 사회복지사들은 자신들의
서비스를 비용 효과적인 측면에서 검토해야
, 지역사회에 필요한
복지 서비스에 적절한 예산이 뒷받침되지 않을 때 그 사회가 치뤄야
할 비용이 훨씬 크다는 것을 일반대중에게 증명할 수 있어야 함
3. 프로그램 평가의 유형
6) 비용 효과 및 비용 분석 평가
비용 효과성에 대한 조사를 진행할 때 필요한 단계
①
프로그램 성공에 대해 구체적으로 개념화 함
(예로,
중증만성정신장애인의 고용지원 프로그램에서 성공은 무엇을
말하는가
?)
②
프로그램 결과에 대한 데이터 수집을 준비함
(평가에 포함되는
클라이언트를 확인하고 얼마나 많은 기간 동안 자료를 검토할 것인지
결정함
)
③
클라이언트에게서 프로그램 결과에 대한 데이터를 수집함
④
프로그램 비용을 계산함
(인건비, 시설 임대비와 유지비 등도 포함됨)
⑤
비용 효과성을 계산함
(클라이언트 성공의수를 비용으로 나누어
계산함
, 예로 프로그램 총비용은 4,000만원이고, 50건의
성공사례가 있다면 성공한 클라이언트에 대한 단가는
80만원으로
계산됨
)
3. 프로그램 평가의 유형
