신뢰도와 타당도에 대하여 설명하시오 (선발과 평가에서 둘 다 쓰일 수 있다는 것을 주의)

신뢰도와 타당도에 대하여 설명하시오 (선발과 평가에서 둘 다 쓰일 수 있다는 것을 주의)

 

1. 신뢰도 

선발도구의 안정성 내지는 일관성을 말하는 것으로 동일한 시점에 같은 대상으로 한 평가가 유사할수록, 동일한 대상에 대해 같은 방법으로 다른 시점을 평가한 결과가 유사할수록 높다. 전자는 안정성(신뢰도의 횡적측면)을 말하고 후자는 일관성(신뢰도의 종적측면)을 의미한다. (+ 그림추가)

 

신뢰도는 일반적으로 (재대평내)

1) 실시-재실시 검증

동일한 대상에 시간차(t1, t+1)를 두고 동일한 시험을 실시하여 얼마나 결과가 유사한지 결과값을 살펴보는 것으로서 신뢰도의 일관성측면(종적 측면)을 검토하는 방법이다. 일반적으로 시간차가 길수록 중간에 개입하는 변수들이 늘어나 신뢰도가 낮아진다. 시간간격을 짧게 하면 신뢰도가 높아질 수 있으나 주시험효과나 암기효과가 발생하여 결과값이 왜곡 될 수 있다.

 

2) 대체형식에 의한 평가

전술한 실시-재실시 검증에서는 동일한 시험을 실시하여 암기효과와 주시험효과가 발생하기 때문에 이를 극복하고자 동일하진 않지만 유사한 대체의 시험을 동일한 대상에 실시하여 상관계수를 측정하는 방법이다. 이는 동일한 시점에 실시(안전성 측면)할 수 있고 시간차를 두고 실시(일관성 측면)할 수 도 있다. 예를 들어, 부정행위를 방지하기 위해 문제의 순서만 바꾼 A형과 B형의 문제지가 있다면 이론상 상관계수는 1이 되어야 한다.

 

3) 평가자 간 일관성

여러 평가자가 같은 선발방식으로 같은 대상에 같은 시점에 평가할 때 유사한 결과가 나온다면 선발도구의 신뢰도가 높다고 할 수 있다. 이는 횡적 측면의 신뢰도인 안정성과 관련이 깊으며 면접에서 중요한 이슈가 된다.

 

4) 내적 일관성

이는 평가결과값이 아니라 특정 평가집단에 대해 한 종류의 선발방식을 적용하였을 때 평가항목(예를 들어, 시험문항) 간에 내적인 안정성과 일관성을 측정하는 방법이다. 각 평가항목 간 상관계수의 평균치나 전체점수와 항목 간 상관계수를 비교하여 산출하며 평가항목을 반으로 나누어 각각 두 집단을 측정한 다음 상관계수를 살펴보는 “반분신뢰도”와 평가항목을 모든 반분신뢰도로 확장하여 측정하는 “크론바하알파값”등이 이에 속한다.

 

2. 타당도

타당도란 평가의 도구가 평가의 목적과 취지를 적절히 반영하는 지를 나타내는 정도이다. 여기서 목적부합의 정도는 ‘측정하고자 하는 것을 얼마나 제대로 측정하였는가’의 문제와 직결된다. 예를 들어, 선발의 목적은 ‘직무성과가 높은 인력의 선발에 있으므로 평가도구가 직무성과가 높은 사람을 제대로 판별해 낼 때’ 타당도가 높다고 할 수 있다.

타당도의 중요한 특징은 측정결과만으로 그 정도를 파악할 수 없다는 것이다. 즉, 실제 직무의 성과와 같은 비교할 수 있는 기준이 제시되어야 비로소 타당도의 판별이 가능해 진다.

 

1) 준거 타당도 (예/동)

이는 선발도구와 직무성과와의 관계로부터 측정되는 타당도

(1) 예측타당도: 선발인력의 미래성과 예측정도/ 준거치와 예측치의 적용시점은 상이하다. 입사 후 일정 시간이 지난 이후에 직무성과가 측정되므로(TOEIC점수가 높은 직원이 성실할 것이라는 예측 하에 선발)

 

(2) 동시타당도: 조직 내 현재인력의 성과와 관련된 정도 / 준거치(직무점수, 성과)와 예측치(각 선발도구의 총 점수)의 적용시점은 동일하다. 예를 들어, TOEIC점수가 높은 직원이 성과가 높으므로 신입도 TOEIC점수가 높은 사람을 선발하는 것이 이에 해당한다

 

2) 기술 타당도(내/구)

이는 선발도구의 측정항목과 실제 측정되는 내용과의 관계로부터 도출되는 타당도이다.

(1) 내용타당도: 선발도구의 측정내용이 실제 측정하고자 하는 바(취지)를 정확히 담고있는 정도의 문제로서. 내용타당도는 성과기준치를 정하기 어렵거나 통계처리에 충분한 수의 표본을 획득하기 어려울 때 전문가들에 의해 판정된다.

(TOEIC이 영어실력을 측정하는 것이 맞는지를 전문가가 판단)

 

(2) 구성타당도: 선발도구의 측정항목들이 이론적인 속성에 부합하는지 또는 논리적인 특징을 가지는지의 정도를 나타낸 타당도이다. 계량적인 방법에 의해 검증되며 아래 2가지가 있다.

 

a. 수렴타당도: 같은 개념을 측정하는 여러 도구들의 점수 상관을 측정(토익과 토플)

b. 판별타당도: 다른 개념을 측정하는 여러 도구들의 점수차이를 측정(토익과 HSK)