이전 컨텐츠[우리 회사 선발 도구는 정확한걸까? 당신만 모르는 정확도 기준]에서 선발 도구가 정확하다는 게 무엇인지를 나타내는 ‘타당도’의 개념과, 선발도구가 정확한 것이 왜 중요한지에 대한 이야기를 해보았습니다. 이번 연구노트에서는 선발도의 정확성과 ‘신뢰도’에 대한 이야기를 실제 데이터와 함께 자세히 살펴보려고 합니다.

선발도구의 ‘신뢰도’가 낮으면 무슨 일이 생기는 것일까…?

신뢰도가 낮은 선발 도구를 사용하면 어떤 일이 생길까요? 면접을 예로 들어 볼게요.

‘면접은 오전에 봐야 한다! 오후에 보면 불리하다!’라는 말 들어 보셨나요? 유튜브나 인터넷 사이트에 검색을 해보면, 흔하게 나오는 팁 중의 하나인데요. 지원자들에 대한 평가가 누적되면서 생기는 편향이 있기도 하고, 면접관의 상태가 오전, 오후 피로의 누적에 따라 달라지기도 하기 때문이에요.

또, 면접관이 면접 전에 차가운 커피를 마시는지 따듯한 커피를 마시는지에 따라서도 지원자에 대한 평가가 달라질 수 있다는 거 알고 계시나요? 국제적으로 권위 있는 학술지인 Science에 실린 연구 결과에 의하면^a, 따듯한 음료를 들고 있다가 다른 사람을 평가하는 경우 차가운 음료를 들고 있다가 평가하는 경우보다 더 긍정적인 평가를 내렸다고 합니다.

더 흔하게는, 동일한 사람에 대해서 A면접관의 평가와 B면접관의 평가가 일치하지 않는 상황도 많이 보셨을 거예요. 어떤 면접관이 면접자를 평가하는지에 따라 선발 여부가 달라질 수 있다는 점을 생각해 보세요.

같은 사람을 평가하는데 이렇게 시간이나 상황에 따라서 선발 결과가 달라지는 것 그래서 일관적이지 않은 결과가 나오는 것을, ‘신뢰도’가 낮다고 이야기합니다.

이렇게 신뢰도가 낮은 선발 도구를 사용하게 되면, 기업 입장에서는 좋은 인재를 뽑아보려고 시간과 노력을 들여서 평가한 점수를 믿을 수 없게 되고, 결과적으로 더 좋은 인재를 선발할 수 있는 가능성은 줄어들게 됩니다.

구직자 입장에서도 실제로 자신이 업무/기업과 잘 맞는지와 상관없이 운에 따라서 나와 비슷하거나 더 좋지 않은 성과를 낼 사람이 붙을 가능성이 생기는 것이므로, 선발의 공정성을 의심하게 될 거예요.

선발 도구 정확도 판단의 밑바탕이 되는 ’신뢰도’

선발 도구의 신뢰도란 일관성 즉, 선발 도구가 어떤 상황에서도 오차 없이 안정적인 결과를 내보일 수 있는지를 나타내는 지표라고 할 수 있어요. 선발 도구의 정확성과 일관성의 관계는 위의 그림과 같이 과녁으로 비유할 수 있는데요. 신뢰도가 높다는 건 내가 조준한 그 위치에 화살이 맞을 가능성이 높다는 것을 의미해요. 반면, 신뢰도가 낮다는 것은 같은 곳을 겨냥하여 화살을 쏘는 데도 불구하고 매번 다른 결과가 나올 가능성이 높다는 것을 의미합니다.

과녁의 중앙에 시선을 고정하고 흔들림 없이 화살을 쏘는데도 불구하고 매번 다른 곳에 화살이 맞는다면? 화살을 정확하게 쏜다고 말할 수가 없을 거예요. 이렇듯 신뢰도는 정확성의 필요 조건이어서 신뢰도가 낮은 경우 타당도(정확도)를 보장할 수 없게 됩니다.

신뢰도가 중요한 건 알겠는데…. 그거 어떻게 확인하는 걸까요?

선발도구의 신뢰도를 확인할 수 있는 방법은 크게 4가지가 있습니다.

먼저, 여러 명의 평가자가 동일한 사람을 평가한 뒤, 평가자가 누구인지와 관계없이 일관적인 결과가 나오는지 확인하는 방법이 있어요. 이를 평가자 간 신뢰도 (Inter-rater reliability)라고 합니다.

두 번째로, 동일한 사람에게 같은 검사를 여러 번 보게 한 뒤에, 일관적인 결과가 나오는지 확인하는 방법이 있어요. 이를 검사-재검사 신뢰도(Test-retest reliability)라고 부릅니다.

세 번째로, 같은 것을 측정하는 검사 두 개를 만들어서, 동일한 사람이 두 검사를 모두 보게 한 뒤, 결과가 같은지 확인하는 방법이 있습니다. 이를 동형 검사 신뢰도(Parallel-forms reliability)라고 해요.

마지막으로, 한 검사 내에서 같은 것을 측정하는 문항이 여러 개일 때, 개별 문항 간에도 동일한 결과가 나오는지 확인하는 방법이 있어요. 이를 내적 일관성(internal consistency)이라고 합니다.

네 가지 신뢰도 모두 시간, 평가자, 검사를 구성하는 문항 등 어떤 측면에서 일관적인지를 평가하는 것인지는 다르지만, 얻어진 두 결과가 얼마나 상관이 높은지를 분석하여 신뢰도를 수치적으로 확인할 수 있어요. 즉, 수치가 1(완벽하게 일치함)에 가까울수록 높은 신뢰도를 가진 선발 도구라고 해석할 수 있습니다.

현실적으로 두 점수가 완벽하게 일치하는 경우는 없기 때문에, 조금 더 구체적으로 수치를 해석할 수 있는 기준이 필요한데요. 미국 고용노동부에서 발간한 검사와 평가에 관한 가이드^b를 살펴보면, 선발 도구의 신뢰도를 나타내는 수치가 0.70 미만인 경우 활용하기 어려움, 0.70~0.79 사이인 경우 적절함, 0.80~0.89사이인 경우 좋음, 0.90 이상인 경우 훌륭한 수준이라고 판단할 수 있다고 권고하고 있습니다.

국내에서 사용하는 선발 도구의 신뢰도는 어느 정도일까?

그럼 국내에서 주로 사용되는 선발 도구의 신뢰도는 어떨까요? 안타깝게도 아주 일부 업체에서만 선발 도구에 사용되는 문항의 내적 일관성을 보고하고 있고, 검사-재검사 신뢰도를 보고하는 기업은 없었어요. 

그 이유는 아마도, 대부분의 검사가 문항 유출 등의 문제로 검사를 반복해서 사용하는 데에 어려움을 겪고 있고, 같은 사람이 여러 번 검사에 응시하는 것을 추적하기 어려운 상황이기 때문일 거로 추측해 볼 수 있어요. 내적 일관성의 경우 검사를 두 번 이상 실시하지 않고도 신뢰도를 추정할 수 있기 때문에, 일부 업체에서 보고하고 있는 것으로 보이고요.

국내에서는 거의 유일하게! AI역량검사가 선발 도구의 내적 일관성과 검사-재검사 신뢰도를 모두 보고하고 있어요. AI역량검사의 경우 문항 유출이 문제가 되지 않고, 실제 응시자가 여러 번 응시했을 때의 데이터를 확인이 가능한 구조를 가지고 있기 때문인데요. 지금도 잡다 사이트에서 로그인만 하면 응시자들이 얼마든지 검사에 응시해 볼 수 있고(→응시해 보러 가기), 이렇게 응시한 결과를 기업에 바로 제출하는 것도 가능합니다. 실제 데이터를 바탕으로 검사가 신뢰 가능한지를 주기적으로 확인하고 있기때문에 믿을 수 있는 선발 도구라고 자신할 수 있죠! 

현재 AI역량검사의 신뢰도는 0.83(검사-재검사 신뢰도 기준), 0.85(내적 일관성 기준) 수준 으로 좋은 수치를 보이고 있어요!  일반적인 면접의 신뢰도가 0.50로 선발도구로 활용하기 어려운 수준이고, 타당도가 높다고 여겨지는 구조화된 행동 기반 면접의 신뢰도가 0.83이라는 점을 고려한다면 AI역량검사는 아주 일관적인 결과를 보장할 수 있는 신뢰도 높은 도구라고 할 수 있습니다.

정리하자면…

정확한 선발을 위해서는 어떤 조건에서도 안정적이고 일관적인 결과를 보장할 수 있는 도구를 사용하는 것이 매우 중요해요.

안타깝게도 국내에 제공되는 대부분의 도구들이 신뢰도를 정확하게 보고하고 있지는 않지만, 공정하고 정확한 채용을 위해서는 꼭 확인하고 넘어가야 할 부분이라는 점! 꼭 기억해 주세요.

607. [참고문헌]
608. a. Williams, L. E., & Bargh, J. A. (2008). Experiencing physical warmth promotes interpersonal warmth. Science, 322(5901), 606-607.
609. b. National Center for O*NET Development. Testing and Assessment: A Guide to Good Practices for Workforce Investment Professionals. O*NET Resource Center. Retrieved September 16, 2022, from https://www.onetcenter.org/reports/proTestAsse.html
610. c. Salgado, J. F., & Moscoso, S. (2008). Personnel selection in industry and public administration: From the traditional view to the strategic view. Papeles del Psicólogo, 29(1), 16-24.
611.