4장, 별거아닌 소동 - 신뢰 범위와 백분율(%)의 함정

  IQ (Intelligence Quotient) 지능검사는 같은 연령에서 실시한 전체의 평균을 100으로 환산한 비교 수치로 언젠가부터 개인의 지적 능력을 가늠하는 척도로 대접받기 시작했지만, 보편적인 수치라고 볼 수는 없고 상담가나 교육자들이 참고 자료로 사용하는게 원칙이다.

 

단짝이었던 두 친구가 언젠가부터 서먹해 졌다. 얼마전 담임 선생님이 재미있다는 듯, 몇 달 전에 치른 IQ 검사 결과를 종례 시간에 알려주어서, 은주는 98, 상연이는 101이라는 걸 알게 되었다. 

물론 학생이 원치 않으면 알려주지 않았지만, 대부분 얼떨결에 알려달라고 한다. 

이후 평균 이하인 은주는 약간 주눅이 든 듯 예민해졌고, 상연이는 자신감이 들며 약간의 거만함.

이 결과가 자라는 아이들의 자신감에 상처를 주고 인생에 영향을 줄 수도 있다고 생각하면,IQ 검사 결과 공개에  좀더 신중해질 필요가 있다.  

 

이해력과 인지력, 단기 기억력, 논리적 문제 해결 능력 등을 주로 확인하는 지능검사는 인간 지능에 중요한 다른 요소인 리더십, 대인 관계, 창조성 등이 빠진 매우 제한된 검사로 

사회적 판단, 예술적 적성, 근면, 감정의 균형과 같은 개인적 특성도 거의 고려되지 않는다. 

게다가 학교에서 진행되는 검사는 빠르게 측정하는 방법을 사용하기 때문에 시설에 따른 차이도 많다. 

쉬운 섹션은 일찍 끝내고 남은 시간에 어려운 섹션을 다시 들여다 보았던 기억이 있다. 

나는 아직도 내 진짜 IQ를 모른다.

IQ 검사 항목

 

알려진 IQ 지능검사의 표준측정오차는 ± 3. 

즉, 은주는 기분좋은 날은 101, 컨디션이 안좋은 날은 95. 

상연이는 104와 98 사이의 점수가 나온다는 거고, 겹치는 구간 (98~101)을 고려하면 이 결과로 간단히 누가 더 똑똑하다고 말할 순 없다. 

사실 IQ 검사를 포함한 표본 검사 결과를 설명할 때 중요한 건 범위(range)로 평균 100이 아니라, 범위 90~110을 기준으로 보는 것이 맞다.   

 

발표된 수치에 따로 알려주지 않아도 항상 “ ± “ 범위가 있다는 걸 명심해야한다. 

그리고 비교하는 수치들에 차이가 매우 작다면, 측정오차를 고려할 때 그 차이는 의미가 없다.

은주와 상연이의 IQ 범위

 

  ‘리더스 다이제스트’ 잡지에서 각 제조사별 담배의 성분을 비교했는데, 유의한 수준에서 통계적으로 차이가 없다는 결과가 나왔다. 

표준편차를 고려할때 겹치는 부분이 크다. 

하지만 결과 수치가 모두 다르니 차이가 거의 없어도 순위를 매길 수는 있어서 ‘Old Gold’란 담배 회사가 독성이 가장 적게 나온 순위가 발표되었다.

그러자 ‘Old Gold’ 담배 회사는 신뢰 범위(range)는 언급하지 않은 채 “모든 담배 중 Old Gold가 독성이 가장 적게 나왔다”고 광고하며 가격을 올렸다. 

비싸진 ‘Old Gold’로 바꾼 사람들은 그나마 독성이 적은 담배를 피운다고 뿌듯해 하고. 

1930년대 'Old Gold' 광고

 

  두 사건의 차이가 거의 없음에도 유의한 차이가 있는 것처럼 과장하기도 하지만, 수치보다 ‘백분율(%)’을 사용해 사실을 호도하는 경우도 많다. 

2006년, ‘깅그리치(Newt Gingrich)’의원은 “이스라엘에서 테러로 8명 사망하는 것은 (인구 수를 비교하면) 미국에서 500명 사망하는 것과 같다”고 테러를 비난하며, 테러의 위험을 피부로 느끼지 못하던 미국인들에게 이스라엘을 도와야 겠다는 공감을 이끌어냈다. 

하지만 모집단의 크기가 다른 경우 (미국과 이스라엘의 인구와 영토 차이), 비율을 그대로 수치화해 비교하는 것은 적절하지 않다. 

계산은 맞지만 해석은 틀린 이야기다. 

크기가 다른 모집단의 백분율(%) 비교

 

  비율로 비교하는 것이 적절치 못한 다른 예로는, 

미국 사우스다코타주의 뇌암 사망률이 5.7%로 미국 전체 주 평균 3.4%을 한참 넘어서 비슷한 다른 상위 5개 주와 함께 주 보건국이 난감한 상황에 처한 경우가 있었다.  

왜 많을까? 환경의 영향인지, 의료 시설이 낙후되었는지 또는 의사 수가 적나? 

공통점은 상위 5개 주가 인구수가 적다는 점이다. 즉, 모집단의 수가 상대적으로 적어서 적은 수의 사망자도 사망률(%)을 크게 만들었다. 

실제 사망자 수는 적지만 비율로는 커보인다.  

    

 

  ‘Great Big Book of Horrible Things’의 저자 화이트(Mathew White)가 20세기 인구수 대비 백분율(%)로 확인한 최대 학살은; 

(1) 독일의 식민지 나미비아 헤레로(Herero)족 학살, 부족 인구의 약 80%(약 8만이 1.5만으로) 사망

(2) 벨기에 왕 레오폴드 2세(Leopold II)가 벌인 강제 고무 채취로 콩고 인구 약 50%인, 1000만여 명 사망 

(3) 캄보디아 폴 포트(Pol Pot) 정권하의 ‘킬링필드’, 극단적 공산주의자들이 벌인 자국민 학살로 인구의 약 25%인 200여만 명 사망

 

반면, 희생자들의 수로 따지면; 

(a) 히틀러가 저지른 ‘홀로코스트(Holocaust, 약 600만 명)’와 이차대전을 합친 약 5000만 명 

(b) 스탈린이 저지른 700여만 명이 사망한 우크라이나 대기근(Holodomor)과 100여 만명의 대숙청과 강제 노동수용소(Gulag)를 합쳐 모두 2000여만 명 

(c) 마오쩌둥의 ‘대약진운동’시 기근으로 사망한 4000여만 명과 ‘문화대혁명’ 때 사망자를 합한 6000 ~ 8000여만 명

 

학살의 순위를 매긴다는 것 자체가 무의미한 일이지만, 

학살의 심각성을 알리기 위해 절대 수치와 인구 대비 %중 어느것을 사용하여야 할지 선택해야 한다면, 사망자가 너무 많아 생존자에 포커스하는 경우에는 %를 사용하는 것이 적당하고 (르완다 투치족의 약 75%가 사망한 인종간 충돌의 경우처럼), 9/11때 미국 ‘월드 트레이드 센터’에서 사망한 희생자들에 관해서는미국 인구의 0.001%라고 표현하기보다는 사망자 수를 말하는게 적절해 보인다.     

 

 

  2011년 위스콘신(Wisconsin)주의 공화당은 주지사 월커(Scott Walker)의 신규 고용 창출 업적에 대한 기사를 냈다. 

내용은, 미국 전체 고용 증가가 18,000명인데, 위스콘신주의 고용 증가가 9,500명이므로, “미국 전체 고용 증가의 50%가 위스콘신주에서 일어났다”고 자랑했다. 

그럴듯한 기사로, 이 기사만 보면 정말 주지사가 대단한 일을 했네. 

하지만 정부에서 발표한 자료를 자세히 살펴보면, 50개 주 가운데 위스콘신주보다 고용이 더 늘어난 주가 많았고 반대로 줄어든 주도 있어서 전체적으로 서로 상쇄되어 남은 수가 18,000명 이다. 

이렇게 따지면 미네소타주는 전체의 70%라고 해도 할말 없다. 

이건, 위스콘신 한 주의 수를 전체 50개주의 증가로 나눈(하나를 전체로 나눈) 비교 불가한 수치를 사용한 속임수이다. 

선거때가 되면 여기 저기서 이런 엉뚱한 수치를 사용해 잘못된 수치를 만들어 사기치는 정치인이 꼭 있다.  

잘못된 비율 프레이밍 (misleading framing)

 

  짜장면 가격을 올릴 때 “10,000원에서 2,000원 올려 12,000원 입니다” 하는 것 보다는 “20% 올렸습니다” 하는게 충격이 덜한 건, 20%가 얼마나 되나 계산하는 동안에 카드 계산은 벌써 끝나 있기 마련이다.

할인 광고 할때는 반대로 금액을 쓰는 경우가 많아. 이걸  ‘프레이밍 효과(framing effect)’라고 한다. 

 

 

  다른 예로, 뉴욕타임스는 2010년 전체 소득 증가로 볼때, “미국 경기가 <불황에서 확실히 회복>되어 가고 있다…”라는 기사를 실었다. 

함께 실린 차트에 보면, 전체 소득 증가의 93%가 상위 1%에 집중되어 있기는 하지만, 전체 소득이 증가하는 걸 보면 불황에서 벗어나고 있는게 확실하다. 

하지만, 좀더 신중한 결론을 위해 정부 발표 세부 통계를 살펴 보면, 상위 1%을 제외한 상위 10%(즉, 2~10%)의 소득 증가율은 17%로, 이 수치만 단순히 더하면 110%가 되네 (상위 1%의 93%와 상위 9%의 17%를 합쳐). 

%의 최대값은 100%가 아닌가? 

이 결과는 결국, 상위 10%의 소득 증가가 모두 나머지 90%의 주머니에서 나왔다는 소리로, 하위 90%의 소득은 오히려 줄어 경제 불황이 여전히 진행 중이라는 다른 결과를 보여주는 사례이다.   

전체 소득 증가에 숨겨진 90%의 감소