1장, 편향된 표본 [2/ 2] (The Sample with the Built-in Bias)

*  1장, 편향된 표본 [1 / 2] 에서 계속해서…

 

  Wheelan은 그의 책 ‘Naked Statistics’에서 표본 데이터의 여러가지 다양한 편향에 따른 오류에 대해 다음 여러 사례들로 주의를 주고 있어.

 

  편향된 표본을 사용해 잘못된 통계 결과를 발표한 유명한 예 중 하나로 1936년 ‘Literary Digest’ 잡지의 대통령 선거 여론 조사가 있어. 

이 여론 조사에서 공화당 Ladon후보가 57%로 현직인 민주당 Roosevelt 후보를 이길 거라 예측했지만, 선거 결과는 Roosevelt가 60%로 승리했어. 무엇이 잘못되었을까? 

잡지 구독자와 자동차 또는 전화를 소유하고 있는 주소가 확인된 천만 명에게 보낸 우편 조사는 그 규모를 볼때 표본 오류가 적을 것이라 생각되었어, 하지만 잘못된 표본으로 오류만 더 커졌지. 

문제는 ‘Garbage In’. 여론 조사 표본에 공화당 지지율이 높은 상위소득층만 포함되고, 자동차와 전화가 없는 민주당 지지율이 높은 ‘중하위소득층(아래 그림에서 회색으로 지워진)’이 빠졌어.

표본 선택 편향: 상위소득층만 조사

 

  비교를 위한 ‘대조군(control group)’과 ‘치료군(treatment group)’의 표본 선정에서 동일한 무작위(random) 선정의 원칙이 중요한 것도 편향을 줄이기 위함이야. 

예를들어, 세 가지 다른 전립선암 치료 방법의 부작용 연구에서, 치료 2년 후 정상적인 성생활을 다시 하게 된 환자 수를 조사한 결과는 (1) ‘전립선 제거’하는 경우는 35% (2) ‘방사능 치료’의 경우는 37% (3) 방사선 ‘seed’를 암 주변에 심는 ‘근접치료(brachytherapy)’는 43% 로 조사되었어. 

이 결과만 보면, 세번째 ‘seed’를 심는 ‘근접치료’가 부작용이 가장 적어. 하지만, 건강하고 젊은 사람들이 ‘근접치료’를 받는 수가 많음을 고려하면, 이 연구는 단순히 세 가지 치료 방법의 부작용률을 기록한 정도로, 통계적인 분석을 통해 세 가지 방법을 비교하는 연구가 될 수는 없어 (발표 자료에도 언급) .    

위의 두 사례는 처음부터 편향된 표본을 잘못 선택한 예들이야 (‘표본 선택 편향 (Selection Bias)’).  

 

 

  일반적으로 흥미있고 ‘효과가 있다((positive한)’는 결과는 많이 발표되지만, ‘효과가 없다(negative한)’는 결과는 잘 발표하지 않아. 

‘The New York Times’가 조사한 기사에 의하면 Prozac 이나 Paxil 같은 우울증 약의 판매 허가를 받기 위해 정부에 제출한 연구 항목들, 즉 약의 반응률, 증상 개선 효과 (무기력, 수면, 식욕부진, 불안 등), 재발률, 부작용, 금단현상 등등의 결과 중에서 효과가 있는 항목 결과의 94%가 발표되지만, 유의미한 효과가 없는 항목에 대한 결과는 14%만 발표가 된다고 해. 

우울증을 앓고 있는 환자 입장에선 모든 연구 결과를 종합해보면 실제 우울증 약이 위약(placebo)에 비해 효과가 그렇게 뛰어나지 않아.  

  이런 문제를 해결하기 위해 의료 잡지들은 ‘사전 연구 등록 (Trial Registration)’이라 부르는, 연구 시작 시점에서 연구 계획을 미리 받아놓고, 이후 제출된 논문의 ‘유효한(positive)’ 또는 ‘유효하지 않은(negative)’ 결과의 수를 계획했던 수와 비교하는 방법을 사용하기도 해. 

예를 들어 스케이트보드를 타는 것이 심장병에 미치는 영향을 연구하기 위해 100여 개의 항목에 대한 결과를 보겠다고 연구를 시작했는데, 제출된 논문은 그중 하나만 ‘유효한(positive)’ 결과로 언급되었다면 나머지 99 항목은 유의미한 관련이 없었다고 추정할 수 있겠지.      

이와 같은 편향을 ‘발표 편향 (Publication Bias)’이라고 불러.

발표 편향: 긍정 효과에만 주의

  1993년 하버드에서 암이 여성의 기억에 어떤 영향을 미치는지를 연구했는데, 유방암 환자 중 현저히 많은 수가 과거에 자신이 지방 섭취를 많이 했다고 의식적으로 기억하는 경우가 많다는 것을 발견했어. ‘The New York Times’ 지는 이 결과를 “유방암 진단은 여성의 현재와 미래뿐 아니라 과거에도 영향을 미친다… 과거의 기억에서 원인을 찾으려고 하고 그 원인을 기억으로 불러낸다.”고 기사화 했어.

‘회상 편향 (Recall Bias)’이라 부르는 이런 오류를 줄이기 위해 가능하다면 ‘단일 시점 연구(cross-sectional)’보다는 ‘장기적 연구(longitudinal)’를 선호해.

회상 편향: 과거의 기억을 의식적으로 변경

 

 

  ‘생존 편향 (Survivorship Bias)’이라 부르는 오류에는 여러 재미있는 사례들이 있어.   

주식 투자 중 ‘뮤추얼 펀드(Mutual Fund)’의 수수료가 높음에도 투자자들이 몰리는 이유는 은행이 발표하는 높은 수익률 때문이지. 하지만 대부분의 뮤추얼 펀드가 운영되는 방법의 예를 보면; 

우선 ‘S&P 500’ 지수보다 높은 수익을 얻을 수 있는 확률이 50% 정도 된다고 생각되는 20개의 작은 펀드를 만들어. 그러면 확률상 10개가 첫해에 이득을 보고, 2년째에는 5개, 3년째에는 2.5개의 펀드가 ‘S&P 500’ 보다 수익이 높겠지. 어느 시점에서 펀드회사는 수익이 낮은 펀드는 모두 없애버리고 살아남은 3년간 수익을 낸 펀드만 “3년 연속 ‘S&P 500’보다 수익이 높은 펀드” 라고 선전을 해. 

 

  또다른 대표적인 사례로 수학적 사고의 중요성을 알려주는 통계학자 발트(Abraham Wald)의 일화를 소개하면; 

2차대전 중 영국 공군은 귀환한 폭격기에 남은 총탄 자국을 조사해서 총탄을 많이 맞은 부분에 철판을 보강하면 폭격기의 손실을 줄일 수 있을거라 생각했어. 언뜻 보기에 타당한 좋은 계획이었지. 

하지만 통계학자 아브라함 발트(Abraham Wald)는 중요한 사실을 지적했어.

생환한 비행기에 남은 총탄 흔적은 피격되어도 추락되지 않는 ‘덜 중요한 부분’이라는 점과, 추락한 비행기는 조사 대상에 포함되지 않고 있다는 점이었어. 따라서 실제로는 총탄 흔적이 많은 부위가 아닌, 적은 부위인 엔진과 연료탱크 부위에 보강이 더 필요하다는 것이었지. 

발트가 접근한 수학적 사고의 시작은, 

“확률적으로 비행기의 모든 부위에 비슷한 수의 총탄 흔적이 있어야 하는데, 부위마다 이렇게 큰 차이가 나는 이유는 무엇일까?” 라는 의문이었어.

독일군이 엔진만 피해서 총을 쏘는게 아니라면, 가능한 설명은 엔진과 연료탱크가 피격되면 거의 추락해 조사에 포함되지 않았다는 거지. 

알고 나면 당연해 보이는 사례이지만, 전투는 잘했던 영국 공군이 눈에 보이는 데이터만 보고 직관적으로 판단해 논리적 추정을 통한 정확한 이해를 하진 못했던 실제 있었던 이야기야. 

생존 편향: 폭격기에 남은 총탄 자국과 부위별 총탄 자국을 센 면적당 피탄수

 

  ‘How Not to Be Wrong’에 소개된 ‘생존 편향’에 관한 우화인 ‘볼티모어 주식 중개인(Baltimore Stockbroker)’도 재미있는 예인데 다음과 같아;

월요일 아침에 증권 브로커가 보낸 추천 주식 종목을 메일로 받았는데, 심심한 차에 주말에 확인해 보니 추천된 주식이 모두 상승. 이후 9주간 매주 계속 추천 종목 메일을 받았는데 놀랍게도 모두 계속 상승세인 거야. 이제 슬슬 이건 장난이 아닌데 하고 생각하기 시작했는데, 11주에 추천 종목과 함께 투자 계약서가 같이 왔어. 수수료는 다른 증권브로커보다 몇 배 이상 높긴 한데 지난 10주간의 결과를 봐선 믿을 만하기도 하고 🤔. 한방에 부자가 될 수도 있겠다는 기대에 아드레날린이 뿜어 나오지.

동전을 던져 한면이 나올 확률이 50%이고 ‘큰 수의 법칙(Law of Large Number)’에 의해 횟수가 늘어날수록 50%의 확률에 더욱 근접한다는 것을 알고 있으니 지난 10주 모두 상승 종목이었다는 것이 의심스럽긴 해 (10주중 5주는 하락 종목이었어야 했지). 

사실 브로커가 한일은, 첫주에 5,000명에게는 A종목을, 5,000명에게는 B종목을 담은 메일을 각각  총 10,000명에게 보냈어. A 종목은 상승했고 B 종목은 하락했다면, 2주 차엔 A 종목을 받은 사람들 중 2,500명에게 C 종목을, 나머지 2,500명에겐 D 종목을 보내지. C종목이 상승했다면 3주 차엔 C 종목을 받았던 사람들에게만 둘로 나누어 보내고. 계속하면 10주 차엔 9명 정도 남게 되지. 이제 투자 제안서를 받은 9명이 모두 자신이 행운아라 믿고 모두 투자한다면 브로커는 막대한 수수료와 함께 투자비를 챙기는 거지. 그 중엔 전재산을 투자하는 사람이 나올 수도 있겠지만 투자자 중 반은 그 다음 주에 자신의 행운이 다했음을 깨닫게 되겠지. 

이 내용은 우화이지만 실제 2008년 금융 위기 때 드러난 ‘메이도프(Madoff)’가 벌인 ‘폰지사기(Ponzi Scheme)’도 ‘생존 편향’의 유사한 예라고 볼 수 있어.         

  ‘생존 편향’은, 우리가 성공한 사람들의 이야기에 집중해 성공하지 못한 다수의 경험이나 요인을 놓치는 경우가 많다는 것에도 적용돼.

  ‘건강한 사용자 편향(Healthy User Bias)’이란 좀 애매한 이름으로 부르는 종교를 포함해 특별한 특성, 또는 일반화에 따른 편향도 언제나 존재해. 

비타민을 꾸준히 복용하는 사람들은 다른 건강한 습성이나 건강에 대한 관심도 높을 확률이 높아서, 꼭 비타민 복용만이 그 사람이 건강한 이유가 아닐 수도 있어. 뛰어난 운동선수가 흡연이나 과음 같은 어처구니없는 해로운 습관을 가지고 있는 경우도 허다해.