7장, 애매한 연관성 (The semi-attached Figure)

  “근무 시간에 짧은 휴식을 갖는 직원들은 암으로 사망할 확률이 높다”라는 기사를 보고, 당장 “전사적으로 휴식 시간을 없애야 한다”는 목소리가 들리기 시작한다. 

어처구니없는 소리긴 해도, 확률이 그렇다니 언뜻 반박할 말이 없다. 

그래서 내용을 더 들여다보니 사망 원인이 흡연이다. 짧은 휴식 시간에 많은 직원이 담배를 피웠고, 그로 인해 사망률이 높아진 거였다. 

결국 짧은 휴식이 문제가 아니라 흡연이 문제인 것을 확인하지 않았다면 엉뚱한 휴식 시간만 줄어들 뻔했다.  

인과관계 왜곡/ ChatGPT

 

27%의 의사들이 특정 제품의 담배를 피운다고 해서, 그 담배가 몸에 좋다는 의미는 아니다. 의사들도 몸에 좋지 않다는 걸 알면서도 피울 뿐이라는 걸 당연히 알고 있는데도, 실제 담배 회사들이 가끔 이런 내용의 조사 결과를 발표해 왔다는 건, 당연해 보이는 이런 내용에도 우리가 쉽게 속고 있다는 것을 말해준다.   

 

단순해 보이지만, 실제 이와 같이 인과관계를 왜곡하는 방식으로, 통계 수치는 정확하지만 입맛에 맞게 오용하는 사례가 정치계를 포함해 주위에 너무도 많다. 제시된 수치의 대상과 주장하는 결론이 다르다면, 둘 사이에 명확한 인과관계가 있는지 확인해봐야 한다.

  제약회사가 항생제를 새로 개발해 “실험실 튜브에서 31,108개의 세균을 죽였다”고  발표한다. 모든 사람이 과학자는 아니니 더 자세히 알려줘야 할 필요가 없다고 생각했을 수도 있겠다. 하지만 최소한 그 항생제가 인체의 코 안에서도 동일하게 세균을 죽이는지, 죽은 세균에 감기 바이러스가 포함되어 있는지는 알려주어야 하지 않을까? 우리도 한 번쯤 그런 질문과 의심은 해봐야겠다.

 

2024년 미국 보건국은 일반적인 감기약에 함유된 성분인 경구용 비충혈제거제(oral phenylephrine)가 코막힘에 “아무 효과가 없다”고 발표했다. 플라시보(placebo)와 통계적으로 유의미한 차이가 없다는 결과다. 하지만 감기약 회사는 이 성분이 특효약인 것처럼 선전해 왔고 그만큼 약값을 비싸게 받아왔다. 이건 전문가가 아니면 질문하기 어렵긴 하다.

“아무 효과가 없다”는 것(100%)도 왜곡일 가능성이 보이긴 한다.  

 

노조와 갈등을 겪고 있는 사측에서 직원들에게 “노동조합에 불평을 제기할 사항이 있는가”라는 질문을 담은 설문조사를 한다. 이 질문이 단순한 ‘불평’을 묻는 것이라고 생각해 “그렇다”고 응답한 직원이 75%였다. 

다음 날 회사는 “대부분의 직원인 75%가 노동조합에 반대한다”고 대외적으로 발표한다. 

노조에 불평이 있다고 노조 자체를 반대하는 사람이 몇이나 될까? 

 

표본이나 조사의 정의를 모호하게 설정해 왜곡하는 이런 경우들은 전문가가 아니면 알아내기가 어렵긴 하다. 충분한 설명 없이 제시된 통계 자료는, 표본이 무엇이고 조사된 내용은 무엇인지 알아보는 노력이 필요하다.     

모호한 정의/ ChatGPT

  지금은 확진된 경우에만 말라리아 감염자로 통계에 들어가지만, 1940년 이전만 해도 말라리아 확진자뿐 아니라 유사한 환자까지도 말라리아 발생 통계에 넣었기 때문에, 두 시기의 통계 수치를 일대일로 비교하는 것은 의미가 없다.

 

1952년 미국은 가장 많은 소아마비 환자가 발생했는데 소아마비로 인한 사망은 큰 변화가 없었다. 이유를 들여다 보면, 그해 새로운 정부 지원과 보험 지원이 시작되면서 이전엔 보고 하지 않던 경증의 환자 수가 대거 통계에 잡혔다. 

 

‘This Week’ 는 “고속도로를 70마일로 달릴 때, 저녁 6시가 아침 7시보다 사고 위험이 4배나 많다”라는 기사를 냈다. 저녁 시간이 되면 운전자들이 집에 빨리 가고 싶어 과속을 하는지, 하루 종일 더워진 차의 기능에 문제가 생기는지 여러 추측이 있을 수 있다. 

하지만 단순히 퇴근 시간이 몰린 저녁 6시에 교통량이 가장 많아 사고도 많은 것이라면, 새로운 기사 거리는 아니다. 

비슷한 예로, 좋은 날씨가 안개 낀 날씨보다 사고가 많다는 기사는, 안개 낀 날의 총수가 적기 때문일 수 있다. 

지난해 여행 사고로 사망한 수가 2000년보다 늘었다면, 안전 문제라기 보다는 여행이 늘었을 가능성이 많은 경우 등 그냥 잡지 지면을 채우기 위한 기사도 많다.

표본 편향/ Gemini

Spanish-American 전쟁 당시 천 명당 9명 전사한 반면, 같은 시기 뉴욕에서는 천 명당 16명이 사망한 통계를 단순 비교하면, 군대에 있는게 더 안전하다고 생각할 수도 있다. 

실제로 군 모병관들이 군인을 모집하는데 이 자료를 사용했다. 

하지만 이 비교에서 숨기고 있는 것은, 전쟁에서 사망한 표본은 신체 건강한 젊은이들이고, 뉴욕시 사망자 표본에는 사망률이 높은 영유아와 노인이 포함되어 있다.

상대비교 왜곡/ Gemini

 

비교하는 두 대상의 표본이 편향되어 있지는 않은지, 비교 조건이나 효과가 다른 것을 비교하는 것은 아닌지 주의가 필요하다.  

  상대 신문사에게만 광고를 주는데 심통이나 “잡화점 ‘A&P store’의 상품당 판매 수익이 1.1%에 불과하다”라는 기사와 함께 사설에 “1000달러 투자해서 1년에 10달러 번다면 누가 이회사에 투자하겠냐”고 조롱했다. 

이에 어느 독자(회사 직원일 가능성이 많음)가 “아침에 99센트에 받은 신문을 오후에 1달러에 팔면 수익은 1%밖에 안되지만, 365일 계속되면 연간 수익은 365%가 된다”고 댓글을 달아 신문사를 머쓱하게 만들었다.

통계수치 오용/ Gemini

 

기업이 같은 경영 성과를 발표하며, 필요에 따라 “판매당 1%수익”, “투자 대비 15% 수익” 또는 “총이익 100억”처럼 다른 방법으로 말하는 것은, 말하는 기업보다 듣는 사람이 더 주의해 들을 수 밖에 없다. 

 

새로운 주서기가 기존 제품보다 26% 더 많은 주스를 만들어 낸다면, 비교한 주서기가 만들어 내는 양이 얼마인지 확인해 보고, 10%였다면 12.6%를 만드는 새주서기의 인상된 가격이 적정한지 기대치 계산을 해봐야한다.

 

이렇게 수치로 장난하는 것을 무조건 비난하긴 어렵고, 듣는 사람들이 똑똑해 지는 수밖에.

  뉴욕 주지사 드웨이(Deway)는 선거가 다가오자 교사 소득이 900달러에서 2500~5325달러로 늘어난게 자신의 업적이라는 자료를 냈다. 

하지만 경쟁하는 후보 측에 의하면, 비교된 이전의 소득 900달러는 주에서 가장 낮은 시골 교사 소득이고, 이후 소득 2500~5325달러는 가장 비싼 뉴욕시 교사 소득인 것으로 밝혀졌다. 이후 드웨이가 이 자료에 대해 반박하거나 논의를 계속했는지는 알려지지 않는다.  

기준선을 왜곡(baseline manipulation)하는 전형적인 사례이다. 

기준선 왜곡/ Gemini

 

최근 문제가 된 ‘대한상공회의소’가 발표하고 경제지들이 앞다투어 기사화해 준 “상속세 부담 때문에 한국에서 부자들이 해외로 떠난다”는 내용의 영국 투자이민 컨설팅 업체 보고서는, 데이터 수집 및 분석 방법이 불명확하고 일부 극단적인 가정을 포함했으며 앞뒤가 맞지 않은 다른 자료들을 사용해 신뢰할 수 없다는게 확인 되어, 결국 대한상공회의소가 잘못된 내용에 대해 사과한다. 

이번에도 국세청에서 사실 확인하지 않았다면, 이런 잘못된 자료가 버젓이 사실로 받아들여져 부자들을 위한 세금 정책에 반영되었을 것이다.   

 

글로벌 통계 관련 기사에 “온라인 콘텐츠의 62%가 거짓이다”, “40%가 가짜다” 등 클릭을 부르는 자극적 숫자가 보도되는데, 조사 대상과 조사 방법등이 설명되지 않은 이런 통계 수치는 기사의 목적에 따라 과장의 가능성이 크다.

 

목적을 위해 자료를 왜곡하려는 시도는 도처에 있고, 사람 뿐 아니라 AI 까지 가세한 지금 ‘사실 확인(Fact Check)’은 필수적이다.