Soon Gud Story

[책그림] 빅데이터의 배신 | 나는 오늘 알고리즘에게 해고당했다

[빅데이터의 배신]

가난한 메이저리그 팀을 리그 최고 기록 20년승으로 이끌고 

금융 투자를 도와줘 수 억 달러를 벌어다 주고

내게 딱 맞는 연인마저 추천해주는 그것.

그것은 알고리즘 입니다.

알고리즘은 수학과 빅데이터를 기반으로 만들어지기에 정확하고 공정해 보입니다.

그래서 우리는 알고리즘이 알려주는 길을 따라가고 추천해주는 영화를 즐겁게 시청합니다.

그런 알고리즘이 갑자기 뒤통수를 칩니다.

어느날 평상시와 같이 출근했더니 상사가 해고 통지를 합니다.

이유를 물어보자 직원 평가 알고리즘에서 내가 퇴출 1순위로 뽑혔다고 합니다.

나름 일도 잘해왔고 동료들도 잘 도와주었다고 생각했는데 앞이 막막해집니다.

평가 기준을 물어봤더니 공개할 수 없다고 합니다.

상사는 자신도 어쩔 수 없었다며 그저 컴퓨터가 객관적으로 산출한 결과라 합니다.

나는 아무 말도 하지 못하고 회사를 나옵니다.

좋아 보이는 모든 것에는 그림자가 있습니다.

책 <대량살상수학무기>는 우리가 찬양했던 빅데이터와 알고리즘의 그림자를 보여줍니다.

이미 세상 곳곳에서 활약을 하고 있는 알고리즘을 자세히 살펴보면 그 속에 인간의 편견과 차별이 숨어 있었습니다.

하버드대 수학 박사이자 데이터사이언티스트인 저자 캐시 오닐은 알고리즘과 빅데이터가 악용되는 것을 현장에서 목격했습니다.

공정해야 할 수학가와 통계학자가 알고리즘을 이용해 사람들의 탐욕을 부추겨 금융위기를 초래했고 가치 중립적이어야 할 개발자는 인종,재산,성격에 따라 사람을 평가하는 모델을 개발했습니다.

저자는 우리 사회에 해를 끼치는 이런 잘못된 알고리즘을 대량살상수학무기라 칭합니다.

"Weapons of Math Destruction!!"

저자는 말합니다.

알고리즘은 공정하지 않다.

어떤 데이터를 수집할 지에 사람의 가치관이 반영되어 있으며 어떤 기준에 얼만큼의 가중치를 줄지에 따라 사람의 편견이 작용하기 때문이다.

실제 예시를 살펴봅니다. 미국 워싱턴의 한 중학교에서 교편을 잡고 있던 새러 와이사키는 하루 아침에 학교를 떠나야 했습니다.

워싱턴 교육 당국이 만든 알고리즘에서 하위 5%로 평가 받았기 때문입니다.

학부모와 동료 교사는 와이사키를 최고의 교사로 뽑았지만 끝내 그녀는 하위 5%의 다른 205명과 함께 해고 당했습니다.

교육 당국은 평가 방식을 공개하지 않았습니다.

수학적 알고리즘이라 복잡하다고 변명하면서요.

사실은 외부 프로그래머와 통계전문가에게 자세한건 맡겼기에 잘 몰랐던 것이었습니다.

저자가 알고리즘을 뜯어보았더니 문제가 있었습니다. 

평가 기준이 너무나 단순했습니다. 전년도와 올해의 시험 점수 격차였습니다.

학생의 집안 환경, 학생의 만족도와 같은 기준은 없었습니다.

표본은 교사가 그 해 담당한 25~30명뿐이었습니다.

이런 사실과 함께 문제를 제기했지만 교육당국은 알고리즘의 평가가 공정하다며 무시했습니다.

와이사키는 결국 교장과 동료의 추천을 받아 더 좋은 부자 사립학교에 취직했습니다.

누가 가장 피해를 보았을까요?

좋은 선생님을 잃은 공립학교 아이들이지 않았을까요?

더 무서운 예시들이 수두룩 합니다.

알고리즘이 차별을 강화합니다.

미국에는 범죄자의 형량을 결정할 때 재범 확률을 고려합니다.

재범위험성 모형이라 합니다.

그 알고리즘에는 이런 기준이 있습니다.

범죄자가 어떤 동네에 사는가, 친척 중에 범죄자가 있는가 이런 통계는 상관성이 있을지라도 이를 묻는 건 차별입니다.

형량은 그 사람이 저지른 범죄에 따라 결정해야 합니다.

사는 곳, 즉 가난함에 따라 결정되면 안됩니다.

알고리즘이 우리의 약점을 공략합니다.

기업은 우리가 온라인상에서 무엇을 클릭했고 무엇을 검색했는지에 따라 우리를 분류합니다.

우리를 '카테고리화' 합니다.

만약 당신이 자긍심이 낮고 어려움에 처해있는 카테고리에 속한다면 미국 인터넷 영리 대학은 당신을 집중적으로 공략할 것입니다.

자극적인 멘트로 약점을 공략해 자신의 대학 졸업장이 필요하다는 광고를 계속 노출시킬 것입니다.

그 외로도 알고리즘은 대학 입학생을 걸러낼때, 대출 여부를 결정할 때, 인적성검사를 할 때 우리를 평가하고 차별하는 도구로 사용되고 있습니다.

이런 알고리즘을 공정하다고 말할 수 있을까요?

그 속에 들어가는 수학과 데이터는 가지 중립적입니다.

하지만 알고리즘으로 만드는 순간 인간의 편견이 들어 갑니다.

어떤 데이터를 사용할지, 어떤 기준으로 가공할지 인간이 정하기 때문입니다.

그래서 우리는 데이터 기반이다, 빅데이터다 라는 말에 현혹되어서는 안됩니다.

알고리즘 그 속에 어떤 기준이 있는지 들여다 볼 줄 알아야 합니다.

알고리즘을 거부하라는 것이 아닙니다. 공정하게 사용될 수 있도록 감시해야 한다는 것입니다.

빅데이터가 불평등을 확대하고 차별을 가져온다고 말하는 이 책 <대량살상수학무기>는 미국에서 엄청 큰 찬사와 논란을 불러일으켰습니다.

앞으로 다가오는 데이터의 시대에 우리 자신을 보호하기 위해 꼭 필요한 책이라 생각합니다.

알고리즘에 대한 인상적인 책의 문장을 인용하며 마치겠습니다.

모형이란 본래 복잡한 세상을 장난감처럼 단순화한 개념이다. 

세상의 모든 복잡함이나 인간 커뮤니케이션의 미묘한 차이를 완벽히 반영한 모형은 존재하지 않는다.

모형은 수학에 깊이 뿌리내린 지극히 개인적인 의견이라 할 수 있다.