북클럽 분야
분야 전체
북클럽 허브

대량살상수학무기

어떻게 빅데이터는 불평등을 확산하고 민주주의를 위협하는가

캐시 오닐 저/김정혜 | 흐름출판 | 2017년 10월 20일 한줄평 총점 9.4 (91건)정보 더 보기/감추기
  •  종이책 리뷰 (83건)
  •  eBook 리뷰 (2건)
  •  한줄평 (6건)
분야
사회 정치 > 사회학이해
파일정보
EPUB(DRM) 20.34MB
지원기기
iOS Android PC Mac E-INK

책 소개

수학과 데이터, IT기술의 결합으로 탄생한 빅데이터 모형은 편견에 사로잡힌 인간보다 공정하며, 개인의 권리와 이익을 보호한다고 알려져 있다. 그러나 현실은 정반대다. 정부, 기업, 사회에 도입된 데이터 기반의 알고리즘 모형들은 인종차별, 빈부격차, 지역차별 등 인간의 편견과 차별, 오만을 코드화해 불평등을 확대하고, 민주주의를 위협하고 있다.
하버드 출신의 수학자이자 세계 최고의 헤지펀드 퀀트, 실리콘밸리의 데이터과학자였던 캐시 오닐은 수학과 빅데이터의 결합으로 탄생한 ‘대량살상수학무기’가 어떻게 교육, 노동, 광고, 보험, 정치에 이르기까지 우리의 삶을 파괴하는지 날카롭게 파헤친다.

대량살상수학무기(Weapons of Math Destruction)란?
수학과 데이터, IT기술의 결합으로 탄생해 교육, 노동에서 광고, 보험, 정치에 이르기까지 우리 삶의 다양한 영역에 걸쳐 불평등을 조장하고 민주주의를 위협하는 알고리즘 모형.
  •  책의 일부 내용을 미리 읽어보실 수 있습니다. 미리보기

목차

한국 독자들에게
서론 데이터과학자, 퀀트, 그리고 내부고발자
1장 대량살상수학무기의 탄생 : 빅데이터 시대, 알고리즘이 신을 대체하다
모형이란 무엇인가? | 과연, 알고리즘은 공정한가? | 재범위험성모형과 편견의 덫
대량살상무기의 3가지 조건
2장 셸 쇼크 : 금융과 수학의 결탁이 불러온 파국
어떻게 수학은 금융위기의 공범이 되었나 | 수학은 미래를 예언하지 못한다 | 수학 모형의 미몽에서 깨어나다
그러나 변한 것은 없었다
3장 군비 경쟁 : 데이터의 포로가 된 학교와 학생들
2류 시사 주간지의 대학 줄 세우기 | 대리 데이터가 현실을 대체하다
텍사스 크리스천 대학교의 명문대 프로젝트 | 미국 대학 등록금이 비싼 이유
“부정행위를 허용해야 공정하다” | 결국, 모두가 피해자
4장 선동 도구 : 알고리즘은 당신이 한 일을 알고 있다
약자들을 노리는 약탈적 광고 | “그들의 아픔을 공략하라” | 온라인 광고는 어떻게 우리를 스토킹하는가
탐욕스러운 기업이 빅데이터를 만나면…
5장 무고한 희생자들 : 가난이 범죄가 되는 미래
귀게 걸면 귀걸이, 코에 걸면 코걸이 | 불심검문이 오히려 범죄자를 양산한다? | 공정성 대 효과성
가난이 범죄가 되는 세상
6장 디지털 골상학 : 당신은 우리가 원하는 직원이 아닙니다
인성적성검사의 비밀 | 알고리즘은 개성을 싫어한다 | 세인트 조지 의과대학의 착각
효율성이라는 이름으로 자행되는 차별들
7장 일정의 노예 : 알고리즘의 노예가 된 노동자들
인간, 진정한 부속품이 되다 | 사다리 걷어차기 | 생산성을 점수화하기 위한 시도들 | 심슨의 역설
우리가 저항해야 하는 이유
8장 부수적 피해 : 모든 길은 신용점수로 이어진다
당신은 몇 점인가요? | ‘당신은’ 대 ‘당신과 같은 사람은’ | 취업도 대출도 사랑도 결정하는 신용평가점수
쓰레기를 넣으면 쓰레기가 나온다 | 오직 인간만이 공정성을 주입할 수 있다 | 빅데이터 시대의 아이러니
9장 안전지대는 없다 : 선의에 감춰진 보험의 민낯
자동차 보험료는 어떻게 결정되는가 | 더 이상 숨을 곳은 없다 | 행동적 부족의 탄생
당신의 건강을 관리합니다. 사생활을 침해해서라도… | 엉터리 수학의 임금 절도
10장 표적이 된 시민들 : 민주주의를 위협하는 빅데이터
세상에서 가장 거대한 실험실 | 마이크로 타기팅, 유권자 갈라치기 | 미국 정치권의 빅데이터 활용법
천사도 악마도 될 수 있다
결론 수학 모형의 여행을 마치며
후주

상세 이미지

상세 이미지

저자 소개 (2명)

저 : 캐시 오닐 (Cathy O’Neil)
UC버클리를 졸업하고 1999년 하버드대학교에서 대수적 정수론으로 수학박사 학위를 받았다. 매사추세츠공과대학교(MIT)에서 박사후과정을 거친 후 컬럼비아대학교와 공동학위를 수여하는 버나드 칼리지 수학과 종신교수로 재직했다. 2007년 수학을 현실 세계에 활용한다는 아이디어에 매료되어 교수직을 버리고, 헤지펀드 디이 쇼(D.E. Shaw)의 퀀트(quant)가 된다. 디이 쇼의 선물거래팀을 이끌며 2000년대 글로벌 금융계의 호황과 붕괴를 몸소 겪는다. 수학과 금융의 결탁이 불러온 파괴적 힘에 환멸을 느끼고 월스트리트를 떠났다. 이후 IT업계에서 데이터과학자로서 금융상품의 위험도,... UC버클리를 졸업하고 1999년 하버드대학교에서 대수적 정수론으로 수학박사 학위를 받았다. 매사추세츠공과대학교(MIT)에서 박사후과정을 거친 후 컬럼비아대학교와 공동학위를 수여하는 버나드 칼리지 수학과 종신교수로 재직했다. 2007년 수학을 현실 세계에 활용한다는 아이디어에 매료되어 교수직을 버리고, 헤지펀드 디이 쇼(D.E. Shaw)의 퀀트(quant)가 된다. 디이 쇼의 선물거래팀을 이끌며 2000년대 글로벌 금융계의 호황과 붕괴를 몸소 겪는다. 수학과 금융의 결탁이 불러온 파괴적 힘에 환멸을 느끼고 월스트리트를 떠났다. 이후 IT업계에서 데이터과학자로서 금융상품의 위험도, 소비자 구매 패턴 등을 예측하는 수학 모형을 개발했다.
수학자이자 퀀트, 데이터과학자로 일하면서 그녀는 장밋빛으로 포장된 빅데이터 경제가 불평등을 확산하고 민주주의를 위협한다는 사실을 깨닫게 된다. 현재는 월가점거운동(Occupy Wall Street)의 하위조직인 대안금융그룹을 이끌고 있다. 또한 알고리즘을 감사하고 위험성을 측정하는 기업 ORCAA를 설립해 빅데이터의 그림자를 세상에 알리는 데 힘쓰고 있다.
역 : 김정혜
한양대학교 화학과를 졸업하고, 미국 필라델피아 커뮤니티칼리지에서 SLP 과정을 수료했으며, 버지니아 컬럼비아칼리지에서 유아교육을 공부했다. 현재 바른번역 소속 번역가로 활동 중이다. 옮긴 책으로는 『대량살상수학무기』,『디자인 유어 라이프』,『침대는 어떻게 침대와 세상을 정복했는가』,『우리는 왜 위험한 것에 끌리는가』,『리더십은 누구의 것인가』,『미래 사상가들에게 묻다』,『인생의 중요한 순간에 다시 물어야 할 것들』,『나폴레온 힐의 성공으로 가는 마법의 사다리』, 『원소의 세계사』,『눈 먼 자들의 경제』,『화이트칼라의 범죄자들』,『왜 그녀는 저런 물건을 돈 주고 살까?』,『하버드 ... 한양대학교 화학과를 졸업하고, 미국 필라델피아 커뮤니티칼리지에서 SLP 과정을 수료했으며, 버지니아 컬럼비아칼리지에서 유아교육을 공부했다. 현재 바른번역 소속 번역가로 활동 중이다. 옮긴 책으로는 『대량살상수학무기』,『디자인 유어 라이프』,『침대는 어떻게 침대와 세상을 정복했는가』,『우리는 왜 위험한 것에 끌리는가』,『리더십은 누구의 것인가』,『미래 사상가들에게 묻다』,『인생의 중요한 순간에 다시 물어야 할 것들』,『나폴레온 힐의 성공으로 가는 마법의 사다리』, 『원소의 세계사』,『눈 먼 자들의 경제』,『화이트칼라의 범죄자들』,『왜 그녀는 저런 물건을 돈 주고 살까?』,『하버드 인텔리전스』,『생각이 차이를 만든다』,『위대한 성과의 법칙』,『설득의 힘』, 『아마존 웨이』,『아마존 웨이_사물인터넷과 플랫폼 전략』 등이 있다.

출판사 리뷰

“실리콘밸리에서는 절대 들려주지 않는 빅데이터 이야기”
‘보이지 않는 손’ 알고리즘의 역습이 시작됐다

《사피엔스》의 저자 유발 하라리는 “21세기 인본주의 시대에는 인간의 감정이 최고의 권위를 누렸지만, 미래에는 알고리즘이 우리 삶을 지배할 것”이라고 예측했다. 유발 하라리의 분석처럼 우리는 힘을 가지기 위해 우리 존재를 숫자와 점으로 바꾸고 평가를 알고리즘에 맡기고 있다. 우리는 이런 흐름을 ‘빅데이터’라고 부른다. 빅데이터는 방대한 양의 데이터를 논리적이고 합리적인 알고리즘으로 계산해 인간이 인지하지 못하는 질서와 규칙을 찾아낸다. 따라서 빅데이터 모형은 편견에 사로잡힌 인간보다 공정하며, 개인의 권리와 이익을 보호한다고 알려져 있다.
그런데 2016년 미국에서 출간돼 지금까지 뜨거운 논란을 일으키고 있는《대량살상수학무기》는 누가 어떤 목적으로 사용하는가에 따라 알고리즘은 전혀 다른 얼굴을 가질 수 있다고 말한다.
미국의 상하원 선거가 치러지던 2010년, 페이스북의 연구진들은 한 가지 질문을 던진다.(본문 300쪽 참조)
“페이스북 알고리즘을 조정해 정치 시스템에 영향을 줄 수 있을까?”
페이스북은 이 질문에 답을 찾기 위해 ‘투표 메가폰’이라는 캠페인을 시작했다. 연구진들은 상하원 선거 당일 투표에 참여한 페이스북 이용자가 ‘나는 투표했다’는 게시물을 올리면, 친구들의 뉴스피드에 해당 게시물이 우선적으로 노출되도록 알고리즘을 조정했다. 투표일에만 6100만 명의 페이스북 사용자가 ‘나는 투표했다’는 게시물을 올렸고 이에 자극을 받은 다른 이용자들도 경쟁적으로 페이스북에 투표 인증을 했다. 페이스북은 ‘투표 메가폰’이 약 34만 명의 유권자를 투표소로 더 불러낸 것으로 추정했다. 이는 미국 한 주의 전체 선거 결과뿐 아니라 전국적인 선거 결과에도 영향을 미칠 수 있는 숫자로, 투표 당일 페이스북의 알고리즘을 어떻게 조정하느냐에 따라 선거결과를 바꿀 수도 있음을 뜻한다.
《대량살상수학무기》는 알고리즘의 힘을 ‘신’ 같은 존재로 비유한다. 알고리즘의 의사결정 과정은 수학과 IT기술로 숨겨져 있어서 일반인들이 이해하기 힘들다. 각 영역의 최고 사제들, 즉 수학자와 컴퓨터 과학자 들을 제외하고는 그 누구에게도 내부의 작동 방식을 알 수 없다. 페이스북의 사례에서 보듯이 오히려 인간은 알고리즘의 결정을 자발적인 선택이라고 믿는다.

“굉장히 흥미롭고 대단히 심란케 하는 책” - 유발 하라리
수학자, 퀀트, 그리고 데이터과학자가 고발하는 대량살상수학무기의 진실

《대량살상수학무기》는 수학 이론, 빅데이터, IT기술이 결합해 만들어낸 빅데이터 모형이 정치는 물론 교육, 노동, 서비스, 행정, 보험 등 우리가 상상할 수 있는 모든 분야에서 막대한 영향력을 행사하고 있다고 말한다. 이 책의 저자 캐시 오닐은 빅데이터 모형 중에서도 인종차별, 빈부격차, 지역감정 등 인간이 가진 편견과 차별 의식을 그대로 코드화한 알고리즘을 사용하는 모형은 ‘대량살상무기(Weapons of Mass Destruction)’만큼 위험하다고 보고 이것들에 ‘대량살상수학무기(Weapons of Math Destruction)’, 줄여서 WMD란 이름을 붙인다.
캐시 오닐의 독특한 경력 때문에 책이 출간될 당시 미국에서는 “빅데이터 업계의 내부고발자의 책(<타임> 서평)”이란 평가를 받았다. 저자는 하버드대학과 매사추세츠공대(MIT)에서 수학박사와 박사후과정을 이수한 후 젊은 나이에 수학 연구로 유명한 버나드 칼리지 종신교수가 된다. 그러나 2007년 수학을 현실 세계에 활용한다는 매력에 이끌려 교수직을 버리고 세계적인 헤지펀드 업체 디이 쇼(D.E Shaw)에서 선물거래팀을 이끈다. 저자는 그곳에서 2000년대 후반 글로벌 금융시장의 호황과 추락을 온몸으로 겪게 되는데, 특히 부동산거품을 불러온 서브프라임모기지, 신용부도스와프(CDS), 합성부채담보부증권(CDO) 등 수학과 금융 기술, 인간의 욕망이 결탁해 탄생한 금융 상품들이 어떻게 대다수 선량한 시민들의 삶을 파괴하는지 뼈저리게 깨닫게 된다.
이후 그녀는 IT업계로 자리를 옮겨 데이터과학자가 되는데 WMD가 ‘빅데이터’와 ‘인공지능’이란 이름으로 금융업계를 넘어 사회의 곳곳으로 도입되는 것을 목격하게 된다. 예를 들어, 상점이나 카페의 종업원이 밤늦게까지 일하다가 매장문을 닫고 퇴근한 다음, 불과 몇 시간 후 새벽 동도 트기 전에 다시 출근해서 매장 문을 여는 노동방식을 뜻하는 클로프닝(clopening)은 대표적인 WMD다. 기업들은 고객들의 이동정보, 날씨, 주요사건, 구매정보 등 다양한 데이터를 분석해 유연하게 노동자의 근무시간을 짜고 있다. 이는 기업 입장에서는 물류(logistics)적으로 올바른 선택이지만, 불규칙한 근무 일정에 내몰린 노동자들은 일하는 것 외에는 어떤 것도 계획을 세울 수 없게 되었다. 클로프닝은 주로 저임금 단순업무에 이용되는데 이 때문에 저소득층일수록 불규칙한 생활환경에 내몰리고 더 나은 일자리를 위한 교육과 훈련을 받을 수 없어 빈곤의 악순환을 가져오고 있다.

“알고리즘은 미래를 예언하지 못한다. 대신 미래를 만들어 낸다”
대량살상수학무기는 어떻게 불평등을 확산하고 민주주의를 위협하는가

《대량살상수학무기》는 불평등을 확산하고, 민주주의를 위협하는 WMD의 특징을 상세한 사례와 분석을 통해 파헤친다. WMD의 특징은 3가지로 요약된다.
첫째 불투명성이다. 2007년 워싱턴 DC 시장으로 취임한 에이드리언 펜티는 관내 학생들의 낮은 학업 성취도가 무능한 교사들 때문이라고 결론 내리고 새로운 교사 평가 시스템을 도입한다. ‘임팩트’라는 이 교사 평가 시스템은 ‘매스매티카’란 업체가 계발한 알고리즘 기반 모형이다.
임팩트는 전학, 가정불화, 왕따 등 학업 성취도에 영향을 주는 여러 변수는 모두 제외하고 순전히 학생들의 시험 점수만을 가지고 교사들을 평가했다. 하지만 정책 당국은 상세한 평가 기준 등은 공개하지 않았다. 누군가 알고리즘을 들여다본다 하더라도 코드화된 알고리즘에 숨겨진 평가기준은 개발자를 제외하고는 그 누구도 이해하기 힘들었다.

워싱턴 교육청의 임팩트를 포함해 이 책에서 소개할 WMD 중 상당수가 적절한 피드백을 받지 못하고 있다. 오히려 이들 모형은 스스로 현실을 정의하고, 그 결과를 정당화하기 위해 왜곡된 현실을 이용한다. (중략) 매스매티카의 평가 시스템이 와이사키와 205명의 교사들에게 실패자라는 꼬리표를 붙이자 워싱턴 교육 당국은 그들을 모두 해고했다. 그런데 이 평가 시스템에는 이 같은 결정이 옳은지에 대해 사후에 학습하는 과정이 있을까? 없다. 시스템이 교사들을 실패자라고 확신하면, 평가는 그것으로 끝이다.
(서론 중에서)

임팩트가 도입된 2년 동안 206명의 교사가 어떤 설명도 없이 평가 점수가 낮다는 이유로 교단에서 퇴출당했다. 그중에는 사라 와이사키처럼 동료 교사와 학부모들에게 절대적인 지지를 받는 헌신적인 교사도 포함되었다. 어떻게 이런 일이 벌어진 것일까? 교사 평가 점수가 낮은 교사는 퇴출당한다는 조건 때문에 교사들은 학생들에게 교육자적인 관심을 쏟기보다는 시험 준비에 열을 올렸다. 심지어 41개 학교에서는 불이익을 우려해 시험 후에 시험답안을 수정하기도 했다. 일부 학교에선 전체 학급의 무려 70%가 이런 부정행위에 가담했다. WMD의 불투명성은 우리에게 공정한 경쟁, 다양성보다는 획일성과 침묵을 강요한다.

둘째, 확장성. 빅데이터 모형은 수천 장에 이르는 각기 다른 사연이 담긴 이력서나 대출 신청서 중에서 가장 유망한 후보자의 이름이 맨 위에 올라가도록 1~2초 안에 깔끔한 목록으로 정리할 수 있다. 이런 프로그램은 기업에는 수익을, 사회에는 효율을, 개인에게는 공정성을 약속했다. 그러나 WMD가 기업에게는 효율과 수익을 약속하지만 개개인에게는 공정성보다는 확장된 사회통제를 가하고 있다.
우리나라와 마찬가지로 미국에서도 신용평가점수는 대출이나 신용카드 발급 등에서 중요한 평가 기준이 됐다. 신용평가점수는 주로 재무 정보를 취합해 만들어진다. 최근에는 재무정보 외에 인종, 학력, 출신지는 물론 범죄기록, 언어 사용 능력 등 온갖 데이터를 마구잡이로 수집해 신용도를 예측하는 e점수가 널리 쓰이고 있다. 미국의 경우 e점수는 금융 업계를 넘어 취업, 보험, 결혼 업체에까지 고객을 평가하는 잣대로 확장되면서 심각한 부작용을 겪고 있다.
제스트 파이낸스(Zest Finance)는 e점수를 활용해 단기소액대출을 제공하는 스타트업이다. 이 회사는 “모든 데이터가 신용 데이터다”라고 선언했는데 대출 신청자 1인당 최대 1만 개의 데이터를 수집, 분석해 위험도를 측정한다. 그 데이터 중에는 온라인으로 대출신청서를 작성할 때 맞춤법을 맞게 쓰는지, 구두점은 제대로 찍는지, 신청서 작성에 얼마나 시간이 걸리는지 등도 포함된다. 이는 ‘규칙을 준수하는 사람’이 신용도가 높다고 본 것인데 이 때문에 교육 수준이 낮은 저소득층이나 이민자들이 높은 이율의 대출을 받게 됐다. 저자는 이런 행태가 가난, 인종에 대한 차별임에도 불구하고 알고리즘에 교묘하게 숨겨져 있어서 드러나지 않는다고 말한다. e점수는 대출뿐만 아니라 일자리를 구하고, 아파트를 빌리거나 심지어 데이터 상대를 소개해주는 업체에도 널리 쓰이고 있다. 이는 곧 사회 곳곳에서 빅데이터의 차별적 판단이 확산된다는 뜻이다.

마지막으로, 피해의 악순환이 있다. WMD가 모든 사람에게 파괴적인 영향을 미치는 것은 아니다. WMD 모형 덕분에, 어떤 학생은 잠재력을 인정받아 하버드대학교에 진학하고, 누군가는 저금리 대출을 받거나 좋은 직장을 구한다, 일부 운이 좋은 범죄자는 가벼운 양형을 받기도 한다. 하지만 일부 예외를 제외하면 고통받는 사람이 너무 많다. 알고리즘에 의해 작동되는 시스템들은 자신들이 정한 기준에 맞춰 사람들을 수치화하고, 분류한다. 예외는 허용하지 않는다. 그래서 수백만 명의 면전에서 기회의 문을 닫아버리고 이의를 제기할 가능성조차 허용하지 않는다.
저자는 이를 ‘해로운 피드백 루프’라고 부르는데 대표적인 것이 범죄 예측 프로그램이다. 지진 감지프로그램으로 개발된 프레드폴(PredPol)은 과거의 범죄 데이터를 분석해 범죄 발생이 예상되는 지역을 알려주는 역할을 한다. 프레드폴은 범죄가 자주 발생한 지역에 경찰력을 집중적으로 투입하도록 설계되어 있는데, 이런 지역은 주로 저소득층이 거주하는 지역이었다. 경찰이 강도, 살인, 강간 같은 중범죄를 예방하기 위해 순찰을 하는 것일지라도, 우범 지대로 분류된 동네에서 순찰 시간이 길어지다 보니 결국 어느 지역이든 흔한 미성년자 음주, 노상 방뇨, 단순 절도 등 경범죄 단속 건수가 높아졌다. 이 데이터는 다시 범죄 예측 시스템에 취합되게 되고, 더 많은 경찰 인력이 그 지역을 순찰하게 만든다.
현재 미국에서는 프레드폴 외에도 컴스텟(ComStat), 헌치랩(HunchLab) 등 유사한 예측 프로그램이 경찰을 돕고 있는데 이 프로그램의 등장 이후 전체 범죄율은 줄어들었지만 유색인종, 저소득층의 범죄율은 증가했다고 한다.
《대량살상수학무기》에서는 노동, 취업, 교육, 범죄 양형, 치안, 보험 등 우리가 상상할 수 있는 모든 영역에 영향력을 행사하는 WMD를 상세히 소개하고 이것들이 불러올 파괴력을 전문가의 시각에서 분석한다.

“오직 인간만이 시스템에 공정성을 주입할 수 있다.”

‘대량살상수학무기’는 폭탄을 장착한 진짜 무기는 아닙니다. 그러나 오히려 물질적인 실체가 보이지 않기에 그 위험을 체감하기 어렵습니다. 확장성과 효율성이란 특성 때문에 WMD의 영향력은 날이 갈수록 확대되고 있으며 그만큼 피해는 확산될 것입니다. 만약 WMD가 관료주의 메커니즘과 결합한다면 이의를 제기하거나 이를 무력화시키기란 사실상 불가능합니다. (한국 독자들에게)

우리는 알고리즘 덕분에 과거에 누리지 못한 힘을 가지게 됐지만, 그 과정에서 저소득층과 소수계층은 물론이고 상당수의 사람들이 시스템에 의해 차별당하고 있다. 캐시 오닐은 빅데이터의 어두운 면을 직시해야 한다고 말한다. 그러나 빅데이터가 없던 시절로 돌아갈 수는 없다고 한다. 알고리즘은 누가 어떤 목적으로 만드느냐에 따라 악마도 천사도 될 수 있다. 공정성, 도덕성, 포용성 등 인간만이 가지는 가치와 의미를 알고리즘에 투입할 수 있다면 그 힘을 얼마든지 이로운 방향으로 돌릴 수 있다. 아직 우리에게는 기술을 어떻게 활용할 것인지 선택권이 있다. 이 책은 “시민들은 역사상 처음으로 마주하는 수학적 알고리즘의 위험한 힘을 이해하고 그 힘을 제어하기 위해” 행동에 나서야 한다고 강조한다.
《대량살상수학무기》는 출간된 후 지금까지 아마존닷컴 52주 연속 분야 1위를 자리를 지키고 있으며, 2016 ‘내셔널 북어워드’ 선정작에 올랐다. 또한 <뉴욕타임스>를 비롯한 수많은 매체에서 ‘올해의 책(2016)’으로 선정했다.

종이책 회원 리뷰 (83건)

구매 대량살상 수학무기를 읽고
내용 평점3점   편집/디자인 평점3점 | YES마니아 : 골드 e**n | 2022.08.21
악마는 디테일에 있다(The devil is in the detail)라는 말을 들어 본적이 있다. 전체 중 작은 일의 중요성을 의미할 것이다. 빅데이터나 인공지능을 활용할 때 수학이 기본이 된다. 어떤 일을 계산하고 결과를 볼 때 어떤 가정이 있는 것인가 잘 살펴봐야 한다. 계산으로 결과를 내면서 중간에 살짝 왜곡하면 결과는 사실과 전혀 다르게 도출할 수도 있다.

흔히 알고리즘은 편견이 없다고 하지만 알고리즘을 만들 때 개발자의 가정에 의해서 편견이 충분히 들어갈 수 있다. 데이터가 재판에 사용되기도 하고, 야구 전략에도 사용되고, 대학 랭킹 순위에도 사용되며, 금융 자산에도 서용된다. 하지만 수학 계산은 맞지만 디테일에 악마가 있다. 목적을 위해서 의도적으로 왜곡할 수도 있고 미쳐 생각못하고 왜곡된 결과를 사실이라고 믿을 수도 있다.

책에서 아쉬움으로써 번역자에게 글 맞춤법 틀린 것이 종종 보이고, 글 저자에게는 개인적 경험이나 주관적 서술은 객과적이지 않고 글의 내용에 신뢰를 주지 못한다. 그리고 민주주의 위협보다는 위협에 더 비중을 둔 것 같다.
이 리뷰가 도움이 되었나요? 접어보기
가장 위험한 것은
내용 평점5점   편집/디자인 평점4점 | 강* | 2021.09.25

빅데이터,

21세기를 살아가면서 이 말을 모르는 사람이 존재할까?

사람들은 언제나 진실과 정의를 좇는다. 그리고 이를 추구하는 과정에서 기술의 발전이 보다 객관적인 사실을 보여줄 것이라고 믿는다. 글쎄, 실제로도 그렇다고 단정짓기는 곤란할 것이다.

사람들은 말한다. 인간은 완벽히 이성적일 수 없다고. 덕지덕지 얽혀버린 감정들이 그의 판단력을 흐릴 것이라고. 편견과 자기중심적인 판단 때문에 눈물을 흘리는 사람들은 분명히 존재한다.

이런 현상을 해결하고 보다 효율적으로 시간과 자원들을 배치하기 위해 우리는 빅데이터라는 시스템을 도입하기 시작했다. 원래의 목적과도 같게, 빅데이터는 정말 편리했다. 많은 양의 정보를 단시간에 처리할 수 있으니 말이다. 무엇보다도 빅데이터는 결과를 도출할 때 감정이 섞일 수 없기 때문에 사람들은 이에 열광했다.

하지만 모든 사람들이 계속 열광했을까? 아니, 이건 애초부터 잘못된 명제다. 데이터 자체가 사람이 만들었다는 사실을 간과해서 생긴 결과가 정의롭지 못했기 때문이다. 편견으로 가득찬 사람들이 만든 데이터는 편견으로 가득차있다. 또한 인간을 부품으로 취급해버리기도 한다. 

이 책을 통해 깨닫게 된 것은, 이 세상에는 내가 모르는 많은 정보들이 떠돌아다니고 이를 악용되는 경우가 많다는 것이다. 차별과 편견이 점점 고착화되면서 많은 사람들이 눈물짓게 된다는 사실에 마음이 아팠다. 모두가 이를 인지하고 바꾸려고 노력을 해야한다고 생각한다. 세상이 좋은 방향으로 하루빨리 바뀔 수 있기를 바란다. 

 

 

 

1명이 이 리뷰를 추천합니다. 접어보기
.
내용 평점4점   편집/디자인 평점4점 | 성*휘 | 2021.09.25

나는 개인적인 배경으로 인해 나는 인공지능에 관한 조그마한 이해 정도는 가지고 있었고, 그래서 다음과 같은 기사를 접했을 때 빠르게 문제를 파악할 수 있었다. 'Amazon’s sexist AI recruiting tool: how did it go so wrong?'

아직 취준을 해보지 않아 정확히는 모르겠지만, AI 면접은 현재의 대한민국에서도 상용화되어 있는 줄로 알고 있다. 또, 말도 안 되는 판례가 기사화되었을 때 댓글창에서는 거의 언제나 AI에게 맡겨야 한다는 주장을 발견할 수 있다. 사람들은 AI라고 하면 그 어떤 편견에도 영향을 받지 않는 줄로 알고 있는 듯하다.

문제는, AI는 데이터를 통해 현실 세계가 어떻게 생겼는지를 학습하고, 그 데이터는 언제나 과거에 머무른다는 것이다.

위의 아마존 채용 건을 보자. 여기서 데이터는 과거의 인간이 내린 판단들이다. 이 사람은 적합하고, 저 사람은 적합하지 않고... 여러 이유들을 복합적으로 고려하여 내려왔던 수많은 판단들을 단지 숫자로 바꾸어 데이터화한 것일 뿐이다. AI는 그러한 데이터셋으로부터 학습하여, 엄청나게 많은 양의 그것과 똑같은 판단들을 굉장히 빠른 속도로 내려줄 뿐인 것이다.

그런데 우리는 그러한 AI가 어떻게 작용하는지 아직도 알지 못한다. 그래서 AI를 '블랙박스'라고 부르는 것인데, 이 책에서는 그것을 문제로 지적한다. 이것이 왜 문제가 되는가? 어떤 문제가 발생하더라도 그 책임을 물을 대상이 안개 속에 엉켜 있어 보이지 않는다는 것이다.

또한 확장성과 피해도 지적이 되는데, 인공지능을 다뤄본 사람이라면 확장성이라는 단어를 들었을 때 대충 무슨 의미로 지적이 되었는지 알 것이다. 이러한 모델들이 신용 평가나 범죄 예방 관리와 같은 태스크에 이용될 경우 사회적 낙인 또는 기회로의 접근 가능성 제한으로 이어져 사다리 걷어차기의 방법으로 사용될 수 있다는 것도, 관심이 있는 사람이라면 무슨 이야기인지 알 것이다. 이 책에서는 이러한 문제점들을 총 10개의 장에 걸쳐 정돈하여 고발한다.

이 책을 읽기 전 나는 AI가 적어도 사법이나 채용과 같은 분야에서는 적용되지 않아야 한다고 생각했다. AI가 방대한 양의 판례를 분석할 수는 있어도, 인간은 그 분석된 결과의 함의를 읽고 주체적으로 판단하여 더욱 진보된 판례를 만들어나갈 수 있어야 한다는 식으로 생각해왔던 것인데, 저자가 주장하는 조건-투명성과 선한 의도-이 만족된다면 아주 보수적인 범위 내에서는 사용되어도 괜찮을 것 같다.

AI 모델의 사회적 사용에 관해 다시 생각해볼 수 있는 기회가 되어 좋았던 책이었다고 생각한다.

1명이 이 리뷰를 추천합니다. 접어보기
  •  종이책 상품상세 페이지에서 더 많은 리뷰를 확인하실 수 있습니다. 바로가기

eBook 회원 리뷰 (2건)

구매 대량살상수학무기 리뷰
내용 평점5점   편집/디자인 평점5점 | YES마니아 : 플래티넘 k*****e | 2019.04.08

사실 제목만 듣고서는 무슨 판타지 같은 책인가...... 싶었는데 판타지보다 훨씬 무서운 현실에 대한 이야기네요. 초등학교 1학년부터 배우는 수학이지만, 그게 우리 생활에서 빼놓을 수 없는 요소가 되었다는 건 누구나 알고 있지만 이런 식으로 현대의 새로운 힘들을 움직이고 있다는 건 그리 상상하기 쉬운 일은 아닐 겁니다. 사람들에게 선택권이 주어지지만, 그 선택을 어떻게 유도해가는지 우리는 잘 알지 못합니다. 이 책이 우리에게 그런 시각을 일깨워주는 좋은 책이라 생각합니다.

이 리뷰가 도움이 되었나요? 접어보기
구매 [대량살상수학무기-캐시 오닐] 새로운 신에 대한 이야기
내용 평점4점   편집/디자인 평점4점 | 검* | 2018.07.31

올해 나름 이과의 해로 정했다. 무슨 말이고 하니, 매번 읽던 책들에서 벗어나 수학과 과학 계통의 책을 읽자고 정했다. 평소에 문학, 역사, 사회 계통은 많이 읽었으니, 더 늦기전에 새로운 분야에 발을 들여 놓자는 취지였다. 그리고 그 첫 시작이 이 책이었고, 읽은지 4개월이 지났음에도 쉽사리 글을 쓰지 못했다. 업무적으로 바쁘기도 했지만, 우선 덜컥 겁이 났다. 당최 무슨 소린지 알아듣기가 어려운 용어들이 튀어나오고, 간단한 수리적 이해도 필요하도보니 도저히 개소리라도 지껄이기가 두려웠다. 그럼에도 억지로 지껄이는 이유는 간단하다. 꼭 필요한, 알아야만 하는 이야기다.

세상은 데이터가 넘쳐자는 시대다. 데이터 마이닝, 빅데이터, 체인블록이니 시시각각 새로운 용어들이 튀어나온다. 물론, 그렇지 않은 시대는 없었지만. 그만큼 데이터가 권력이고, 데이터를 가공하고 운용하는 일은 새로운 노다지를 캐는 일이다. 그리고, 이를 이해하고 사용하기 위해서는 수학적인 무언가, 저자의 표현대로 수학모형이 필수적이다. 더더욱이 모든 것을 수치화하고, 계량화하여 평가하고 객관화해야 하는 지금의 세상에서 수학모형은 "신을 닮았다.(p.21)" 아니 신이다. "무언가를 명확히 정의하기보다는 강렬한 인상을 주기 위해 수학 공식들을 의도적으로 이용(p.115)" 이들에 의해 신이 되었다. 그리고 현재의 신은 그 작동법을 모르는 사람이나 약자에게 관대하지 않다. 이 모형은 "실수가 있을 수밖에 없는 인간의 선택에 기반을" 두었기에 "인간의 편견, 오해, 편향성을 코드화(p.20)" 했다. "무계획적인 데이터 수집과 허위상관에 의해 작동하고, 제도적 불공평에 의해 강화되며, 확증편향에 의해 오염(p.65)" 되었다. "그저 기술로 편견을 감(p.70)"추었을 뿐이다.

<대량 살상수학무기>는 사실 수학책이 아니다. 수학모형이라는, 아니면 대량살상수학 무기라는 새로운 신이 지배하는 시대에 관한 책이다. 정의에 관한 책이고, 공정성에 관한 책이다. "사회 전체가 공정성을 위해 효과성을 어느 정도 희생시킬 의지가 있느냐(p.233)"를 묻는 정치에 관한 책이다. 새로운 신은 공정하지 않다. 공정해 보일 뿐이다. 새로운 신은 "과거를 코드화할 뿐, 미래를 창조하지 않는다. 미래를 창조하려면 도덕적 상상력이 필요하다. 그런 능력은 오직 인간만이 가지고 있다. (p.475)" 데이터는 공정하거나 중립적일지 모른다. 하지만 데이터를 선택하는 기준, 새로운 신의 행동은 본질적으로 선택과 관련한다. 공정성과 효과성에 대한 미묘한 차이를 우리는 선택해야 한다. 새로운 신을 "날씨와 조수 같은 중립적인 불가항력으로 생각하면서 수학 모형에서 멀찍이 떨어져 있다면, 이는 우리의 책무를 유기하는 행위다. (p.505)" 그렇기에 알아야만 한다. 미래는 인간만이 선택할 수 있음을.

-------------------------------------------------------------------------------

빅데이터 경제의 원동력인 수학 모형 프로그램들은 실수가 있을 수밖에 없는 인간의 선택에 기반을 둔다. 분명 이런 선택 중 일부는 선한 의도를 가지고 있다. 그러나 대다수 모형은 인간의 편견, 오해, 편향성을 코드화했다. 그리고 이 코드들은 점점 더 우리 삶을 깊이 지배하는 시스템에 그대로 주입됐다. p.20

수학 모형은 여러 가지 면에서 신을 닮았다. 신처럼 불투명해서 이해하기 힘들다. 각 영역의 최고 사제들, 즉 수학자(p.20)와 컴퓨터 과학자들을 제외하고는 그 누구에게도 내부의 작동 방식을 보여주지 않는다. 그리고 신의 평결처럼, 잘못되거나 유해한 결정을 내릴지라도 반박하거나 수정해달라고 요구할 수 없다. 무엇보다 사회적 약자와 가난한 사람들을 차별하고 부자는 더욱더 부자로 만들어주는 경향이 있다. p.21

WMD는 가난한 사람들을 저평가하는 경향이 있다. ... 특권층은 주로 개별적인 대인면담을 통해 평가받고, 대부분의 평범한 사람들은 주로 기계가 일괄적으로 처리한다. p.32

금전적 이익이 진실에 대한 대체 혹은 대리 데이터 역할을 한다는 점이다. p.43

모형들은 수학에 깊이 뿌리내린 지극히 개인적인 의견이라고 할 수 있다. ... 우리는 개인이든 기업이든 누가 모형을 만들었는지, 그리고 개발자가 모형을 통해 성취하려는 목표가 무엇인지 알아야 한다. p.62

인종차별 모형은 무계획적인 데이터 수집과 허위상관에 의해 작동하고, 제도적 불공평에 의해 강화되며, 확증편향에 의해 오염된다. p.65

인간의 편견이 완벽히 제거되었을까? 그저 기술로 편견을 감춘 것은 아닐까? p.70

우리는 '우리가 누구인가'가 아니라 '우리가 무슨 행동을 하는가'에 따라 법의 심판을 받아야 한다. p.73

사람들은 자신이 모형에 포함된다거나 그 모형이 어떻게 사용되는지 알더라도 그 모형이 불투명하거나 비공개적인지 따져보아야 한다. p.77

WMD의 세 가지 요소 : 불투명성, 확장성, 피해 p.83

핵심은, WMD 모형으로 혜택을 얻는 사람들이 있다는 것이 아니다. 일부 예외를 제외하면 고통 받는 사람이 너무 많다는 것이 문제다. 알고리즘에 의해 작동되는 모형은 수백만 명의 면전에서 기회의 문을 당아버리고 이의를 제기할 가능성조차 허용하지 않는다. 더욱이 가끔은 지극히 하찮은 이유로 그렇게 한다. p.84

수학은 외부인들에게 진실을 가리는 장막에 불과했다. 수학의 목적은 오직 판매자의 단기이익을 최적화하는 데 있었다. p.108

사람들은 무언가를 명확히 정의하기보다는 강렬한 인상을 주기 위해 수학 공식들을 의도적으로 이용했다. p.115

대리 데이터로 구축된 모형에는 심각한 결함이 있다. 쉽게 말해 장난치기가 쉽다. 이는 대리 데이터가 대표하는 복잡한 현실 데이터 자체를 조작하기가 더(p.140) 쉽기 때문이다. p.141

WMD는 모든 사람이 정확히 똑같은 목표를 따르도록 강제한다. 이는 사람들을 무한경쟁에 내몰고 이전에는 겪지 않았을 다양한 부작용에 시달리게 한다. p.149

불공정한 조건에서 이길 수 있는 방법은 하나뿐이다. 수단과 방법을 가리지 않고 우위를 차지하고 다른 사람이 자(p.161)신보다 앞서지 못하게 하는 것이다. p.162

관건은 사회 전체가 공정성을 위해 효과성을 어느 정도 희생시킬 의지가 있느냐는 것이다. p.233

정의는 사회의 한 부분이 다른 부분에 가하는 것이 되어서는 절대 안 된다. p.236

시스템을 개선하거나 문제를 제기하기 위해서가 아니라 시스템의 작동 방식을 정당화하기 위해 데이터를 취선택하고 있다. p.238

현실에서 인성적성검사는 마치 불순물을 걸러내듯 부적합하다고 여겨지는 지원자들을 가려내는 여과장치로 이용된다. "검사의 주요 목표는 최고의 인재를 찾는(p.261)것이 아닙니다. 오히려 가능한 한 저렴한 비용으로 가능한 많은 사람을 걸러내는 일입니다."라고 롤런드 벨이 말했다. p.262

문제는 채용 과정에서 이렇듯 공평하게 심사할 수 있는 직종이 거의 없다는 점이다. p.272

기회로 이어지는 불평등한 경로는 전혀 새로운 것이 아니다. 단순히 새로운 옷으로 갈아입었을 뿐이다. 오늘날 사회에서 승자가 되려면 기계 문지기를 통과해야 한다. p.275

인간에게서 지원자들을 차별하는 법을 배운 컴퓨터는 인간들보다 한 술 더 떠서 기가 막힐 만큼 효율적으로 차별적인 심사를 했다. p.278

수학 모형들이 데이터를 철저히 조사해서 범죄, 빈곤, 교육 등 중요한 문제에 직면할 가능성이 높은 사람들을 걸러 낼 수 있음을 보여주는 사례는 주변에 널려 있다. 그런 정보를 어떻게 이용할지는 사회가 선택할 몫이다. 그들을 배제하고 처벌하기 위해 이용할 수도 있고, 그들에게 필요한 자원을 제공하면서 끌어안을 수도 있다. 요컨대 WMD를 치명적인 무기로 만드는 2가지 특징인 확장성과 효율성을 사(p.281)람들에게 도움을 주기 위해 이용할 수 있다. 그것은 온전히 우리가 어떤 목표를 선택하느냐에 달려 있다. p.282

모형 개발자들의 과제는, 거대한 빅데이터 세상에서 넘쳐나는 정보 가운데 창의성이나 사회적 기술과 관련 있는 정보를 정확히 찾아내는 것이다. p.284

데이터 세상은 끊임없이 확장되고, 우리 각자는 자신의 삶에 대해 더 많은 새로운 데이터를 지속적으로 만들어내고 있다. 이 모든 데이터는 우리의 미래 고용주들에게 고스란히 전달되어 우리를 꿰뚫어보는 통찰력을 제공할 것이다. 그런데 그런 통찰력은 검증 과정을 거칠까? 아니면 단순히 현상을 정당화하고 편경을 강화하기 위해 이용될까? p.289

WMD는 모형에 현실을 반영해 수정하기보다는 원하는 현실을 창조한다. p.315

'심슨의 역설' 하나의 추세를 나타내는 전체 데이터를 하위 그룹으로 나누면 각각의 하위 그룹에서는 전체와 정반대되는 추세가 나타나는 현상. p.322

만약 시험의 목적이 책임 지울 누군가를 찾는 것이라면, 그리고 노동자들을 겁주기 위한 것이라면, 지금까지 살펴보았듯 무의미한 점수를 생산하는 WMD는 가장 효율적인 도구다. p.331

"데이터는 많을수록 좋다."는 것이 오늘날 정보화 시대의 기본원칙이다. 그러나 일부 데이터는 공정성을 위해 함부로 이용할 수 없도록 보호되어야 한다. p.351

데이터 경제에서 인간은 외부자이고 구닥다리다. 반면 시스템은 자동으로 작동하도록 만들어진다. 그것이 바로 효율성이고, 그래서 수익 창출원이 된 것이다. p.360

오직 인간만이 시스템에 공정성을 주입할 수 있다. p.363

우리의 개인적 행동을 추적하는 모형조차도 우리와 다른 사람들을 비교함으로써 위험을 평가한다. p.396

감시는 보험의 본질을 변화시키고 있다. 전통적인 관점에서 볼 때, 보험은 지역사회의 불행한 소수의 필요에 반응하기 위해 다수에 의존하는 산업이다. ... 시장경제에서는 우리는 이런 도움을 보험사들에게 위탁하고, 보험사들은 그에 대한 보상으로 보험료의 일부를 취한다. ... 표적화의 세상에서 우리는 더 이상 평균치만을 부담할 수 없다. 예상되는 미래 비용 또한 부담해야 한다. 보험사들은 우리가 삶의 장애물을 수월하게 넘어가도록 도와주는 대신에, 장애물에 대비해 미(p.399)리 비용을 청구할 것이다. 이것은 보험의 근본적인 취지를 훼손하는 것이며, 장애물을 극복하기 힘든 사람들에게는 더욱 혹독한 일이 될 것이다. p.400

기계지능, 다른 말로 인공지능의 시대에 거의 모든 변수는 미스터리로 남게 된다. 시스템이 사람들을 이 집단에서 저 집단으로 끊임없이 이동시킴에 따라 부족은 매 시간 매 분 변화할 것이다. p.404

정치인들은 미심쩍은 약속들을 제공하는 공급자이면서도, 그런 약속을(터(p.449)무니없이 비싼 값에) 구매하는 소비자이기도 하다. p.450

데이터 처리 과정은 과거를 코드화할 뿐, 미래를 창조하지 않는다. 미래를 창조하려면 도덕적 상상력이 필요하다. 그런 능력은 오직 인간만이 가지고 있다. p.475

모형은 비단 데이터뿐만 아니라 우리가 어떤 데이터에 관심을 기울이고 어떤 데이터를 배제할지에 관한 선택을 토대로 만들어진다. 당연히 물류, 이익, 효율성과 관련된 선택도 있지만, 본질적으로 그런 선택은 도덕과 관련 있다. p.505

수학 모형을 날씨와 조수 같은 중립적인 불가항력으로 생각하면서 수학 모형에서 멀찍이 떨어져 있다면, 이는 우리의 책무를 유기하는 행위다. p.505 

이 리뷰가 도움이 되었나요? 접어보기
  •  eBook 상품상세 페이지에서 더 많은 리뷰를 확인하실 수 있습니다. 바로가기

한줄평 (6건)

0/50
맨위로