인생은 주사위 던지기가 아니다 하

직관은 우리를 속이지만

베이즈 정리는 우리를 깨어 있게 한다

우리는 매일같이 선택하고, 판단하며, 확신한다. 누구의 말이 옳은지, 어떤 뉴스가 사실인지, 어느 주식이 오를지, 병원 검사 결과가 무엇을 의미하는지를 두고 머릿속에서 끊임없이 계산하고 다음 행동을 선택한다. 하지만 정작 그 판단의 근거를 물어보면, “그럴듯해서”, “느낌이 그래서”, “확률이 높다잖아” 같은 어정쩡한 대답이 돌아온다. 그러고는 자신의 예상과는 다른 결과에 당혹해하고 절망한다. 이렇게 잘못된 판단이었음을 뒤늦게 깨달은 경험, 그럴싸한 말에 혹해 후회했던 기억은 누구에게나 있기 마련이다. 정보는 넘치고 선택은 끊이지 않지만, 우리가 그것을 얼마나 합리적으로 처리하고 있는지는 생각보다 불확실하기 때문이다.

왜 이런 일이 반복될까? 문제는 우리 뇌가 직관에 너무 쉽게 끌린다는 데 있다. 눈앞의 숫자, 권위 있는 사람의 말, 선명한 인과 관계처럼 보이는 이야기들은 우리의 판단력을 흐리고 마비시킨다. 병원에서 99% 정확도라는 검사 장비의 성능을 들으면 안심하거나 놀라워하지만, 정작 그 검사 결과가 실제로 병에 걸렸을 가능성과는 얼마나 다른지를 따져 보는 사람은 드물다. 명문대 교수의 말은 진실로 여겨지고, 친구가 몇 번 경험했다는 일은 보편적 법칙처럼 받아들인다. 우리가 흔히 “확률이 높다”며 무언가를 선택하는 행위는, 실제로는 단 하나의 정보에 기대어 판단을 끝내버린 것이다. 그럴듯한 정보는 많지만, 올바른 판단은 그렇게 쉽게 나오지 않는다.

이 책은 바로 그 착각의 메커니즘을 파헤친다. 불확실성을 이기는 ‘무기’라고 부를 만큼 강력한 사고 도구를 소개한다. 이름하여 ‘베이즈 정리’. 어렵게 들리지만, 본질은 단순하다. ‘새로운 정보를 얻었을 때 기존의 믿음을 어떻게 갱신할 것인가? 하나의 판단이 얼마나 설득력 있는지를 따질 때 맥락과 배경, 그리고 증거의 힘을 어떻게 조합할 것인가?’ 베이즈 정리는 이 질문에 대해 매우 강력한 해답을 제시한다. 단 한 번의 확신이 아니라, 수많은 정보와 변화 속에서 ‘계속해서 더 나은 판단’을 만들어가는 방식이다. 그래서 이 책은 수학책이라기보다는 생각하는 법을 가르쳐 주는 책이다.

Chapter 6 순차적으로 업데이트되는 정보의 사후 확률

6.1 정보가 순차적으로 업데이트될 때 사후 확률 구하는 방법

6.1.1 베이즈 정리를 이용해 사후 확률 구하기

6.1.2 증분 처리 방식으로 사후 확률 구하기

6.1.3 증분 처리 방식으로 구한 사후 확률이 갖는 의미

6.2 온라인 알고리즘

6.2.1 온라인 알고리즘과 오프라인 알고리즘

6.2.2 평균값

6.2.3 실시간으로 데이터가 유입되는 상황에서의 특잇값 분해

6.3 단계마다 확실하게 vs. 점진적으로 완성도를 높이며

6.3.1 애자일 모델

6.3.2 최소 기능 제품

6.3.3 논문을 작성하는 방식

6.4 〈양치기 소년〉이 주는 교훈

6.4.1 베이즈 정리로 해석해 보는 〈양치기 소년〉 이야기

6.4.2 새로운 정보에 맞춰 확률을 업데이트하는 방식에서 배우는 교훈

Chapter 7 계층형 모델

7.1 여러 개의 관측값을 그룹화하여 확률 계산하기

7.1.1 세 개 이상의 관측값이 주어졌을 때

7.1.2 문제 해결 전략 및 접근 방식

7.1.3 분류의 원칙

7.2 두 개의 관측값 중 어느 것을 사전 확률에 반영해야 할까?

7.2.1 비행기가 심하게 흔들릴 때

7.2.2 대추나무 두 그루

7.3 조지 소로스는 어떻게 한 달 만에 10억 달러를 벌었을까?

7.3.1 사건의 배경

7.3.2 증거와 분석

7.3.3 배타적인 증거의 등장

7.4 관측값이 너무 적을 때는 어떻게 해야 할까?

7.4.1 그는 취업할 수 있을까?

7.4.2 통계 데이터를 찾는 방법

7.4.3 또 다른 접근 방법: 관측값의 범위 확장하기

7.5 계층형 모델

7.5.1 계층형 모델의 네 단계

7.5.2 사례 1: 그가 취업에 성공할 확률은?

7.5.3 사례 2: 비행기는 아직 안전한가?

7.5.4 사례 3: 우리 아이는 좋은 대학에 갈 수 있을까?

7.5.5 사례 4: 심장 수술을 받아야 할까?

7.5.6 계층형 모델을 적용할 때 흔히 저지르는 실수

7.5.7 이 가족이 반려견을 키울 확률은 얼마일까?

Chapter 8 샐리 클라크의 재판

8.1 첫 번째 오류: 잘못된 독립성 가정

8.2 두 번째 오류: 우도를 사후 확률로 간주

8.3 세 번째 오류: 편향된 모집단 선택

8.4 클라크가 유죄일 확률은 얼마일까?

Chapter 9 의학에서 활용하는 베이즈 정리

9.1 의사의 진단과 베이즈 정리

9.1.1 병을 진단하는 과정

9.1.2 가장 보편적인 의사의 진단 과정

9.2 의사의 진단에서 배우는 교훈

9.2.1 교훈 1: ‘여러 개 중 하나’에서 ‘둘 중 하나’로 바꾸기

9.2.2 교훈 2: 사후 확률을 추정하는 데 도움이 되는 정보 수집하기

9.2.3 교훈 3: 최소한의 비용과 시간으로 가장 효과적인 증거 확보하기

9.2.4 교훈 4: 검사는 많이 할수록 좋을까?

Chapter 10 베이즈적 사고로 읽는 네트워크 시대

10.1 거짓 정보를 구별하는 방법

10.1.1 베이즈 정리가 가르쳐 주는 세상의 원리

10.1.2 결정적인 증거를 찾기 어려운 이유와 온라인 글에서 나타나는 흔한 패턴

10.2 증거의 진위를 구별하는 방법

10.2.1 신빙성이 없는 증거

10.2.2 정량화되지 않은 증거

10.2.3 개별적인 사례를 전체 통계인 것처럼 일반화하는 증거

10.3 미디어에 의해 왜곡된 사전 확률

10.3.1 인터넷 시대에서의 미디어 정보

10.3.2 확률이 낮은 사건을 보도하는 이유

10.3.3 증거를 편집하는 이유

10.3.4 보고 싶은 것만 보여 주는 정보 환경

10.4 베이즈 정리로 음모론 분석하기

10.4.1 음모론이란 무엇인가?

10.4.2 왜 사람들은 음모론을 쉽게 믿는 걸까?

10.4.3 음모론의 오류 1: 사전 확률을 고려하지 않음

10.4.4 음모론의 오류 2: 다른 가능성을 고려하지 않음

10.4.5 음모론의 오류 3: 잘못된 관측

에필로그

부록

부록 C. 베이즈 정리를 이용해 순차적으로 업데이트되는 정보의 사후 확률 계산 공식 유도

부록 D. 〈양치기 소년〉에서 나온 수학 공식 유도

부록 E. 식 (7-4)의 유도 과정

부록 F. 세 개의 관측값이 주어졌을 때의 사후 확률과 사전 확률의 유사함을 증명하는 과정