Null Model

요즘 랩에서 하는 저널 클럽에 참여하고 있다. 저널 클럽이란 최근 논문들을 리뷰하는 정기적인 모임을 말한다. 석사 1년차 후배 하나가 최근 맡은 프로젝트 때문에 의사결정 쪽 논문을 계속 발표하고 있다. 그런데 이상한(?) 논문을 자꾸 발표하기에 친절하게 설명해줄 필요가 있어서 쓴 글을 블로그에도 올려둔다.

철수(가명)는 프로젝트와 관련된 논문을 찾아보려는 모양인데, 석사 1년차에게 큰 역할을 기대하는 사람이 없으니 구체적인 사례를 다룬 논문들을 자꾸 볼 필요는 없다. 이런 논문 중에는 데이터만 모아서 기존 이론에 끼워맞추거나 연구방법론이 잘못된 경우가 부지기수다. 네가 발표한 두 논문이 그렇다. 물론 잘된 연구들도 있다. 그러나 기본이 없으면 좋은 논문과 나쁜 논문을 구별하지 못한다.

그러니 일단 기본을 다지는게 우선이다. 기본은 어떻게 쌓을까? 제일 먼저 기댈 수 있는 건 교과서다. J. R. Anderson이 쓴 Cognitive Psychology and Its Implications에서 의사결정에 관한 대목을 찾아 읽어야 한다. 이때는 최신판을 봐야 한다. 학계의 연구가 교과서에 실리는데는 최소 10년이 걸린다. 그렇지 않아도 이미 낡은 내용인데 낡은 교과서까지 본다면 시대에 지나치게 뒤떨어지게 된다.

교과서에서 해당 대목을 읽는 건 한 시간이면 충분하다. 학부생들이나 보는 책이므로 여기에만 머물러 있어서는 안된다. 그 다음으로 보아야 할 것은 의사결정의 전 분야를 개괄할 수 있는 논문을 보는 것이다. 여기서 추천할만한 건 다니엘 카네만의 2002년 노벨상 수상 강연이다. 카네만이 의사결정 분야에서 자기 업적을 개괄하는 강의다. PDF 파일도 있으니 다운로드 받아 읽어보기 바란다. 카네만과 노벨상을 공동 수상한 버논 스미스의 수상 강연도 보면 좋다.

이제 교과서도 읽었고, 노벨상 수상자들의 강연도 들었으니 흥미가 부쩍 늘었을 것이다. 이제까지 본 것은 비전문가들을 대상으로 한 것이다. 이제 전문가들을 대상으로 하는 논문들을 읽을 차례다. 먼저 Goldstein과 Hogarth가 편집한 Research on Judgment and Decision Making을 보자. 의사결정에서 한 가락하는 사람들이 쓴 글을 모아놓은 책이다. 첫번째 논문인 Jugement and decision research: Some historical context는 꼭 읽어야 한다. 편집자들이 의사결정 연구의 역사를 정리하고 이 책의 편집방향을 밝힌 글이기 때문이다.

이 책은 매우 두껍기 때문에 다 볼 필요도 없고 그럴 시간도 없다. 그러니 일단 목차를 한 번 읽어보자. 사람들이 의사결정에 관해 떠드는 주제가 무엇인지 윤곽이 잡힌다. 그리고 저자들의 이름을 눈여겨봐두자. 이 바닥에서 목소리가 큰 사람들이다. 마지막으로 참고문헌 목록을 펼쳐서 사람들이 주로 어떤 저널에 실린 논문을 인용하는지 살펴보자. 이제 누가 어디서 무엇을 떠드는지 알았다.

그 다음엔 의사결정의 '대마왕'들이 쓴 책을 볼 필요가 있다. 그 '대마왕'은 누구냐? 카네만과 트버스키다. 이들의 논문을 묶어낸 책이 Judgment under Uncertainty: Heuristics and Biases다. 역시 다 읽을 필요는 없으나 목차는 훑어볼 필요가 있다. 여기에 실린 논문들은 옛날 논문이고 최근의 논문들은 Heuristics and Biases: The Psychology of Intuitive Judgment에 실려있다. 그 외에 카네만과 트버스키가 1974년 사이언스에 쓴 Judgment under uncertainty: Heuristics and biases라는 논문도 있다. 이건 일종의 요약판이므로 카네만의 노벨상 강연과 함께 읽어두면 좋다.

연도를 보면 알겠지만 카네만과 트버스키는 옛날 사람이다. 트버스키는 벌써 죽었다. 이들 대마왕은 90년대에 게르트 기거렌처라는 용자에게 쓰러졌다. 따라서 기거렌처도 읽어야 한다. 기거렌처의 책은 여럿이 있으나 논문집인 Adaptive Thinking: Rationality in the Real World는 볼 필요가 있다. 그가 쓴 대중서인 Gut Feelings: The Intelligence of the Unconscious는 생각이 직관에 묻다라는 제목으로 번역도 되어있으니 심심할 때 읽어보자. 이건 대중서이므로 번역판으로 읽어도 좋다. 역시 심심할 때 볼만한 책으로는 말콤 글래드웰의 블링크가 있다.

카네만, 트버스키, 기거렌처가 벌인 논전은 1996년 Psychological Review에 back-to-back으로 실린 두 논문에 잘 정리가 되어 있다. 하나는 카네만과 트버스키가 쓴 Kahneman, D., & Tversky, A. (1996). On the reality of cognitive illusions. Psychological Review, 103(3), 582-591.이고 또 하나는 Gigerenzer, G. (1996). On narrow norms and vague heuristics: A reply to Kahneman and Tversky. Psychological Review, 103 (3), 592-596. 대가들이 어떤 식으로 논쟁하는지 배울 수 있다. 아니, 취소다. 완전 '개싸움'이니 구경만하고 배우지는 말자.

이 논쟁의 승자는 기거렌처라는 게 세평이지만, 12년 후인 2008년 똑같은 저널 Psychological Review 115권 1호에서 기거렌처는 다른 학자들에게 열심히 뜯긴다. 편집자가 아주 작심을 하고 기거렌처 비판 논문 특집호로 만들었다. 논문 중에 하나는 기거렌처가 1996년에 카네만과 트버스키를 비판한 논문 제목을 그대로 따서 Vague Heuristics Revisited이다. 굴욕이다. 여기에 실린 논문들을 당장 읽기는 어려우므로 이런 일도 있다는 정도로 알아두자.

이제는 대충 의사결정에 대해 감이 잡혔을 것이다. 그럼 좀 더 프로젝트와 관련있는 주제들을 살펴보자. 짧은 걸로는 Haidt, J. (2007). The new synthesis in moral psychology. Science, 316(5827), 998-1002. 긴 걸로는 Sunstein, C. R. (2005). Moral heuristics. Behavioral and Brain Sciences, 28, 531-573.을 읽어볼만하다. 뒤의 논문이 실린 Behavioral and Brain Sciences는 특이하게도 Open Commentary라고 해서 관련 연구자들이 원논문에 코멘트를 붙이는 형식을 취한다. 역시나 한 마디 하는 사람들은 다 있기 때문에 이름만 봐둬도 도움이 된다. 마찬가지로 참고문헌 목록도 살펴보자.

그 다음에는 Trends in Cognitive Sciences라는 저널을 보는 것이다. 저명한 연구자들이 인지과학의 동향을 소개하는 논문을 싣는 저널이다. 길이도 10쪽 미만으로 짧고, 색깔도 알록달록해서 예쁘다. 따로 설명해야할 부분은 잡지처럼 박스 기사로 소개하기 때문에 요긴하다. 이 저널에서 최근의 동향을 소개하는 논문을 찾아 읽어보면 감이 더 빨리 잡힌다. 이와 비슷하게 볼 수 있는 게 Nature Reviews Neuroscience다. 역시나 알록달록하니 예쁘고 길이도 짧아서 읽기 좋다. 여기에 있는 논문들을 읽어보고 참고문헌을 보면 필요한 논문을 좀 더 쉽게 찾을 수 있다. 스코퍼스DB에서는 특정 저널에 실린 논문들만 검색할 수 있기 때문에 이런 저널에 실린 논문들을 일단 찾아서 보고 참고문헌을 따라가면 편리하다.

이쯤되면 일진급 학자와 저널들도 알게 되었고 키워드도 제법 알았을 것이다. 스코퍼스에서 이것 저것 조합해서 논문을 검색해보자. 인용순으로 정렬하면 많이 인용된 논문이 뭔지 알 수있다. 뭐가 좋은 논문인지 모를 때는 일단 인용 많이 된 게 장땡이다. 일단 검색되는 걸 무조건 보지 말고, 이런 논문 목록들을 정리해나가자. 그리고 스코퍼스에서는 논문들의 인용관계를 살펴볼 수 있다. 이런 인용관계를 살펴보면 뭐가 중심이 되는 논문이고 뭐가 곁가지인지, 누구랑 누가 뭘 가지고 싸우고 있는지 이런 게 눈에 보인다. 그렇게 큰 흐름을 주욱 파악한 다음에 그런 흐름의 고비고비에 있는 논문을 하나씩 읽어보면 된다.

프로이트가 옳았다의 핵심 내용을 요약하자면 다음과 같다. 첫째, 베이즈 정리는 "경험에 따른 믿음의 체계적 수정 과정으로서 과학"의 모형으로서 받아들여지고 있다. 둘째, 현대 과학을 지배하는 통계적 스타일은 이론적 대상의 관찰 가능성을 더이상 염두에 두지 않는다. 그렇다면 실제 과학 연구가 어떤 방식으로 이뤄지는지 하나의 사례를 통해 살펴보도록 하자.

이 글에서 다룰 사례는 베카라 도박 과제(Bechara gambling task) 또는 아이오와 도박 과제(Iowa gambling task)라고 불리는 실험이다. 아이오와 의대의 베카라가 고안한 실험이라서 이렇게 부른다. 네 개의 카드 더미에서 마음대로 카드를 하나씩 뒤집으면 되는 아주 간단한 도박이다. 백문이 불여일견. 직접 한 번 해보도록 하자. 링크

베카라 도박 과제에서 네 개의 카드 더미(간단히 A,B,C,D라고 하자) 중에 좋은 더미(A,B)와 나쁜 더미(C,D)가 있다. 모든 카드에는 수입과 지출이 쓰여져있는데 좋은 더미는 수입이 무조건 한 번에 50$, 나쁜 더미는 100$다. 지출은 무작위로 나타나는 데 좋은 더미는 평균적으로 -25$, 나쁜 더미는 평균적으로 -125$다. 간단히 좋은 더미는 적게 벌지만 더 적게 잃기 때문에 장기적으로는 이익이고, 나쁜 더미는 많이 벌지만 더 많이 잃기 때문에 장기적으로는 손해다. 대충 50장 정도 뒤집어보면 감이 오기 시작하고, 80장 정도 뒤집어보면 바탕에 깔린 규칙을 확실히 알 수 있다. 과제 자체는 별 게 없다.

그런데 배쪽내측전전두피질(ventromedial prefrontal cortex:VMPFC)에 손상을 입은 환자들의 경우 규칙은 파악할 수 있지만 그전에 감을 잡는 단계가 전혀 없다. 게다가 규칙을 파악하고도 여전히 좋은 더미와 나쁜 더미를 무작위로 뒤집는 행동을 보인다. 이외에도 헌팅던 무도병, 약물 중독, 반사회성 성격장애 등의 경우에도 동일한 행동 양식을 보인다.

아래 그림은 이 실험을 고안한 베카라 등이 VMPFC 손상 환자군과 대조군을 비교한 그래프이다. 연노란색은 기준선(수입만 있는 시기), 노란색은 감잡기 전(지출이 시작되었지만 감을 못잡고 있는 시기), 분홍색은 감 잡은 시기, 빨간색은 확실히 파악한 시기를 나타낸다. 이것은 카드를 10장 뒤집을 때마다 실험에 대한 생각을 보고 받아 구분한 것이다.

중간에 있는 그래프는 카드를 뒤집기 전 피부전도반응(SCR)을 측정한 것이다. SCR은 거짓말 탐지기 등에 쓰는 것인데 정서적 각성을 측정한다. 도박이니까 카드 한 장 뒤집을 때마다 정서적 각성이 일어나는 것은 당연하다. 그런데 대조군에서는 감을 잡기 전부터 이미 좋은 더미(초록색)보다 나쁜 더미(파란색)에서 카드를 뒤집으려고 할 때 더 높은 SCR이 측정되었다. 다시 말해 의식적으로는 어느 더미가 좋은지 모르지만 무의식적으로는 나쁜 더미를 뒤집으려고 할 때 반응을 보이고 있다는 것이다. 환자군은 그런 거 없다. 그냥 잠잠하다.

더 흥미로운 부분은 카드를 뒤집는 행동을 나타내는 맨 아랫줄 그래프다. 대조군은 감을 잡기 전에도 이미 나쁜 더미보다 좋은 더미에서 카드를 더 많이 뒤집고 있다. 이 그래프가 실린 논문의 제목이 "이로운 전략을 알기 전에 이롭게 결정하기"이다. 그런데 환자군은 좋은 전략이 무엇인지 알고난 후에도 어느 쪽으로도 편향을 보여주지 않는다.


아래 그림은 헌팅던 무도병(유전병의 일종으로 40대에 사망한다) 환자와 대조군, 파킨슨병 환자의 행동을 비교한 것이다. 가운데 그래프는 좋은 더미에서 카드를 고르는 비율을 나타내는데 대조군과 파킨슨병 환자는 점차 좋은 더미에서 카드를 고르는 비율이 증가하지만 헌팅던병 환자는 오히려 감소하고 있다.



환자들을 포함해서 실험에 참여한 사람들은 모두 정상적인 지능을 가지고 있었고 평균적으로 13~15년의 정규교육을 받은 사람들(다시 말해 고등학교는 다녔다)이며 치매 증상이 있는 경우도 배제했다. 다시 말해 과제를 잘못 이해하거나 지능의 부족 때문이 아니라는 것이다.

그렇다면 이런 행동이 나타나는 이유는 무엇일까? 그리고 그 이유를 밝힐 수 있는 방법은? 여러분의 댓글을 기다립니다.

(계속)