Null Model

결론을 증거에 맞추기에서 나는 다음과 같이 설명했다.



통계적 가설검정은 여러 분야에 걸쳐 광범위하게 사용되는 통계 방법인데, 그 비뚤어진 논리 때문인지 아주 심각하게 오용되는 경우가 매우 흔하다. 가장 대표적인 예는 앞선 글에서 말했듯이 "분석은 양방으로, 해석은 단방으로"라는 것이다. 다시 말해 "차이가 있다"라는 결론이 나왔는데 해석은 "더 크다"나 "더 작다"로 해석하는 행태를 말한다. 여기에 대해서 여러 경로로 질문이 들어왔는데 이 글에서는 여기에 대해서 좀 자세히 설명하려고 한다.

말로 설명하기가 좀 복잡하니까 한 가지 사례를 살펴보도록 하자. 아래 표는 컴퓨터 모의실험을 통해 유의수준 5%에서 t-검정을 1만번씩 실시한 결과이다. 모든 조건에서 표본 수는 30건이다. (프로그램: two_tailed.py, python 2.7 + numpy 1.6 + scipy 0.9)



일단 단방검정으로 대립가설이 μ > 0인 경우를 보자.(μ는 '뮤'라고 읽는다) 일단 두번째 줄을 먼저 보면 실제로 μ가 0일 때 1만번 중에 484번은 유의미한 결과('크다')가 나온다. 1만 번 중에 484번이면 대략 5%라는 것을 알 수 있다. 유의수준 5%라는 것은 이런 의미다.

대립가설을 μ ≠ 0이라고 해서 분석은 양방으로 하고 해석은 단방처럼 한 경우에도 실제로 μ가 0이면 1만 번 중에 499번은 유의미한 결과('크다'와 '작다')가 나온다. 역시 대략 5%이다. 그런데 여기서 문제는 '크다'와 '작다'가 데이터에 따라서 널을 뛴다는 것이다. 499번 중에 249번은 '크다'는 해석이 나오고 250번은 '작다'는 해석이 나온다.

불운이든 연구자가 멍청한 탓이든 아무런 영향이 없는 현상을 두고 실험을 하나 했다고 해보자. 단방검정을 하면 5%는 잘못된 것이지만 그럼에도 불구하고 똑같은 실험을 두 번 하면 5%는 재현이 된다. 두 번 째 실험도 잘못될 수 있기 때문이다. 그런데 양방검정을 하고 단방검정처럼 해석하면 그나마도 2.5%만 재현이 된다. 재현 자체가 잘 안되는 것이다.

그러면 이번에는 실제로는 μ가 0보다 작은 경우(μ = -0.1)를 한 번 보도록 하자. 이 때는 단방검정을 하면 1만번 중에 9833번은 유의미한 결과가 안 나오고, 167번은 유의미한 결과가 나오기는 했지만 잘못된 결과가 나온다. 실제로는 μ가 0보다 작은데 μ가 0보다 크다는 해석을 내놓기 때문이다. 반면 양방으로 분석하고 단방으로 해석하면 훨씬 더 좋은 결과를 얻을 수 있는데 757번은 제대로 결과가 나온다. 9186번은 결과가 안 나오고, 정반대의 결론은 57번 밖에 나오지 않는다. 이것이 분석은 양방으로 하고 해석은 단방으로 하는 경우의 유일한 장점이다.

정작 가설과 실제가 일치할 경우를 보면 아주 기이한 결과가 나오는 것을 볼 수 있다. 일단 단방검정을 하면 1만번 중에 1314번은 올바른 해석을 내린다. 8686번은 결과가 안 나온다. 분석은 양방, 해석은 단방으로 하면 741번은 올바른 해석이 나오고 64번은 정반대의 해석, 9195번은 결과가 나오지 않는다. 가설과 실제가 일치하는데도 올바른 해석은 잘 나오지 않는 반면, 정반대의 해석이 나오는 경우가 생기는 것이다.

정리하자면 차이가 없거나 가설과 실제가 일치할 경우에는 단방검정이 더 좋은 결과를 내놓는 반면, 가설과 실제가 불일치할 경우에는 분석은 양방, 해석은 단방으로 하는 쪽이 더 낫다. 그런데 가설과 실제가 일치하는지 아닌지는 알 수 없고, 분석방법을 선택하는 것은 연구자의 기대와 가정에 바탕을 둔다. 간단히 말해 분석은 양방, 해석은 단방으로 한다는 것은 "자신의 가설과 실제가 불일치할 경우"를 기대하고 연구를 한다는 뜻이다. 이상한 이야기가 아닌가?

연구자들이 분석은 양방, 해석은 단방으로 하는 이유는 대충 두 가지다. 한 가지는 자신의 가설에 자신이 없거나 확고한 가설 없어서, 일단 돌려보고 결과가 뭐라도 나오면 거기에 맞춰 논문을 쓰려는 생각이 있기 때문이다. 또 한 가지는 좀 어이없는 이유인데 사회과학에서 흔히 쓰는 통계 패키지인 SPSS로 가설검정을 돌리면 양방검정 결과 밖에 나오지 않기 때문이다. 어떤 사람들은 심지어 수치도 확인해보지 않아서 양방검정을 하고 수치가 작은 쪽인데도 '크다'라고 해석하기도 한다.

분석은 양방, 해석은 단방으로 하는 것이 허용될 수 있는 경우는 한 가지 뿐이다. 정말로 어떤 결과가 나올지 알 수 없는 경우에 일단 한 번 돌려 볼 때다. 그러나 이 때도 이 결과를 그대로 보고하거나 출판해서는 안되고, 반드시 새로운 데이터를 모아서 단방검정으로 그 결과를 확인해보아야 한다.

덧붙여, 가설검정은 했다가 결과가 나오지 않으면 거기서 그만두고 잊어버려야 한다. 통계 분석은 결코 '밤을 세워' 해서는 안되는 일이다. 왜냐하면 모든 통계 분석은 오류의 가능성을 포함하고 있기 때문에 많이 하면 많이 할 수록 반드시 오류가 발생한다. 밤 세워 분석을 하다보면 그게 사실이든 아니든 '유의미한' 결과를 찾을 수 있는데, 실제로는 무의미할 뿐만 아니라 해악을 끼치는 일이다.

경우는 좀 다르지만 단방검정을 했다가 결과가 안 나오면 양방검정을 하는 것에 대한 데이비드 호웰의 설명을 들어보자. 대략의 논리는 비슷하다.

문대성이 발로 차버린 기회들: 문대성의 논문 표절에 대한 언론 보도는 정당한가? (슬로우뉴스)
문대성 표절을 비판하는 근거는 여전히 정당하다 (deulpul님)

슬로우뉴스 기사는 내가 기고한 것이다. 나는 deulpul님의 말처럼 "지금처럼 복붙의 가시적이고도 충격적인 더 큰 증거들이 널려있는 상황"에서 표절 여부를 검토할 때 별로 비교할 필요도 없는 부분들을 왜 비교해야 하는지 의문이다.

#1.

문대성 표절을 두고 트위터에서 "6단어만 겹치면 표절"이라는 이야기가 나왔다. 그런데 그게 어떤 6단어냐에 따라 이야기가 전혀 달라질 수 있다.

통계분석보다도 표현이 많이 겹치는 부분이 실험 참여자를 보고하는 대목이다. 예를 들어 많은 심리학 실험은 심리학 수업을 듣는 학생들을 대상으로 한다. 이걸 논문에 쓴다면 대충 "140 ( 90 women, 50 men; M_age = 21.2 years, SD = 1.4) undergraduate students who participated for course credit" 뭐 이런 식으로 쓰게 된다. 이게 몇 단어냐 하면 벌써 18단어다. 여기에 앞뒤로 이말 저말 붙이다보면 수 십 단어에 해당하는 문장이라도 얼마든지 완전히 똑같을 수 있다. 이걸 표절이라고 한다면 그런 표절 논문은 수 천 편도 더 찾을 수 있다. 실제로 아무 저널이나 최신호를 열어서 논문을 한 편 씩 열어봤는데 단 세 편만에 거의 똑같은 표현을 찾아냈다.



이 논문하고 표현이 10단어 20단어 겹치는 논문도 시간만 있으면 얼마든지 찾을 수 있을 것이다. 문대성 논문의 경우에는 서론에서 통으로 베낀 부분 하나면 표절 논란은 거기서 끝난 것이지 표절하지 않아도 원래 비슷한 부분까지 일일이 비교할 필요는 없다.

#2

deulpul님의 글에서 이 대목은 아주 심각한 문제가 있다.



이렇게 하면 표절이 문제가 아니라 연구 조작이다. 연구 조작까지는 아니라도 부정직한 짓이다. 아니 결국 연구 조작이군. 많은 연구자들이 간과하는 부분인데 이렇게 하면 절대로 안된다.

"차이가 없다"는 양방검정(two-tailed test)의 귀무가설이다. 이것을 기각했을 때 우리가 얻을 수 있는 결론은 "차이가 있다"라는 것 뿐이고 그 이상으로 해석해서는 안된다. 만약 "더 크다"라는 결론을 원했다면 처음부터 단방검정(one-tailed test)을 해야 한다. 분석은 양방검정으로 하고, 해석은 단방검정으로 한다면 연구자는 가설을 데이터로 검정하는 것이 아니라, 데이터에 가설을 맞추는 것이다. 양방검정과 단방검정을 괜히 나눠놓은 것이 아니다.

물론 문대성이 이걸 알고 "향상될 것이다"라고 썼을 거라고는 나도 믿지 않는다.

#3

진중권이 비교해놓은 많은 부분은 deulpul님의 말씀대로 "다른 명백한 표절 혐의를 놓고 따지다 보니 제목 부분에서조차 유사한 점이 발견된다는 결과적인 발견과 문제제기"이다. 이것은 #2와 비슷하다. 증거로부터 표절 여부를 결론짓는 것이 아니라, 표절 여부를 이미 결론내린 상태에서 증거를 찾아서 끼워맞춘 것이다. 이것이 정당한가? 나는 그렇게 생각하지 않는다.

며칠 전 진보신당 총선 공약집에 나온 내용 한 줄 때문에 약간의 논란이 있었다.


건국이래 한국의 교육과정은 여러 번 바뀌었지만 그 목표는 믿거나 말거나 항상 "홍익인간"으로 설정되어 있었다. 현행 교육과정 총론에서도 "지성, 정서, 의지의 발달을 전 교과의 공통된 지향으로 설정"과 비슷한 표현은 셀 수 없이 많이 나온다. 예로 든 악기 연주나 미적분도 마찬가지인데, 현재도 리코더나 단소 정도의 악기 연주 능력 습득은 포함되어 있다. 어떤 사람들은 진보신당의 공약이 미적분의 중요성을 폄훼하고 있다고 반발했지만, 원래 미적분은 교육과정이 개정될 때마다 필수와 선택 사이를 오락가락했다.

간단히 말하면 위의 내용은 구절 하나 하나를 보았을 때는 아무런 문제가 없거나 "진보정당의 교육 정책"치고 지나치게 얌전하다. 그런데 이 세 가지(통합적 발달, 악기 필수, 미적분 선택)를 결합해서 아주 우스꽝스러운 이야기가 된다. "지성, 정서, 의지의 발달"과 "악기 연주", "미적분"은 서로 아무 상관도 없는 이야기이기 때문이다.

좌우를 막론하고 사람들이 크게 잘못 생각하고 있는 사실이 있다. 가끔 무슨 뉴스가 나오면 흔히 나오는 반응 중에 하나가 "학교에서는 뭘 가르치는 거냐, 학교에서 저것을 가르쳐야 한다"라는 것이다. 그런데 어떤 것이 중요하다는 것과 어떤 것을 학교에서 가르쳐야 한다는 것은 전혀 다른 이야기다. 사랑은 우리 삶에 중요하지만, 연애를 학교에서 가르친다면 끔찍한 일이 될 것이다. (성교육과는 다른 이야기다)

보통 교육은 싼 값에 많은 사람에게 최소한의 것을 가르치는 저비용 저효과의 교육 시스템이다. 학교에서 가르치는 악기가 플라스틱 리코더가 될 수 밖에 없는데는 음악 교육자들의 취향이 저질이기 때문이 아니라 많은 학생들에게 싸게 가르칠 수 있는 악기가 그 정도기 때문이다.

그리고 음악이든 수학이든 그것을 통해 어떤 심오한 이해를 학생들에게 전달하는 일은 현실의 학교 교실에서는 일어나지 않는다. 현실적 한계도 있지만 아예 가르치치지 못하도록 되어 있다. 교육과정에는 성취기준과 평가기준이 명시되어 있고, 수능에서는 이 범위를 벗어나는 문제는 절대로 출제하지 않는다. 아무리 고등학교에서 배운 내용으로부터 손 쉽게 연역할 수 있는 내용이라고 해도 교과서에 없으면 수능에서는 아웃이다.

그 이유는 보통교육의 한계도 있지만 모든 교육의 공통적 한계 때문이기도 하다. 대개의 경우 A를 통해 B를 가르친다라는 목표는 거의 달성되지 않는데, 대부분의 학생들은 A를 배우다가 중간에 퍼져버리기 때문이다. 교육과정을 죽 읽어보면 총론에서는 이 과목을 통해 학생들에게 B를 함양하고 C를 고취한다는 거창한 목표가 나오지만 세부내용으로 가면 A는 알아 먹겠니 젠장..이라는 투로 슬쩍 바꾼다.

사람의 인지용량에는 한계가 있어서 그 용량을 초과하는 정보는 주어져도 학습하지 못한다. (정보는 간결하게, 생각은 깊게 참고) 또, 사람들은 하나의 지식을 배운 맥락과 다른 맥락에 잘 적용하지 못한다 (공부는 배운 자리에 머문다 참고) 어떤 교육이든 A를 통해 B를 가르치기보다는 A나 제대로 가르치면 다행이고 보통 교육에서는 A도 가르치기 어려워서 a로 가르친다.

진보신당 공약의 문제는 악기를 가르치고 미적분을 안 가르치겠다는 데 있는 게 아니라 그것이 "지성, 정서, 의지의 발달"에 기여한다는 발상에 있다. 미적분을 안 가르치면 지성이 발달하나, 정서가 발달하나, 의지가 발달하나? 굳이 미적분을 선택으로 돌리는 이유라면 대부분의 고등학생이 정상적인 일정으로 소화할 수가 없기 때문이다. 단지 그 뿐이다. 지성, 정서, 의지와 아무 관련도 없다. 이런 말이 나오는 이유는 정책을 쓴 사람이 수학이나 과학을 싫어하기 때문일 뿐이라고 생각한다. 내가 짜증나는 부분도 이 면면한 반과학주의지 뭘 가르치고 만다는 내용은 아니다.

사실은 음악의 경우도 마찬가지다. 진보신당이 이런 공약을 쓰다니 놀랠 노자인데, 몇 년 전 인터넷을 시끄럽게 했던 글을 다시 떠올려보자.


우리는 여기서 다시 한 번 사람들에게 A를 통해 B를 가르친다는 것의 어려움을 깨달을 수 있다. 진보신당은 저 일에서 배운 바가 아무 것도 없는 것 같다. 성격 나쁜 아티스트의 예는 정명훈 말고도 차고 넘치게 찾을 수 있지 않겠는가. 근데 무슨 악기 연주 능력?

진보신당만이 아니라 다른 사람들도 다 마찬가지인데 현행 교육과정에도 음악 교과 총론을 보면 뭐 정서를 함양한다는 둥 어쨌다는 둥 하는 이야기가 있지만 플라스틱 리코더로 동요 분다고 퍽이나 정서가 함양되겠다. 물론 악기 연주를 배우면 어떤 긍정적인 효과가 있을 수도 있는데 그건 악기를 배웠기 때문이 아니라 박자에 맞춰 몸을 움직이는 다른 무슨 활동을 해도 마찬가지일 것이다. 그냥오락실 가서 DDR게임이나 몇 판하는 쪽이 낫지 않을까? 수학도 마찬가지인데 미적분을 가르쳐 봐야 대부분의 학생은 그냥 미분 공식 가지고 우왕좌왕 하다 끝난다.

그러니까 나는 진보신당의 정책도 물론이지만 이에 반대해서 수학의 중요성을 역설하는 사람들에게도 동의할 수 없는데 보통교육에서 기대할 걸 기대해야 한다. 학교에서 학생들에게 무언가를 가르쳐야 한다는 거의 모든 주장은 그것이 '중요하다'는 점만 말할 뿐 그것을 학교에서 '효과적으로 가르치기 어렵다'는 점은 대개 무시한다. 그러니 결국 학생들만 들들 볶이는 것으로 끝날 수 밖에 없다. 아마 새누리당이나 민주당 공약집을 찾아봐도 비슷한 내용은 있지 않을까하는데 꿈 깨라고 말하고 싶다.

내가 하고 싶은 말은 하나 뿐이다. "그냥 애들을 좀 내버려 두라고."

오늘 흥한 트윗



참고로 "파블로프의 개"는 종소리(조건자극) -> 먹이(무조건자극) -> 침(무조건반응)을 반복해서 종소리(조건자극) -> 침(조건반응)을 만든 것이고, "어린왕자의 여우"는 3시 -> 4시 -> 어린왕자 -> 행복을 반복해서 3시 -> 행복을 만든 것이다. (이건 고차적 조건화)







이건 연애 밸리로 보내야 하나, 아니면 과학 밸리로 보내야 하나..

p.s. 조교닷컴의 학습심리학 문제집을 풀어보시면 좀 더 이해가 될지도?

대부분의 분야에서 이론들은 단순한 형태로 출발해 점점 더 복잡해지는 경향이 있기 때문에 복잡한 이론=좋은 이론이라고 생각하는 사람들도 가끔 보이지만 실제로는 단순한 이론이 복잡한 이론보다 더 좋은 이론이다. 이것은 오컴의 면도날이라든가 포퍼의 반증주의 같은 개념으로도 알려져있지만 통계적 관점에서 보면 아주 명확하다.