2012/04/05 19:47

통계학적 밑장빼기

결론을 증거에 맞추기에서 나는 다음과 같이 설명했다.

"차이가 없다"는 양방검정(two-tailed test)의 귀무가설이다. 이것을 기각했을 때 우리가 얻을 수 있는 결론은 "차이가 있다"라는 것 뿐이고 그 이상으로 해석해서는 안된다. 만약 "더 크다"라는 결론을 원했다면 처음부터 단방검정(one-tailed test)을 해야 한다. 분석은 양방검정으로 하고, 해석은 단방검정으로 한다면 연구자는 가설을 데이터로 검정하는 것이 아니라, 데이터에 가설을 맞추는 것이다.


통계적 가설검정은 여러 분야에 걸쳐 광범위하게 사용되는 통계 방법인데, 그 비뚤어진 논리 때문인지 아주 심각하게 오용되는 경우가 매우 흔하다. 가장 대표적인 예는 앞선 글에서 말했듯이 "분석은 양방으로, 해석은 단방으로"라는 것이다. 다시 말해 "차이가 있다"라는 결론이 나왔는데 해석은 "더 크다"나 "더 작다"로 해석하는 행태를 말한다. 여기에 대해서 여러 경로로 질문이 들어왔는데 이 글에서는 여기에 대해서 좀 자세히 설명하려고 한다.

말로 설명하기가 좀 복잡하니까 한 가지 사례를 살펴보도록 하자. 아래 표는 컴퓨터 모의실험을 통해 유의수준 5%에서 t-검정을 1만번씩 실시한 결과이다. 모든 조건에서 표본 수는 30건이다. (프로그램: two_tailed.py, python 2.7 + numpy 1.6 + scipy 0.9)



일단 단방검정으로 대립가설이 μ > 0인 경우를 보자.(μ는 '뮤'라고 읽는다) 일단 두번째 줄을 먼저 보면 실제로 μ가 0일 때 1만번 중에 484번은 유의미한 결과('크다')가 나온다. 1만 번 중에 484번이면 대략 5%라는 것을 알 수 있다. 유의수준 5%라는 것은 이런 의미다.

대립가설을 μ ≠ 0이라고 해서 분석은 양방으로 하고 해석은 단방처럼 한 경우에도 실제로 μ가 0이면 1만 번 중에 499번은 유의미한 결과('크다'와 '작다')가 나온다. 역시 대략 5%이다. 그런데 여기서 문제는 '크다'와 '작다'가 데이터에 따라서 널을 뛴다는 것이다. 499번 중에 249번은 '크다'는 해석이 나오고 250번은 '작다'는 해석이 나온다.

불운이든 연구자가 멍청한 탓이든 아무런 영향이 없는 현상을 두고 실험을 하나 했다고 해보자. 단방검정을 하면 5%는 잘못된 것이지만 그럼에도 불구하고 똑같은 실험을 두 번 하면 5%는 재현이 된다. 두 번 째 실험도 잘못될 수 있기 때문이다. 그런데 양방검정을 하고 단방검정처럼 해석하면 그나마도 2.5%만 재현이 된다. 재현 자체가 잘 안되는 것이다.

그러면 이번에는 실제로는 μ가 0보다 작은 경우(μ = -0.1)를 한 번 보도록 하자. 이 때는 단방검정을 하면 1만번 중에 9833번은 유의미한 결과가 안 나오고, 167번은 유의미한 결과가 나오기는 했지만 잘못된 결과가 나온다. 실제로는 μ가 0보다 작은데 μ가 0보다 크다는 해석을 내놓기 때문이다. 반면 양방으로 분석하고 단방으로 해석하면 훨씬 더 좋은 결과를 얻을 수 있는데 757번은 제대로 결과가 나온다. 9186번은 결과가 안 나오고, 정반대의 결론은 57번 밖에 나오지 않는다. 이것이 분석은 양방으로 하고 해석은 단방으로 하는 경우의 유일한 장점이다.

정작 가설과 실제가 일치할 경우를 보면 아주 기이한 결과가 나오는 것을 볼 수 있다. 일단 단방검정을 하면 1만번 중에 1314번은 올바른 해석을 내린다. 8686번은 결과가 안 나온다. 분석은 양방, 해석은 단방으로 하면 741번은 올바른 해석이 나오고 64번은 정반대의 해석, 9195번은 결과가 나오지 않는다. 가설과 실제가 일치하는데도 올바른 해석은 잘 나오지 않는 반면, 정반대의 해석이 나오는 경우가 생기는 것이다.

정리하자면 차이가 없거나 가설과 실제가 일치할 경우에는 단방검정이 더 좋은 결과를 내놓는 반면, 가설과 실제가 불일치할 경우에는 분석은 양방, 해석은 단방으로 하는 쪽이 더 낫다. 그런데 가설과 실제가 일치하는지 아닌지는 알 수 없고, 분석방법을 선택하는 것은 연구자의 기대와 가정에 바탕을 둔다. 간단히 말해 분석은 양방, 해석은 단방으로 한다는 것은 "자신의 가설과 실제가 불일치할 경우"를 기대하고 연구를 한다는 뜻이다. 이상한 이야기가 아닌가?

연구자들이 분석은 양방, 해석은 단방으로 하는 이유는 대충 두 가지다. 한 가지는 자신의 가설에 자신이 없거나 확고한 가설 없어서, 일단 돌려보고 결과가 뭐라도 나오면 거기에 맞춰 논문을 쓰려는 생각이 있기 때문이다. 또 한 가지는 좀 어이없는 이유인데 사회과학에서 흔히 쓰는 통계 패키지인 SPSS로 가설검정을 돌리면 양방검정 결과 밖에 나오지 않기 때문이다. 어떤 사람들은 심지어 수치도 확인해보지 않아서 양방검정을 하고 수치가 작은 쪽인데도 '크다'라고 해석하기도 한다.

분석은 양방, 해석은 단방으로 하는 것이 허용될 수 있는 경우는 한 가지 뿐이다. 정말로 어떤 결과가 나올지 알 수 없는 경우에 일단 한 번 돌려 볼 때다. 그러나 이 때도 이 결과를 그대로 보고하거나 출판해서는 안되고, 반드시 새로운 데이터를 모아서 단방검정으로 그 결과를 확인해보아야 한다.

덧붙여, 가설검정은 했다가 결과가 나오지 않으면 거기서 그만두고 잊어버려야 한다. 통계 분석은 결코 '밤을 세워' 해서는 안되는 일이다. 왜냐하면 모든 통계 분석은 오류의 가능성을 포함하고 있기 때문에 많이 하면 많이 할 수록 반드시 오류가 발생한다. 밤 세워 분석을 하다보면 그게 사실이든 아니든 '유의미한' 결과를 찾을 수 있는데, 실제로는 무의미할 뿐만 아니라 해악을 끼치는 일이다.

경우는 좀 다르지만 단방검정을 했다가 결과가 안 나오면 양방검정을 하는 것에 대한 데이비드 호웰의 설명을 들어보자. 대략의 논리는 비슷하다.

일반적으로 일방검증보다 양방검증이 훨씬 더 많이 사용된다. 그 첫 번째 이유는 자료가 어떤 형태를 취할지 연구자가 알지 못해서 어떤 결과에든 대비해야 하는 일이 있기 때문이다. 이런 경우가 많지는 않지만, 탐색적 연구에서는 이런 경우가 있을 수 있다.

양방검증을 선호하는 또 다른 흔한 이유는 연구자들이 결과가 어떤 방향으로 나올지 확신하기는 하지만 자기 생각이 틀릴 경우를 대비하려는 생각 때문이다. 이런 경우는 여러분이 상상하는 것보다는 자주 일어난다. (아주 잘 만들어진 가설도 반대 방향으로 표현되는 이상한 경향이 있는데, 그이유는 일이 터진 다음에야 드러난다.) 결과가 예상과 반대되는 방향으로 나오는 경우 흔히 하는 질문은 "일방검증을 계획한 다음, 결과가 반대 방향으로 나오면 그때 가서 양방검증을 하면 안되는가?"하는 것이다. 이런 질문을 종종 듣는데, 속임수를 부리려는 것보다는 가설검증의 논리를 잘못 이해한 사람들이 이런 질문을 종종 한다. 만약 처음에 분포 왼쪽의 극단적인 5%를 기각역으로 잡은 실험을 시작했다가 방향을 돌려 분포의 오른쪽 극단의 2.5%에 해당하는 결과도 기각한다면, 7.5% 수준으로 결정을 하게 된다. 이 경우 한쪽 방향으로 나오는 결과의 5%를 기각하고 (결과가 예상한 방향으로 나온다면), 또 반대 방향으로 나온 결과 중 2.5%를 기각하게 된다(결과가 예상과 반대 방향으로 나오는 경우). 즉 5% + 2.5% = 7.5%가 된다. 달리 말하면, 동전던지기에서 앞면이 나오면 내가 아이스크림을 먹지만, 동시에 동전의 어느 면이 나왔는지 본 다음 "뒷면"에 거는 권리도 내가 갖는 그런 내기를 하겠느냐는 것이다. 아니면 동전을 던져서 당신이 이기는 쪽으로 나온 다음에 내가 "삼판양승"이라도 뒤늦게 외치고 나오면 내 말을 들어주겠느냐는 것이다. 아마 이 두 가지 다 받아들이지 않을 것이고, 또 그래야 한다. 같은 이유로 일방검증을 할 것인지, 아니면 양방검증을 할 것인지는 자료를 수집하기 전에 정해야 한다. 이것이 왜 양방검증이 주로 사용되는가 하는 이유 중의 하나이다.

David C. Howell 지음, 신현정 등 옮김, "행동과학을 위한 통계학: 제5판", 시그마프레스, 155~156쪽.

덧글

  • 2012/04/05 20:56 # 삭제 비공개

    비공개 덧글입니다.
  • 아이추판다 2012/04/05 23:22 #

    양방검정도 그 방식대로 "차이가 있다"라고만 해석하면 검정력은 단방검정과 같습니다. 양방검정을 단방검정처럼 해석해서 문제가 되는 것이죠.

    결국 제일 문제는 "높다"로 생각했다가 양방을 돌린 후에 "낮다"로 바꾸는 식으로 가설을 결과에 맞춰 바꾸는데서 일어납니다만, 의약쪽에서는 그렇게 바꿀리가 없으니(제약회사가 자기 약이 나쁘다는 결과를 제출하진 않겠죠) 양방으로 하거나 단방으로 유의수준 2.5%에서 하거나 똑같겠습니다.
  • spic 2012/04/05 21:58 #

    양방의 가장 큰 문제는 variance 를 가지고 거의 조작할 수 있다는 거겠죠...
  • 아이추판다 2012/04/05 23:24 #

    그건 어떻게 하는 건가욤?
  • nobody 2012/04/05 23:43 #

    아무리 봐도 글이 이상한데, 제가 통계를 잘못 아는 것일 수도 있어 여쭙는 트윗 날렸습니다.
  • YN 2012/04/07 20:57 # 삭제

    그 전에 한 번도 생각해 본 적이 없는 문제였는데, 흥미롭네요. 그런데 양방검증이 기각된 경우의 정확한 결론이 '차이가 있다' 라는 지적은 맞는 것 같지만, 결국 '차이가 있다'라는 결론은 'A 가 B 보다 작다' 이거나 'A 가 B 보다 크다' 인 두 경우를 모두 포함하는 경우로 보입니다. 한 연구의 결론이 둘 모두일 수는 없고, 둘 중의 하나이어야만 하죠.

    양방검증을 했다는 것은 연구자가 '크다' 와 '작다' 둘 모두에 베팅을 한 것이고, 단방검증은 둘 중 하나에만 베팅을 한 것으로 볼 수 있을 거 같습니다. 단, 두 경우 모두 전체 베팅액은 동일하니, 전자에는 500 원씩 '크다' 와 '작다' 모두에 각각 걸었다면, 후자는 1000 원을 한쪽에 몰빵한 거죠. 만약, 승리했다면, 전자는 '크다' 혹은 '작다' 어느 한쪽에서 500 원에 해당하는 상금을 얻겠지만, 후자는 1000 원에 해당하는 상금을 얻겠죠. 여기서 전자의 경우, 어느 쪽 베팅에서 돈을 땄느냐는 중요한 정보이고, 당연히 그로부터, '크다' 혹은 '작다' 둘 중 하나에 대한 결론을 가져가야 하지 않을까요. 물론 그 결론과 관련된 이득은 500 원만큼만이겠죠.

    양방검증을 실시했다는 것은 지식, 자신감의 부족, 혹시 모를 불확실성에 대한 대비, 뭐 어떤 이유에서건 연구자가 낮은 power 을 감내하고 검증에 임했다는 이야기일뿐, 최종적으로 방향성을 가지는 어느 한쪽의 결론을 채택해서는 안 된다는 말은 아닌 것 같습니다. 관점에 따라 이런 방법이 데이터에 가설을 맞춘 꼴이라고 비판 받을 지도 모르겠습니다만, 그로 인한 손해는 power 상에서의 손실로 감내하고 결론을 얻자 라는 것이 양방검증의 입장이 아닐까요.
  • 안녕하세요 2012/04/10 18:37 # 삭제

    Hedonic treadmill(쾌락이론)이라는게 학계에서 얼마나 인정받는 이론인가요??
  • 캬오 2012/04/11 00:12 # 삭제

    양측검정의 결과를 단측검정으로 해석하는 것은 매우 보수적인 것입니다. 엄격함이 요구되는 신약개발 과정에서도 양측검정을 요구하지 단측검정을 하지는 않습니다. 그리고 인용하신 글은 단측검정을 했다가 원했던 결과와 반대되는 결과가 나와서 양측검정을 하는 경우에 대한 비판입니다. 님의 표현으로 하자면 단측검정 결과를 양측검정 결과로 해석하는 것에 대한 지적입니다. 당연히 이런 경우는 문제가 됩니다. 단측검정에서 유의하였다고 해서 양측검정에서도 유의할 것이냐는 장담할 수 없습니다.
    님께서 주장하신 논리라면 유의한 회귀계수의 방향성에 대한 해석도 해서는 안 됩니다. 그것 역시 양측검정을 근거로 방향성을 주장하는 것이기에 그렇습니다. 정리하자면 단측을 양측으로 해석하는 것은 위험하나 양측을 단측으로 해석하는 것은 타당합니다.
    시뮬레이션 결과 역시 단측검정의 재현성이 높기에 더 맞다고 하셨으나, 단측검정으로 했을 때 잘못된 결과의 재현성이 높은 것입니다. 따라서 그 역시 단측검정이 더 위험한 검정방법임을 보여주는 것이지 님께서 주장하신 바의 근거가 되지는 않습니다.
  • 2012/04/24 20:13 # 비공개

    비공개 덧글입니다.
  • gfsa 2012/04/28 20:41 # 삭제

    수학공부를할때 뒤에단원을 끝냈을 때 쯤이면 앞단원내용을 까먹게 되서 다시공부를 하게되는데
    좀 더 효율적으로 수학공부를할 수 있는 방법은 없나요?
  • 아아 2012/04/29 00:29 # 삭제

    아이추판다님이 전에 쓰신글이나 여러 공부법에서 말하듯이 반복해서 공부를 했으면 그럴일이 적습니다.
    끝난뒤에 피드백해서 부족한부분 보충하고 주기적으로 간단한 시험이던 교육청 문제던 단원종합문제던
    풀어서 복습하는게 좋을듯하네요 뒤내용 넘어가도 계속 나오는 부분도 있지만 잘 안나오는 것도 있으니까요
※ 이 포스트는 더 이상 덧글을 남길 수 없습니다.



검색

맞춤검색

메모장

야후 블로그 벳지