2009/07/15 17:26

심리학 퀴즈: 토플의 비밀? 수학/통계학

좀 재미없는 얘기를 많이 했는데 분위기 전환 겸 퀴즈 타임. 사실 심리학 퀴즈라고 하기엔 좀 애매한 감이 있지만 지금까지 했던 얘기랑 연결된 문제.

미국의 ETS는 시험 하나로 돈을 갈퀴로 끌어들이는 회사입니다. TOEIC, TOEFL, SAT, GRE를 시행하죠. 이중에서 외국인을 위한 대학입학용 영어 시험인 TOEFL과 대학원 입학시험인 GRE는 지필 검사가 아니라 컴퓨터로 시험을 봅니다. 이렇게 컴퓨터로 시험을 보는 걸 CBT(Computer Based Test)라고 하는데요, ETS의 CBT는 독특한 특징이 하나 있습니다. 뭐냐하면 문제를 맞추면 좀 더 어려운 문제가 나오고, 틀리면 쉬운 문제가 나오는 거죠. 아, 물론 TOEFL은 얼마전에 제도가 바뀌어서 더이상 난이도 조절을 하지 않습니다만 GRE는 여전히 이렇게 하고 있습니다. (제목이 토플의 비밀인 건 낚시)
여기서 퀴즈. ETS는 문제의 난이도를 어떻게 결정할까요?

일단 쉽게 생각할 수 있는 건 한국의 수능처럼 출제자가 마음대로 정하는 거죠. 수능 문제를 보면 쉬운 문제는 2점, 중간 문제는 3점, 어려운 문제는 4점 이렇게 배점이 다릅니다. 그런데 이렇게 출제자가 감으로 정하면 대략은 맞지만 정확하지 못하다는 단점이 있습니다. 2점짜리라고 똑같이 쉽지 않고, 4점짜리라고 똑같이 어렵지 않습니다. 그럼 재수 없는 사람은 남들보다 더 어려운 문제를 풀고, 운 좋은 사람은 더 쉬운 문제를 풀게 되죠. 따라서 ETS도 이렇게 하지 않습니다.

정답률로 정한다고 생각할 수도 있는데 이것도 별로 좋지는 않습니다. 여기서 또 퀴즈. 정답률로 난이도를 정하면 뭐가 문제일까요?

결국에는 정답률하고 비슷한 어떤 기준으로 난이도를 정하긴 합니다만 닭이냐 달걀이냐하는 문제가 생깁니다. 여기서 한 번 더 퀴즈. 왜 닭이냐 달걀이냐하는 문제가 생길까요? 그리고 이 문제는 어떻게 해결할까요?

두번째 퀴즈는 첫번째 퀴즈의 힌트고, 세번째 퀴즈는 두번째 퀴즈의 힌트입니다. 정답은 I로 시작하는 무엇인데 아시는 분은 재미없으니까 댓글 달지 마시고, 한 번 생각들 해보시면 재미있을 겁니다. (찡긋) 댓글로 답을 달아주시는 분이 10분이 넘어가면 정답을 공개하겠습니다. 많은 성원 부탁드립니다.



핑백

  • Null Model : 퀴즈 답: 토플의 비밀 2009-07-16 23:55:29 #

    ... 심리학 퀴즈: 토플의 비밀? 감자부침개님을 빼고 '답'을 말씀하신 분은 없지만 그냥 공개. 일단 정답률로 난이도를 정하면 안되는 이유부터 얘기해보자. 정답률이 똑같이 30%인 문제 A, B ... more

  • Null Model : 클러스터링과 착시 2009-07-20 19:41:48 #

    ... 심리학 퀴즈: 토플의 비밀? 퀴즈 답: 토플의 비밀 노컷님이 EM계산법이 클러스터링과 비슷하다는 말씀을 댓글로 달아주셨는데, 아닌게 아니라 EM은 클러스터링에도 사용한다. 클러스터링(clus ... more

덧글

  • 라임에이드 2009/07/15 19:29 # 삭제

    재수 없는 사람은 남들보다 더 어려운 문제를 풀고, 운 좋은 사람은 더 쉬운 문제를 풀게 되죠.
    그러나
    재수 없는 '문제'도 더 못하는 사람에게 풀리고, 운 좋은 '문제'는 더 잘하는 사람에게 풀리게 되죠...
    일까요
  • 감자부침개 2009/07/15 19:33 #

    2. 이전 문제를 맞추면 어려운 문제가 나오고, 틀리면 쉬운 문제가 나오는 방식에서는 어려운 문제는 잘 맞추는 사람들이 풀게 마련이고 쉬운문제는 잘 못맞추는 사람들이 맞추기 마련이겠죠. 문제 난이도 설계를 잘 한다면 난이도에 관계없이 모든 문제의 정답률은 비스무리 할 겁니다.

    1. 따라서 문제의 난이도를 정할 때에는 단순히 특정 문제에 대한 "전체 응답자의 정답률"을 구하는 게 아니라, "특정 문제를 맞춘(혹은 틀린) 사람들이 이 문제에 대한 정답률"을 구할 필요가 있겠네요. 단, 특정 문제를 맞춘 사람들의 수준도 천차 만별이고, 특별히 그 문제만 잘 알거나 모르거나 하는 경우도 있으니 "특정 문제 집단에서 적중률 xx%를 보인 응답자집단이 이 문제에서는 몇 %의 정답률을 보였는가" 정도로 하면 되려나요? 문제의 난이도 정보가 없는 최초시험에서는 이전 문제의 정답/오답 여부와 관계 없이 무작위로 문제를 출제해야 겠고요.

    ...생각해 보니 제가 제안한 방식은 애초에 성립이 불가능하긴 하군요. 1번문제를 맞춘 사람은 어려운 문제만을 풀 것이고(2-1) 틀린 사람은 쉬운 문제만을 풀 것이니(2-2) 1번문제를 맞춘 사람중 2-2 문제의 정답률은 있을 수가 없고 1번 문제를 틀린 사람중 2-1 문제의 정답률 역시 있을수가 없네요 으헣헣헣;;;

    3번은 모르겠슴니돠.

    이상 통계와 숫자에 약한 회돌이였습니다.
  • 아이추판다 2009/07/15 19:48 #

    아, 찍어서 맞추는 경우도 있기 때문에 난이도를 바로바로 조정하진 않습니다. 초반에는 좀 넓은 범위에서 쉬운 거 어려운 거 섞어서 내다가 뒤로 갈수록 범위를 좁혀가는 식이죠. 1에 대한 답은 거의 비슷합니다. ^o^
  • 라임에이드 2009/07/15 19:42 # 삭제

    제가 얼마 전에 대판 틀렸던 '조건부 확률' 개념을 도입하면 될거 같기는 합니다,만 앞서 말했듯 대판 틀렸었기 때문에 자신은 없네요.
  • 아이추판다 2009/07/15 19:46 #

    그렇게 말씀하시면 저도 ㅋㅋ (먼산)
  • object 2009/07/15 20:10 #

    문제 난이도가 변경되는 시험은 정확히 CAT(Computerized Adaptive Test)라고 부릅니다. 찾아보니 이런게 있긴 있네요. http://en.wikipedia.org/wiki/Item_response_theory 아는 바는 전혀 없습니다..
  • 라임에이드 2009/07/15 20:16 # 삭제

    I로 시작한다 했으니까 정답인듯?
  • 아이추판다 2009/07/15 20:20 #

    나의.. 나의.. 퀴즈가!! 하지만 위키피디아 내용을 읽어보셔도 2, 3은 직접 생각해보셔야 맞출 수 있습니다(뭐, 찾아보면 다 나오는 내용이긴 합니다만.). 퀴즈는 계속됩니다!! (두둥)
  • rumic71 2009/07/15 21:42 #

    퀴즈는 모르겠지만 쿈의 여동생은 머리 푸니까 모에하군요.
  • 김토플 2009/07/16 11:21 # 삭제

    잘 알지도 못하면서 이런식으로 이야기 하지는 마시지요.
    미국의 ETS는 시험 하나로 돈을 갈퀴로 끌어들이는 회사라구요. ETS 는 비영리 단체 입니다. TOEFL, 등 시험을 개발, 관리, 난이도를 항상 일정하게 하는데 드는 비용이 얼마나 드는지 아는지요? 우리나라 에서 매년 정부예산 수 백억을 먹는 교육과정 평가 연구원에서는 매년 수능 난이도를 조절 못해 1년동안 죽을정도로 공부한 고3 및 재수생들을 엿먹이데, 그런거는 왜 이야기 하지 않죠? BLOG 에 글을 올리려면 제대로된 정보를 가지고 올리세요. 낚시나 퀴즈 말고. ETS 에 대한 자세한 정보는 ETS 한국지사에 물어보시면 잘 알려 드릴겁니다.
  • jick 2009/07/16 12:24 # 삭제

    http://en.wikipedia.org/wiki/Educational_Testing_Service#ETS_criticism

    http://www.nytimes.com/1997/09/30/us/testing-giant-exceeds-roots-drawing-business-rivals-ire.html?n=Top%2fReference%2fTimes%20Topics%2fOrganizations%2fE%2fEducational%20Testing%20Service
    It has quietly grown into a multinational operation, complete with for-profit subsidiaries, a reserve fund of $91 million, and revenue last year of $411 million.
    ......
    Yet as E.T.S. edges more toward an enormous, competitive company, it remains a nonprofit organization, a status that critics say gives the testing service unfair advantages. As a nonprofit, E.T.S. does not have to pay corporate income taxes, which saves it tens of millions of dollars, freeing up cash to hire workers and develop ever more sophisticated tests.
  • 누렁별 2009/07/16 15:20 #

    비영리단체라서 법인세도 안 내면서 시험 하나로 돈을 갈퀴로 끌어들이는군요. 역시 댓글도 잘 알아보고 달아야 겠네요.
  • 헐......... 2009/07/17 11:42 # 삭제

    정말 모르시나보시군요.

    혼자 상상의 나래를 펼치시는데, 미국에 계셨으면 아시겠지만, ETS 라는 단체는
    정말 교육평가와 관련된 연구를 위해 설립이 된 단체로 미국에서는 굉장히 공신력이 있는 단체입니다. 그리고 비영리 조직으로 유직해 있기 미국에서는 무지 까다로운데, 매번 연구관련 재투자를 통해 유지하고 있다는 사실만 봐도 대단합니다.

  • hey jick 2009/07/17 11:48 # 삭제

    As to make a respond to jick,
    I believe that ETS is not solely aiming for money overall. For an organization which has been exclusively established for better assessment and evaluation, it means that the more money they invest the better testing service we will be able to receive.
    This clearly shows that they are not aiming for tens of millions of dollars but rather for another vision to better provide with better testing service to human-beings all over the world.
  • hama 2009/07/17 13:32 # 삭제

    1. 'as to' 다음에 올 수 있는 것은?
    a) 명사 b) 동사 c) 형용사 d) 부사

    2. 본문에서 'respond'의 품사 및 의미 쌍으로 옳은 것을 고르시오.
    a) 명사 - 벽에 붙은기둥; 대응주(對應柱) b) 동사 - 답하다 c) 명사 - 응창 성가(應唱聖歌) d) 형용사 - ETS

    "Romanes eunt domus"?
  • jick 2009/07/17 13:32 # 삭제

    Wow, your paragraphs sounds so much like cut & pasted straightly out of PR campaign, I just cannot take you seriously. Do you really believe what you wrote, or does your employer tell you to believe so?
    * 블로그를 어지럽혀서 죄송합니다~
  • hey jick 2009/07/21 10:19 # 삭제

    wowowo. didnt mean to do a PR campaign or anything. was just correcting a few misleading info. relax, jick, relax.

    **sorry blog owner, i've also messed up ur blog a bit.
  • hama 2009/07/21 11:05 # 삭제

    3. 다음의 지문을 읽고 빈 칸에 들어가기에 적절한 문구 쌍을 예제 중에서 고르시오.

    A: I think Aichupanda's original remark was harmless enough.
    B: You are right. In fact, perhaps except the phrase 'raking money', which was not really judgmental itself, the overall article and the subsequent one were actually quite positive toward ETS.
    A: The point of the article wasn't to criticize or to praise ETS, but I mostly agree.
    B: My opinion is that, by saying 'don't talk like that when you don't know much', that commenter _________ other viewers _______ ETS.

    a) made - fans of b) alienated - from c) convinced - to appreciate d) turned - into mortal enemies of
  • 라임에이드 2009/07/21 13:58 # 삭제

    답: d (...)
  • 11 2009/07/22 12:35 # 삭제

    사람이 만드는 시험이 거기서 거기지 뭘 더 바래요. 괜히 헐뜯을거리 찾는 사람들로 밖에 안보이네요.
    토플 시험이 비싸 사람들 돈 뜯어먹는것 같으면 시험 보지마세요. 그냥 텝스 보세요. 유학가느라 필요하다구요? 그럼 그 돈은 안아깝고 응시료는 아까우세요? 그래봤자 토플 시험비 유학비에 새발의 피인데? 뭐 그 정도 갖고 그래요?
    여러분들이 공부 빌빌 거리면서 해서 시험 점수 안나와갖고 한달에 두세번씩 시험 보시죠? 그래놓고 시험비 비싸다고 그러죠? 제 주위에 시험 딱 한번 봤는데 110 후반대 나온사람들 수두룩해요;; 열심히 하시면 문제될것없어요.
  • hailey 2010/02/27 22:35 #

    주제를 벗어난 이야기이지만 시험 한 번에 110 후반대라... 부럽네요.
※ 이 포스트는 더 이상 덧글을 남길 수 없습니다.



검색

맞춤검색

메모장

야후 블로그 벳지