심리학 퀴즈 — 50문항, 마지막은 재현성 이야기

파블로프의 개가 종소리에 침을 흘리게 된 것은 무엇을 보여 준 실험인가요?

정답 아무 뜻 없던 신호가 자동 반응을 일으키게 될 수 있다는 것

파블로프는 학습을 연구한 것이 아니라 «소화»를 재고 있었습니다. 먹이가 오기도 전에 침이 나오는 것은 원래 그의 자료를 망치는 골칫거리였습니다. 종은 이야기책의 장식에 가깝습니다 — 실험실에서는 메트로놈·버저·순음을 훨씬 자주 썼습니다.

밀그램의 복종 실험에서 연구자들이 가장 놀란 것은 무엇이었나요?

정답 권위자가 지시하자 평범한 참가자 상당수가 계속했다는 것

가장 널리 인용되는 조건에서 3분의 2쯤이 끝까지 갔습니다. 다만 그것은 스무 가지가 넘는 조건 가운데 «하나»이고, 장소나 학습자와의 거리, 실험자가 둘인지에 따라 비율이 크게 움직였습니다.

할로의 새끼 원숭이와 헝겊 대리모 실험이 시사한 것은 무엇인가요?

정답 먹이만이 아니라 접촉과 안정감이 애착에 중요하다는 것

새끼들은 헝겊 대리모에 매달려 지내다가 «먹을 때만» 철사 쪽으로 갔습니다. 애착이 먹이의 부산물이라는 견해를 뒤집었지만, 지금이라면 윤리 심사를 통과하지 못할 연구입니다 — 발견과 함께 적어 둘 값입니다.

방관자 효과란 무엇인가요?

정답 곁에 사람이 많을수록 도울 가능성이 줄어든다

이 효과를 유명하게 만든 사건은 사실과 다르게 보도됐습니다. 무언가를 목격한 사람 수는 신문이 말한 것보다 훨씬 적었습니다. 효과 자체는 있지만 크지 않고, 실제 녹화된 위급 상황을 분석한 연구에서는 대개 누군가가 나섭니다.

애시의 선분 판단 실험에서 많은 참가자가 한 행동은 무엇인가요?

정답 명백히 틀린 다수 의견에 최소 한 번은 동조했다

4분의 3쯤이 «최소 한 번» 다수를 따랐습니다. 하지만 「늘 따랐다」와는 다릅니다 — 전체 시행을 놓고 보면 답의 대부분은 그대로 정답이었습니다. 이 결과가 말하는 것은 다수의 «당김»이지, 사람에게 판단력이 없다는 것이 아닙니다.

마시멜로 실험이 원래 잰 것은 무엇인가요?

정답 더 큰 보상을 위해 얼마나 기다리는가

잰 것은 사탕 취향이 아니라 자기 통제였습니다. 수십 년 뒤 기다린 시간과 성인기 성취를 연결한 후속 연구는 대학 구내의 «작은» 표본에 기댔고, 2018년의 훨씬 큰 연구는 가정 배경을 함께 넣자 그 연결이 크게 약해진다고 보고했습니다.

스트룹 과제란 무엇인가요?

정답 다른 색 이름이 적힌 낱말의 잉크 색을 말하는 것

글자가 다른 색 이름인데 잉크 색을 말해야 하니 느려지고 틀립니다. 읽기가 «자동»이라 끌 수 없기 때문입니다. 심리학에서 가장 안정적으로 재현되는 효과에 들고, 그래서 90년이 지난 지금도 실험실에 남아 있습니다.

에빙하우스가 뜻 없는 음절을 외우며 연구한 것은 무엇인가요?

정답 배운 것이 시간이 지나며 얼마나 빨리 잊히는가

그는 자기 자신을 피험자로 삼아, 뜻에서 오는 도움을 없애려고 아무 뜻 없는 음절 수천 개를 외웠습니다. 잊는 속도는 «배운 직후»가 가장 가파르고 그 뒤로 완만해집니다 — 복습을 미루지 말아야 하는 이유가 여기 있습니다.

인지 부조화란 무엇인가요?

정답 서로 어긋나는 믿음을 함께 갖거나 믿음과 다르게 행동할 때의 불편함

가장 선명한 실험은 지루한 과제를 재미있었다고 말하게 하고 어떤 사람에게는 적게, 어떤 사람에게는 많이 지불했습니다. 정작 그 말을 «믿게 된» 쪽은 적게 받은 사람들이었습니다 — 그렇게 말할 바깥 이유가 없으니 믿음 쪽이 움직인 것입니다.

위약 효과는 무엇을 가리키나요?

정답 효과 없는 처치를 받고도 믿음 때문에 나아지는 것

통증·메스꺼움·기분처럼 «본인이 말하는» 것에서 가장 크고, 기계가 재는 값에서는 훨씬 약합니다. 임상시험에 눈가림을 두는 이유가 이 차이이고, 위약이 종양을 줄이지 못하는 이유도 같습니다.

조작적 조건형성에서 강화는 무엇을 하나요?

정답 뒤따른 행동이 더 자주 일어나게 한다

강화는 의도가 아니라 «결과»로 정의됩니다 — 그 행동이 더 잦아졌다면 뒤에 온 것이 강화물이었던 것입니다. 어른이 말리려고 준 관심이 도리어 그 행동을 늘리는 일이 생기는 까닭입니다.

부적 강화란 무엇인가요?

정답 불쾌한 것을 없애 주어 그 행동이 더 자주 일어나게 하는 것

여기서 「부적」은 불쾌하다는 뜻이 아니라 «뺀다»는 뜻입니다. 사람들이 가장 자주 헷갈리는 용어입니다. 두통을 없애려고 약을 먹는 것이 부적 강화입니다 — 싫은 것이 사라졌기에 그 행동이 늘어납니다.

작업 기억이란 무엇인가요?

정답 지금 붙들고 다룰 수 있는 적은 양의 정보

「일곱 개」라는 유명한 수는 1956년 논문에서 왔고, 되뇌기를 막고 재면 실제 용량은 «넷»에 가깝다는 것이 뒤의 연구입니다. 이 수를 늘리는 것은 덩이짓기입니다 — 익숙한 전화번호는 열한 개가 아니라 한 개입니다.

확증 편향이란 무엇인가요?

정답 이미 생각하던 것에 맞는 정보를 더 받아들이는 것

무서운 형태는 반대 증거를 «물리치는» 것이 아니라 «애초에 찾아보지 않는» 것입니다. 그래서 안에서는 알아채기 어렵고, 사전 등록처럼 검증 방법을 미리 못 박는 설계가 필요해집니다.

닻 내림(앵커링)은 무엇을 가리키나요?

정답 먼저 본 숫자가 나중의 추정에 영향을 주는 것

그 수가 «누가 봐도 의미 없을 때»에도 작동합니다. 원래 실험에서는 돌림판을 돌려 나온 숫자가 전혀 상관없는 양의 추정치를 바꿨습니다. 첫 제시 가격이 협상을 좌우하는 것도, 그 값이 합당한지와 무관합니다.

기본적 귀인 오류란 무엇인가요?

정답 남의 행동은 성격으로, 자기 행동은 상황으로 설명하는 것

비대칭이 요점입니다 — 저 사람이 늦은 것은 «성격»이 그래서이고, 내가 늦은 것은 «길이» 막혀서입니다. 문화에 따라 약해지기도 하는데, 그것 자체가 이 오류가 마음의 구조가 아니라 «설명하는 습관»에서 온다는 증거입니다.

연구에서 상관과 인과는 어떻게 다른가요?

정답 상관은 둘이 같이 변한다는 것이고, 인과는 하나가 다른 하나를 만든다는 것이다

상관은 «본 것»이고 인과는 «추론한 것»이며, 그 사이를 메우는 것은 대개 둘 다 움직이는 제3의 요인입니다. 그 틈을 닫는 장치가 무작위 배정이라, 연구를 읽을 때 찾아야 할 문장은 「참가자가 어떻게 각 집단에 들어갔는가」입니다.

이중 눈가림 연구란 무엇인가요?

정답 참가자도, 평가하는 사람도 누가 어느 집단인지 모르는 연구

사람들이 잊는 쪽은 «두 번째» 눈가림입니다. 결과를 평가하는 사람이 누가 처치를 받았는지 알면 채점 자체가 기울 수 있습니다 — 이 설계는 참가자만큼이나 «측정»을 지킵니다.

점화(프라이밍)란 무엇을 가리키나요?

정답 먼저 접한 자극이 나중 반응에 영향을 주는 것

낱말과 지각에 관한 점화는 튼튼하고 잘 재현됩니다. 반면 미묘한 단서가 복잡한 사회적 행동을 바꾼다는 주장은 심리학이 크게 흔들린 바로 그 자리이고, 유명한 실험 여럿이 다시 해 보니 나오지 않았습니다.

분산 효과란 무엇인가요?

정답 같은 양이라도 나눠서 공부한 쪽이 몰아서 한 쪽보다 오래 남는다

같은 시간을 쓰고 더 남습니다 — 거의 공짜로 얻는 개선이고 나이와 재료를 가리지 않습니다. 몰아서 하면 방금 본 것이라 «그 순간에는» 더 잘 되는 느낌이 드는데, 이 효과가 그토록 널리 알려졌으면서도 잘 안 쓰이는 이유입니다.

사람은 뇌의 10퍼센트만 쓰나요?

정답 아니다 — 근거가 없고, 영상 연구는 뇌 전역의 활동을 보여 준다

이 주장의 출처는 끝내 확인된 적이 없습니다. 영상 연구는 하루를 놓고 보면 뇌 전역이 활동하는 것을 보여 주고, 어느 부위가 상해도 무언가는 잃습니다. 몸무게의 50분의 1인 기관이 에너지의 5분의 1을 그냥 쓸 리도 없습니다.

사람은 성격이 좌뇌형·우뇌형으로 나뉘나요?

정답 아니다 — 한쪽에 치우친 기능은 있지만, 반구로 성격을 나누는 주장은 뒷받침되지 않는다

한쪽으로 치우친 기능은 실제로 있습니다 — 언어는 보통 왼쪽으로 기웁니다 — 그 바탕이 된 분리뇌 연구는 노벨상을 받았습니다. 다만 거기서 「논리적인 사람과 창의적인 사람」으로 건너뛰는 대목이 근거 없이 팔리는 부분입니다.

학생이 선호하는 학습 유형에 맞춰 가르치면 성적이 오르나요?

정답 이 주장을 시험한 연구들은 대체로 기대한 이득을 찾지 못했다

교사 대다수를 포함해 거의 모두가 믿습니다. 그런데 종합 검토에 따르면 이 주장을 «실제로 시험할 수 있는» 설계를 쓴 연구가 극히 적었고, 그 설계를 쓴 연구들은 대체로 맞춰 가르친 쪽의 이득을 찾지 못했습니다.

기억은 재생할 수 있는 녹화물인가요?

정답 아니다 — 떠올리는 일은 재구성이고, 그 재구성은 달라질 수 있다

떠올릴 때마다 사건이 다시 지어지고, 그 사이에 들은 말이 그 안에 섞여 들어갑니다. 실험에서는 없던 세부를 심어 넣었고 사람들은 나중에 그것을 자신 있게 진술했습니다 — 목격자의 «확신»이 정확성의 잣대가 못 되는 이유입니다.

화를 쏟아 내면 화가 줄어드나요?

정답 연구는 대체로 화를 되풀이하는 것이 화를 유지하거나 키운다고 본다

쏟아 내면 풀린다는 생각은 그럴듯하지만 증거는 반대를 가리킵니다. 화나게 한 일을 떠올리며 무언가를 치게 한 연구에서, 참가자들은 그 뒤에 «덜»이 아니라 «더» 공격적으로 행동했습니다.

거짓말 탐지기는 거짓말을 믿을 만하게 가려내나요?

정답 아니다 — 각성을 기록할 뿐이고, 각성은 거짓말 말고도 여러 이유로 생긴다

재는 것은 호흡·맥박·땀입니다 — 의심받는 상황에서는 결백한 사람도 내는 스트레스 반응입니다. 미국 국립학술원의 대규모 검토는 보안 심사에서 주장되는 정확도가 뒷받침되지 않는다고 결론지었습니다.

설탕이 아이를 과잉행동하게 만드나요?

정답 통제된 연구들은 대체로 부모가 보고하는 그 효과를 찾지 못했다

통제된 시험에서는 나오지 않고, 한 연구가 이 믿음이 어디서 오는지 깔끔하게 보여 줍니다 — 아이가 설탕을 먹었다고 «들은» 부모는 그 아이를 더 산만하다고 평가했습니다. 실제로는 설탕을 준 적이 없었습니다.

「반대되는 사람에게 끌린다」는 잘 뒷받침된 발견인가요?

정답 아니다 — 태도와 가치관이 비슷한 쪽이 더 잘 뒷받침된다

거듭 나타나는 것은 태도와 가치관의 «비슷함»이고, 만족도를 예측하는 힘도 차이보다 그쪽이 큽니다. 서로 보완하는 차이가 특정한 역할에서 잘 맞을 수는 있지만, 일반 법칙으로는 저 속담이 방향을 거꾸로 말합니다.

정신건강 문제를 가진 사람 대부분이 남에게 위험한가요?

정답 아니다 — 대다수는 그렇지 않고, 오히려 폭력의 피해자가 되는 경우가 더 많다

대다수는 폭력적이지 않고, 실재하는 연관은 약물 사용 같은 요인에 견주면 작습니다. 오히려 중증 정신질환이 있는 사람은 일반 인구보다 폭력의 «피해자»가 될 확률이 뚜렷하게 높습니다.

보름달이 뜨면 이상 행동과 응급실 내원이 늘어나나요?

정답 기록을 모아 살펴본 연구들은 그 효과를 찾지 못했다

응급실 내원·범죄 기록·정신과 응급을 음력과 맞대 본 연구가 여러 번 있었고, 종합 검토는 관계를 찾지 못했습니다. 믿음이 살아남는 이유는 간단합니다 — 유별났던 밤은 기억에 남고 조용했던 밤은 남지 않습니다.

심리 검사에서 신뢰도란 무엇인가요?

정답 조건이 그대로면 결과가 일관되게 나온다는 뜻

신뢰도는 «일관성»에 관한 것이지 참·거짓과는 상관이 없습니다. 늘 3킬로그램 더 나오는 체중계는 완벽하게 신뢰도가 높습니다 — 검사가 신뢰도만 내세우는 것이 왜 약한 자랑인지 여기서 드러납니다.

타당도란 무엇인가요?

정답 재겠다고 한 것을 실제로 재고 있다는 것

타당도가 더 어려운 성질입니다. 계산으로 나오는 것이 아니라 «논증»해야 하기 때문입니다 — 이 점수가 재겠다는 그것처럼 «행동»하는가. 좋은 검사가 일관성만이 아니라 「무엇을 예측하는가」를 함께 밝히는 까닭입니다.

신뢰도는 높은데 타당도는 낮은 검사가 있을 수 있나요?

정답 있다 — 엉뚱한 것을 아주 일관되게 잴 수 있다

방금 그 체중계입니다 — 한결같이 틀립니다. 반대(타당한데 신뢰도가 낮은 것)는 성립할 수 없어서, 신뢰도는 증거가 아니라 «바닥»으로 취급합니다. 자기 값을 되풀이하지 못하는 검사는 애초에 무엇도 재고 있지 않습니다.

규준 집단이란 무엇인가요?

정답 내 점수를 견주는 대상 표본

원점수 자체는 아무 뜻이 없고, 그것을 해석 가능하게 만드는 것은 «누가 함께 봤는가»입니다. 규준도 낡기 때문에, 검사는 처음 만들 때의 표본에 그냥 두지 않고 주기적으로 다시 표준화합니다.

표본이 어떻게 구성됐는지가 왜 중요한가요?

정답 좁은 표본에서 나온 결과는 그와 다른 사람들에게 안 맞을 수 있어서

좁은 집단에서 나온 결과는, 누군가 다른 데서 확인하기 전까지는 «그 집단에 관한» 결과입니다. 이 퀴즈 뒤쪽에 나오는 「심리학의 참가자가 어디서 왔는가」라는 비판이 바로 이 원칙의 현실판입니다.

바넘 효과란 무엇인가요?

정답 거의 누구에게나 맞을 두루뭉술한 설명을 자기 이야기로 받아들이는 것

실험에서는 한 학급에 성격 평가를 나눠 주고 얼마나 맞는지 매기게 했습니다. 점수는 높았고, 모두가 «똑같은 글»을 받았습니다. 별점 운세가 작동하는 원리이자, 좋은 말만 해 주는 검사를 의심해야 하는 이유입니다.

「통계적으로 유의하다」는 무엇을 알려 주나요?

정답 효과가 없다는 가정 아래에서는 잘 나오지 않을 결과라는 것. 크다거나 중요하다는 뜻은 아니다

아주 좁은 질문 하나에 답합니다 — 「효과가 없다면 이 자료가 얼마나 뜻밖인가」. 크기나 중요성에 대해서는 아무 말도 하지 않습니다. 표본이 충분히 크면 하찮은 차이도 그 문턱을 넘습니다.

효과 크기란 무엇인가요?

정답 차이나 관계가 실제로 얼마나 큰가

「그래서 얼마나?」에 답하는 수입니다 — 차이가 얼마나 큰지를, 머릿속에 그려지는 단위로 말합니다. 유의성과 «함께» 보고하는 것이 이제 표준인데, 유의성만으로는 신경 쓸 값이 없는 차이도 그럴듯해 보이기 때문입니다.

연구자가 사전 등록을 하는 이유는 무엇인가요?

정답 자료를 보기 전에 가설과 분석 방법을 밝혀 두려고

예측을 «먼저» 적어 두는 일이 검증을 검증으로 만듭니다. 자료를 본 뒤에는 그럴듯한 분석 방법이 여럿 생기고, 그중에서 고르는 순간 검증이 조용히 «짐작»으로 바뀝니다.

자기보고 자료는 무엇에 강하고 무엇에 약한가요?

정답 속마음에 닿는 데 강하고, 기억이나 자기 이미지가 답을 비틀 때 약하다

「어떤 느낌인가」가 주제라면 물어보는 것 말고 다른 방법이 없습니다. 약한 곳은 사람이 잘못 기억한다는 것과, 답이 «보이고 싶은 모습» 쪽으로 휜다는 것입니다 — 익명으로 물으면 결과가 달라지는 이유입니다.

재현성 위기란 무엇인가요?

정답 게재된 결과 상당수가 다시 해 보니 나오지 않았다는 사실

대규모 공동 연구가 게재된 논문 100편을 다시 해서 3분의 1쯤에서만 분명한 결과를 얻었고, 효과 크기는 원래의 절반 남짓이었습니다. 「위기」라는 말이 많은 일을 하고 있는데, 더 쓸모 있는 독법은 «이 분야가 확인을 시작했다»입니다.

출판 편향이란 무엇인가요?

정답 효과를 찾은 연구가 못 찾은 연구보다 더 자주 실리는 것

효과를 찾은 연구만 실리고 못 찾은 연구가 안 실리면, 쌓인 문헌은 걸러진 표본이고 그것을 요약한 모든 글이 기웁니다. 이 왜곡에는 부정직이 필요 없습니다 — 「쓸 만한가」를 판단한 평범한 결정 수천 개에서 저절로 생깁니다.

p 해킹은 무엇을 가리키나요?

정답 유의수준을 넘길 때까지 분석을 이리저리 바꿔 보는 것

대개 속이기로 «작정»한 것이 아니라, 그럴듯해 보이는 작은 선택의 연속입니다 — 이 참가자는 빼고, 저 변수는 넣고, 다른 척도로 재 보고. 한 논문은 그런 선택만으로 「노래를 들으면 나이가 어려진다」를 보여 주며 위험을 증명했습니다.

표본이 작으면 부정확한 것 말고 어떤 문제가 더 있나요?

정답 작은 표본에서 유의하게 나온 효과는 실제보다 크게 추정되는 경향이 있다

작은 연구는 우연이 추정치를 «위로» 밀어 올렸을 때만 효과를 잡아냅니다. 그래서 작은 표본에서 실려 나온 효과는 체계적으로 부풀려져 있습니다 — 참가자가 적은데 놀라운 결과라면 신뢰를 더 줄 것이 아니라 덜 줘야 하는 이유입니다.

메타분석이란 무엇인가요?

정답 같은 물음을 다룬 여러 연구의 수치를 통계적으로 합쳐 하나의 추정치로 만드는 것

결론이 아니라 «수치»를 합칩니다 — 같은 효과를 다룬 수십 편을 표본 크기와 정밀도로 가중해 하나의 추정치와 불확실성 범위로 만듭니다. 그래서 메타분석은 유명한 어느 한 연구가 말한 것보다 효과가 작다는 것을 보여 줄 수 있습니다. 약점은 물려받습니다 — 합친 연구들이 출판 편향으로 걸러진 것이면, 합친 수도 걸러진 수입니다.

직접 재현이란 무엇인가요?

정답 원래 방법을 최대한 그대로 따라 다시 해 보는 것

원래 절차를 최대한 그대로 따르는 엄격한 쪽이 발견을 «시험»하는 재현입니다. 같은 생각을 다른 방식으로 확인하는 것도 값지지만 논쟁을 끝내지는 못합니다 — 결과가 안 나오면 언제나 「바꾼 부분 탓」이라고 할 수 있기 때문입니다.

HARKing이란 무엇을 가리키나요?

정답 결과를 보고 난 뒤에 만든 가설을 처음부터 예측했던 것처럼 내놓는 것

이름은 약자입니다 — Hypothesizing After the Results are Known, 「결과를 알고 난 뒤 가설 세우기」. 분석을 만지작거리는 p-해킹과 다릅니다. HARKing은 이야기를 다시 쓰는 것이라, 탐색하다 나온 발견이 «확인된 예측»으로 차려입고 그 진짜 불확실성은 논문에서 사라집니다. 사전등록이 있는 이유의 절반이 이것입니다 — 자료가 오기 전에 가설이 기록에 남으니 나중에 바꿀 수 없습니다.

표본을 두고 말하는 「WEIRD」 비판은 무엇을 가리키나요?

정답 서구·고학력·산업화·부유·민주주의 참가자에 지나치게 기대 온 것

2010년 논문이 만든 약자로, 발표된 표본 대부분이 인류의 좁고 특이한 한 조각에서 나왔다는 지적입니다. 그 발견들이 «틀렸다»는 주장이 아니라, 그것을 「인간의 본성」이라 부를 자격은 얻은 적이 없다는 주장입니다.

재현에 실패했다면 원래 효과가 없다는 뜻인가요?

정답 아니다 — 증거가 약해지는 것이고, 실패가 거듭되면 저울이 더 기운다

실패 한 번은 증거 한 조각이고, 시시한 이유로도 실패할 수 있습니다. 저울을 움직이는 것은 «쌓임»입니다 — 조심스러운 시도 여럿이 아무것도 못 찾은 것은, 한 번이 못 찾은 것과 전혀 다른 상황입니다.

이 위기가 실제로 바꾼 것은 무엇인가요?

정답 사전 등록·더 큰 표본·자료 공개·재현 연구 게재가 훨씬 흔해졌다

표본이 커졌고, 자료와 재료를 공개하는 일이 훨씬 흔해졌으며, 결과가 나오기도 전에 «설계»만 보고 게재를 받아 주는 학술지가 생겼습니다. 위기라는 이름이 무엇을 떠올리게 하든, 눈에 보이는 결과는 방법이 엄격해진 것입니다.