당신의 눈은 당신이 듣는 것을 바꿀 수 있다

눈과 귀가 어떻게 함께 일하는지 — 그리고 그 협력이 언어마다 왜 다른지에 대한 작은 실험입니다.

---

먼저 한 가지를 해 보세요. 아래의 짧은 영상을 보세요. 처음에는 눈을 감고 소리만 들으세요. 두 번째에는 눈을 뜨고 다시 보세요.

소리는 결코 변하지 않습니다. 귀도 움직이지 않습니다. 그런데 들리는 소리는 달라질 수 있습니다 — 두 번째에는 당신의 눈이 듣는 일을 돕고 있기 때문입니다.

🔊 영상을 누르고 소리를 켜 주세요 — 소리가 있어야만 체험할 수 있습니다.

방금 무슨 일이 일어났을까요?

이것은 맥거크 효과(McGurk effect)라고 불리는 유명한 뇌의 착각입니다. 우리는 누군가의 말을 들을 때 귀만 사용하지 않습니다. 그 사람의 입술, 이, 혀, 턱도 함께 봅니다. 그러면 뇌는 들은 것과 본 것을 섞어 하나의 소리로 만들어 우리에게 건네줍니다.

대부분의 경우 눈과 귀는 일치하므로 우리는 전혀 알아차리지 못합니다. 그러나 둘이 어긋날 때 — 귀는 이 소리를 듣고 눈은 저 소리를 볼 때 — 놀라운 일이 벌어집니다. 아주 자주, 눈이 이깁니다.

1976년의 행복한 우연

이 효과에는 이름이 있고, 심지어 태어난 곳도 있습니다. 1976년 영국 서리 대학교에서 두 과학자 해리 맥거크와 존 맥도널드가 우연히 발견했습니다. 두 사람은 아기가 말을 어떻게 이해하게 되는지를 연구하고 있었습니다.

어느 날 한 기술자가 “바(ba)”라는 소리를 “가(ga)”라고 말하는 입 영상에 붙였습니다. 과학자들이 그것을 재생했을 때, 두 사람 모두 세 번째 소리 — “다(da)” — 를 들었습니다. 그것은 소리에도 영상에도 없던 소리였습니다. 그들의 뇌가 눈과 귀를 합쳐 완전히 새로운 소리를 조용히 만들어 낸 것입니다. 두 사람은 이것을 과학 잡지 네이처에 아름다운 제목의 짧은 논문으로 실었습니다 — “Hearing Lips and Seeing Voices(입술을 듣고 목소리를 보다)”. 그 뒤로 과학자들은 이 논문을 4,800번 이상 인용했습니다.

듣는다는 것은 귀만 하는 일이 아닙니다. 그것은 찾을 수 있는 모든 단서를 사용해 당신의 뇌가 내리는 결정입니다.

재미있는 사촌: 뇌가 기대한 것을 들을 때

귀를 속일 수 있는 것은 눈만이 아닙니다. 당신의 기대도 귀를 속입니다. 영국 코미디언 피터 케이는 바로 이 생각으로 가장 유명한 개그 중 하나를 만들었습니다. 잘 알려진 노래를 아주 조금 틀어 준 다음 관객에게 틀린 가사를 말해 줍니다 — 그러면 갑자기 모두가 진짜 가사 대신 우스운 가사를 듣게 됩니다. 이상한 점은 여기서부터입니다. 한 번 그의 방식대로 들으면, 다시는 제대로 들을 수 없습니다.

피터 케이, The Tour That Didn’t Tour Tour — 그의 대표적인 “잘못 들은 가사” 무대.

맥거크 효과는 당신의 눈을 이용하고, 피터 케이는 당신의 기대를 이용합니다. 그러나 둘은 뇌의 같은 문을 엽니다. 우리는 소리를 그저 받아들이는 것이 아니라, 이미 알고 있는 모든 것을 동원해 추측합니다. 잘못 들은 가사에는 고유한 이름까지 있습니다 — 몬더그린(mondegreen)입니다.

이것이 두 번째 이야기인 이유

첫 번째 이야기에서 우리는 당신이 말하는 언어가 생각하는 방식을 만든다고 했습니다. 두 번째 이야기는 한 걸음 더 깊고, 한 걸음 더 이상한 곳으로 갑니다. 당신이 말하는 언어는 세상을 감각하는 방식까지 — 심지어 듣는 방식까지 — 만들 수 있습니다.

연구자들은 여러 나라 사람들을 대상으로 맥거크 효과를 실험했습니다. 그 결과 눈과 귀의 연결이 모두에게 똑같이 강하지는 않다는 것을 발견했습니다.

• 강한 연결: 영어, 스페인어, 이탈리아어, 독일어, 네덜란드어, 튀르키예어 사용자는 이 착각을 강하게 느끼는 경향이 있습니다. 그들의 눈은 귀를 세게 끌어당깁니다.
• 더 약한 연결: 중국어(표준어)와 일본어 사용자는 이를 훨씬 약하게 느끼는 경우가 많습니다. 그들의 귀는 자기 자리를 지킵니다.

왜 그럴까요? 과학자들은 아직 연구 중이지만 흥미로운 생각이 두 가지 있습니다. 첫째, 중국어와 일본어는 성조와 음높이에 많은 의미를 담습니다 — 귀가 아주 주의 깊게 잡아내야 하는 정보입니다 — 그래서 이런 청자들은 귀를 더 신뢰하도록 배우는지도 모릅니다. 둘째, 눈 맞춤과 얼굴을 바라보는 것에 대한 문화적 습관도 영향을 줄 수 있습니다.

이것이 타고나는 것이 아니라 만들어지는 것이라는 단서가 하나 더 있습니다. 영어권 아이들에게서 이 눈과 귀의 협력은 6세에서 8세 사이에 눈에 띄게 강해집니다. 일본 아이들에게서는 훨씬 평탄하게 유지됩니다. 그러니 그 상당 부분은 우리가 자라난 언어와 문화가 조용히 빚어낸 것입니다.

영어를 배우고 있다면 이것이 뜻하는 바

당신의 모국어가 귀에 기대는 언어라면, 영어 듣기는 필요 이상으로 어렵게 느껴질 수 있습니다. 영어는 많은 정보를 입술과 얼굴에 숨겨 둡니다. 좋은 소식은, 눈이 돕도록 훈련할 수 있다는 것입니다.

마주 보면, 모든 소리에는 눈으로 볼 수 있는 모양이 있습니다.

입을 보세요. 소리만이 아니라 영상을 고르세요. 우리 수업에서는 교사가 일부러 학생들을 마주 봅니다. 학생들이 모든 소리의 모양을 볼 수 있도록 하기 위해서입니다. 입술을 읽는 것은 반칙이 아닙니다 — 유창하게 듣는 사람들이 자신도 모르게 이미 하고 있는 바로 그 방법입니다.

마지막 생각 하나

우리는 듣는 일이 단순하다고 믿고 싶어 합니다. 소리가 들어오고, 그것이 무엇인지 안다고 말이죠. 그러나 두 사람이 같은 방에 앉아 같은 목소리를 듣고도 정말로 서로 다른 단어를 들을 수 있습니다 — 단지 서로 다른 언어를 쓰며 자랐다는 이유만으로.

당신의 언어는 입 안에만 있는 것이 아닙니다. 귀 안에도 있고 — 알고 보니, 눈 안에도 있습니다.