눈이 귀에 들리는 소리를 바꿀 수 있습니다

눈과 귀가 어떻게 함께 작동하는지, 그리고 그 협업이 왜 언어마다 다른지에 관한 작은 실험입니다.

---

먼저 한번 해 보세요. 아래의 짧은 영상을 보십시오. 처음에는 눈을 감고 소리만 들으십시오. 두 번째에는 눈을 뜨고 다시 보십시오.

소리는 달라지지 않습니다. 귀가 움직이는 것도 아닙니다. 그런데도 들리는 소리가 달라질 수 있습니다. 두 번째에는 눈이 듣는 일을 돕고 있기 때문입니다.

🔊 영상을 누르고 소리를 켜 주세요 — 소리가 있어야만 확인할 수 있습니다.

방금 무슨 일이 일어난 걸까요?

이것은 맥거크 효과라고 불리는 뇌의 유명한 속임수입니다. 우리는 사람의 말을 들을 때 귀만 사용하지 않습니다. 그 사람의 입술, 이, 혀, 턱도 함께 봅니다. 그러면 뇌는 우리가 듣는 것과 보는 것을 섞어서 하나의 소리를 만들어 냅니다.

대개는 눈과 귀가 일치하기 때문에 우리는 이를 전혀 알아차리지 못합니다. 그러나 둘이 어긋날 때, 즉 귀는 한 가지를 듣는데 눈은 다른 것을 볼 때 놀라운 일이 벌어집니다. 아주 자주 눈이 이깁니다.

1976년의 행복한 우연

이 효과에는 이름이 있고 심지어 탄생지도 있습니다. 1976년, 영국의 서리 대학교에서 두 과학자 해리 맥거크와 존 맥도널드가 우연히 발견했습니다. 두 사람은 아기들이 말을 알아듣는 법을 어떻게 배우는지 연구하던 중이었습니다.

어느 날 한 기술자가 “바” 소리를 “가”라고 말하는 입의 영상에 합쳐 놓았습니다. 과학자들이 이를 재생하자 두 사람 모두 세 번째 소리, 즉 소리에도 영상에도 없던 “다”를 들었습니다. 두 사람의 뇌가 눈과 귀의 정보를 합쳐 조용히 완전히 새로운 소리를 만들어 낸 것입니다. 이들은 과학 잡지 네이처에 아름다운 제목의 짧은 논문으로 이를 발표했습니다. 제목은 “입술을 듣고 목소리를 보다(Hearing Lips and Seeing Voices)”였습니다. 이후 과학자들은 이 논문을 4,800회가 넘게 인용했습니다.

듣는다는 것은 단지 귀가 하는 일이 아닙니다. 뇌가 찾아낼 수 있는 모든 단서를 활용해 내리는 결정입니다.

재미있는 사촌: 뇌가 기대하는 것을 들을 때

귀를 속일 수 있는 것은 눈만이 아닙니다. 우리의 기대도 그럴 수 있습니다. 영국 코미디언 피터 케이(Peter Kay)는 가장 유명한 개그 가운데 하나를 바로 이 발상 위에 만들었습니다. 그는 잘 알려진 노래의 짧은 한 대목을 틀어 준 다음 관객에게 엉뚱한 가사를 알려 줍니다. 그러면 갑자기 모두가 진짜 가사 대신 우스꽝스러운 버전으로 듣게 됩니다. 더 이상한 점은, 한 번 그의 방식대로 들으면 다시는 제대로 들리지 않는다는 것입니다.

피터 케이(Peter Kay), The Tour That Didn’t Tour Tour — 그의 고전적인 “잘못 들은 가사” 코너.

맥거크 효과는 눈을 이용하고, 피터 케이는 기대를 이용합니다. 그러나 둘 다 뇌의 같은 문을 엽니다. 우리는 소리를 단순히 받아들이는 것이 아니라, 이미 알고 있는 모든 것을 이용해 소리를 추측합니다. 잘못 들은 가사에는 심지어 특별한 이름까지 있습니다. 바로 몬더그린(mondegreen)입니다.

이것이 2부인 이유

1부에서 우리는 당신이 말하는 언어가 당신이 생각하는 방식을 만든다고 이야기했습니다. 2부는 한 걸음 더 깊이, 그리고 한 걸음 더 낯선 곳으로 들어갑니다. 당신이 말하는 언어는 세상을 감각하는 방식, 심지어 듣는 방식까지도 만들 수 있습니다.

연구자들은 여러 나라 사람들을 대상으로 맥거크 효과를 실험했습니다. 그 결과, 눈과 귀의 연결은 모든 사람에게 같은 강도가 아니라는 것을 발견했습니다.

• 강한 연결: 영어, 스페인어, 이탈리아어, 독일어, 네덜란드어, 터키어 화자는 이 착각을 강하게 느끼는 경향이 있습니다. 그들의 눈은 귀를 강하게 끌어당깁니다.
• 약한 연결: 중국어(표준 중국어)와 일본어 화자는 이를 훨씬 약하게 느끼는 경우가 많습니다. 그들의 귀는 자리를 굳게 지킵니다.

왜 그럴까요? 과학자들이 아직 연구하고 있지만, 흥미로운 두 가지 생각이 있습니다. 첫째, 중국어와 일본어는 많은 의미를 성조와 음높이에 담고 있습니다. 귀가 매우 주의 깊게 포착해야 하는 정보이기 때문에, 이 언어의 화자들은 자신의 귀를 더 신뢰하도록 배웠을 수 있습니다. 둘째, 눈 맞춤과 얼굴을 바라보는 문화적 습관도 한몫했을 수 있습니다.

이것이 타고난 것이 아니라 길러진 것임을 보여 주는 단서가 하나 더 있습니다. 영어를 쓰는 아이들은 6세에서 8세 사이에 이 눈과 귀의 협업이 눈에 띄게 강해집니다. 일본 아이들은 훨씬 평평하게 유지됩니다. 그러니 그 상당 부분은 우리가 자라는 언어와 문화에 의해 조용히 형성되는 것입니다.

영어를 배우는 분들에게 이것이 의미하는 바

모국어가 귀에 의존하는 편이라면 영어 듣기가 필요 이상으로 어렵게 느껴질 수 있습니다. 영어는 많은 정보를 입술과 얼굴에 숨겨 둡니다. 반가운 소식은 눈이 돕도록 훈련할 수 있다는 것입니다.

얼굴을 마주 보면 모든 소리에는 눈에 보이는 모양이 있습니다.

입 모양을 보세요. 소리만 듣지 말고 영상을 선택하세요. 저희 수업에서는 교사가 일부러 학생들을 마주 보고 앉아, 학생들이 모든 소리의 모양을 볼 수 있게 합니다. 입술을 읽는 것은 반칙이 아닙니다. 유창하게 듣는 사람들이 이미 자기도 모르게 듣는 바로 그 방식입니다.

마지막으로 한 가지

우리는 듣는 일이 단순하다고 믿고 싶어 합니다. 소리가 들어오면 그것이 무엇인지 안다고 말입니다. 그러나 두 사람이 같은 방에 앉아 같은 목소리를 듣고도, 단지 자란 언어가 다르다는 이유만으로 정말로 서로 다른 두 단어를 듣는 일이 있을 수 있습니다.

당신의 언어는 입에만 있는 것이 아닙니다. 귀에도 있고, 알고 보면 눈에도 있습니다.