目が変える、耳に届く音

目と耳がどのように協力しているのか、そしてその協力のしかたが言語ごとに異なる理由を探る、小さな実験です。

---

まず試してみましょう。下の短い動画をご覧ください。1回目は目を閉じて、音だけを聞いてください。2回目は、目を開けてもう一度見てください。

音声はまったく変わりません。耳が動くわけでもありません。それでも、聞こえる音が変わることがあります。2回目は、あなたの目が聞くのを助けているからです。

🔊 動画をタップして音を出してください ── 音声があってこそ成り立つ実験です。

何が起きたのでしょうか？

これはマガーク効果と呼ばれる、脳の有名なトリックです。人の話を聞くとき、私たちは耳だけを使っているわけではありません。相手の唇、歯、舌、あごの動きも見ています。脳は、聞こえたものと見えたものを混ぜ合わせ、ひとつの音にして私たちに届けるのです。

たいていは目と耳の情報が一致しているので、私たちは気づきません。しかし、両者が食い違うとき ── 耳が聞いたものと目が見たものが違うとき ── 驚くべきことが起こります。多くの場合、勝つのは目です。

1976年の幸運な偶然

この効果には名前があり、生まれた場所さえあります。1976年、イギリスのサリー大学で、ハリー・マガークとジョン・マクドナルドという2人の科学者が偶然発見しました。2人は、赤ちゃんが話し言葉を理解できるようになる仕組みを研究していました。

ある日、技師が音声の「ba」を、口が「ga」と言っている映像につなぎました。科学者たちが再生すると、2人とも3つ目の音、「da」が聞こえました。それは音声にも映像にもない音でした。2人の脳は、目と耳の情報を合わせて、まったく新しい音を静かに作り出していたのです。2人は科学誌Natureに、すてきなタイトルの短い論文を発表しました。“Hearing Lips and Seeing Voices”（「唇を聞き、声を見る」）です。以来、この論文は4,800回以上引用されています。

聞くことは、耳だけが行うことではありません。脳が、見つけられるあらゆる手がかりを使って下す判断なのです。

愉快ないとこ：脳が予想したとおりに聞こえるとき

耳をだませるのは目だけではありません。予想もまた、耳をだますことがあります。イギリスのコメディアン、ピーター・ケイは、まさにこの原理を使って、最も有名なネタのひとつを作りました。彼は有名な曲のほんの一部を流し、観客に間違った歌詞を告げます。すると、たちまち全員に、本物ではなくおかしな歌詞のほうが聞こえてしまうのです。不思議なのはここからで、いったん彼の言うとおりに聞こえてしまうと、二度と正しく聞こえなくなります。

ピーター・ケイ、The Tour That Didn’t Tour Tour ── 「空耳歌詞」の定番ネタ。

マガーク効果が使うのは目、ピーター・ケイが使うのは予想です。けれども、どちらも脳の同じ扉を開きます。私たちは音をただ受け取るのではなく、すでに知っているあらゆることを使って音を推測しているのです。聞き間違えた歌詞には、モンデグリーン（mondegreen）という特別な名前さえあります。

これがパート2である理由

パート1では、話す言語が考え方を形づくるとお話ししました。パート2は、さらにもう一歩深く、もう一歩不思議な話です。話す言語は、世界を感じ取るしかた ── 聞こえ方、つまり聞くことさえも ── 形づくることがあるのです。

研究者たちは、多くの国の人々を対象にマガーク効果を調べました。その結果、目と耳のつながりの強さは誰にとっても同じではないことがわかりました。

• つながりが強い：英語、スペイン語、イタリア語、ドイツ語、オランダ語、トルコ語の話者は、この錯覚を強く感じる傾向があります。目が耳を強く引っ張るのです。
• つながりが弱い：中国語（北京語）や日本語の話者は、はるかに弱く感じることがよくあります。耳が踏みとどまるのです。

なぜでしょうか。科学者たちはまだ研究を続けていますが、興味深い考え方が2つあります。1つ目は、中国語と日本語は声の高低やピッチに多くの意味を担わせており ── 耳がその情報を非常に注意深く聞き取らなければならないため ── こうした話者は耳をより信頼するようになるのかもしれない、というものです。2つ目は、アイコンタクトや顔を見ることに関する文化的な習慣も、一因かもしれないというものです。

これが生まれつきではなく後天的に形づくられることを示す手がかりが、もうひとつあります。英語圏の子どもたちでは、この目と耳の連携が6歳から8歳の間にはっきりと強くなります。日本の子どもたちでは、ずっと平坦なままです。つまり、その大きな部分は、私たちが育つ言語と文化によって、静かに形づくられているのです。

英語を学んでいる方にとっての意味

母語が耳に頼る言語だと、英語のリスニングは本来より難しく感じられることがあります。英語は多くの情報を唇や顔に隠しているからです。よい知らせは、目が助けてくれるように訓練できるということです。

顔と顔を合わせれば、すべての音に目に見える形があります。

口元を見てください。音声だけでなく、動画を選んでください。私たちのクラスでは、生徒が音の形を見られるように、教師があえて生徒のほうを向いて話します。唇を読むのはズルではありません。流暢なリスナーが、気づかないうちにすでにやっている聞き方そのものなのです。

最後にひとこと

私たちは、聞くことは単純だと思いがちです。音が入ってきて、それが何かがわかる、と。けれども、同じ部屋で同じ声を聞いていても、2人が本心から2つの違う言葉を聞くことがあります。ただ、育った言語が違うというだけで。

言語は口の中にあるだけではありません。耳の中にも、そして意外にも、目の中にもあるのです。