Чтение по губам - Lip reading

Чтение по губам , также известное как чтение речи , - это метод понимания речи путем визуальной интерпретации движений губ, лица и языка, когда нормальный звук недоступен. Он также полагается на информацию, предоставляемую контекстом, знанием языка и остаточным слухом. Хотя чтение по губам наиболее широко используется глухими и слабослышащими людьми, большинство людей с нормальным слухом обрабатывают некоторую речевую информацию, зная, что движется рот.

Процесс

Хотя восприятие речи считается слуховым навыком, оно по своей сути является мультимодальным, поскольку для произнесения речи говорящий должен совершать движения губ, зубов и языка, которые часто видны при общении лицом к лицу. Информация из губ и лица поддерживает восприятие на слух, и большинство людей, свободно владеющих языком, чувствительны к видимым речевым действиям (см. Эффект Мак-Гурка ). Степень, в которой люди используют видимые речевые действия, зависит от видимости речевого действия, а также знаний и навыков воспринимающего.

Фонемы и виземы

Фонема является наименьшим обнаруживаемый единицей звука на языке , который служит , чтобы различать слова друг от друга. / pit / и / pik / отличаются одной фонемой и относятся к разным понятиям. Разговорный английский насчитывает около 44 фонем. При чтении по губам количество визуально отличительных единиц - визем - намного меньше, поэтому несколько фонем сопоставляются с несколькими виземами. Это потому, что многие фонемы производятся во рту и в горле, и их нельзя увидеть. К ним относятся голосовые согласные и большинство жестов языка. Звонкие и невокализованные пары выглядят одинаково, например, [p] и [b], [k] и [g], [t] и [d], [f] и [v], и [s] и [z] »; то же самое для назализации (например, [m] vs. [b]). Гомофены - это слова, которые выглядят одинаково при чтении по губам, но содержат разные фонемы. Поскольку в английском языке примерно в три раза больше фонем, чем визем, часто утверждают, что только 30% речи можно прочитать по губам. Гомофены - главный источник неправильного чтения по губам.

Легенда к этой загадке гласит: «Вот класс из дюжины мальчиков, которые, будучи призваны назвать свои имена, были мгновенно сфотографированы, когда каждый начинал произносить свое имя. Двенадцать имен были Оом, Олденом. , Истман, Альфред, Артур, Люк, Флетчер, Мэтью, Теодор, Ричард, Ширмер и Хиссвальд. Теперь, казалось бы, невозможно дать правильное имя каждому из двенадцати мальчиков, но если вы отработаете список заново для каждого из вас будет нетрудно найти правильное имя для каждого из мальчиков ".

Совместное сочленение

Виземы можно снимать как неподвижные изображения, но речь разворачивается во времени. Плавная артикуляция речевых звуков в последовательности может означать, что образы рта могут быть «сформированы» смежной фонемой: звук «th» в «зубе» и «зубах» выглядит очень разным из-за вокального контекста. Эта особенность динамического чтения речи влияет на чтение по губам «вне виземы».

Как это может «работать» с таким небольшим количеством висем?

Статистическое распределение фонем в лексиконе языка неравномерно. Хотя есть группы слов, которые фонематически похожи друг на друга («лексические соседи», такие как spit / sip / sit / stick ... и т. Д.), Другие слова не похожи на все другие слова: они «уникальны» с точки зрения распределение их фонем (например, «зонтик»). Квалифицированные пользователи языка используют эти знания при интерпретации речи, поэтому, как правило, труднее идентифицировать услышанное слово с большим количеством лексических соседей, чем со словом с несколькими соседями. Применяя это понимание к видимой речи, некоторые слова в языке можно однозначно читать по губам, даже если они содержат несколько визем - просто потому, что никакие другие слова не могут «соответствовать».

Различия в удобочитаемости и навыках

На видимость говорящего лица влияют многие факторы, включая освещение, движение головы / камеры, частоту кадров движущегося изображения и расстояние от зрителя (см. Например). Движение головы, сопровождающее нормальную речь, также может улучшить чтение по губам, независимо от оральных действий. Однако, когда чтение по губам связано с речью , знание зрителем устной речи, знакомство с говорящим и стилем речи, а также контекст материала для чтения по губам так же важны, как и видимость говорящего. Хотя большинство слышащих людей чувствительны к видимой речи, индивидуальные навыки чтения речи сильно различаются. Хорошие читатели часто точнее, чем плохие читатели, распознают фонемы по визуальной речи.

Некоторые исследователи ставят под сомнение простую висемическую меру «читабельности губ». Мера «класса эквивалентности фонем» учитывает статистическую структуру лексики, а также может учитывать индивидуальные различия в способности читать по губам. В соответствии с этим, отличное чтение по губам часто ассоциируется с более широкими когнитивными навыками, включая общее владение языком, исполнительную функцию и рабочую память .

Чтение по губам и изучение языка у слышащих младенцев и детей

Первые несколько месяцев

Видение рта играет определенную роль в ранней чувствительности к речи очень маленького ребенка и подготавливает его к тому, чтобы стать говорящим в возрасте 1-2 лет. Чтобы подражать, младенец должен научиться формировать губы в соответствии со звуками, которые они слышат; видение говорящего может помочь им в этом. Новорожденные имитируют движения рта взрослых, такие как высунут язык или открывание рта, что может быть предвестником дальнейшего имитации и последующего изучения языка. Младенцы обеспокоены, когда аудиовизуальная речь знакомого говорящего рассинхронизирована и, как правило, демонстрирует различные модели для знакомых, чем для незнакомых лиц, когда они сопоставляются с (записанными) голосами. Младенцы чувствительны к иллюзиям Мак-Герка за несколько месяцев до того, как они научатся говорить. Эти и многие другие исследования указывают на роль зрения в развитии чувствительности к (слуховой) речи в первые полгода жизни.

Следующие полгода; роль в изучении родного языка

Примерно до шестимесячного возраста большинство слышащих младенцев чувствительны к широкому спектру речевых жестов, включая те, которые можно увидеть у рта, которые в дальнейшем могут быть, а могут и не стать частью фонологии их родного языка. Но во втором полугодии жизни слышащий младенец демонстрирует сужение восприятия фонетической структуры своего собственного языка и может потерять раннюю чувствительность к бесполезным образцам рта. Звуки речи / v / и / b /, которые визуально различимы в английском языке, но не в кастильском испанском, точно различаются у детей в возрасте до 6 месяцев, подвергшихся воздействию испанского и английского языков. Однако младенцы старшего возраста, подвергшиеся воздействию испанского происхождения, теряют способность «видеть» это различие, в то время как оно сохраняется для младенцев, подвергшихся воздействию английского языка. Такие исследования показывают, что вместо того, чтобы слух и зрение развивались независимым образом в младенчестве, мультимодальная обработка данных является правилом, а не исключением, в (языковом) развитии младенческого мозга.

Раннее языковое производство: от одного до двух лет

Учитывая множество исследований, указывающих на роль зрения в развитии речи у доъязыкового младенца, влияние врожденной слепоты на развитие речи удивительно мало. 18-месячные дети легче заучивают новые слова, когда они их слышат, и не заучивают их, когда им показывают речевые движения без слуха. Однако дети, слепые от рождения, могут путать / m / и / n / в их собственном раннем образовании английских слов - путаница, редко наблюдаемая у зрячих слышащих детей, поскольку / m / и / n / явно различимы, но сбивают с толку на слух. Роль зрения у детей в возрасте 1–2 лет может быть менее критичной для выработки их родного языка, поскольку к этому возрасту они приобретают навыки, необходимые для распознавания звуков речи и имитации их. Однако слух на неродном языке может переключить внимание ребенка на визуальное и слуховое взаимодействие посредством чтения по губам и слушания, чтобы обрабатывать, понимать и воспроизводить речь.

В детстве

В исследованиях на младенцах и детях с доязыком используются косвенные невербальные критерии для определения чувствительности к видимой речи. Явное чтение по губам можно надежно проверить у слышащих дошкольников, попросив их «произнести вслух то, что я говорю беззвучно». У детей школьного возраста можно легко вызвать чтение по губам знакомых закрытых слов, таких как числовые слова. Индивидуальные различия в навыках чтения по губам, которые были проверены, когда ребенка просили «произнести слово, которое вы читали по губам», или сопоставив высказывание по губам с картинкой, показывают взаимосвязь между навыком чтения по губам и возрастом.

У слышащих взрослых: соображения продолжительности жизни

В то время как чтение по губам беззвучной речи представляет проблему для большинства слышащих людей, добавление зрения говорящего к слышимой речи улучшает обработку речи во многих условиях. Механизмы этого и точные способы, которыми помогает чтение по губам, являются темами текущих исследований. Видение говорящего помогает на всех уровнях обработки речи, от распознавания фонетических признаков до интерпретации прагматических высказываний. Положительные эффекты добавления зрения к слышимой речи больше в шумной, чем в тихой обстановке, где, облегчая восприятие речи, видение говорящего может высвободить когнитивные ресурсы, обеспечивая более глубокую обработку речевого содержания.

Поскольку у пожилых людей слух становится менее надежным, люди могут больше полагаться на чтение по губам, и им рекомендуется это делать. Однако более частое чтение по губам не всегда может исправить последствия возрастной потери слуха. Снижение когнитивных функций с возрастом может предшествовать и / или быть связано с измеримой потерей слуха. Таким образом, чтение по губам не всегда может полностью компенсировать совокупное ухудшение слуха и когнитивные способности, связанное с возрастом.

В определенных (слуховых) группах населения

В ряде исследований сообщается об аномалиях чтения по губам у населения с характерными нарушениями развития. Аутизм : люди с аутизмом могут демонстрировать снижение способности читать по губам и снижение зависимости от зрения при восприятии аудиовизуальной речи. Это может быть связано с аномалиями взгляда в лицо у этих людей. Синдром Вильямса : люди с синдромом Вильямса демонстрируют некоторые недостатки в чтении речи, которые могут не зависеть от их зрительно-пространственных трудностей. Специфические языковые нарушения : сообщается, что дети с SLI также демонстрируют пониженную чувствительность к чтению по губам, как и люди с дислексией .

Глухота

На протяжении сотен лет бушевали споры о роли чтения по губам (« устной речи ») по сравнению с другими методами коммуникации (в последнее время - тотальным общением ) в обучении глухих. Степень, в которой тот или иной подход полезен, зависит от ряда факторов, включая уровень потери слуха глухого человека, возраст потери слуха, участие родителей и язык (и) родителей. Затем возникает вопрос о целях глухих, их сообщества и лиц, осуществляющих уход. Целью образования является улучшение коммуникации в целом, развитие жестового языка в качестве первого языка или развитие навыков разговорного языка среди слушателей? Теперь исследователи сосредотачиваются на том, какие аспекты языка и общения могут быть лучше всего представлены с помощью каких средств и в каком контексте, учитывая статус слуха ребенка и его семьи, а также их образовательные планы. Бимодальное двуязычие (владение речью и языком жестов) является одним из доминирующих современных подходов в языковом обучении глухих детей.

Глухие люди часто лучше читают по губам, чем люди с нормальным слухом. Некоторые глухие люди практикуются в качестве профессиональных читателей по губам, например, в судебно-медицинской экспертизе . У глухих людей с кохлеарным имплантатом умение читать по губам до имплантации может предсказать постимплантационную (слуховую или аудиовизуальную) обработку речи. Для многих глухих людей доступ к устному общению может быть облегчен, если устное сообщение передается через обученного профессионального говорящего .

В связи с чтением по губам и развитием грамотности у глухих детей от рождения обычно наблюдается задержка в развитии навыков грамотности, что может отражать трудности в овладении элементами разговорной речи. В частности, надежное отображение фонемы и графемы может быть более трудным для глухих детей, которым необходимо уметь читать речь, чтобы освоить этот необходимый шаг в приобретении грамотности. Навык чтения по губам связан со способностями к грамотности у глухих взрослых и детей, и обучение чтению по губам может помочь развить навыки грамотности.

В Cued Speech используется чтение по губам с сопутствующими формами рук, которые устраняют неоднозначность виземической (согласной) формы губ. Говорят, что слышащим родителям легче выучить управляемую речь, чем язык жестов, и исследования, проведенные в основном в Бельгии, показывают, что глухой ребенок, который в младенчестве слышал звуковую речь, может добиться более эффективных успехов в изучении разговорного языка, чем только чтение по губам. Использование звуковой команды при кохлеарной имплантации при глухоте, вероятно, будет положительным. Похожий подход, предполагающий использование форм рук, сопровождающих видимую речь, - это визуальная акустика , которую некоторые преподаватели используют для поддержки изучения письменной и устной речи.

Обучение и обучение

Целью обучения чтению по губам является развитие понимания природы чтения по губам и отработка способов улучшения способности воспринимать речь «на глаз». Уроки чтения по губам , часто называемые курсами чтения по губам и управления потерей слуха , в основном предназначены для взрослых с потерей слуха. Наибольшая доля взрослых с потерей слуха имеет возрастную , или связанную с шумом потерю ; при обеих этих формах потери слуха сначала теряются высокочастотные звуки. Поскольку многие согласные в речи являются высокочастотными звуками, речь становится искаженной. Слуховые аппараты помогают, но не могут вылечить это. Уроки чтения по губам оказались полезными в исследованиях, проведенных в Великобритании по заказу благотворительной организации Action on Hearing Loss (2012).

Тренеры признают, что чтение по губам - искусство неточное. Студентов учат следить за движениями губ, языка и челюстей, следить за ударением и ритмом речи, использовать свой остаточный слух, со слуховыми аппаратами или без них, следить за выражением лица и языком тела, а также использовать свою способность рассуждать и делать выводы. . Их обучают азбуке чтецов с губ , группам звуков, которые похожи на губы (виземы), такие как p, b, m или f, v. Цель состоит в том, чтобы уловить суть, чтобы иметь уверенность в участии в разговоре. и избежать пагубной социальной изоляции, которая часто сопровождает потерю слуха. Уроки чтения по губам рекомендуются всем, кто плохо слышит в шуме, и помогают приспособиться к потере слуха. ATLA (Ассоциация обучения взрослых чтению по губам) - это профессиональная ассоциация Великобритании для квалифицированных преподавателей чтения по губам.

Тесты

Большинство тестов чтения по губам были разработаны для измерения индивидуальных различий в выполнении определенных задач по обработке речи и для выявления изменений в производительности после тренировки. Тесты на чтение по губам использовались с относительно небольшими группами в экспериментальных условиях или в качестве клинических индикаторов с отдельными пациентами и клиентами. Таким образом, тесты чтения по губам на сегодняшний день имеют ограниченную ценность в качестве маркеров навыков чтения по губам среди населения в целом.

Машинное чтение и говорение по губам

Автоматическое чтение по губам было предметом интереса в вычислительной технике, а также в научно-фантастических фильмах . Вычислительный инженер Стив Омохундро , среди прочих, был пионером его разработки. В лицевой анимации цель состоит в том, чтобы создать реалистичные лицевые действия, особенно движения рта, которые имитируют человеческие речевые действия. Компьютерные алгоритмы деформации или манипулирования изображениями лиц могут управляться устным или письменным языком. Системы могут быть основаны на детальных моделях, полученных на основе движений лица ( захват движения ); по анатомическому моделированию действий челюсти, рта и языка; или о картировании известных свойств висемфонемы. В обучении чтению речи использовалась лицевая анимация (демонстрирующая, как «выглядят» разные звуки). Эти системы представляют собой подмножество моделирования синтеза речи, цель которого - обеспечить надежные выходные данные «текст в (видимую) речь». Дополнительная цель - обратная движению лиц в речи - заключается в разработке компьютерных алгоритмов, которые могут обеспечить реалистичную интерпретацию речи (например, письменную расшифровку или аудиозапись) на основе естественных видеоданных о лице в действии: это распознавание речи по лицу. Эти модели также могут быть получены из различных данных. Автоматическое визуальное распознавание речи из видео оказалось довольно успешным в различении разных языков (из корпуса данных разговорного языка). Демонстрационные модели, использующие алгоритмы машинного обучения, добились некоторого успеха в чтении по губам элементов речи, таких как определенные слова, из видео и для определения фонем, которые трудно читать по губам, из визуально схожих видимых действий рта. Машинное чтение речи теперь успешно использует алгоритмы на основе нейронных сетей, которые используют большие базы данных говорящих и речевого материала (следуя успешной модели для слухового автоматического распознавания речи ).

Использование машинного чтения по губам может включать автоматическое чтение по губам только видеозаписей, автоматическое чтение по губам говорящих с поврежденными речевыми трактами и обработку речи в видео лицом к лицу (т. Е. Из данных видеофона). Автоматическое чтение по губам может помочь в обработке шумной или незнакомой речи. Автоматическое чтение по губам может способствовать биометрической идентификации личности, заменяя идентификацию на основе пароля.

Мозг

После открытия того, что слуховые области мозга , включая извилину Гешля , активируются видимой речью, было показано, что нейронные схемы для чтения речи включают надмодальные области обработки, особенно верхнюю височную борозду (все части), а также задние нижние затылочно-височные области. включая регионы, специализирующиеся на обработке лиц и биологическом движении . В некоторых, но не во всех исследованиях сообщается об активации области Брока для чтения речи, что позволяет предположить, что артикуляционные механизмы могут быть активированы при чтении речи. Исследования динамики аудиовизуальной обработки речи показали, что зрение речи может активировать области слуховой обработки раньше акустического сигнала. Лучшее умение читать по губам связано с большей активацией (слева) верхней височной борозды и прилегающих нижних височных (зрительных) областей у слышащих людей. У глухих схема, предназначенная для чтения речи, очень похожа на схему у слышащих людей, с аналогичными ассоциациями (слева) высшей временной активации и навыка чтения по губам.

использованная литература

Библиография

  • Д. Сторк и М. Хеннеке (редакторы) (1996) Чтение речи людьми и машинами: модели систем и приложений. Серия ASI НАТО F Компьютерные и системные науки Том 150. Шпрингер, Берлин, Германия
  • E.Bailly, P.Perrier и E.Vatikiotis-Bateson (Eds) (2012) Обработка аудиовизуальной речи, Cambridge University Press, Cambridge UK
  • Слушать глазами (1987) , Б. Додд и Р. Кэмпбелл (редакторы), Эрлбаум Асстес, Хиллсдейл, штат Нью-Джерси, США; Hearing by Eye II , (1997) Р. Кэмпбелл, Б. Додд и Д. Бернем (редакторы), Psychology Press, Hove UK
  • Д. У. Массаро (1987, перепечатано в 2014 г.) Восприятие речи на слух и на глаз , Lawrence Erlbaum Associates, Хиллсдейл, штат Нью-Джерси.

дальнейшее чтение

внешние ссылки