Возвращаемся к вопросам роли и места естественного языка в человеко-машинном общении.

Общение человека с компьютером (естественный язык и естественность общения).

Наиболее существенными и привлекательными (в контексте задачи общения с компьютером / компьютерной системой)  свойствами ЕЯ являются:
- максимально широкое использование его человеком в своей повседневной деятельности (это избавляет от необходимости специального изучения формализованного языка общения с ЭВМ и от трудностей, связанных с формулировкой заданий и запросов на таком языке);
- возможность использования естественного языка для выражения качественно различного содержания с любой доступной или желательной человеку степенью строгости и полноты (что гарантирует чрезвычайную широту сферы общения – как в плане охвата самых разнообразных предметных областей, так и в плане варьирования формулировок);
- его открытость и способность служить метаязыком для самого себя (что обеспечивает расширяемость используемых языковых средств).
Эти обстоятельства (обычно упоминается первое – не только потому, что оно действительно важно, но и потому, что оно абсолютно очевидно, лежит на поверхности) служат очень серьезными доводами в пользу общения с компьютером именно на естественном языке. Пока исследования носили чисто экспериментальный характер, эти доводы были достаточны. Однако в наше время, для которого характерна практическая переориентация работ, возникают новые проблемы, ранее остававшиеся в тени.
Часть из них: необходимость отчуждения системы от разработчика, надежность и устойчивость ее функционирования, эффективность реализации, наличие средств сопровождения – возникает и при создании традиционного программного обеспечения. Новые моменты связаны с использованием для общения с машиной именно естественного языка.
Среди проблем, особо актуальных на нынешнем этапе исследований и разработок, укажем:
- тщательный анализ вопроса целесообразности использования ЕЯ в человеко-машинном общении;
- поиск ситуаций, в которых общение с машиной на ЕЯ оправдано технологически и эргономически;
- выявление обстоятельств, учет которых обеспечивает человеку комфортные, естественные условия общения с компьютером;
- анализ пригодности использовавшихся ранее подходов и методов в изменившихся (практическая переориентация) условиях.
Перед автором некоторого искусственного языка общения с машиной (например, языка программирования), конечно же, не стоит вопрос о целесообразности использования созданного языка по прямому назначению. При оценке такого языка речь может идти о выразительных средствах, эффективной реализуемости, легкости усвоения и т.п. Отдельные неудачные решения могут быть изменены в ходе доработки (и отражены в разного рода пересмотренных сообщениях и др.). Объективация языка заключается в создании стандартов, трансляторов, формировании круга пользователей.
Естественный же язык изначально дан разработчикам компьютерных систем извне, он объективирован (и активно используется в речевой практике) в большой социальной группе носителей данного языка, которые привыкли к вполне определенным, человеческим условиям общения (в том числе, рассмотренным в начале данной главы).
Если эти условия (человеческий фактор) будут игнорироваться, язык общения, возможно, сохранив внешнее сходство с тем или иным ЕЯ, потеряет главное – естественность. А учет этих условий требует от разработчиков систем  очень серьезных дополнительных усилий, поскольку предполагает воссоздание (моделирование) нетривиальных человеческих механизмов работы с языком, наделение системы – как «собеседника» пользователя – основными чертами (на уровне информационных процессов) собеседника-человека.
Поэтому при создании компьютерных систем практической ориентации следует тщательно проанализировать, оправданы ли интеллектуальные и материальные затраты (весьма значительные, в нынешних условиях отсутствия в нашей стране рынка готового программно-информационного обеспечения) на их разработку, экономична ли (с учетом ресурсоемкости) их эксплуатация.
Серьезная практическая задача обеспечения общения с ЭВМ на естественном языке требует серьезного и практичного подхода. В каждой конкретной ситуации необходимо учитывать основательность доводов в пользу общения с системой именно на естественном языке, помнить о реально предоставляемых пользователю удобствах (в частности, об утомительности клавиатурного ввода, о возможностях – пока весьма скромных – технических средств обеспечения общения: устройства распознавания и синтеза звучащей речи, читающие автоматы).
Стремление разработчика или заказчика не отстать от моды, создать «высокоинтеллектуальную» информационную систему, оснащенную средствами естественноязычного интерфейса, не является достаточно веским основанием, а дилетантский подход (в этой новой и чрезвычайно сложной области особенно) не только не приводит к успеху, но и дискредитирует саму идею общения с ЭВМ на естественном языке.
Рассмотрим особенности естественного языка, осложняющие его использование для общения с ЭВМ (и, разумеется, задачу автоматической обработки текстов):
•	ЕЯ – большая система (как термин),
•	ЕЯ – иерархическая система,
•	ЕЯ – открытая система,
•	Связи элементов языка обычно неоднозначны,
•	Отдельные носители языка используют индивидуальные модели языка,
•	Использование языка сопровождается речевыми ошибками,
•	Описания языка (построенные специалистами – лингвистами) не полны и не точны.
Задачу обеспечения естественного общения человека с машиной можно принять без каких бы то ни было оговорок. Однако ниоткуда не следует, что наиболее удобным и естественным для пользователя (и целесообразным, с точки зрения разработчика) средством такого общения будет естественный язык. Пререкания с «непонятливым» компьютером, ориентированным на ведение диалога с человеком на так называемом ограниченном естественном языке, могут потребовать более значительных усилий, чем изучение искусственного формального языка общения.
Нас интересуют ситуации, в которых необходимость использования естественного языка диктуется глубинными внутренними причинами:
- характер поручаемых системе заданий, а следовательно, и адресуемых ей сообщений таков (носит предварительный, неформальный характер), что описать их на каком-либо формализованном языке крайне трудно;
- общение пользователя с машиной происходит эпизодически и/или в очень широкой сфере (изучение специального языка общения нецелесообразно, или же он становится необъятным).
Часто в таких случаях альтернативой использованию естественного языка может служить хорошо разработанная схема «выспрашивания» нужной системе информации с помощью традиционных средств организации дружественного интерфейса (меню, опережающий ввод и др.).
Весьма интересен феномен появления гибридных знаковых систем.
Мы знаем, что конструкции естественного языка (слова, словосочетания, предложения, тексты) давно и широко используются в человеко-машинном интерфейсе.
При формулировке общих требований к диалогу часто отмечается, что диалог должен вестись на родном языке пользователя (или на другом понятном и привычном ему языке).
Вспомним:
•	служебные слова в языках программирования, командных и других языках;
•	названия позиций меню, кнопок и т.п.;
•	средства поддержки пользователя:
- сообщения об ошибках,
- справочная информация, 
- внешняя документация.
Можно ли в подобных ситуациях говорить об общении с ЭВМ на естественном языке?
Вряд ли. Средства общения с традиционными компьютерными системами требуют предварительной экспликации, формализации той ситуации, о которой идет речь, привлечения знаний об используемых в системе способах структуризации знаний. Формулируя же адресуемые машине сообщения на естественном языке, человек может не знать: каким набором семантических единиц располагает компьютерная система, в какие формальные структуры будет отображаться содержание сообщения; какие компоненты описываемой ситуации являются в настоящий момент значимыми, а какие –  второстепенными.
Более того, оказавшись в абсолютно новых условиях, человек, как правило, не сможет воспользоваться штатными языками общения с компьютером. Эти обстоятельства могут оказаться решающими при выборе языка общения с машиной как для профессионала (который на очередном этапе решения задачи не располагает пока адекватной формальной моделью и вынужден по этой причине отказаться от привычного для него искусственного языка), так и для конечного пользователя (для которого содержательный уровень общения является единственно доступным).

Лингвистическое и алгоритмическое обеспечение общения с компьютером на естественном языке.

Для того, чтобы привлекательность диалога с компьютером на естественном языке не просто декларировалась, а стала реальностью, необходимо не только тщательно проанализировать условия и сценарии общения, но и:
•	построить формальную модель естественного языка (учитывающую все его ключевые особенности),
•	описать нетривиальное подмножество естественного в рамках этой модели,
•	разработать и реализовать алгоритмы анализа и синтеза текстов.
Один из главных путей развития функциональных возможностей систем общения и повышения качества их работы – создание и внедрение более полных и точных моделей естественных языков, более совершенных алгоритмов анализа и синтеза текста.

Лингвистические банки данных и базы знаний.
Под лингвистическими банками данных (ЛБД) понимаются представленные в электронной форме языковые источники (корпусы текстов) и лингвистические описания.
Иногда в достаточно близком значении используется термин, взятый из работ по искусственному интеллекту, – Лингвистические базы знаний.
Отметим, что в наше время, в ситуации, когда надежность работы систем оптического распознавания близка (на хороших по качеству печатных текстах) к 100%, в электронную форму легко переводимы и традиционные источники информации о языке. Поэтому можно считать, что в ЛБД можно перевести любые полиграфические источники: тексты на том или ином естественном языке, словари, справочники, книги по лингвистике.
Спектр ЛБД достаточно широк: это как необработанные («сырые») корпусы текстов, так и тексты с некоторыми добавлениями, например грамматическими характеристиками слов, стилистическими пометами (разговорное, специальное и т.п.), или описаниями синтаксической структуры предложений (соответствующие корпусы текстов называют размеченными). Сюда также входят разнообразные компьютерные словари: частотные, грамматические, словоформ, тезаурусы, словари словосочетаний и моделей управления, своды грамматических правил и т.п.
Различаться может и назначение лингвистических банков данных. Часть ЛБД предназначена для автоматизации деятельности лингвистов и разработчиков прикладных систем, часть – для непосредственного использования в системах обработки текста и речи: автокорректорах, системах распознавания текста и речи, информационно-поисковых системах.
Два типа технологий формирования ЛБД:
•	Формирование "вручную" экспертами (филологи, специалисты в области применения компьютерной системы); здесь нужны инструментальные средства поддержки их работы.
•	Формирование в автоматизированном режиме с использованием методов машинного обучения; желательно участие экспертов для анализа и коррекции результатов, полученных в автоматическом режиме.

Об автоматизированном формировании лингвистических баз знаний.

В зависимости от решаемых задач ЛБЗ могут включать различные словари, отличающиеся друг от друга глубиной проникновения в структуру описываемого языка и характером содержащейся информации.
Можно выделить несколько уровней глубины проникновения в структуру языка, отражаемых в компонентах ЛБЗ.
	Словари словоформ	
Лексический 	Частотные словари словоформ	
уровень	Словари основ и неизменяемых слов	
	Словари лексических n-грамм	
	Грамматические словари	
	Частотно-грамматические словари	
Синтаксический 	Словари грамматических n-грамм	
уровень	Словарь синтаксем и синтаксические правила	
	Словари моделей управления	
	Толковые словари	
Семантический  уровень	Словари семантических моделей управления	
	Тезаурусы	
	
	Компоненты лексического уровня содержат информацию об особенностях отдельных слов языка, например, об их  морфологических свойствах, частотности, лексической сочетаемости. На синтаксическом уровне представлены знания о правилах связывания лексем в более сложные синтаксические конструкции – словосочетания, предложения, информация о синтаксических свойствах лексем (например каждой лексеме может быть приписан некоторый синтаксический класс и указаны правила сочетания представителей этих классов в предложении).  Семантический уровень содержит информацию о связях понятий предметной области.
	
	Состав ЛБЗ.
	
Следует отметить, что распределение словарных компонентов по уровням является условным. Так, например, лексические n-граммы несут информацию о статистических характеристиках их сочетаемости, отражающую явления и закономерности синтаксического уровня.
Мы рассмотрим некоторые аспекты проблемы автоматизированного формирования лингвистических баз знаний на примере таких их компонентов  как информационно-поисковый тезаурус и словарь лексических биграмм.
Отметим, что в последние годы для формирования других компонентов ЛБЗ широко применяются (иногда и весьма успешно) методы машинного обучения.
Можно указать следующие особенности ЛБЗ современных систем, предназначенных для работы в предметных областях (ПО) реальных масштабов сложности:
•	большой объем лингвистической информации, необходимый для покрытия явлений подъязыка ПО;
•	высокие требования к точности обработки естественно-языкового материала;
•	постоянное обновление ЛБЗ, необходимое для поддержания актуальности хранящихся данных.
Примером задачи, требующей анализа большого потока текстов из широкого круга ПО, предъявляющей высокие требования к качеству обработки лингвистической информации и актуальности ЛБЗ может служить проблема поддержки работы аналитика, получающего большой поток текстовых документов и исследующего всю совокупность документов в их взаимосвязи.
Из требований, вытекающих из первого и третьего пунктов, следует необходимость автоматизации формирования и сопровождения ЛБЗ, поскольку создание и, тем более, поддержание ЛБЗ в актуальном состоянии требуют огромных усилий. Второе требование накладывает условия на качество представленной в ЛБЗ информации и, соответственно, на методы, которые применяются для формирования ЛБЗ. Так, например, в системах распознавания устной речи статистические критерии выбора наиболее подходящего варианта распознавания обеспечивают до 90-95% правильно распознанных слов. Для получения более точного результата необходимо использование более изощренных лингвистических средств, например таких, как локальный синтаксический анализ.
На текущем этапе развития компьютерной лингвистики формирование высококачественных ЛБЗ невозможно как без компьютерной поддержки, так и без участия человека. Важнейшей функцией систем автоматизации формирования ЛБЗ является помощь человеку в решении этой задачи – система должна взять на себя максимум рутинной работы.

Наиболее существенными из таких рутинных операций являются:
•	сбор информации о лингвистических явлениях;
•	анализ собранной информации с целью экспликации скрытых закономерностей между изучаемыми лингвистическими явлениями;
•	предоставления результатов  эксперту в удобной для него форме;
•	организация коллективной работы экспертов по созданию и актуализации ЛБЗ.
Рассмотрим некоторые подходы к формированию информационно-поискового тезауруса. Их можно классифицировать по следующим признакам:
•	 используемые методы (статистические; лингвистические; использующие эвристики, отражающие особенности языка рассматриваемой ПО);
•	 анализируемые источники (произвольные тексты; специально подготовленные тексты, например аннотации или заголовки статей; текстовые источники, содержащие лингвистическую информацию, но ориентированные на ее использование человеком, а не на автоматическою обработку);
•	роль экспертов в процессе формирования (оценка результатов и подбор параметров системы; построение базы эвристик; подготовка тренировочного корпуса текстов; коррекция полученной автоматически предварительной информации).
Наиболее простыми с точки зрения реализации и наименее точными являются чисто статистические методы, основанные на стохастической модели и результатах экспериментов на специально подобранном корпусе текстов.
Обычно рассматривается некоторое множество текстов и составляющих их терминов  и на базе совокупности событий, описываемых частотными характеристиками вхождения терминов в текст (частотности терминов, их взаимной встречаемости) выделяются дескрипторы тезауруса и делаются заключения о наличии между ними некоторых тезаурусных связей. Такие подходы часто приводят к неплохим результатам, однако лишь при серьезных ограничениях на предметную область и характер использования тезауруса. Так, в одной из достаточно старых работ рассматривается одна из попыток статистического формирования информационно-поискового тезауруса, успех который был обусловлен: 
•	 ограниченностью предметной области – один из разделов молекулярной биологии (такая узкая предметная область не балует разнообразием лингвистических явлений);
•	 серьезной предварительной работой по классификации искомых дескрипторов тезауруса (предварительно были выделены такие классы понятий, как имена ученых, названия генов и т.п.).
Важным направлением в автоматизированном формировании ЛБЗ является использование лингвистических источников не предназначенных для автоматической обработки. Неоднократно предпринимались попытки использовать обычные толковые словари (или Википедию) для формирования первого приближения к тезаурусу. При этом, например, рассматриваются специальные ссылки, которые обычно в словарях (англоязычных) выделяются особым образом, такие как: see also, synonym with, see under и т.п.
Устанавливается соответствие между подобными ссылками и тезаурусными отношениями, по словарю выделяются дескрипторы и связи между ними, устраняются противоречия (например, отсутствие в исходном словаре обратных ссылок между дескрипторами, соответствующих прямым). Затем результат предъявляется эксперту, который завершает формирование тезауруса, используя собственные знания.
Однако в толковых словарях могут использоваться для выявления потенциальных тезаурусных отношений между понятиями не только специальные ссылки между словарными статьями, довольно легко выявляемые по тексту словаря, но и информация заключенная в словесных формулировках толкований значений терминов. Толкование обычно раскрывает значение определяемого термина путем ссылок на значения некоторых других описываемых в словаре терминов. Причем для толкований характерны достаточно единообразные способы выражения связей между понятиями. Оказалось, что, исследуя текст  толкования, можно выявить некоторые виды связей между терминами, например, родо-видовые, часть-целое.
По таким связям между парами понятий может быть построен граф, анализируя который можно получить предварительную классификацию терминологического состава словаря, которая может использоваться в качестве нулевого приближения к тезаурусу. Опыт работы нашей группы показал, что при разумном распределении обязанностей между компьютером и человеком можно подготовить за обозримое время приемлемый информационно-поисковый тезаурус.
Лингвистическая информация может быть успешно использована даже при коррекции таких традиционно чисто-статистических компонентов ЛБЗ, как словари лексических n-грамм. Словари n-грамм (обычно используются словари биграмм) часто применяются в задачах распознавания (речи или текстов по графическому представлению), где критерием эффективности является процент правильно распознанного языкового материала (например, слов).
Статистическая информация о встречаемости слов и их комбинаций может помочь выбрать наиболее вероятный омофон (даже при абсолютной надежности акустического и фонетического распознавания) или предпочтительный вариант словоформы (при неоднозначных результатах работы оптического распознавателя).
Для разрешения подобных неоднозначностей могут быть использованы и другие подходы. Например, синтаксический анализатор является более мощным средством улучшения результатов распознавания. Однако алгоритмы разрешения неоднозначности на основе информации из частотных словарей применяются очень широко, поскольку они проще и менее требовательны к вычислительным мощностям системы, чем алгоритмы синтаксического анализа.
Естественно возможность получения верного результата (например правильного выбора второго слова по распознанному  первому  слову  биграммы) будет больше на том корпусе текстов,  на  базе  которого  формировался  данный  словарь биграмм.  Если  множество  текстов было достаточно представительно для некоторой предметной области,  то полученная информация (биграммы  и  их  веса)  будет адекватна и большинству текстов этой ПО.
Обычно очень  трудно  подобрать тексты,  покрывающие всю проблемную область, особенно  для  областей,  в  которых происходит интенсивное накопление знаний.
Выявляются новые свойства объектов исследования,  новые объекты  и, соответственно, появляются новые языковые единицы (например, терминологические сочетания),  или изменяются старые  (например,  модели управления).
Слова и словоформы,  встречающиеся в текстах  ПО,  в  зависимости  от  частотности  их встречаемости отображаются в словаре в  набор биграмм с той или иной степенью адекватности отражающий особенности их сочетаемости в подъязыке предметной области. Лексемы, которые встречались в тексте достаточно часто, получают более адекватную информацию, реже встречающиеся – менее адекватную.
Так, например, некоторые допустимые в языке биграммы могут вообще не встретиться в тренировочном наборе текстов, над которым строился словарь биграмм. При работе системы распознавания это может привести к отбрасыванию некоторых правильных вариантов распознавания, что приводит к заметному ухудшению результатов, особенно в системах с высокими (более 90%) требованиями к надежности распознавания. Практика показала, что наличие возможной биграммы в словаре, даже с очень маленьким весом, дает возможность выбрать правильный вариант с гораздо большей вероятностью, чем при отсутствии такой биграммы.
В нашей исследовательской группе были разработаны методы пополнения словаря биграмм, позволяющие по существующим в словаре биграммам добавить возможные, но отсутствующие биграммы. Пусть, например, высокочастотное слово встречается в нескольких формах в биграммах словаря с некоторым другим словом, а в некоторых формах, являющихся допустимыми с точки зрения синтаксической сочетаемости этих слов, не встречается. В этом случае в словарь добавляются биграммы с недостающими формами и им присваивается небольшой вес в силу их редкой встречаемости. Этот метод был назван "пополнение парадигмы".
Другой метод – "трансформация" – применяется, когда биграмма представляет собой согласованное словосочетание или его часть. Если это словосочетание допускает перефразирование, из которого вытекает допустимость некоторой биграммы, которой нет в словаре, то эта биграмма добавляется.
Следует отметить, что при использовании подобных методов генерации биграмм в словарь могут быть добавлены некоторые биграммы, недопустимые в языке. Однако в силу статистического характера использования словарей биграмм, важно обеспечить лишь то, чтобы шум от несуществующих биграмм, не сводил на нет эффект, получаемый от правильно добавленных биграмм. Использование указанной методики позволило повысить результаты распознавания речи на 1.5-2.0% при исходной надежности распознавания около 95%.
На примере задачи построения информационно-поискового тезауруса и коррекции словаря лексических биграмм лектор старался показать следующие особенности процесса формирования ЛБЗ.
•	 Процесс формирования ЛБЗ должен быть автоматизированным: он не может быть как полностью ручным (из-за больших объемов ЛБЗ), так и полностью автоматическим (в силу необходимости учета знаний носителей языка и экспертов-лингвистов).
•	 Для обеспечения высокого качества работы ЕЯ-систем необходимо корректировать статистическую информацию (выявленную при компьютерной обработке текста и, безусловно, отражающую языковые реалии) с учетом общих лингвистических соображений и явлений, возможно, не проявившихся в исходном корпусе текстов.
Очевидно, что на деятельность разработчика конкретной ЛБЗ могут оказывать существенное влияние временные или экономические (стоимость привлечения высококвалифицированных экспертов) факторы. Однако нельзя забывать, что для создания качественного продукта нужны и время, и знания, и другие ресурсы.

О подготовке к Коллоквиуму № 2.
[Материалы для подготовки к Коллоквиуму № 2 были разосланы студентам после предыдущей лекции. Эти материалы приведены в конспекте следующей лекции. Они комментируются и обсуждаются со студентами.]