Дипломная работа «Технология извлечения знаний из нейронных сетей: апробация, проектирование ПО, использование в психолингвистике»

ВВЕДЕНИЕ

ЦЕЛЬ РАБОТЫ

ОСНОВНЫЕ ЗАДАЧИ ИССЛЕДОВАНИЯ

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ, ПОЛУЧЕННЫЕ ЛИЧНО АВТОРОМ

АПРОБАЦИЯ РАБОТЫ

ПУБЛИКАЦИИ

ГЛАВА 1. ПРОБЛЕМА ИЗВЛЕЧЕНИЯ ЗНАНИЙ И ОБЗОР МЕТОДОВ ИЗВЛЕЧЕНИЯ ЗНАНИЙ

  1.1 ЗНАНИЕ И ПРИОБРЕТЕНИЕ ЗНАНИЙ

    1.1.1 "Знание"

    1.1.2. Приобретение знаний

  1.2. МЕТОДЫ ИЗВЛЕЧЕНИЯ И ПРИОБРЕТЕНИЯ ЗНАНИЙ

    1.2.1. Приобретение знаний, обучение и обобщение по примерам в теории классических экспертных систем

    1.2.1.1. Трудности при разработке экспертных систем

    1.2.2. Методы извлечения знаний из таблиц данных

    1.2.2.1. Технология извлечения знаний из таблиц данных

    1.2.2.2. Таблица эмпирических данных

    1.2.2.3. Статистические методы извлечения знаний из таблицы данных

  1.2.3. Методы идентификации систем

  1.2.4. Другие методы обработки данных

  1.3. ТРЕБОВАНИЯ К ТЕХНОЛОГИИ ИЗВЛЕЧЕНИЯ ЗНАНИЙ

ГЛАВА 2. НЕЙРОННЫЕ СЕТИ

  2.1. КОННЕКЦИОНИЗМ

  2.2. ЭЛЕМЕНТЫ НЕЙРОННЫХ СЕТЕЙ

  2.3. ОСНОВНЫЕ АРХИТЕКТУРЫ НЕЙРОННЫХ СЕТЕЙ

  2.4. ОБУЧЕНИЕ НЕЙРОННЫХ СЕТЕЙ КАК МИНИМИЗАЦИЯ ФУНКЦИИ ОШИБКИ

ГЛАВА 3. УПРОЩЕНИЕ НЕЙРОННОЙ СЕТИ.

  3.1. ЧТО ТАКОЕ УПРОЩЕНИЕ НЕЙРОННОЙ СЕТИ И ЗАЧЕМ ОНО НУЖНО

  3.2. ЗАДАЧА ИЗВЛЕЧЕНИЯ ЗНАНИЙ ИЗ НЕЙРОННОЙ СЕТИ

  3.3. МЕТОДЫ УПРОЩЕНИЯ НЕЙРОННЫХ СЕТЕЙ

    3.3.1. Контрастирование синапсов нейросети

    3.3.2. Контрастирование нейронов нейросети

    3.3.3. Контрастирование входных сигналов нейросети

    3.3.4. Бинаризация синапсов

    3.3.5. Упрощение нелинейных преобразователей нейронов

    3.3.6. Дополнительные модификации алгоритмов контрастирования

    3.3.7. Методы модификации структуры обученной сети

  3.4. ТРЕБОВАНИЯ К ПРОЦЕССУ УПРОЩЕНИЯ СЕТИ ДЛЯ ИЗВЛЕЧЕНИЯ ЗНАНИЙ

  3.5. УПРОЩАЮЩИЕ ОПЕРАЦИИ НАД НЕЙРОННОЙ СЕТЬЮ

  3.6. ПРОЦЕДУРА КОМПЛЕКСНОГО УПРОЩЕНИЯ НЕЙРОННОЙ СЕТИ

ГЛАВА 4. МЕТОДЫ ИЗВЛЕЧЕНИЯ ЗНАНИЙ ИЗ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ

  4.1. СУЩЕСТВУЮЩИЕ МЕТОДЫ ИЗВЛЕЧЕНИЯ ЗНАНИЙ ИЗ ОБУЧЕННОЙ НЕЙРОСЕТИ

    4.1.1. Методы на основе квантования сигналов сети

    4.1.2. Методы извлечения знаний параллельно с обучением нейросети

    4.1.3. Методы извлечения знаний из обученной нейросети

  4.2. МЕТОДЫ ИЗВЛЕЧЕНИЯ ЗНАНИЙ: ТРЕБОВАНИЯ К МЕТОДАМ

  4.3. МЕТОДОЛОГИЯ ИЗВЛЕЧЕНИЯ ЯВНЫХ ЗНАНИЙ, ИСПОЛЬЗУЮЩАЯ ТЕХНОЛОГИЮ КОМПЛЕКСНОГО УПРОЩЕНИЯ НЕЙРОСЕТИ

  4.4. ПРИЕМЫ ПОВЫШЕНИЯ ВЕРБАЛИЗУЕМОСТИ НЕЙРОННОЙ СЕТИ

    4.4.1. Добавление синдрома в набор входных симптомов

    4.4.2. Построение иерархии продукционных правил

    4.4.3. Ручное конструирование сети из фрагментов нескольких логически прозрачных сетей

ГЛАВА 5. НЕЙРОСЕТЕВОЙ АНАЛИЗ СТРУКТУРЫ ИНДИВИДУАЛЬНОГО ПРОСТРАНСТВА СМЫСЛОВ

  5.1. СЕМАНТИЧЕСКИЙ ДИФФЕРЕНЦИАЛ

  5.2. MAN-МНОГООБРАЗИЯ

ЛИТЕРАТУРА

ПУБЛИКАЦИИ АВТОРА ПО ТЕМЕ ДИПЛОМА

ПРИЛОЖЕНИЕ 1. ПЛАКАТЫ ДЛЯ ЗАЩИТЫ ДИПЛОМА.

ПРИЛОЖЕНИЕ 2. СТАТЬЯ: ГОРБАНЬ П.А. НЕЙРОСЕТЕВОЙ АНАЛИЗ СТРУКТУРЫ ИНДИВИДУАЛЬНОГО ПРОСТРАНСТВА СМЫСЛОВ. "НЕЙРОКОМПЬЮТЕРЫ": РАЗРАБОТКА, ПРИМЕНЕНИЕ. 2002, NO 4. С. 14-19.

Целью дипломной работы является апробация гибкой технологии извлечения знаний из нейронных сетей, настраиваемой с учетом предпочтений пользователя. Тестирование, пробная эксплуатация и разработка новой версии программных средств, реализующих данную технологию. Проведение исследований индивидуальных пространств смыслов на основе данной технологии.

1. Анализ разработанных методов извлечения явных знаний из нейронных сетей с указанием их ограничений и областей применимости.

2. Апробация гибкой настраиваемой на основе предпочтений пользователя технологии извлечения знаний, опирающейся на предварительное проведение комплексного упрощения нейронной сети, выполняющегося с учетом сформированных пользователем требований к результирующему виду извлекаемых знаний.

3. Тестирование, пробная эксплуатация и разработка новой версии программных средств, реализующих данную технологию.

4. Усовершенствование метода семантического дифференциала Осгуда при помощи технологии разреживания обучаемых нейронных сетей.

1. Предложены следующие приемы, упрощающие и делающие более гибким процесс вербализации (семантического анализа - осмысления в терминах проблемной области) извлеченного из сети набора правил:

a) На основе гипотезы о неединственности извлекаемых правил и учитывая, что разные фрагменты сети (поднаборы правил) будут более или менее правдоподобны и интерпретируемы, предложено конструирование новой, более понятной пользователю нейронной сети из наиболее просто интерпретируемых фрагментов других сетей, решающих ту же задачу.

b) Предложено добавление выходного сигнала некоторого фрагмента сети (содержательно интерпретируемого и правдоподобного с точки зрения пользователя) в качестве нового интегрального признака в число независимых признаков таблицы данных, и решение задачи извлечения знаний на основе полученного расширенного набора признаков.

2. Разработано техническое задание на новую версию программы-нейроимитатора, реализующую предложенные технологии.

3. Усовершенствован метод семантического дифференциала Осгуда при помощи технологии разреживания обучаемых нейронных сетей. Проведена серия экспериментов, заключающихся в исследовании индивидуальных смысловых пространств, проинтерпретированы их результаты. Предложена гипотеза о структуре индивидуального пространства смыслов: оно состоит из многообразия малой размерности, задаваемого культурой ("ман-многообразия" от немецкого безличного местоимения "man") и сравнительно небольшого множества индивидуальных отклонений, которые могут быть важны для диагностики. Каждая культура имеет небольшое количество специфических для нее ман -многообразий (субкультур).

Основные положения работы докладывались на VI, VII Всероссийских семинарах "Нейроинформатика и ее приложения", (Красноярск, 1998, 2000 гг), I, Всероссийской научно-технической конференции "Нейроинформатика" (Москва, МИФИ, 1999 г.), VI Международной конференции "Математика. Компьютер. Образование" (1999г, Пущино), International Joint Conference on Neural Networks (1999г, Washington, DC, USA), XXXVII Международной научной студенческой конференции "Cтудент и научно-технический прогресс": Информационные технологии. Новосибирск, НГУ, 1999 (награждена Дипломом 3 степени).

По теме диплома автором опубликована 1 статья в научном журнале и 4 тезиса докладов.

Первый параграф определяет понятия "знание" и "приобретение знания".

Второй параграф посвящен обзору существующих методов извлечения и приобретения знаний. Рассматриваются существующие в теории классических экспертных систем методы приобретения знаний, рассматриваются использующиеся для извлечения знаний из таблиц данных методы статистического анализа, математического моделирования и идентификации.

Третий параграф описывает набор требований к направленной на конечного пользователя технологии извлечения знаний. 

Под знанием понимается достаточно широкий спектр информации. В [1,с.430-432] представлена следующая классификация типов знаний:

1. Базовые элементы знания (информация о свойствах объектов реального мира). Связаны с непосредственным восприятием, не требуют обсуждения и используются в том виде, в котором получены.

2. Утверждения и определения. Основаны на базовых элементах и заранее рассматриваются как достоверные.

3. Концепции - перегруппировки или обобщения базовых элементов. Для построения каждой концепции используются свои приемы (примеры, контрпримеры, частные случаи, более общие случаи, аналогии).

4. Отношения. Выражают как элементарные свойства базовых элементов, так и отношения между концепциями. К свойствам отношений относят их большие или меньшие правдоподобие и связь с данной ситуацией.

5. Теоремы и правила перезаписи - частный случай продукционных правил (правил вида "если…, то…, иначе…") с вполне определенными свойствами. Теоремы не представляют пользы без экспертных правил их применения.

6. Алгоритмы решения. Необходимы для выполнения определенных задач. Во всех случаях они связаны со знанием особого типа, поскольку определяемая ими последовательность действий оказывается оформленной в строго определенном порядке, в отличие от других типов знаний, где элементы знания могут появляться и располагаться без связи друг с другом.

7. Стратегии и эвристика. Врожденные или приобретенные правила поведения, которые позволяют в конкретной ситуации принять решение о необходимых действиях. Человек постоянно пользуется этим типом знаний при формировании концепций, решении задач и формальных рассуждениях.

8. Метазнание. Присутствует на многих уровнях и представляет знание того, что известно, определяет значение коэффициента доверия к этому знанию, важность элементарной операции по отношению ко всему множеству знаний. Сюда же относятся вопросы организации разного типа знаний и указания, где, когда и как они могут быть использованы.

В настоящей работе первому типу знаний будет соответствовать информация об измеримых (или наблюдаемых) свойствах объектов реального мира. Именно эта информация сведена в таблицу данных типа "объект-признак". Остальным типам знаний соответствуют ограничения на диапазоны значений, которые могут принимать признаки объекта (второй тип), информация о взаимозависимости признаков и о возможности описания одних признаков через другие, информация о статистических свойствах значений признаков,… Фактически, нас интересует знание второго и последующих типов - знание, которое человек добывает в процессе анализа информации, рассуждений, обобщений, проведения аналогий.

Естественным является требование представления знаний в виде, допускающем "тиражирование" - возможность передачи знаний другим людям. Для первого типа знаний возможно получение как объективных (точно измеренных) значений свойств объектов реального мира, так и субъективных, персонализированных, чувственных оценок значений этих свойств. Для знаний последующих типов для возможности передачи вводятся требования объективизации, достоверности, непротиворечивости [1].

Информационные единицы (знания) обладают гибкой структурой [2]. Для них выполняется "принцип матрешки" - рекурсивная вложенность одних информационных единиц в другие (это наблюдается и на примере вышеприведенной классификации из [1]). Каждая информационная единица может быть включена в состав любой другой, и из каждой информационной единицы можно выделить некоторые составляющие ее единицы. Т.е. между отдельными информационными единицами возможно установление отношений типа "часть - целое", "род - вид" или "элемент - класс".

Для информационных единиц одного уровня иерархии семантика отношений может носить декларативный или процедурный характер [2]: две или более информационных единицы могут быть связаны декларативными отношениями "одновременно", "причина - следствие" или "быть рядом", либо процедурными отношениями типа "аргумент - функция".

Можно различать отношения структуризации, процедурные отношения, каузальные отношения и семантические отношения. С помощью первых задаются иерархии информационных единиц, вторые несут процедурную информацию, позволяющую находить (вычислять) одни информационные единицы через другие, третьи задают причинно-следственные связи, четвертые соответствуют всем остальным отношениям [2]. 

Приобретением знаний называется выявление знаний из источников и преобразование их в нужную форму (например, перенос в базу знаний экспертной системы) [2]. Источниками знаний могут быть книги, архивные документы, содержимое других баз знаний и т.п., т.е. некоторые объективизированные знания, переведенные в форму, которая делает их доступными для потребителя. Другим типом знаний являются экспертные знания, которые имеются у специалистов, но не зафиксированы во внешних по отношению к ним хранилищах. Экспертные знания являются субъективными. Еще одним видом субъективных знаний являются эмпирические знания, полученные путем наблюдения за окружающей средой. Ввод в базу знаний объективизированных знаний не представляет проблемы, выявление и ввод субъективных экспертных знаний достаточно трудны. Для извлечения и формализации экспертных знаний разработано множество стратегий интервьюирования эксперта и множество моделей представления знаний [2].

В когнитивной психологии изучаются формы репрезентации знаний, характерные для человека: представление класса понятий через его элементы; представление понятий класса с помощью базового прототипа, отражающего наиболее типичные свойства объектов класса; представление с помощью признаков [3]. Форма репрезентации знаний определяет используемую методологию выявления знаний и модель представления знаний.

К настоящему времени сформировалось три основных направления извлечения знаний. Эти направления могут использовать одни и те же математические методы; подходы, первоначально разработанные в рамках некоторого направления, могут применяться для решения задач из другого направления. Вот эти направления:

1. Методы самообучения и приобретения знаний в теории классических экспертных систем (Параграф 1.2.1).

2. Извлечение знаний из таблиц данных. Включает теорию статистических выводов и другие методы анализа данных (Параграф 1.2.2).

3. Теория идентификации систем (Параграф 1.2.3). 

Исследуется автоматизированный процесс получения знаний, объясняющих имеющиеся факты и способных объяснять, классифицировать или предсказывать новые. В общем виде задача формулируется так [2]: по совокупности наблюдений (фактов) F, совокупности требований и допущений к виду результирующей гипотезы H и совокупности базовых знаний и предположений, включающих знания об особенностях предметной области, выбранном способе представления знаний, наборе допустимых операторов, эвристик и др., сформировать гипотезу Н: H==>F (Н "объясняет" F).

Общий вид гипотезы Н зависит от цели обобщения и выбранного способа представления знаний. Методы обобщения, включающие модели классификации, формирования понятий, распознавания образов, обнаружения закономерностей, определяются целями обобщения, способами представления знаний, общими характеристиками фактов, критериями оценки гипотез.

Для обобщения по выборкам совокупность фактов F имеет вид обучающей выборки - множества объектов, каждый из которых сопоставляется с именем некоторого класса. Целью обобщения в этом случае может являться:

- формирование понятий: построение по данным обучающей выборки для каждого класса максимальной совокупности его общих характеристик [4];

- классификация: построение по данным обучающей выборки для каждого класса минимальной совокупности характеристик, которая отличала бы элементы класса от элементов других классов;

- определение закономерности последовательного появления событий.

К методам обобщения по выборкам относятся лингвистические модели, методы автоматического синтеза алгоритмов и программ по примерам и другие [2].

В методах обобщения по данным априорное разделение фактов по классам отсутствует. Здесь могут ставиться следующие цели:

- формулирование гипотезы, обобщающей данные факты;

- выделение образов на множестве наблюдаемых данных, группировка данных по признакам (задача формирования понятий, определенная в модели обобщения по выборкам, также часто ставится без априорного разбиения обучающей выборки по классам) [4];

- установление закономерностей, характеризующих совокупность наблюдаемых данных [5].

Рассмотрим кратко связь между задачами обобщения и классификации и задачами, решаемыми в рамках теории вероятностей и математической статистики. В математической статистике ставятся и решаются задачи вывода новых знаний на основании анализа совокупности наблюдений, при этом устанавливаются частотные закономерности появления событий: определяются общий вид и параметры функций распределения вероятностей событий по данным наблюдений, делаются выводы о степени статистической зависимости наблюдаемых случайных величин, проверяются гипотезы о характеристиках случайного события. Действительно, в задаче формализации и вывода знаний о реальном мире нельзя не учитывать наличия статистических закономерностей в его проявлениях. Общая же задача формирования гипотез по данным наблюдений не ограничивается установлением статистических закономерностей. Так, разработаны формально-логические модели выдвижения гипотез [6], которые используются в теории искусственного интеллекта.

С точки зрения способа представления знаний и допущений на общий вид объектов наблюдений, методы обобщения делятся на методы обобщения по признакам и структурно-логические (или концептуальные) методы [2]. В первом случае объекты представляются в виде совокупности значений косвенных признаков. Методы обобщения и распознавания по признакам различаются для качественных (номинальных или порядковых) и количественных (измеримых) значений признаков. Структурно-логические методы, в отличие от признаковых, предназначены для решения задачи обобщения на множестве объектов, имеющих внутреннюю логическую структуру (последовательности событий, иерархически организованные сети, характеризуемые как признаками и свойствами объектов - элементов сети, так и отношениями между ними). В формально-логических системах, использующих структурно-логические методы обобщения, вывод общих следствий из данных фактов называют индуктивным выводом. Сформулированы основные вопросы, на которые должны давать ответы индуктивные логики и методы выдвижения гипотез:

1. Является ли гипотеза Н обоснованной данным знанием?

2. Существуют ли методы обоснования Н при данном знании?

3. Каковы условия для Н при данном знании, такие, что Н дает наиболее разумное и интересное объяснение?

4. Существуют методы для выдвижения гипотез на основании данного знания, дающих наиболее разумное и интересное объяснение изучаемого явления?

В экспертных системах (ЭС) для представления знаний об объектах используются обычно модификации языка исчисления предикатов без ограничения арности предикатных символов или адекватные им по выразительной мощности семантические сети [2]. Моделям обобщения на семантических сетях свойственны черты как алгоритмов обобщения по признакам, так и индуктивной логики. Здесь также определяется набор операторов, используемых при формировании обобщенного представления (гипотезы) Н, и выдвигаются критерии оценки "интересности" и обоснованности гипотез. Кроме того, в этих моделях широко используется характерный для обобщения по качественным признакам [7] аппарат теории покрытий и устанавливаются отношения на множестве значений признаков объектов-элементов сети. Методами структурного обобщения решаются обычно задачи классификации, формирования понятий, анализа сцен [2].

Для задачи обобщения по признакам известен следующий результат: каков бы ни был реальный вид разделяющей функция (в общем случае - индуктивной гипотезы Н) и алгоритм ее формирования по обучающей выборке, всегда найдется такая (непустая) обучающая выборка, что сформированная функция ' (гипотеза Н') явится некорректной (ложной).

 

 

Купите полную версию диплома.