Теории нейронных сетей и вычислительным системам

Теории искусственных нейронных сетей

Нейронные сети и вычислительные системы на их основе. Алгоритмы генетического поиска для построения топологии и обучения нейронных сетей. Линейные преобразования векторов. Биологический нейрон и его строение. Признаковое и конфигурационное пространство.

Отправить свою хорошую работу в базу знаний просто. Используйте форму, расположенную ниже

Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.

Размещено на http://www.allbest.ru/

Лекции по теории искусственных нейронных сетей

Лаборатотория Искусственных Нейронных Сетей НТО-2, ВНИИТФ,

Снежинск

ЛЕКЦИЯ 1. Вводная

Введение в предмет Computational Neuroscience (вычислительная нейронаука). Истоки нейронауки: достижения биологии и физиологии, психологии, дискретная математики, кибернетики, статистической физики и синергетики. Роль компьютерного моделирования. Философские основания нейронауки. Исторический обзор. Структура курса. Учебная и ознакомительная литература.

«Подмигните компьютеру — он поймет». В начале 90-х под таким заголовком в старейшей уважаемой газете Нью-Йорк Таймс появилась статья, рассказывающая о современных достижениях и направлениях в области интеллектуальных компьютерных систем. Среди магистральных путей развития данной отрасли эксперты издания выделили

· Компьютеры с высокой степенью параллелизма обработки информации, которые могут разделить ту или иную задачу на части и обрабатывать их одновременно, тем самым значительно сокращая общее время вычислений;

· Компьютеры, в которых вместо электронных сигналов для передачи информации используется оптика. Оптические сигналы уже начали использоваться для передачи данных между компьютерами;

· Компьютеры с нейронными сетями, представляющие собой машины, работающие аналогично тому, как по нашим современным представлениям, функционирует мозг.

Последнее, третье, направление, которое существенно опирается на первые два, и составляет основную тему предлагаемого курса Лекций. При этом курс сфокусирован лишь на одном из разделов направления искусственных нейронных сетей, а именно, на нейроинформатике, как науке, изучающей нейроподобные способы обработки информации при помощи компьютеров.

Разнообразие, большой объем и противоречивость различной диагностической информации выводят на передний план проблему поиска физических систем, способных к ее переработке. Решение этой комплексной задачи тесно связано с новыми информационными технологиями, важное место среди которых занимают методы распознавания и категоризации образов. Нейронные сети — мощный и на сегодня, пожалуй, наилучший метод для решения задач распознавания образов в ситуациях, когда в экспериментальных данных отсутствуют значительные фрагменты информации, а имеющаяся информация предельно зашумлена. Высокая степень параллельности, допускаемая при реализации нейросистем, обеспечивает обработку недоступных оператору объемов информации за времена, меньшие или сравнимые с допустимыми временами измерений.

К рубежу 80-х годов были достигнуты значительные результаты в совсем молодой синергетике, науке о самоорганизации в неравновесных системах; систематизированы факты и проведены многочисленные новые эксперименты в нейрофизиологии, в частности, подробно изучено строение и механизм действия отдельных нейронов; сформулирован принцип работы и создана первая ЭВМ с параллельной архитектурой. Эти обстоятельства, по-видимому, стимулировали начало интенсивных исследований нейронных сетей, как моделей ассоциативной памяти.

Широкий интерес к нейронным сетям был инициирован после появления работы Хопфилда (Hopfield J.J., 1982), который показал, что задача с изинговскими нейронами может быть сведена к обобщениям ряда моделей, разработанных к тому моменту в физике неупорядоченных систем. Работа сети Хопфилда (наиболее подробно обсуждаемая в физической литературе) состоит в релаксации начального «спинового портрета» матрицы двоичных кодов к одному из стационарных состояний, определяемых правилом обучения (правилом Хебба). Таким образом, данная сеть может применяться для задач распознавания.

В 1986 году появилась работа Румельхарта, Хинтона и Вильямса (Rumelhart D.E., Hinton G.E., Williams R.J., 1986), содержавшая ответ на вопрос, долгое время сдерживавший развитие нейроинформатики — как обучаются иерархические слоистые нейронные сети, для которых «классиками» еще в 40-50 х годах была доказана универсальность для широкого класса задач. В последующие годы предложенный Хинтоном алгоритм обратного распространения ошибок претерпел бесчисленное множество вариаций и модификаций.

Многообразие предлагаемых алгоритмов, характеризующихся различной степенью детальности проработки, возможностями их параллельной реализации, а также наличием аппаратной реализации, приводит к особой актуальности исследования по сравнительным характеристикам различных методик.

Нейронаука в современный момент переживает период перехода от юного состояния к зрелости. Развитие в области теории и приложений нейронных сетей идет в самых разных направлениях: идут поиски новых нелинейных элементов, которые могли бы реализовывать сложное коллективное поведение в ансамбле нейронов, предлагаются новые архитектуры нейронных сетей, идет поиск областей приложения нейронных сетей в системах обработки изображений, распознавания образов и речи, робототехники и др. Значительное место в данных исследованиях традиционно занимает математическое моделирование.

Необходимость написания систематического курса по теории нейронных сетей и вычислительным системам на их основе во многом определяется отсутствием отечественных учебных монографий по этой теме. Кроме того, сама эта тема пока не заняла свое место в традиционных курсах университетов и ВУЗов. И хотя промышленные эксперты американского Управления перспективных исследований DARPA ожидают начало массового распространения новой нейросетевой технологии в конце 90-х годов, уже сегодняшний уровень теоретического понимания и практического использования нейронных сетей в мировой информационной индустрии все явственнее требует профессиональных знаний в этой области.

Главной задачей предлагаемого курса является практическое введение в современные методы и системы обработки информации, объединенные в научной литературе термином Computational Neuroscience (вычислительная нейро-наука), а также введение в перспективные подходы построения вычислительных и информационных систем новых поколений. Особенностью рассматриваемой нами темы является ее междисциплинарный характер. Свой вклад в становление нейронауки внесли биология физиология высшей нервной деятельности, психология восприятия, дискретная математика, статистическая физика и синергетика, и, конечно, кибернетика и, конечно, компьютерное моделирование.

Лекции содержат основную информацию о принципах организации естественных (биологических) нейронных сетей и их математических моделей — искусственных нейронных сетей, необходимую для синтеза нейросетевых алгоритмов для практических задач. Для этой цели в книгу включены две вводные темы — математическое введение (Лекция 2) и вводные биологические сведения (Лекция 3). Формальное математическое наполнение курса сведено к минимуму и опирается на базовые знания по курсам линейной алгебры и дифференциальных уравнений. Поэтому он может быть рекомендован и, в основном, предназначен для студентов инженерных специальностей, а также математиков-прикладников и программистов.

Источник