Нейросетевые технологии. Конспект

Александр Кириченко

Нейросетевые технологии (Нейрокомпьютинг) – это инструмент,в котором подсмотренные у природы принципы, методы, технологии удаётся рименить для решения задач, связанных с проявлением интеллекта. Для этого в нём используются различные нейроконструкции: нейроны, нейросети, искусственные нейронные ансамбли, многослойные системы человеко-машинного общения, алгоритмы, позволяющие реализовать «человеческие» принципы решения возникающих задач.

© Александр Кириченко, 2022

ISBN 978-5-0056-2771-1

Создано в интеллектуальной издательской системе Ridero

Проблемы подготовки нейроконструкторов

Дисциплина «Нейросетевые технологии» строится на использовании нейронов — элементов, устройство которых и принцип действия подсмотрены у природы.

Из истории искусственных нейронных сетей известно, что в 1791 году итальянский врач, анатом и физиолог, один из основателей электрофизиологии Луиджи Гальвани (1737—1798) издал «Трактат об электрических силах при мышечном движении», основанный на его выводах о наличии в живых организмах гальванического электричества.

С этим было связано начало активного изучения нервной системы живых организмов.

Среди используемых инструментов в дальнейшем самым значительным стало появление электронных вычислительных машин.

В основе всех компьютеров с 1940-х годов лежала архитектура фон Неймана с разделенными процессингом и памятью. В 1956 году на конференции в Дортмунде было принято решение об образовании нового научного направления в программировании под названием «искусственный интеллект (ИИ)».

В 1980 году Япония объявила о создании вычислительных систем 5 поколения. Предполагалось, что создаваемые вычислительные системы кроме обычных компьютеров будут содержать машины логического вывода, базу знаний, систему общения, а создаваемые вычислительные системы будут оснащаться интеллектуальными блоками — аналогами человеческого интеллекта, человеческой интуиции. Для этого в программном обеспечении систем 5 поколения активную роль будут играть средства искусственного интеллекта.

Что собой представляет интеллект, за счёт чего и как он появляется, нигде не сформулировано, науке пока неизвестно. Тем более, что должен представлять собой искусственный интеллект (ИИ), тоже однозначно не определено. Предполагается, что интеллект — это продукт деятельности мозга.

Продолжительный период эволюции придал мозгу человека много качеств, отсутствующих в современных компьютерах с архитектурой фон Неймана. К ним относятся:

— способность к обучению и обобщению

— ассоциативность и адаптивность

— толерантность к ошибкам

С появлением современной электроники начались попытки аппаратного моделирования нейрофизиологических процессов, в том числе — и перечисленных.

Считается, что базовым элементом мозга человека являются специфические клетки, известные как нейроны, способные думать и применять предыдущий опыт к каждому действию, что отличает их от остальных клеток тела.

Структурный подход к моделированию мозга реализуется на нескольких уровнях (этапах).

— Вначале создается информационная модель отдельной нервной клетки — искусственного нейрона (ИН), что составляет первый уровень нейронного моделирования. Что эта клетка собой представляет, изложено в разных публикациях. Так, в https://ailab.ru/ Александр Бахшиев описал концепцию применения биоподобных моделей нейронов для управления робототехническими системами. К числу перспективных моделей нейрона принадлежит и модель В.Б.Вальцева, исследование которой проводилось разными научными коллективами, результаты которых так же отражены в Интернет.

— Ограниченное число искусственных нейронов далее могут структурироваться в жесткие необучаемые конфигурации — искусственные нейронные ансамбли (ИНА), что составляет второй уровень нейронного моделирования. В их состав входят ИНА, реализующие функции:

— выбора максимального или минимального входного сигнала,

— оценки эквивалентности (равенства) входных сигналов,

— классификации

— ранжирования (сортировки)

— прогнозирования

— и др.

— Наконец, создаются конфигурации из большого числа искусственных нейронов, которые с помощью специальной процедуры обучения могут гибко изменять свои параметры. Такие конфигурации называются искусственными нейронными сетями (ИНС). Они составляют третий уровень нейронного моделирования.

— На четвёртом уровне создаются комплексы, содержащие большое количество нейронных сетей различного назначения и оформляются в виде нейросетевых моделей, систем управления, и т.д., вплоть до нейрокомпьютеров.

Множество проблем, не поддающиеся решению традиционными компьютерами, могут быть эффективно решены с помощью нейросетей.

Что касается нейросетевых технологий, то в 1943 г. вышла статья нейрофизиолога Уоррена Маккалоха (Warren McCulloch) и математика Уолтера Питтса (Walter Pitts) про работу искусственных нейронов и представление модели нейронной сети на электрических схемах. В настоящее время предпринимаются попытки реализовать на них свойства искусственного интеллекта.

Интеллект — это совокупность умственных способностей живого организма, обеспечивающих успех его познавательной деятельности. Интеллект обычно связан с мышлением. Поэтому ожидается, что новое изделие, в котором появился искусственный интеллект становится более умным, что в нём появляется какая-то особенная новизна, необычность, появление невиданных ранее свойств.

Чем искусственный интеллект отличается от естественного интеллекта, которым обладает человек? Если бы понимать сущность и причины этих отличий, можно было бы повысить эффективность обучения при подготовке квалифицированных нейроконструкторов — людей, которых мы обучаем в «Нейросетевых технологиях»:

— конструированию нейрокомпьютеров,

— нейросетевым исследованиям хозяйственных процессов,

— моделированию интеллекта высшей нервной системы человека.

Естественным для человека является использование основных принципов мозга — ассоциативное мышление, использование принципов обучения (самообучения) и адаптации, использование связей «если — то», «посылка — следствие», лежащих в основе распознавания, управления, принятия решений. До начала использования ИИ они не применялись в компьютерах.

По мере развития искусственного интеллекта появлялись новые его свойства и проявления, новые нейроконструкции. Появилось и новое понятие: нейрокомпьютер.

Конструктивными элементами нейрокомпьютеров являются такие физические компоненты, как нейроны, искусственные нейронные сборки, нейросети, а так же — обслуживающие их операционные системы, программы для создания нейросреды, нейропакеты. К конструктивным элементам нейрокомпьютеров относятся и алгоритмы выполнения интеллектуальных операций, и типовые сценарии, и модели выполняемых с помощью нейросетей работ. Они характеризуют состав решаемых проблем.

Раньше считалось, что основной особенностью искусственных нейросетей является «обучение на примерах». Впоследствии к этой их особенности добавилась возможность моделировать получение новых знаний, извлечение их и представление в виде правил продукции, выполнение довольно сложных операций при обработке знаний, в число которых входят накопление, классификация, прогнозирование, и др.

При сопоставлении естественного и искусственного интеллекта (ЕИ и ИИ) обращает на себя внимание, что они имеют совершенно разные целевые направленности. Для ЕИ главное — это поддержание и сохранение жизни. А для ИИ этих проблем чаще всего нет. Но в ЕИ очень активно используются такие методы работы со знаниями, о которых специалисты по искусственному интеллекту даже не думают.

Интуиция, внимание, сознание, подсознание, смысл, ассоциации, понимание, осмысление, в искусственном интеллекте практически неизвестны.

Глубоко не используется логическое мышление.

Практически не используются образное и интуитивное мышления, которые вместе выполняют более половины функций, используемых в естественном интеллекте.

Очень широко в естественном интеллекте работает такая разновидность знаний, как эмоции, а в искусственном интеллекте её просто нет.

Можно ли каким-то образом определить, что ещё может дополнить эти различия?

Летом 1994 г. научным обществом был проведен Всемирный конгресс по нейронным сетям, на котором были определены следующие направления фундаментальных исследований по нейросетевым технологиям:

Интеллектуальность нейросетевых конструкций

— Биологическое зрение. Работа с объектами зрительной сцены живого мира.

— Машинное зрение. Раздел охватывает аспекты моделирования зрительных функций в технических системах. Особое внимание уделеняется принципам избирательного внимания к компьютерным объектам зрительной сцены.

— Речь и язык. Различные аспекты синтеза и распознавания речи.

— Биологические нейронные сети. Тематика раздела охватывает свойства отдельных нейронов, нейронных сетей управления движением и слухом, аспекты обучения в биологических сетях, а также пути перехода от биологических нейронов к искусственным (кремниевым).

— Нейроуправление и робототехника.

— Обучение с учителем.

— Обучение без учителя.

— Распознавание образов.

— Прогноз и идентификация систем. Для рассмотрения методов кибернетического моделирования сложных систем на базе нейронных сетей.

— Нейронаука о сознании. Аспекты организации и моделирования высшей нервной деятельности.

— Связь науки о сознании с искусственным интеллектом.

— Нечеткие нейронные системы. Построение нейромоделей нечеткой логики.

— Обработка сигналов. Одна из старейших областей приложений нейронных сетей и теории распознавания образов — выделение и анализ свойств сигнала из шума.

— Нейродинамика и хаос. Свойства нейронных сетей, как нелинейных динамических систем.

— Аппаратные реализации. Ключевой вопрос перспективных приложений — новые физические принципы и среды для обработки информации.

— Ассоциативная память.

— Нейровычисления и виртуальная реальность. Возможность применения нейронных сетей и высокопараллельных вычислений на них для создания искусственной реальности: сложная аппаратно-программная система виртуальной реальности моделирует основные сигналы, воспринимаемые человеком от внешнего мира и реагирует на его действия, подменяя собой реальный мир.

— Сети и системная нейронаука. Временное поведение сигналов в нейронных контурах как биологических, так и искусственных сетей.

Конгресс 1994 года успешно состоялся. После него прошли и другие форумы, нейроинформатика пополнилась новыми, ранее неизвестными алгоритмами, средствами нейродинамики, системами памяти, и другими нейроконструкциями.

В литературе состав работ, связанных с «Нейрокибернетикой» обычно представляется тремя направлениями:

— Разработка и программная реализация математических моделей искусственных нейросистем (ИНС).

— «Разработка и использование нейрокомпьютеров (НК)»

— «Разработка и реализация математических моделей высшей нервной системы человека (ВНСЧ)».

Первое из выделенных направлений, известное так же под названием «Нейросетевые исследования хозяйственных процессов (решение задач кластеризации, классификации, прогнозирования, узнавания, предсказания)» или «Разработка и использование нейропакетов», связано с построением и применением нейросетей из искусственных нейронов. Для их программной реализации создаются нейропакеты (НП). В ИНС, как правило, используются модели простых нейронов, бистабильные или реализующие элементарные нелинейные функции (например, функцию знака, сигмоидальные функции и т. д.).

Второе направление связано с физической реализацией нейросетей — с нейрокомпьютерами (НК), их разработкой и использованием. В НК так же находят применение модели простых нейронов, нейросетей и элементы, реализующие некоторые конструкции из вычислительной техники. Обращает на себя внимание, что главным в этом направлении является то, как реализовать работу нейросетей, возможность расширения состава решаемых интеллектуальных задач не за счёт поиска новых алгоритмов работы мозга и совершенствования конструкции нейросетей, а за счёт применения известных алгоритмов лингвистики, математической статистики, вычислительной техники.

Третье направление связано с разработкой моделей Высшей нервной системы человека, использующих достижения специалистов медицинского и биологического профиля, основанных на результатах биохимических исследований, активном исследовании сенсорных, внутренних (чувство равновесия), эффекторных (управление мышцами, внутренними органами, сосудами) нейронных структур человека. Среди них наиболее важными являются исследования, направленные на моделирование неизвестных алгоритмов мыслительной деятельности, таких, как интуиция, возникновение ассоциаций, особенностей протекания креативного мышления, образного мышления и реализации алгоритмов обработки образов, а так же — характерного для мышления динамического преобразования образов в рекуррентных, и особенно — в рекурсивных нейросетях.

Накопленный опыт показал, что Учебно-методический комплекс (УМК) «Нейросетевые технологии» должен состоять из четырёх частей:

1) Основы теории искусственных нейронных сетей

2) Нейросетевые исследования хозяйственных процессов (решение задач кластеризации, классификации, прогнозирования, узнавания, предсказания).

3) Конструирование искусственных нейронов и нейронных ансамблей для работы со смысловой частью информации

4) Нейросетевое программирование (от искусственных нейронных сетей до моделирования высшей нервной деятельности человека).

При изучении нейрокибернетики в первой части учащихся знакомят с устройством нейронных сетей и их возможностями. На практических занятиях изучается устройство и работа с нейропакетами Sharky, нейропакетом Пермской школы искусственного интеллекта, универсальным нейропакетом MemBrain.

Вторая часть даёт возможность познакомиться с другими нейропакетами (например, freeware нейропакетом Deductor Academic) и научиться решать практически возникающие задачи узнавания, классификации, прогнозирования, предсказания, сжатия, кластеризации объектов (образов). Для решения таких задач необходимы в основном простые нейросети типа перцептронов, сетей Кохонена, сетей Хопфилда, и др., которые можно отнести к нейроконструкциям первого уровня сложности.

Третья часть направлена на разработку и использование нейрокомпьютеров (проектирование и конструирование нейроконструкций (НК) на основе использования нейрологических элементов, таких как И, ИЛИ, НЕ; разработка программного обеспечения (ПО) НК; обучение НК решению различных классов задач).

Нейросетевые конструкции становятся более сложными, в них используется интерфейс пользователя, автоматизируется управление проведением нейросетевых исследований, нейрокомпьютерные элементы реализуются в виде искусственных нейронных ансамблей (ИНА).

Самое главное, что нейроконструкции этого уровня создаются для работы со смысловой частью информации:

— сопоставление сложных объектов и оценку их сходства;

— выделение типового объекта из группы однородных;

— поиск типичных черт, существенных признаков;

— формирование описания типового объекта, выделение его отличительных черт;

— определение понятий (дефиниции);

— выявление причинно-следственных связей;

— интерпретация связей и свойств исследуемых объектов;

— генерация гипотез;

— выявление закономерностей;

— самообучение, адаптация.

Если необходимых нейросетевых алгоритмов в момент исследования неизвестно, в таких нейроконструкциях допускается использование известных алгоритмов из математической статистики, например, для выявления причинно-следственных связей, формирования существенных признаков, генерации гипотез, а так же — таких конструкций, как систем управления базами знаний (СУБЗ). В них можно использовать не выполненные в виде нейронных сетей логические элементы, а обычные цифровые программы.

Конец ознакомительного фрагмента.