Нейросетевое программирование. Инструментарий нейрокомпьютинга

Александр Кириченко

Данная книга в основном посвящена четвёртому уровню моделирования мозга (создание комплексов, содержащих большое количество совместно работающих нейронных сетей различного назначения, которые оформляются в виде нейросетевых моделей, систем управления, нейроконструкций, гибридных нейронных сетей и т. д. вплоть до нейрокомпьютеров) и представляет интерес учащимся в магистратуре, аспирантами лицам, углублённо специализирующимся на нейросетевых технологиях.

© Александр Кириченко, 2020

ISBN 978-5-0051-6327-1

Создано в интеллектуальной издательской системе Ridero

Нейроконструкции и модели управления

Структурный подход к моделированию мозга реализуется на нескольких уровнях (этапах). В основах теории искусственных нейронных сетей [3] рассматриваются 4 уровня нейросетевого моделирования:

1. Вначале создается информационная модель отдельной нервной клетки — искусственного нейрона (ИН), что составляет первый уровень нейронного моделирования.

2. Ограниченное число ИН далее могут структурироваться в жесткие необучаемые конфигурации — искусственные нейронные ансамбли (ИНА), что составляет второй уровень нейронного моделирования.

3. Третий уровень нейронного моделирования составляют искусственные нейронные сети (ИНС). Это нейросетевые конструкции, которые с помощью специальной процедуры обучения могут гибко изменять свои параметры.

4. На четвёртом уровне создаются комплексы, содержащие большое количество совместно работающих программ и нейронных сетей различного назначения, которые оформляются в виде нейросетевых моделей, систем управления, нейроконструкций, и т. д. вплоть до нейрокомпьютеров.

Данная книга в основном посвящена четвёртому уровню моделирования мозга и представляет интерес магистрам, аспирантам и лицам, углублённо специализирующимся на нейросетевых технологиях.

В начале 2000 годов сформировался переход к новой архитектурной парадигме — ассоциативным искусственным когнитивным системам, способным к самообучению и синтезу нового знания путем ассоциативной рекомбинации полученной информации.

Под «искусственными когнитивными системами» понимаются технические системы, способные к познанию, распознаванию образов и самостоятельному усвоению новых знаний из различных источников, продолжительному обучению, пониманию контекстуального значения и субъективной оценке получаемой информации, синтезу нового знания, мышлению и поведению для успешного решения существующих проблем в условиях реального мира.

Основными зарубежными проектами создания подобных ИКС являются

— европейские проекты BBP/HBP,

— американская инициатива BRAIN,

— проект IBM DeepQA «Watson»,

— проект «Siri» корпорации Apple,

— проект нейросетевого искусственного интеллекта и использующих его роботов компании Google,

— японские проекты JST,

— канадский проект «Spaun» и др.

С 2012 года в России началось активное проведение IТ-исследований в сфере разработки искусственных когнитивных систем, разработана стратегическая программа создания центра прорывных исследований в области информационных технологий «Искусственные когнитивные системы».

Повышение интереса к тематике искусственного интеллекта приводит к появлению большого количества публикаций о структуре и возможностях нейросистем, о типах искусственных нейросетей и открываемых ими возможностях автоматизации мыслительных процессов. Для удовлетворения возникающих потребностей необходимы с одной стороны — новые информационные материалы, и с другой стороны — программные средства, которые позволяют без особых затрат проверять новую информацию на практике, создавать свои нейросетевые системы разных типов, модели нейросетевых устройств и даже узлов нейрокомпьютеров.

Доступные программные средства можно получить из Интернет. Наиболее подготовлен к такой работе freeware нейроконструктор MemBrain [1—4].

Искусственные нейросети являются электронными моделями нейронной структуры мозга.

Продолжительный период эволюции придал мозгу человека много качеств, отсутствующих в современных компьютерах с архитектурой фон Неймана. К ним относятся:

· способность к обучению и обобщению

· ассоциативность и адаптивность

· толерантность к ошибкам

· параллельность работы

Множество проблем, не поддающиеся решению традиционными компьютерами, могут быть эффективно решены с помощью нейросетей.

Достижения в области нейрофизиологии дают начальное понимание механизма естественного мышления, в котором хранение информации происходит в виде сложных образов. Процессы хранения информации в виде образов, использования образов при решении поставленных проблем определяют новую область в обработке данных, которая, не используя традиционного программирования, обеспечивает создание нейронных сетей и их обучение.

В лексиконе разработчиков и пользователей нейросетей появились слова, отличные от традиционной обработки данных, в частности, «вести себя», «реагировать», «самоорганизовывать», «обучать», «обобщать» и «забывать». Такие слова характерны для интеллектуальных систем.

Наиболее устоявшимся является мнение, что интеллект тесно связан с представлением и использованием знаний, машинным творчеством, и затрагивает такие направления, как инженерия знаний, представление знаний, роботы, искусственные нейронные сети, машинное обучение, глубокое обучение, нейронный процессор.

Направление «инженерия знаний» объединяет задачи получения знаний из простой информации, их систематизации и использования. Это направление исторически связано с созданием экспертных систем — программ, использующих специализированные базы знаний для получения достоверных заключений по какой-либо проблеме.

Производство знаний из данных — одна из базовых проблем интеллектуального анализа данных. Существуют различные подходы к решению этой проблемы, в том числе — на основе нейросетевой технологии, использующие процедуры вербализации нейронных сетей.

К области машинного обучения относится большой класс задач на распознавание образов. Например, это распознавание символов, рукописного текста, речи, анализ текстов.

Нейронные сети используются для решения нечётких и сложных проблем, таких как распознавание или кластеризация объектов.

Природа человеческого творчества ещё менее изучена, чем природа интеллекта. Тем не менее, эта область существует, и в ней поставлены проблемы написания компьютером музыки, литературных произведений (например, стихов или вариаций на темы сказок), художественное творчество. Создание реалистичных образов широко используется в кино и индустрии игр.

Отдельно выделяется изучение проблем технического творчества систем искусственного интеллекта. Теория решения изобретательских задач, предложенная в 1946 году российским изобретателем Г. С. Альтшуллером, положила начало таким исследованиям [16].

В процессе работы над искусственным интеллектом (ИИ) появились новые виды информации, алгоритмы работы с ними, новые методы получения и обработки данных.

Информация может быть представлена в виде данных, знаний, правил и акономерностей, способов получения (добычи), способов хранения и использования. Обращено внимание на смысл, содержащийся в информации, на его поиск, хранение, получение, измерение, преобразование. Понимание смысла связано с выполнением умозаключений, с использованием интеллектуальных навыков, например, таких, как умение делать традуктивные, индуктивные, дедуктивные выводы.

По мере развития ИИ появились новые виды интеллектуальных изделий, в основном — это службы техподдержки различных компаний, экспертные системы по подбору товаров (подарков), по оказанию интеллектуальных услуг клиентам, автоматизированные онлайн-помощники, которые иногда реализованы как чат-боты на веб-страницах, в виде различных интеллектуальных изделий.

На четвёртом уровне моделирования нейроконструкций создаются комплексы, содержащие большое количество нейронных сетей различного назначения и оформляются в виде нейросетевых моделей, систем управления, вплоть до нейрокомпьютеров.

К ним относятся:

— Экспериментальная хаотическая нейросеть:

— Долгосрочная память «Long short term memory (LSTM)»

— Простые комплексы подсетей, такие, как автоэнкодер:

— Комплекс подсетей для образования Глубоких нейросетей и Глубокого обучения.

— Комплекс подсетей для реализации свёрточных сетей

В демонстрационных примерах нейропакета MemBrain рассматриваются характерные их особенности.

Есть разница между стандартным нейросетевым исследованием, для реализации которого необходима программная система типа нейропакет, и нейроконструированием, для реализации которого необходим особый инструмент — нейроконструктор.

Нейропакет должен уметь выполнять такие операции, как создать нейросеть, загрузить в неё набор данных, обучить обработке этого набора, вывести в файл результаты [4].

Нейроконструктор кроме этого должен иметь возможность разобраться в структуре созданной нейросети, прочитать весовые коэффициенты нейронов, изменить их, выгрузить по частям нейроконструкцию, выполнить внешнюю программу, и др.

При моделировании систем 4 уровня возникают проблемы, связанные с сохранением обрабатываемой информации, с использованием различных алгоритмов для её обработки, с управлением последовательностью обработки, с трактовкой информации. Для решения таких проблем необходимо иметь возможность автоматизировать работу нейросетевых конструкций, хранить обрабатываемые образы, осуществлять их поиск, хранение и преобразование.

Чисто нейросетевые операции для этого неприменимы. Иногда их алгоритмы просто неизвестны (ассоциации, интуиция, смысловой поиск, ассоциативное мышление). Нейроконструктор, как инструмент, автоматизирующий нейросетевые исследования, должен расширять возможности проведения нейросетевых исследований, позволять активировать различные программы, регулировать время их исполнения, сохранять мгновенные значения элементов управления, сохранять, читать и запускать в работу необходимые программы.

Реализацию этих операций, очень характерных для моделирования нейроконструкций, отразим в разделах: «Инструментарий нейрокомпьютинга» и «Расширение инструментария нейрокомпьютинга».