Интеллектуальность нейросетевых конструкций. Обзор литературы

Александр Кириченко

Книга представляет интерес для лиц, специализирующихся на нейросетевых технологиях и интересующихся возможностями интеллектуализации нейроконструкций.

© Александр Кириченко, 2022

ISBN 978-5-0056-0115-5

Создано в интеллектуальной издательской системе Ridero

Введение

Интеллект — совокупность умственных способностей человека, обеспечивающих успех его познавательной деятельности.

В широком смысле под этим термином понимают совокупность всех познавательных функций индивида (восприятие, память, воображение, мышление), а в узком — его мыслительные способности.

«Естественный Интеллект» — это свойство, присущее человеку и другим живым объектам.

В последнее время всё большее внимание уделяется понятию «интеллект» в связи с появлением новых объектов, при описании которых подчёркивается их интеллектуальная направленность. Обращается внимание на содержание в этих объектах чего-то, повышающего эффективность их использования, их «интеллектуальность». Получается, что новый товар имеет какое-то новое очень полезное свойство, повышающее «очеловечение» этого товара. Он становится более способным, как бы «думающим». Чтобы подчеркнуть его необычность, отличие от интеллекта человека (естественного интеллекта) ему присвоено новое название: Искусственный Интеллект.

Искусственный интеллект — это область информатики, которая занимается разработкой компьютерных систем, связанных с разумной (мыслительной) деятельностью человека. К этому виду деятельности принято относить понимание естественного языка, работу со знаниями и мышление (решение мыслительных проблем).

При создании искусственных интеллектуальных структур представляет интерес: состав, структура, принцип действия, технология создания, особенности использования интеллектуальных программ и программ повышенной интеллектуальности, языки для создания интеллектуальных систем.

Представляет так же интерес, чем отличается новая, искусственная интеллектуальная структура от естественной. Для выяснения этого необходимо сравнить, чем естественный интеллект отличается от искусственного.

Проведение научного исследования чаще всего заключается в выявлении скрытых правил и закономерностей в наборах данных, формулировке гипотез и выявлении типовых структур. Для этого приходится использовать различные методы обнаружения (добычи) знаний: абстрагирование, ассоциативное объединение, классификацию, кластеризацию, анализ временных рядов, прогнозирование и др.

Это трудная работа, так как человеческий разум не приспособлен для восприятия больших массивов разнородной информации. В среднем человек не способен улавливать более двух-трех взаимосвязей даже в небольших выборках.

Для расширения аналитических возможностей человека можно использовать методы традиционной статистики, эвристические решающие устройства на основе экспертных систем, семантический дифференциал, теорию решения изобретательских задач (ТРИЗ), нейронные сети.

Методы математической статистики, эвристические решающие устройства, семантический дифференциал, ТРИЗ, относятся к дискретным методам. Для человека же в большинстве случаев использовать при решении жизненных проблем дискретные методы трудно.

Естественным для человека является использование основных принципов мозга — ассоциативное мышление, использование принципов обучения (самообучения) и адаптации, использование связей «если — то», «посылка — следствие», лежащих в основе распознавания, управления, принятия решений.

Поэтому из различных способов расширения аналитических возможностей человека чаще всего наиболее эффективными при исследовании задач, не имеющих общепризнанного алгоритма решения, является использование нейронных сетей.

Всё, что связано с использованием нейронных сетей получило название нейросетевых технологий, или нейрокомпьютинга.

Нейросетевые технологии не требуют программирования, а предусматривают работу по обучению нейронной сети на специально подобранных примерах.

Основными функциями обучения нейросетей, воспроизводящими работу мозга и ассоциативное мышление являются классификация, узнавание, умение определять сходство и различия.

На этапе обучения формируются основные отношения между входными параметрами и оформляются в незримые таблицы (образы), которые впоследствии будут использоваться при решении задач на сети.

Нейрокомпьютинг предоставляет единую методологию решения очень широкого круга практически интересных задач. Это, как правило, ускоряет и удешевляет разработку приложений.

Нейрокомпьютинг состоит из нескольких разделов:

· конструирование нейрокомпьютеров,

· нейросетевые исследования хозяйственных процессов,

· моделирование интеллекта высшей нервной системы человека.

Конструкторский раздел нейрокомпьютинга.

Содержит модели, методы и алгоритмы, необходимые для создания нейрокомпьютеров. В него входят алгоритмы работы различных конструктивных элементов нейрокомпьютера, например — алгоритмы выполнения различных математических операций с плавающей или фиксированной запятой; выполнения этих операций младшими или «старшими разрядами вперёд»; алгоритмы выполнения таких операций, как дифференцирование, интегрирование, и др; методы преобразования систем дифференциальных уравнений; специфические операции для нейросетевых конструкций, таких, как блок обучения нейросетей, система ассоциативного поиска информации; алгоритмы свёртки, определения близости, умножения и сложения матриц и векторов, транспонирования матриц, вычисления пороговых преобразований, параллельного вычисления табличных функций, и другие.

Нейрокомпьютеры вне зависимости от того, на каких элементах они реализованы, представляют собой специализированные ЭВМ. И как и все ЭВМ они должны иметь блок питания, различные устройства ввода-вывода, блок управления и кроме того, специализированные устройства, обеспечивающие работу нейронных сетей.

Для управления работой всех этих устройств необходима операционная система. Большая часть её нужна для реализации работы технического комплекса — одних только типов устройств ввода-вывода у идеальной нейроЭВМ может быть не менее 6 — для обеспечения работы моделей зрения, слуха, вкуса, осязания, обоняния, вестибулярного аппарата (ответственного за чувство равновесия). Кроме того, могут быть и специфические конструкции, связанные с различными проявлениями интеллекта (концентрацией, воображением, интуицией, и т.д).

Но работа операционной системы этим не ограничивается. Кроме управления устройствами, ОС должна обеспечивать создание приемлемой среды, в которой будут производиться нейросетевые исследования.

Обычно нейросетевые исследования предусматривают выполнение таких видов работ, как

· подготовка исходных данных,

· формирование нейронной сети,

· обучение нейросети, анализ достигнутых результатов и оптимизацию обучения,

· проведение нейросетевого исследования,

· трактовку полученных результатов.

Для выполнения этих работ нужны соответствующие программные средства: нейросетевые пакеты и комплексы программ, модели нейросетевых компонентов, инструменты для проведения нейросетевых исследований.

Конструктивными элементами нейрокомпьютеров являются такие физические компоненты, как нейроны, искусственные нейронные сборки, нейросети, операционные системы, программы для создания нейросреды, нейропакеты. К конструктивным элементам нейрокомпьютеров относятся и алгоритмы выполнения интеллектуальных операций, и типовые сценарии, и модели выполняемых с помощью нейросетей работ. Они характеризуют состав решаемых проблем.

Проблемы создания программного обеспечения нейрокомпьютеров решаются в виде моделирования, создания нейропакетов. Основное внимание при этом уделяется формированию и обучению нейронной сети. А подготовка исходных данных и всё, что касается проведения нейросетевых исследований, постпроцессинговых операций, не удостаивается внимания.

Нейросетевые исследования хозяйственных процессов.

Технология проведения нейросетевых исследований хозяйственных процессов значительно отличается от применяемой в конструкторском разделе. Исследование различных хозяйственных процессов обеспечивается отличными от конструкторских методами, моделями и алгоритмами. Во-первых, сами проводимые операции сильно отличаются. Нужны программные средства для реализации таких операций, как кластеризация, классификация, узнавание, прогнозирование, предсказание. Для их выполнения необходимы комплексы программ, объединённые в специализированные пакеты, так называемые «Нейропакеты», предназначенные для реализации нейропроцессинга, в которые кроме них входят такие программы, как поиск данных, обмен данными, хранение, сбор и преобразование данных.

Впервые искусственные нейросети стали доступны для использования в виде перцептрона, который позволял проводить обучение на примерах, выполнять такие операции, как автоматическую классификацию и прогнозирование.

В первых моделях искусственных нейросетей считалось, что им доступны только эти операции, а даже для обычных арифметических действий они не приспособлены.

Но по мере изучения связанной с мышлением деятельности живых организмов, представления о возможностях нейросетей изменялись.

Появились новые типы нейросетей (сеть Кохонена, RBF, Хопфилда, Хемминга, свёрточные, рекуррентные, рекурсивные и другие) изменились методы их использования (глубокое обучение; свёртка; преобразование знаний, получаемых при обучении нейросетей в правила продукций), изменились и цели проведения нейросетевых исследований (анализ тематической структуры текстов, рисунков, музыкальных произведений, смысловой поиск информации, реализация на их основе экспертных систем с постоянно растущим интеллектом).

Раньше считалось, что основной особенностью искусственных нейросетей является «обучение на примерах». Впоследствии к этой их особенности добавилась возможность моделировать ассоциативную память и использовать ассоциации, моделировать получение новых знаний, извлечение их и представление в виде правил продукции, анализировать тематическую структуру текстов, рисунков, музыкальных произведений, проводить смысловой поиск информации.

Если в первых нейросетевых исследованиях основным инструментом являлся перцептрон, то впоследствии расширились исследования на основе свёрточных, рекуррентных и рекурсивных нейросетей.

Для проведения этих исследований так же, как и раньше, используются модели в виде нейропакетов. К ним добавились программные модели, позволяющие расширить возможности нейропакетов; созданы пространства имён для моделирования нейросетей на различных алгоритмических языках.

Учитывая высокую стоимость коммерческих нейропакетов, стало появляться много freeware программных средств (то-есть программных средств свободного распространения) для проведения нейросетевых исследований: алгоритмические языки и их смеси, пространства имён, другие модели и методы.

В настоящее время для обучения доступны такие бесплатные нейропакеты, как Deductor Academic, НейроПро 0.25, SNNS, Mem-Brain; пространства имён Neuron Dot Net; AForge, AlgLib; пакеты программ Encog, Azur, и др.

Много программных средств разработано на таких алгоритмических языках, как C, C++, C#, Java, Pyton, JavaScript.

Моделирование интеллекта Высшей нервной системы человека.

Третий раздел нейрокомпьютинга «Моделирование интеллекта Высшей нервной системы человека» имеет длинную историю. Осенью 1988 г. было учреждено Международное общество нейросетей (INNS — International Neural Networks Society), которое было предназначено для координации мировой «нейроактивности». Летом 1994 г. этим обществом был проведен Всемирный конгресс по нейронным сетям, на котором были определены следующие направления фундаментальных исследований:

· Биологическое зрение. Работа с объектами зрительной сцены живого мира.

· Машинное зрение. Раздел охватывает аспекты моделирования зрительных функций в технических системах. Особое внимание уделеняется принципам избирательного внимания к компьютерным объектам зрительной сцены.

· Речь и язык. Различные аспекты синтеза и распознавания речи.

· Биологические нейронные сети. Тематика раздела охватывает свойства отдельных нейронов, нейронных сетей управления движением и слухом, аспекты обучения в биологических сетях, а также пути перехода от биологических нейронов к искусственным (кремниевым).

· Нейроуправление и робототехника.

· Обучение с учителем.

· Обучение без учителя.

· Распознавание образов.

· Прогноз и идентификация систем. Для рассмотрения методов кибернетического моделирования сложных систем на базе нейронных сетей.

· Нейронаука о сознании. Аспекты организации и моделирования высшей нервной деятельности.

· Связь науки о сознании с искусственным интеллектом.

· Нечеткие нейронные системы. Построение нейромоделей нечеткой логики.

· Обработка сигналов. Одна из старейших областей приложений нейронных сетей и теории распознавания образов — выделение и анализ свойств сигнала из шума.

· Нейродинамика и хаос. Свойства нейронных сетей, как нелинейных динамических систем.

· Аппаратные реализации. Ключевой вопрос перспективных приложений — новые физические принципы и среды для обработки информации.

· Ассоциативная память.

· Нейровычисления и виртуальная реальность. Возможность применения нейронных сетей и высокопараллельных вычислений на них для создания искусственной реальности: сложная аппаратно-программная система виртуальной реальности моделирует основные сигналы, воспринимаемые человеком от внешнего мира и реагирует на его действия, подменяя собой реальный мир.

· Сети и системная нейронаука. Временное поведению сигналов в нейронных контурах как биологических, так и искусственных сетей.

Конгресс 1994 года успешно состоялся. После него прошли и другие форумы, нейроинформатика пополнилась новыми приложениями.

Согласно «Постановлению СМ РФ» в 2012 году в нашей стране начаты исследования «искусственных когнитивных систем» (ИКС) трёх типов:

· нейроморфные (подобные организации живой нервной системы),

· кортикоморфные (подобные организации коры головного мозга) искусственные нейросети

· генноморфные (подобные генетическим и эпигенетическим механизмам организмов).

Эти модели реализуются на всех технических средствах (платформах) в виде:

· специализированных систем на базе суперкомпьютеров,

· распределенных систем в глобальных и корпоративных компьютерных сетях,

· автономных технических устройств и роботов,

· систем управления крупными технологическими комплексами и соединениями,

· микросистем и нанокомплексов,

· киберорганических систем.

Среди перечисленных трёх разделов нейрокомпьютинга нейросетевые исследования наиболее тесно связаны со вторым разделом «исследованием хозяйственных процессов», в которых производится поиск, оценка и преобразование смысла в обрабатываемой информации, с выполнением умозаключений, с использованием интеллектуальных навыков, включающих в себя такие, как:

· сопоставление сложных объектов и оценку их сходства;

· выделение типового объекта из группы однородных;

· поиск типичных черт, существенных признаков;

· формирование описания типового объекта, выделение его отличительных черт;

· определение понятий (дефиниции);

· выявление причинно-следственных связей;

· интерпретация связей и свойств исследуемых объектов;

· генерация гипотез;

· выявление закономерностей;

· самообучение, адаптация;

· умение делать дедуктивные, индуктивные, традуктивные выводы; и так далее…

В конечном итоге в состав решаемых задач включаются задачи, похожие на темы, определённые Международным обществом нейросетей INNS:

· построение семантической сети;

· построение тематической структуры текстов;

· реферирование текстов;

· гипертекстовая разметка текстов;

· смысловой (семантический) поиск информации;

· перевод на другой язык;

· классификация текстов, видео, звуков;

· аннотирование изображений, текстов.

· построение ассоциативных структур (логов);

· использование ассоциативной памяти разных типов;

· управление динамическими процессами и их анализ (нейросеть — контроллер);

· формирование потребительских комплексов; анализ ассоциаций;

· распознавание аномальной работы технической, гуманитарной, экономической системы;

· реализация «концепции внимания», разделение информации по важности;

· извлечение знаний из весовых коэффициентов;

· хранение информации в виде «ленты памяти» (как в машине Тьюринга);

· построение модулей эпизодической памяти. (Мэри дома. Она вышла во двор. Где Мэри? Во дворе);

· генерация бреда (контекст и окружение), генерация вариаций (музыкальных, сказочных);

· стилизация текста, музыки, графики.

· автоматическое составление программы (типа ПРИЗ ЕС);

· планирование действий (например, по аналогии);

· выделение содержания, смысла, стиля. Перенос их, смешивание;

· сохранение входных образов благодаря клеточному состоянию в LSTM;

· забывание;

· использование Слоя обратной связи; Рекуррентного слоя; Контекста;

· отрицательная и положительная обратная связь (затухание и генерация);

· ассоциативная память;

· ассоциативное мышление;

· анализ динамических процессов, узнавание в них информационных конструкций, смысла.

Анализ перечисленных задач обращает внимание на то, что главные области их применения должны быть требовательны к контексту и/или временной зависимости в данных. Поэтому рекуррентные нейронные сети (РНС) получают широкое использование, для анализа изображений, текста, музыки, смысла. В настоящее время эта область обычно воспринимается в контексте сверточных нейросетей, однако и для РНС здесь находятся задачи. Их архитектура позволяет быстрее распознавать детали, основываясь на контексте и окружении.

В состав Учебно-Методического Комплекса включены 4 учебные программы:

1/ «Основы теории искусственных нейронных сетей»

2/ «Нейросетевые исследования хозяйственных процессов»

3/ «Конструирование искусственных нейронов и нейронных ансамблей»

4/ «Нейросетевое программирование»;

контрольно-измерительные материалы для них и методическая литература в виде pdf-файлов издательства Ридеро для изучения каждой части дисциплины «Нейросетевые технологии» [8—14].

В данной книге для выяснения отличительных особенностей естественного и искусственного интеллекта рассматривается три раздела:

1. естественный интеллект;

2. искусственный интеллект;

3. направления интеллектуального совершенствования нейросетевых конструкций при обучении в магистратуре.