Методология построения распределенных сетей передачи, обработки и хранения данных: анализ и выбор рациональной структуры. Монография. Том 1

Александр Юрьевич Чесалов

Работа раскрывает классические подходы к проектированию распределенных сетевых структур на основе представленной методики анализа функционирования и выбора рациональной структуры региональной сети передачи, обработки и хранения данных в условиях использования разнородных и низкоскоростных каналов связи с целью повышения производительности, а как следствие, ее эффективности функционирования. В результате проведенных исследований сформирована алгоритмическая и методологическая основа.

Предисловие

Александр Юрьевич Чесалов

Член экспертной группы по вопросам цифровизации деятельности Уполномоченного по правам человека в Российской Федерации.

Член Экспертного совета при Комитете Государственной Думы по науке и высшему образованию по вопросам развития информационных технологий в сфере образования и науки.

Разработчик программы Центра искусственного интеллекта МГТУ им. Н. Э. Баумана, программы «Искусственный интеллект» и «Глубокая аналитика» проекта «Приоритет 2030» МГТУ им. Н. Э. Баумана в 2021—2022 годах.

Сертифицированный специалист: IBM Professional certificate foundations of AI, IBM Professional certificate Essential Technologies for Business и др.

Добрый день, дорогие друзья и коллеги!

Представляю вам свою научно-исследовательскую работу на тему «Методология построения распределенных сетей передачи, обработки и хранения данных: анализ и выбор рациональной структуры. Монография. Том 1».

В 2003 году в Тверском государственном техническом университете я защитил кандидатскую диссертацию по теме «Анализ и выбор рациональной структуры региональных распределенных сетей передачи, обработки и хранения данных» по специальности 05.13.01 — Системный анализ, управление и обработка информации (в промышленности). На сегодняшний день — это специальность 2.3.1. «Системный анализ, управление и обработка информации, статистика».

В честь двадцатилетия с момента написания своей первой научной работы я принял решение опубликовать накопившийся у меня за последние годы значительный объем материалов, который будет издан в двух книгах:

Том 1. Раскрывает классические подходы к проектированию распределенных сетевых структур на основе разработанной методики анализа функционирования и выбора рациональной структуры региональной сети передачи, обработки и хранения данных в условиях использования разнородных и низкоскоростных каналов связи с целью повышения производительности, а как следствие, ее эффективности функционирования. Основная работа по данному направлению выполнялась в период с 2000 по 2003 годы.

Том 2. Значительно дополняет содержанием том первый и раскрывает новые подходы к проектированию региональных распределенных сетей передачи, обработки и хранения данных на основе технологий следующего поколения — NGN (Next Generation Network), которые, в последствии, позволили перейти к «сетям будущего» (см. стандарты и рекомендации Международного союза электросвязи), функционирующих на основе технологий машинного обучения и искусственного интеллекта. Основная работа по данному направлению выполнялась в период с 2009 по 2011 годы.

На первый взгляд читателю может показаться, что информация в обеих книгах значительно устарела, а подходы и результаты нельзя применить в современной практике. Я и сам так долго думал до того момента, как в 2021 году меня не пригласили в МГТУ им. Н. Э. Баумана принять участие в создании Центра сильного и прикладного искусственного интеллекта.

Оглядываясь на свою практическую работу за последние двадцать лет я понял, что мои наработки пригодились мне в жизни не один раз, а результаты научно-исследовательских работ и общие подходы к проектированию сетевых инфраструктур передачи, обработки и хранения данных, которые изложены в данной книге, мною были апробированы на практике неоднократно в разные периоды времени и в разных проектах.

К значимым достижениям, основанных на моей работе, можно отнести следующие:

2003 год

Предложенный в работе методологический подход к определению загрузки и производительности сервера центра обработки информации, совместные работы, выполненные в соавторстве с д. т. н. Б.В. Палюхом и к. т. н. С.Л. Федченко, а также разработанная на его основе программа оценки соответствия производительности многопроцессорных ЭВМ числу решаемых задач были реализованы в проекте, выполненным ФГУП «Государственный испытательный центр программных средств и вычислительной техники» (город Тверь) для Центробанка Российской Федерации.

В дополнение к этому, результаты работы были использованы в:

— Администрации Тверской области, при проектировании региональной вычислительной сети обработки социально-экономической информации и при реализации проекта целевой программы информатизации — «Создание опорных пунктов информатизации в районных (городских) администрациях и муниципальных образованьях и отработка функционирования системы взаимодействия на базе внедрения электронного документооборота».

— Компании «ЛУКойл-Арктик-Танкер» при разработке сетевого проекта построения распределенной системы электронного документооборота компании на базе СУБД Lotus Domino R5.

2005 год

В период с 2005 до 2008 годы в компании «Сетевые системы» под моим непосредственным руководством проводились научно-исследовательские и опытно-конструкторские разработки (НИОКР) в области информационных технологий и сетевой безопасности.

Одним из основных результатов НИОКР стало создание встраиваемой сетевой операционной системы «PyrOS» для устройств сетевой безопасности: аппаратных файрволлов (firewall), систем обнаружения и предотвращения вторжений (Intrusion Detection Systems — IDS и Intrusion Prevention System, IPS) управляемых коммутаторов и других.

Операционная система «PyrOS» ничего общего не имела с клонированием Linux. Наш опыт в создании собственной системы базировался на знаниях FreeBSD и QNX. Первый прототип был создан на основе FreeBSD и промышленного сервера Advantech FWA-3140. В последующем ядро, драйвера и код были полностью переработаны. Был создан свой перечень управляющих команд и командный интерпретатор (как бы сейчас сказали: «свой язык программирования и управления сетевыми устройствами»).

В последствии данная разработка была высоко оценена на международной выставке CeBIT 2007, как техническое решение, специалистами компаний Intel, Cisco и тогда еще никому не известной компании Huawei.

Подробнее об этой разработке можно узнать из моей книги «Разработка встраиваемой сетевой операционной системы PyrOS»¹.

2011 год

Написана диссертация на соискание ученой степени доктора технических наук на тему: «Методология определения операционных характеристик и рациональной структуры региональных распределенных сервисных сетей передачи, обработки и хранения данных». Специальность 05.13.10 — Управление в социальных и экономических системах.

Работа посвящена развитию технологий сетей Next Generation Network (NGN) и применения их для построения региональных распределенных сетей.

Диссертация защищена в Межотраслевом центре эргономических исследований и разработок в военной технике (Тверское отделение (40-я лаборатория) НИИ авиационного оборудования) — филиала Центрального научно-исследовательского института экономики и конверсии (ЦНИЭК).

В том же году в компании «МТС» внедрена, разработанная нами система централизованного хранения, обработки и защиты конфиденциальной информации, расположенной в распределенных центрах обработки информации компании, на удаленных автоматизированных рабочих местах и терминалах — «Atlansys Atlansys Enterprise Security System» (https://atlansys.tech/atlansysess/). Система была установлена на 12 000 рабочих местах ².

2021 год

1. Написана Программа центра разработки и внедрения сильного и прикладного искусственного интеллекта МГТУ им. Н. Э. Баумана по теме: «Создание платформы машинного обучения для автоматизации интеллектуальных сетей передачи, обработки и хранения гетерогенных данных на основе технологий доверенного искусственного интеллекта». По направлению: «Межотраслевые технологии искусственного интеллекта и искусственный интеллект для иных приоритетных отраслей экономики и социальной сферы».

Основная цель программы Центра разработки и внедрения сильного и прикладного искусственного интеллекта МГТУ им. Н. Э. Баумана — создание специализированного программного комплекса — платформы машинного обучения для автоматизации обеспечения бесперебойной работы и улучшения качества услуг интеллектуальных сетей передачи, обработки и хранения гетерогенных данных (включая поддержку работы с широкополосными сетями передачи данных, сетями Wi-Fi, сети IoT и д.р.) на основе технологий доверенного искусственного интеллекта, а также:

— работу в распределенных облачных инфраструктурах для решения широкого круга межотраслевых задач индустриальных партнеров;

— создание и тестирование новых алгоритмов обучения нейронных сетей, которые могут применяться в широком спектре кросс-отраслевых прикладных решений;

— сделать существенных шаг для последующих исследованиях в направлении Сильного искусственного интеллекта.

Очень важным аспектом работы данной платформы является реализация задачи поддержания наиболее эффективной нагрузки на сеть по критерию производительности в условиях интенсивной маршрутизации обмена сообщениями. На основании исходных данных платформа может моделировать и прогнозировать поведение сети, информируя оператора о причинах сбоев или снижения эффективности работы сети, или помогая делать прогнозы по улучшению обслуживания сети, а также решать задачи по ее оптимизации.

Созданная «умная» платформа сможет также применяться крупными производственными компаниями при переводе производственных и технологических процессов на уровень «Индустрия 4.0» и промышленного Интернета вещей, для решения задач автоматизации обмена данными о процессах и автоматической реконфигурации без непосредственного участия человека.

Применение машинного обучения и искусственного интеллекта для решения подобных задач автоматизации и оптимизации сетевых параметров интеллектуальных сетей в ближайшем будущем позволит нам перейти к созданию новых сетевых систем — сетей будущего, которые способны автоматически решать сложные оптимизационные задачи и строить самостоятельно алгоритмы построения и развития сетей, что немаловажно, они смогут выполнять оптимизационные задачи быстрее и качественнее человека, что в будущем будет возможно с появлением сильного искусственного, который позволит создавать самоорганизующиеся сети передачи данных, объединяющие в себе сотовые сети, широкополосные сети, сети Wi-Fi, сети Интернета вещей, сети промышленного Интернета и другие сети специального назначения,³,⁴,⁵,⁶,⁷,⁸,⁹,¹⁰.

Совместно компанией «ЭР-Телеком Холдинг» — индустриальным партнером Центра разработано Техническое задание, которое позволит решить следующие основные задачи на базе создаваемой платформы:

1. Разработка подсистемы улучшения эффективной нагрузки и контроля качества эксплуатации интеллектуальной сети (инфокоммуникационной сети и сервисов).

2. Разработка подсистемы предиктивной аналитики для поддержки системы-принятия решений по эксплуатации сети.

3. Разработка подсистемы сбора и глубокого анализа данных сети IoT, с целью формирования специализированных баз данных, для дальнейшего создания, внедрения и предоставления платных сервисов клиентам (заказчикам, потребителям услуг).

Работа по написанию Программы центра разработки и внедрения сильного и прикладного искусственного интеллекта МГТУ им. Н. Э. Баумана выполнена в рамках конкурса проведенного в 2021 году Аналитическим Центром при Правительстве России по отбору получателей поддержки исследовательских центров в сфере искусственного интеллекта, в том числе в области «сильного» искусственного интеллекта, систем доверенного искусственного интеллекта и этических аспектов применения искусственного интеллекта. Программа высоко оценена независимыми экспертами.

Об этом проекте и его результатах я подробно рассказываю в книге «Как создать Центр искусственного интеллекта за 100 дней».¹¹

2. Подготовлен Отчет о научно-исследовательской работе МГТУ им. Н. Э. Баумана за 2021 год по теме: «Разработка методологии построения интеллектуальных сетей, определение их структуры и архитектуры, параметров функционирования с целью повышения производительности работы системы и пропускной способности каналов передачи данных с учетом возможности использования технологий машинного обучения и искусственного интеллекта». Работа выполнена в рамках конкурса «Приоритет-2030»: «Искусственный интеллект как сервис», проведённого Министерством науки и высшего образования Российской Федерации.

2023 год

Разработана электронная универсальная система машинного обучения «Atlansys EUS» (Electronic Universal System, EUS).

Название платформы выбрано не случайно и является отсылкой к 80-м и 90-м годам двадцатого века, к эпохе зарождения и развития компьютерных технологий, автоматизированных и экспертных систем.

Платформа «Atlansys EUS» создана для разработчиков и пользователей сервисов искусственного интеллекта. Она предоставляет цифровые сервисы, необходимые для разработки, развертывания и запуска приложений, использующих технологии машинного обучения и искусственного интеллекта в распределенных облачных средах для решения научных и бизнес-задач заказчиков.

Концепция «Atlansys EUS» — это автоматизированная реализация процесса «Data Mining — > Data Science — > Data Analysis — > Artificial Intelligence — > Machine Learning — > Value» через цифровые сервисы.

Как вы можете видеть, научно-исследовательская работа, представленная в первом томе, прошла красной нитью через многие из моих проектов, выполненных за последние двадцать лет в области информационных технологий. Я надеюсь она сможет быть полезной и вам в вашей работе.

Эта книга, как и мои многие другие, является исключительно личным опытом и проектом автора, а также абсолютно свободным к распространению документом. Вы можете использовать эту книгу и представленную в ней информацию по-своему усмотрению, но ссылка на нее обязательна.

Приятного Вам чтения и продуктивной работы!

Ваш, Александр Чесалов.

Сайт: chesalov.com

E-mail: [e-mail]

01.06.2023

Примечания

1

Чесалов А. Ю. Разработка встраиваемой сетевой операционной системы PyrOS / А. Ю. Чесалов. — 1-е изд. — Москва: Ridero, 2023. — 220 с. — URL: https://ridero.ru/books/razrabotka_vstraivaemoi_setevoi_operacionnoi_sistemy_pyros/ (дата обращения: 31.05.2023). — Текст: электронный.

2

Свидетельство об официальной регистрации программы для ЭВМ №2008613871. Atlansys Enterprise Security System / С. В. Луньков, А. Ю. Чесалов. — 14.08.2008 г. — М.: Роспатент, 2008.

3

ITU-T Y.3170. SERIES Y: GLOBAL INFORMATION INFRASTRUCTURE, INTERNET PROTOCOL ASPECTS, NEXT-GENERATION NETWORKS, INTERNET OF THINGS AND SMART CITIES. Future networks. Requirements for machine learning-based quality of service assurance for the IMT-2020 network: дата введ. 2018—09. ITU-T, 2018. 18 с.

4

ITU-T Y.3172. SERIES Y: GLOBAL INFORMATION INFRASTRUCTURE, INTERNET PROTOCOL ASPECTS, NEXT-GENERATION NETWORKS, INTERNET OF THINGS AND SMART CITIES. Future networks. Architectural framework for machine learning in future networks including IMT-2020: дата введ. 2019—06. ITU-T, 2019. 34 с.

5

ITU-T Y.3174. SERIES Y: GLOBAL INFORMATION INFRASTRUCTURE, INTERNET PROTOCOL ASPECTS, NEXT-GENERATION NETWORKS, INTERNET OF THINGS AND SMART CITIES. Future networks. Framework for data handling to enable machine learning in future networks including IMT-2020: дата введ. 2020—02. ITU-T, 2020. 36 с.

6

ITU-T Y.3175. SERIES Y: GLOBAL INFORMATION INFRASTRUCTURE, INTERNET PROTOCOL ASPECTS, NEXT-GENERATION NETWORKS, INTERNET OF THINGS AND SMART CITIES. Future networks. Functional architecture of machine learning-based quality of service assurance for the IMT-2020 network: дата введ. 2020—04. ITU-T, 2020. 20 с.

7

ITU-T Y.3177. SERIES Y: GLOBAL INFORMATION INFRASTRUCTURE, INTERNET PROTOCOL ASPECTS, NEXT-GENERATION NETWORKS, INTERNET OF THINGS AND SMART CITIES. Future networks. Architectural framework for artificial intelligence-based network automation for resource and fault management in future networks including IMT-2020: дата введ. 2020—04. ITU-T, 2020. 24 с.

8

ITU-T Y.3179. SERIES Y: GLOBAL INFORMATION INFRASTRUCTURE, INTERNET PROTOCOL ASPECTS, NEXT-GENERATION NETWORKS, INTERNET OF THINGS AND SMART CITIES. Future networks. Architectural framework for machine learning model serving in future networks including IMT-2020: дата введ. 2020—04. ITU-T, 2020. 44 с.

9

ITU-T Y.3531. SERIES Y: GLOBAL INFORMATION INFRASTRUCTURE, INTERNET PROTOCOL ASPECTS, NEXT-GENERATION NETWORKS, INTERNET OF THINGS AND SMART CITIES. Future networks. Cloud computing — Functional requirements for machine learning as a service: дата введ. 2020—09. ITU-T, 2020. 40 с.

10

ITU-T Y.4470. SERIES Y: GLOBAL INFORMATION INFRASTRUCTURE, INTERNET PROTOCOL ASPECTS, NEXT-GENERATION NETWORKS, INTERNET OF THINGS AND SMART CITIES. Internet of things and smart cities and communities — Frameworks, architectures and protocols. Reference architecture of artificial intelligence service exposure for smart sustainable cities: дата введ. 2020—08. ITU-T, 2020. 32 с.

11

Чесалов А. Ю. Как создать Центр искусственного интеллекта за 100 дней / А. Ю. Чесалов. — 1-е изд. — Москва: Ridero, 2021. — 314 с. — URL: https://ridero.ru/books/kak_sozdat_centr_iskusstvennogo_intellekta_za_100_dnei/ (дата обращения: 21.05.2023). — Текст: электронный.