Переход в облако. Практическое руководство по организации облачных вычислений для ученых и IT-специалистов

Хуан Аньель, 2020

Многим ученым в ходе работы приходится делать высокопроизводительные вычисления и хранить большие объемы данных. Для этого нужно дорогостоящее оборудование, а порой и целый IT-отдел, занимающийся его поддержкой и настройкой. Эффективным решением могут стать облачные сервисы, которые быстро предоставляют доступ к необходимым ресурсам, позволяют легко обмениваться данными и хранить их вне локальных компьютеров и значительно снижают затраты на техническое оснащение лабораторий и исследовательских центров. Облачные технологии уже сегодня широко используются в математике, физике, археологии, исследованиях атмосферы и климата, медицине, космических исследованиях, энергетике и других областях. Они расширяют возможности научных исследований за счет собственных мощностей, способствуют развитию науки в неблагополучных странах и областях, помогают развивать международное научное сотрудничество, предоставляют высокий уровень кибербезопасности, позволяют оптимизировать расходы и воздействие на окружающую среду. Облачные сервисы также внедряют в небольшие стартапы и крупные бизнесы с большим количеством сотрудников, клиентов и поставщиков, так как они обеспечивают постоянную синхронизацию и мобильность. Над книгой «Переход в облако» работали доктора наук и профессора Хуан Аньель, Диего Монтес и Хавьер Иглесиас, которые много лет используют облачные решения для своих проектов. В этом издании они собрали всю информацию, необходимую для перехода к облачной инфраструктуре, включая анализ и сравнение различных сервисов, описание доступных инструментов и программ, этические и юридические аспекты облачных технологий и другие подробности.

Глава 1

Почему вам нужна эта книга?

Активное использование компьютеров в научных целях постоянно стимулировало развитие технологий. В исследовательской работе компьютеры используются по-разному, но наиболее востребованными их функциями являются хранение данных и высокопроизводительные вычисления (HPC). При таком использовании наличие сетевого оборудования всегда являлось обязательным требованием; однако оно потеряло актуальность с развитием концепции облачных вычислений в последнее десятилетие и внесерверной обработки данных в последние годы. И действительно, отчет проекта top500.org^[1] гласит: за период 2016–2017 гг. рынок HPC вырос примерно на 1,6 %, тогда как использование облачных HPC-сервисов возросло с 7 до 44 %. Скорее всего, объяснить эту разницу можно тем, что HPC как услуга (HPCaaS) используется для дополнения ресурсов локальных инфраструктур HPC, когда таких ресурсов недостаточно для удовлетворения нужд пользователя. Это, пожалуй, одна из самых привлекательных особенностей облачных вычислений, стимулирующая их использование в исследованиях: удовлетворение потребности в вычислительных ресурсах при реализации тех или иных проектов.

Облачные вычисления уже более десяти лет являются широко распространенной и внедряемой ИТ-отделами технологией. Приложения, решения и варианты практического применения облачных вычислений исследуются повсеместно. Однако далеко не всегда пользователи имеют полное представление об их потенциале, вариантах использования, устройстве и ситуации на рынке в целом. Так, они могли ознакомиться с основными характеристиками компьютера, ноутбука, рабочей станции и т. д. и получить общее представление о том, какими функциями они будут располагать при наличии такой технологии, а также о том, какую из технологий выбрать в соответствии с памятью или процессором своего устройства. Однако все это — пока не облачные вычисления. Многие еще просто-напросто не приспособились к этой новой парадигме, что привело к пробелу в знаниях между преобладающей сегодня технологией и тем, к чему привыкли пользователи. Тем не менее, мы все чаще используем облачные вычисления как для повседневной работы, так и для развлечений, например, открывая приложение на смартфоне. Также это касается и тех, кто работает в науке, занимается изысканиями, возглавляет лаборатории или исследовательские центры — вплоть до первых лиц. Все они могут получить весомые преимущества, если хотя бы частично задействуют облачные решения, как будет рассказано и показано на примерах далее. Они применимы практически к любой научной дисциплине. Что касается руководителей высокого уровня, то им, возможно, придется рассмотреть вопрос о переходе ИТ-инфраструктуры на облачные технологии; и, конечно, они захотят больше узнать о последствиях такого перехода. Отчет компании The Economist Intelligence Unit за 2016 г. содержал дискуссию о том, как недостаток знаний и недоверие становятся барьерами для внедрения облачных вычислений^[2]. И хотя сегодня эти показатели, скорее всего, улучшились, недавний опрос Евростата показал: всего 28 % европейских предприятий используют облачные технологии, а их более широкое внедрение ожидается только в будущем^[3].

Бессерверные вычисления — своего рода эволюция облачных: эта еще более свежая концепция призвана повысить уровень абстрагирования для пользователей, для которых вопрос используемой ими вычислительной инфраструктуры станет не так уж важен.

Что до тех, кто финансирует исследования, то как государственные, так и частные организации изучали и применяли облачные решения в инфраструктуре и проектах, в которые вкладывались. Достигнуть этого можно разными путями: например, через развертывание облачной инфраструктуры с использованием общедоступных HPC-центров или предоставление ваучеров на использование ресурсов облачных вычислений от коммерческих поставщиков вместо того, чтобы выделять время общедоступных высокопроизводительных вычислительных центров.

Еще один довод в пользу широкого использования и внедрения облачных технологий: они предоставляют прекрасную возможность для демократизации развития научных исследований, так как отменяют необходимость создавать и обслуживать собственные HPC-центры. Это особенно важно для финансирующих научные изыскания организаций, исследователей и лабораторий, не имеющих доступа к таким центрам, а также тех, кто получил финансирование под конкретный ограниченный во времени проект и не хочет вкладывать средства в покупку и обслуживание оборудования, которое устареет или не будет использоваться в будущем. Потенциал этой технологии огромен: она устраняет препятствия для исследований в самых неблагополучных странах и уголках планеты, т. е. там, где инфраструктура для проведения научно-исследовательских и опытно-конструкторских работ развита недостаточно.

Что немаловажно, существует возможность объединить облачные вычисления с другими технологиями, такими как большие данные и машинное обучение, для повышения продуктивности научных исследований. Подобная интеграция позволит использовать комбинацию таких функций, как хранение данных или реализация моделей в облачных системах, что обеспечит прямой доступ к готовым решениям, уже реализованным поставщиком и полностью адаптированным к среде облачных вычислений. Тем самым будет снижена техническая нагрузка и устранены возможные проблемы при адаптации или настройке сервисов. Интеграция функций упрощает анализ, интерпретацию и представление данных, хранящихся в облаке, и создает большой потенциал для получения новых, порой неожиданных результатов и достижений. Подход, при котором происходит эффективная комбинация этих методов, получил название «облачного датамайнинга»^[4].

Еще одно преимущество комбинации всех этих технологий состоит в том, что она предлагает способ реализовать сценарий «нулевой загрузки», решая одну из насущных проблем, связанных с доступностью исследовательских данных, — чрезмерное количество и объем запросов на загрузку, для обслуживания которых требуются огромные хранилища данных. Для некоторых ученых, лабораторий и областей исследований этот подход стал практически культурной революцией: отказ от загрузки данных для локальных вычислений и переход к выполнению вычислений в облаке с загрузкой лишь окончательных результатов.

Наконец, если рассматривать технологии с точки зрения рынка труда, то предложения о работе на руководящих должностях в сфере научных вычислений отражают существующее движение к облачным технологиям. Причем особенно подчеркивается, что соискатели должны обладать знаниями, позволяющими управлять частной и публичной облачной инфраструктурой. На этом этапе тем, кто трудится в сфере науки и исследований, необходимо как можно скорее получить полное представление об экосистеме облачных вычислений, о сложностях работы с ней и возможностях, которые она предлагает для расширения научных изысканий, оптимизации расходов и воздействия на окружающую среду.

Конец ознакомительного фрагмента.

Примечания

1

Feldman M. (2018) Cloud computing in HPC surges. https://www.top500.org/news/cloudcomputing-in-hpc-surges/. По состоянию на 29 ноября 2019 г.

2

The Economist Intelligence Unit (2016) Trust in cloud technology and business performance: reaping benefits from the cloud, 26 pp.

3

Kaminska M., Smihily M. (2018) Cloud computing — statistics on the use by enterprises. https://ec.europa.eu/eurostat/statistics-explained/index.php?title=Cloud_computing_-_statistics_on_the_use_by_enterprises&oldid=416727. По состоянию на 9 апреля 2019 г.

4

Barua H.B., Mondal K.C. (2019) A comprehensive survey on cloud data mining (CDM) frameworks and algorithms. ACM Comput Surv 52(5): 104. https://doi.org/10.1145/3349265.