SRE. Рецепты выживания в продакшне для инженера по надежности
Надежность умирает последней. Главное, чтобы она вообще была. Это можно принять за шутку, если не знать, насколько все серьезно. Инженер по надежности, с двадцатилетним опытом работы в IT-индустрии, дает 61 полезный совет коллегам, имеющим дело с крупными, а также небольшими системами. Правила написаны емко и по существу, с нотками иронии и юмора, поэтому, даже несмотря на использование профессионального сленга, «пособие для выживания» читается легко. Рецепты основаны на многолетней практике, собственных ошибках и чужих граблях, и они могут стать незаменимой инструкцией для тех, «кто в теме».
Оглавление
- Об управлении надежностью
- Что внутри
- 1. Сервис без вмешательства не переживает отключение части свитчей в дата-центре — это плохой сервис
- 2. Если какую-то процедуру делать страшно — делайте ее чаще
- 3. Если мониторинг не пишет о проблемах — проверьте, возможно, он не работает вообще
- 4. Регулярно проверяйте все редко используемые аварийные средства доступа
- 5. Ходить на чужие разборы полезно
- 6. Если результаты нагрузочного тестирования всегда одинаковые — это плохо
- 7. Регулярно проверяйте всю редко используемую автоматику
- 8. Рандомизируйте учения
- 9. Проектируйте failover смолоду
- 10. Мониторинг трафика в диапазоне
- 11. Мониторинг среднего и min/max
Купить книгу
Приведённый ознакомительный фрагмент книги «SRE. Рецепты выживания в продакшне для инженера по надежности» предоставлен нашим книжным партнёром — компанией ЛитРес.
Купить и скачать полную версию книги в форматах FB2, ePub, MOBI, TXT, HTML, RTF и других
1. Сервис без вмешательства не переживает отключение части свитчей в дата-центре — это плохой сервис
Пришли к нам как-то сетевые инженеры из дата-центра и говорят: «Нам нужно провести работы, для этого мы выключим пару свитчей, запланируйте у себя мероприятия». Обычно в таких ситуациях мы начинали какой-то трафик куда-то переключать, чтобы точно все хорошо прошло, а тут пообсуждали с коллегами и решили, что это неправильная ситуация и лучше мы посмотрим на последствия, а потом что-то улучшим. Всю систему оставили работать в обычном режиме, подготовились к «чему угодно» и стали наблюдать. Все прошло хорошо. С тех пор мы договорились, что в подобных случаях ничего сами трогать не будем, потому что система должна справиться сама.
Деньги:
Если система сама не сумела, то нужно оценить масштаб последствий для бизнеса, варианты ее улучшения и принять решение об инвестициях в один из них. Допустимо оставить как есть, если улучшения будут стоить неоправданно дорого.
