Москва
Мероприятия
Блог
Корзина
Регистрация Войти
main-bg
Блог

Как устоять в пиковых нагрузках: кейс онлайн-магазина и to-do list для архитектора решений

Одна из ключевых ИТ-задач онлайн-ритейлеров – это обеспечение устойчивости магазинов к пиковым нагрузкам во время распродаж и других периодов повышенного спроса. В крупных интернет-магазинах нагрузки во время акций Black Friday или Prime day предсказуемы, поэтому инфраструктуру к ним можно подготовить. Но бывают и неожиданные периоды активности, например, после успешной маркетинговой кампании. Как обеспечить отказоустойчивость системы во время пиковых нагрузок в облаке AWS, рассказывают архитектор решений AWS Сергей Курсон и архитектор решений AWS Softline Андрей Фирсов.

Как помогают сервисы AWS?

Задача

У заказчика была развернута классическая on-premise архитектура со множеством узких мест. После нескольких падений на пиковой загрузке заказчик обратился в AWS, чтобы подготовиться к «Черной пятнице». Требовалось создать инфраструктуру, устойчивую к резкому росту количества запросов. Главными требованиями были минимальная задержка, среднее число запросов порядка 20-30 тыс. в минуту и отсутствие падений.

Запросы обрабатывались на большом «монолитном» приложении .NET с минимальным набором внешних сервисов. Узким местом было то, что статический контент (изображения, видео, скрипты) раздавался с отдельной машины, которая никак не масштабировалась.

Решение

Было принято решение переносить инфраструктуру в облако «как есть», методом Lift&Shift. Миграция этим способом позволяет не переделывать архитектуру – приложения просто перемещаются на виртуальные машины, в данном случае EC2.

В начале переноса данных в облако случилось падение одной из зон в AWS, но потери данных удалось избежать, потому что все, что переехало, было в другой зоне. Тем не менее этот случай показал, что необходимо как можно скорее разделить приложение на несколько зон доступности (AZ) для отказоустойчивости. Далее команда проекта сразу же запустила Application Balancer, так как он автоматически масштабирует нагрузки.

Следующим шагом был подбор необходимых типов инстансов. Сначала выбрали инстансы T – недорогие и универсальные, с базовым уровнем производительности и возможностью ее увеличения с помощью механизма Burst, который потребляет CPU кредиты. Дело в том, что как только кредиты заканчиваются, производительность опускается на отметку 20-40% (в зависимости от типа инстанса). Этот режим работы не подходит для нагруженного сайта с долговременными нагрузками, поэтому необходимо было взять компьютеры с надежной производительностью – типа С. Также поставили ElasticSearch для отказоустойчивости в кластере на нескольких зонах доступности.

Для доставки статического контента использовали Amazon CloudFront, что позволило добавить механизм кэширования и разгрузить вычислительные ресурсы. Отдельной проблемой стало долгое масштабирование и деплой обновлений, потому что релизы могли проходить до нескольких раз в сутки. Ситуацию исправили, добавив деплой через Code-сервисы, в частности CodeDeploy, и подключив DevOps практики.

Финальные шаги выглядели следующим образом: базы данных переехали на Amazon RDS и Managed ElasticSearch. Для упрощения масштабирования, бэкапов и мониторинга баз данных начали использовать RDS. Позднее был добавлен Connection Pooler, который позволил разгрузить ресурсы базы данных, требовавшиеся для установления новых соединений.

Для развертывания был добавлен полезный механизм Blue Green, который позволяет вручную переключать две версии: на случай, если требуется сделать мгновенный откат или из двух версий подходит только одна. Для борьбы с DDOS, ботами и другими угрозами Web Application Firewall установили на CloudFront. Изначально, поскольку CloudFront отдавал содержимое с балансировщика, из-за небольшой ошибки по невнимательности установка WAF на балансере привела к блокировке IP CloudFront. Автоматизация в таких случаях очень важна – например, благодаря тонкой настройке масштабирования можно влиять на инфраструктуру буквально в течение разговора, корректируя метрики на единицы процентов и количество машин во флоте. Но нужно стремиться к максимальной автоматизации как можно большего количества процессов на основании правильных метрик и предварительного масштабирования, согласованного с маркетингом.

Описанный подход позволяет создать инфраструктуру, устойчивую как к ожидаемым большим нагрузкам, так и к внезапному росту трафика.

Подготовка к пиковым нагрузкам

Сложно точно предсказать, как поведет себя система в период скидочных дней, когда количество запросов пользователей может вырастать в десятки раз. Максимально обезопасить себя можно с помощью аудита. Для этого составляется таблица, в которой перечисляются все инфраструктурные единицы и статус их готовности к пиковой нагрузке. План работ по подготовке и архитектура систем могут быть разными, но можно выделить несколько общих моментов.

Памятка по аудиту устойчивости систем 

С какими внешними сервисами взаимодействует система, и какие есть ограничения?
Какие ограничения имеют внутренние приложения и сервисы?
Какие лимиты аккаунта AWS на конкретный ресурс установлены и нужно ли их увеличивать?
Используются ли балансировщики, и правильно ли они настроены?
Используется ли автомасштабирование, и правильно ли оно срабатывает?
Для каких сервисов можно включить автомасштабирование, а для каких нет?
На какие сервисы нагрузка возрастает пропорционально пользовательской активности?
Правильно ли подобраны тип и количество инстансов?
Каков прогноз увеличения использования дискового пространства, и какие нужны работы по увеличению объема дисков?

Каковы ограничения на уровне баз данных и лимиты приложений?

Что делать?

Внешние сервисы

Необходимо выделить внешние узлы и сервисы, с которыми взаимодействует система и без которых ее работа невозможна. Часто это могут быть внешние сервисы авторизации и валидации. Здесь нужно рассмотреть как технические возможности системы, так и организационные возможности сервисов, например, можно ли выбрать тариф, который предусматривает поддержку большего количества одновременных сессий.

Лимиты

Чтобы увеличить лимит ресурсов, выделенных AWS для вашей учетной записи, потребуется обратиться в техническую поддержку. Это займет время, поэтому сперва нужно убедиться, есть ли возможность роста системы без превышения лимитов, и только, если это необходимо, запросить увеличение.

Узкие места

Проведение нагрузочного тестирования на копии production системы помогает выявить узкие места в модулях приложения и в узлах инфраструктуры.

Автомасштабирование

Нужно уточнить, включено ли автомасштабирование для ваших сервисов и есть ли сервисы, которые необходимо будет масштабировать. Важно подобрать тип инстанса с запасом, если нужно, запланировать время на обслуживание. Использование AWS Managed Services и EC2 AutoScaling позволяет проделать эти работы с минимальным временем простоя либо без него.

Сеть

Нередко многие выбирают тип инстанса только по параметрам CPU и Memory, но в моменты высокой нагрузки по трафику могут начаться проблемы, которые сложно отследить. Обратите внимание на тип инстанса со стороны пропускной способности сети – Network. Для разных серий и типов инстансов пропускная способность может быть от очень низкой до 100Гбит/с.

Пользовательская активность

Можно выделить сервисы, которые больше подвержены нагрузке при пользовательской активности. Здесь можно посмотреть на график изменения CPU, Network, Memory в течение светового дня.

Мониторинг

Необходимо знать, что происходит в системе по инфраструктурным метрикам AWS CloudWatch, так и по метрикам самого приложения. Система мониторинга – это один из немногих инструментов, который помогает быстро обнаружить и предотвратить проблемы при высокой нагрузке, либо отследить, в чем был сбой. Обычно заранее создаются дашборды с наиболее важными метриками.

Логи и метрики

Во время пиковой нагрузки может генерироваться большое количество служебной информации, такой как логи и метрики. Нередко бывают случаи, когда нагрузка на систему логов в разы выше, чем нагрузка на основные приложения. Необходимо отключить Debug логи на production, а также проверить, достаточной ли мощностью обладает система логов и метрик, а затем скорректировать, если необходимо.

Безопасный и быстрый деплой новых версий

Неудачно настроенная выкатка новых версий может быть долгой и небезопасной. Например, это может привести к ситуации, когда каждая машина будет обновляться по 20 минут. Из-за ошибки половина флота окажется на старой версии, а половина на новой и не будет механизма отката за приемлемое бизнесу время.

Своевременная подготовка к максимальным нагрузкам помогает обеспечивать отказоустойчивость площадок, а также справляться с ростом трафика без потерь клиентов, прибыли и репутации.

Авторы: архитектор решений AWS Сергей Курсон и архитектор решений AWS Softline Андрей Фирсов

Чтобы узнать больше о решениях AWS, посетите наш раздел сайта Softline или напишите нам, чтобы обсудить ваш бизнес или технический вопрос.

Контакты:
Andrey.Firsov@softline.com

Теги:

Новости, истории и события
Смотреть все
Провайдер «Инферит Облако» (ГК Softline) и компания «Береста РК» объявили о стратегическом партнерстве в сфере цифровой трансформации бизнеса
Новости

Провайдер «Инферит Облако» (ГК Softline) и компания «Береста РК» объявили о стратегическом партнерстве в сфере цифровой трансформации бизнеса

27.06.2025

 ГК Softline приобретает контролирующую долю в группе компаний Омег-Альянс
Новости

ГК Softline приобретает контролирующую долю в группе компаний Омег-Альянс

27.06.2025

Российский производитель лазерных решений VPG LaserONE (ГК Softline) принял участие в Центрально-азиатском конгрессе по эндоурологии (CEAC 2025)
Новости

Российский производитель лазерных решений VPG LaserONE (ГК Softline) принял участие в Центрально-азиатском конгрессе по эндоурологии (CEAC 2025)

26.06.2025

Bell Integrator (кластер FabricaONE.AI ГК Softline) принял участие в дискуссии на тему искусственного интеллекта в рамках ПМЭФ-2025
Новости

Bell Integrator (кластер FabricaONE.AI ГК Softline) принял участие в дискуссии на тему искусственного интеллекта в рамках ПМЭФ-2025

26.06.2025

Позиция ГК Softline по приобретению завода по производству электроинструментов в г. Энгельс
Новости

Позиция ГК Softline по приобретению завода по производству электроинструментов в г. Энгельс

25.06.2025

ГК Softline и «Телеком биржа» объявляют о партнерстве в сфере облачных решений
Новости

ГК Softline и «Телеком биржа» объявляют о партнерстве в сфере облачных решений

25.06.2025

«Инферит ОС» (ГК Softline) подтвердил совместимость ОС «МСВСфера Сервер» 9 и справочной правовой системы «КонсультантПлюс»
Новости

«Инферит ОС» (ГК Softline) подтвердил совместимость ОС «МСВСфера Сервер» 9 и справочной правовой системы «КонсультантПлюс»

25.06.2025

Генеральный директор ГК Softline Владимир Лавров выступил на ежегодном ИТ-завтраке РУССОФТ на ПМЭФ-2025
Новости

Генеральный директор ГК Softline Владимир Лавров выступил на ежегодном ИТ-завтраке РУССОФТ на ПМЭФ-2025

24.06.2025

Стационарный комплекс РДИ от «Инферит Техника» (ГК Softline) вошел в реестр Минпромторга
Новости

Стационарный комплекс РДИ от «Инферит Техника» (ГК Softline) вошел в реестр Минпромторга

24.06.2025

Платформа для корпоративного обучения «Стадия» от Академии АйТи (кластер FabricaONE.AI ГК Softline) получила главную награду премии HR Tech Awards 2025
Новости

Платформа для корпоративного обучения «Стадия» от Академии АйТи (кластер FabricaONE.AI ГК Softline) получила главную награду премии HR Tech Awards 2025

24.06.2025

ГК Softline примет участие во встрече HR-клуба РУССОФТ
Новости

ГК Softline примет участие во встрече HR-клуба РУССОФТ

23.06.2025

Сомерс (ГК Softline) внедряет Bluetooth-платежи «Волна» от НСПК
Новости

Сомерс (ГК Softline) внедряет Bluetooth-платежи «Волна» от НСПК

23.06.2025

Группа «Борлас» (ГК Softline) подтверждает лидирующие позиции в консалтинге
Новости

Группа «Борлас» (ГК Softline) подтверждает лидирующие позиции в консалтинге

20.06.2025

«Софтлайн Решения» и Axoft обеспечили информационную безопасность УЭСК
Новости

«Софтлайн Решения» и Axoft обеспечили информационную безопасность УЭСК

20.06.2025

Павел Витков возглавил отдел продаж софтверных продуктов «Инферит» (ГК Softline)
Новости

Павел Витков возглавил отдел продаж софтверных продуктов «Инферит» (ГК Softline)

19.06.2025

ГК Softline стала главным технологическим партнером чемпионата профессионального мастерства Госкорпорации «Росатом» AtomSkills-2025
Новости

ГК Softline стала главным технологическим партнером чемпионата профессионального мастерства Госкорпорации «Росатом» AtomSkills-2025

18.06.2025

Сомерс (ГК Softline) реализует платёжный проект для национального регулятора Армении
Новости

Сомерс (ГК Softline) реализует платёжный проект для национального регулятора Армении

18.06.2025

ПАО «Софтлайн» информирует участников обмена ГДР Noventiq о приближающейся дате фиксации реестра акционеров по третьему этапу обмена 23 июня 2025 года
Новости

ПАО «Софтлайн» информирует участников обмена ГДР Noventiq о приближающейся дате фиксации реестра акционеров по третьему этапу обмена 23 июня 2025 года

18.06.2025

SimpleOne HRMS: автоматизация управления персоналом для повышения лояльности сотрудников и эффективности бизнеса
Блог

SimpleOne HRMS: автоматизация управления персоналом для повышения лояльности сотрудников и эффективности бизнеса

27.06.2025

Технологии умного города: от ИИ до RPA
Блог

Технологии умного города: от ИИ до RPA

25.06.2025

ГК Softline развивает наукоемкое ПО для инженерного анализа (САЕ)
Блог

ГК Softline развивает наукоемкое ПО для инженерного анализа (САЕ)

23.06.2025

Российские облачные сервисы: преимущества, особенности и выбор
Блог

Российские облачные сервисы: преимущества, особенности и выбор

20.06.2025

VPS: что это и когда он необходим бизнесу
Блог

VPS: что это и когда он необходим бизнесу

17.06.2025

Яндекс 360: эволюция решений для цифровой трансформации бизнеса
Блог

Яндекс 360: эволюция решений для цифровой трансформации бизнеса

11.06.2025

Платформизация, безопасность ИИ и активная защита малого бизнеса — «Лаборатория Касперского» об ИБ-рынке
Блог

Платформизация, безопасность ИИ и активная защита малого бизнеса — «Лаборатория Касперского» об ИБ-рынке

09.06.2025

Генеративный ИИ в промышленности: роботы, агенты и «Индустрия 6.0»
Блог

Генеративный ИИ в промышленности: роботы, агенты и «Индустрия 6.0»

04.06.2025

Платежные терминалы: виды, безопасность и тенденции рынка
Блог

Платежные терминалы: виды, безопасность и тенденции рынка

28.05.2025

Российские антивирусы
Блог

Российские антивирусы

26.05.2025

Увеличение штрафов за нарушения в обработке и хранении ПДн с 30 мая 2025
Блог

Увеличение штрафов за нарушения в обработке и хранении ПДн с 30 мая 2025

20.05.2025

Цифровая трансформация: с чего начать
Блог

Цифровая трансформация: с чего начать

15.05.2025

Защита персональных данных: требования законодательства и способы защиты от утечек
Блог

Защита персональных данных: требования законодательства и способы защиты от утечек

06.05.2025

Как устроены цифровые двойники: этапы разработки и примеры использования
Блог

Как устроены цифровые двойники: этапы разработки и примеры использования

29.04.2025

Стратегия перехода в облако
Блог

Стратегия перехода в облако

24.04.2025

Защита данных и информации: методы, практика, стандарты и законы
Блог

Защита данных и информации: методы, практика, стандарты и законы

22.04.2025

Цифровые профессии будущего: кто выживет в эпоху искусственного интеллекта
Блог

Цифровые профессии будущего: кто выживет в эпоху искусственного интеллекта

17.04.2025

Российские системы виртуализации
Блог

Российские системы виртуализации

15.04.2025

ИТ-решения, кейсы, новости
в Telegram-канале Softline
Подписаться