Когда система падает не из-за ошибки, а из-за архитектуры в Китае

В блоге Habr-Infosec вышел разбор ситуации, когда Kubernetes одновременно запросил 100 тысяч TLS-сертификатов. Это не ошибка, а следствие архитектуры, где зависимость от центра сертификации становится узким местом. Я считаю, что подобные сценарии — не редкость, а сигнал: ваш сайт, как и инфраструктура, может зависеть от ресурса, который не рассчитан на пик. И если он не готов к такому, то не просто медленно работает — он не работает вовсе.

О чём речь и почему я считаю это важным для бизнеса

Речь о том, как система, построенная на нормальной нагрузке, может рухнуть при пике. Не из-за ошибки, а из-за неправильного распределения ответственности между процессами. В статье — сценарий с Kubernetes, но суть универсальна: когда один ресурс должен обслужить миллионы запросов за секунду, а он не рассчитан на это, всё останавливается. Это не про безопасность, не про уязвимости, а про архитектуру. Я считаю, что для бизнеса это важно, потому что сайт — не просто страницы, а система, где каждый элемент зависит от другого. Если один компонент не выдерживает пик, весь проект замедляется, а значит — теряются клиенты. И это не про технический сбой, а про потерю выручки.

Как это устроено — что тут вообще происходит

В системе с тысячами сервисов, работающих на mTLS, каждый контейнер требует собственного сертификата. При массовом восстановлении ЦОДа — десятки тысяч подов запускаются одновременно. Каждый из них обращается к центру сертификации за подписью. В штатном режиме — 10–11 запросов в секунду. Но при аварии — 100 тысяч. ЦС не справляется. Запросы таймаутятся, приложения перезапускаются, и нагрузка растёт. Получается эффект «грохота стада»: тысячи сервисов бьются в один ресурс. Это не сбой, это закономерность. И она возникает, когда производство и потребление не разделены.

Что изменилось на рынке: как делали раньше и как делают сейчас

Раньше считали, что достаточно масштабировать ЦС. Потому что «всё в порядке, если нагрузка в среднем низкая». Сейчас понимают: средняя нагрузка — не показатель. Пик — это отдельная реальность. Решение не в увеличении мощности, а в изменении архитектуры. Вместо того чтобы ждать, когда сертификат нужно, его выпускают заранее. Хранят в защищённом хранилище. И при пике — берут из резерва. Это не новое изобретение. Это — логика склада: производство по графику, потребление — по спросу. Такой подход стал возможен благодаря развитию систем управления секретами. И он не про безопасность, а про отказоустойчивость.

Кому это касается и как понять, что это про ваш проект

Если ваш сайт, интернет-магазин или сервис работает с большим количеством подключений, API-вызовов, интеграций — это про вас. Особенно если: вы используете внешние сервисы, которые выдают ключи, токены, сертификаты; у вас есть пиковые нагрузки (распродажи, запуски новых продуктов); вы зависите от внешних систем, которые не управляете. Если при сбое вы ждёте, пока что-то подпишет — вы в той же ситуации. И если у вас нет резервного хранилища для критичных данных — вы рискуете. Проверить можно: сколько раз в месяц система «зависает» при пике? Сколько запросов приходится на пик? Если ответ — «много» — значит, вы в зоне риска.

Что с этим делать — порядок действий в общем виде

Сначала — аудит: выявить, какие компоненты зависят от внешних ресурсов, которые не масштабируются. Затем — понять, где пиковая нагрузка. Далее — разделить производство и потребление: где можно заранее подготовить данные, а не ждать их. Это может быть сертификат, токен, ключ, данные из 1С, товарная карточка. Создать защищённое хранилище, где эти данные хранятся. Настроить автоматическое обновление и смену. И, главное, не полагаться на «всё будет нормально» — а проектировать под пик. Это не про техническую оптимизацию, а про архитектурное мышление: не ждать, а быть готовым.

Инфраструктура, которая не думает о пике, уже устарела

Мы часто думаем, что система работает, если она стабильна в обычном режиме. Но в реальности — она работает, только если выдерживает пик. И если вы не подготовили её к этому, вы просто не готовы к кризису. В Cetera мы видим, как сайты, которые не думают о резервах, падают при распродажах. Как интеграции зависают при массовом обновлении данных. И если ваш сайт не может выдержать пик — он не просто медленный, он не работает. А значит, не приносит доход. И самое важное: если ваша система зависит от внешнего сервиса, который не выдерживает нагрузку, вы не можете контролировать конечный результат. И это — риск. Поэтому мы не просто интегрируем, мы проектируем с учётом пиков. И не потому что это красиво, а потому что бизнес не может ждать.

Новость для бизнеса в Хулуне-Буире, Китай