Русский 
English 
Охотники,
Когда мы запустили одно из наших крупнейших внутриигровых событий и достигли небывало высокого уровня одновременных игроков, наша команда работала круглосуточно, чтобы решить наши (к сожалению) частые проблемы с сервером.
Когда мы запустили мероприятие, мы увеличили емкость сервера, но нас поразило фактическое количество игроков, которые присоединились к игре. Поскольку серверы находятся под большой нагрузкой, мы хотим уделить некоторое время тому, чтобы поговорить о том, что произошло, что мы делаем сейчас и о следующих шагах на пути к более здоровым серверам.
Было рассмотрено множество различных вопросов, и некоторые из них все еще находятся в стадии расследования. Проблемы в основном исходили от бэкэнда и игровых серверов. Чтобы дать игрокам представление, бэкэнд держит вашу аутентификацию/вход в систему, инвентарь игрока и разблокировки, внутриигровой магазин для покупки предметов и охотников, а также сватовство. С другой стороны, игровые серверы-это то место, где происходит ваша миссия, от появления до извлечения (или смерти!). Поскольку мы стремимся быть максимально прозрачными, следующая информация будет технически сложной.
Что произошло за последние пару недель: За последние 30 дней, в основном с начала мероприятия 24 марта, мы столкнулись с различными проблемами
, и каков наш прогресс в отношении этих проблем:
- У нас было около трех случаев узкого места, которое строилось в задней части, заставляя его остановиться примерно через три дня. Мы смогли отправить исправление для этой проблемы 8 апреля, и с тех пор оно не наблюдалось.
- Затем у нас были проблемы, которые происходили в одно и то же время каждый день в течение трех дней подряд. Сначала мы думали, что исследуем проблемы с сетевым подключением, так как симптомы очень похожи. Оказалось, что некоторые внутренние процессы останавливают работу бэкенда ровно в 00:00 UTC. Они вызывали высокую загрузку диска на физической машине, которая не оставляла достаточно ресурсов для запуска внутренних процессов. Мы произвели некоторую реконфигурацию, чтобы этого не произошло. На данный момент она, похоже, решена, но мы будем следить за ней в течение следующих двух недель, как покажет только время.
- После этого у нас произошло некоторое прерывание работы сети в центре обработки данных, который мы используем для бэкенда. Это либо вызывало постоянные проблемы, которые приводили к полному перезапуску, либо временные проблемы в одном конкретном регионе. Мы не можем контролировать их, поскольку они вызваны проблемами реального мира.
- И, наконец, у нас был случай, который, кажется, является человеческой ошибкой, запускающей процесс, который был не нужен или еще не нужен. Это была наша ошибка, но она была выявлена и устранена.
Вот что мы в настоящее время исследуем: мы все еще наблюдаем медленное снижение производительности, которое может привести к тому, что бэкенд-серверы будут работать аналогично проблемам, выделенным красной стрелкой. Очень часто эти проблемы не проявляются во время внутреннего тестирования, так как они не находятся под той же экстремальной нагрузкой. В настоящее время мы ищем способы исследовать их непосредственно в живой среде, не вызывая никаких помех. Как только мы поймем, что является причиной потребления памяти, мы сможем решить эту проблему. На данный момент мы можем выполнить только обычный полный перезапуск, чтобы восстановить достаточно памяти для запуска бэкэнда.
Каковы следующие шаги? В настоящее время мы работаем над более сложной системой стресс-тестирования, которая позволит нам воспроизвести поведение тысяч игроков в нашей тестовой среде. Это позволит нам поймать проблемы до того, как они попадут на живые серверы. Наша текущая цель для этой системы-июнь 2021 года.
Последний релиз и событие были большим успехом для Ханта, так как мы удвоили количество одновременных игроков. Мы недооценили вовлеченность сообщества. Чтобы обеспечить наилучшую производительность, мы запускаем наши серверы на физических машинах. Это оказалось эффективным, но сложным для быстрого масштабирования. поскольку мы зависим от мощности центра обработки данных. Мы будем искать поддержку для быстрого масштабирования игровых серверов (облачных), но мы столкнулись с проблемами, так как хотим обеспечить хорошие условия игры на более слабых машинах. Интеграция для этой гибридной среды оказывается сложной задачей из-за того, что среды находятся в двух отдельных центрах обработки данных, но последний успех показал нам, что масштабируемость становится одним из главных приоритетов.
О событии: Мы понимаем, что простои серверов в часы пик в сочетании с живым событием могут быть очень разочаровывающими. Мы решили продлить продолжительность внутриигрового мероприятия на два дня. Мероприятие завершится 21 апреля в 16:00
по восточному времени, и мы хотели бы поблагодарить сообщество за то, что оно сделало это мероприятие самым масштабным на сегодняшний день. Спасибо вам за то, что вы были там с нами, и до встречи на протоке!
- Охотничья команда
