Запишите онлайн-процесс расследования OOM

Так как я не владею матовым инструментом, посмотрев карту распределения, итого всего 103,6Мб.Я думал, что с памятью в куче проблем нет, поэтому подумал о переполнении памяти вне кучи. Я проверял использование ThreadLocal в коде один за другим, и объекты вовремя очищались, проверял количество онлайн-потоков, явных проблем не обнаружено.

Перепечатайте статью о переполнении памяти вне кучи, вызванном слишком большим количеством потоков:Слишком много потоков вызывает переполнение памяти вне кучи

Продолжайте использовать мат-анализ, используйте функцию Leak Suspects и обнаружите, что в памяти находится большое количество объектов TrueTypeFont.

Просто подумал, что в этом приложении есть функция использования шрифтов для рисования картинок и отправки картинок. Поэтому я проверил состояние запроса OOM в то время и обнаружил, что действительно было большое количество запросов на рисование, и обнаружил, что более 600 рисунков были отрисованы одновременно в определенном запросе.

Проблема воспроизводится

Затем я смоделировал запрос в тестовой среде компании, и действительно, использование памяти выросло с более чем 60 до более чем 80.

Вернувшись назад и проверив код рисунка, я обнаружил, что проблема с обработкой шрифтов действительно есть.

Логика этого метода заключается в том, чтобы загрузить файл шрифта на сервер, с помощью кисти нарисовать QR-код, а затем сохранить его во временную директорию сервера.

Мы не очень хорошо поработали с загрузкой шрифтов здесь, так что каждый раз, когда приходит задача рисования, файл шрифта будет загружаться, а в памяти будет создаваться объект шрифта, а размер файла шрифта на нашем сервер составляет около 16 МБ, что эквивалентно каждому. Необходимо загрузить 16 МБ памяти, чтобы рисовать изображение за раз.

Проанализируйте причины

Поскольку в то время я не был знаком с матом, мне все еще было интересно, манипулирует ли Font пространством вне кучи. Итак, я готов протестировать дополнительное пространство кучи.

Устранение возможности переполнения пространства вне кучи

Конфигурация нашего сервера - память 8G, а jvm настроен как-Xmx4428m -Xms4428m -Xmn2767m，Если пространство вне кучи не ограничено, оно будет похоже на пространство JVM. В настоящее время мы ограничиваем размер пространства вне кучи, например, указываем, что пространство вне кучи составляет всего 100 МБ. -XX:MaxDirectMemorySize=100m.

Если Font использует пространство вне кучи, то пространство вне кучи вскоре достигнет 100 МБ, и будет выполняться полная сборка мусора, блокирующая все запросы, Stop The World. В это время, пока полный сборщик мусора очищается вовремя, последующие запросы на блокировку будут продолжать поступать, продолжать достигать 100M и продолжать полный сборщик мусора. Таким образом, использование памяти никогда не достигнет 8G, и не будет ситуации, когда система будет убита.

Однако во время теста было обнаружено, что использование памяти все еще растет, и в конце концов его убили.Так что позже я могу только снова подозревать, что это переполнение памяти в куче. Используя ту же стратегию, установите память кучи на 1G (100M не может быть применена), обнаружил, что память не продолжает увеличиваться, и проверил журнал gc, и выполнял полный GC, Из этого можно примерно видно, что использование памяти внутри кучи.

Из этого видно, что в пиковый период поступило большое количество запросов на отрисовку, в результате чего в память было загружено большое количество крупных объектов, что в итоге привело к превышению памяти jvm над системной памятью, а контейнер был убит системой.

Решать проблему

Измените шрифт на одноэлементный режим, в памяти существует только одна копия.

Попробовал еще раз в тестовой среде компании, и использование памяти не изменилось. После того, как релиз вышел в сеть, проблема больше не появлялась в сети, и проблема на время прекратилась.

Суммировать

• Для онлайн-ошибок сайт должен быть защищен в первую очередь.
  
• Будьте особенно осторожны с операциями с большими объектами.
• Общие инструменты необходимо освоить, иначе будет потрачено много ненужного времени. При использовании мата для анализа задач вас больше должны волновать пропорции объекта, а не его размер. Если вы лучше знакомы с инструментами, вы можете сохранить работу по проверке пространства за пределами кучи позже.
• Если есть тревога, нужно вовремя ее прочитать, благо в этот раз зависла только одна машина, и большого влияния на онлайн это не оказывает.

последующие вопросы