Сбой в Go-библиотеках из-за PDF-файлов остановил сервис на полчаса

Проблема проявилась в начале июня, когда сервис, обрабатывающий большой поток PDF-документов от разных источников, столкнулся с неожиданным зависанием. Единственный проблемный файл спровоцировал увеличение количества подов до максимально допустимого значения, после чего все они перестали отвечать, потребляя 100% ресурсов центрального процессора.

Расследование инцидента выявило три основные причины произошедшего. Сначала внимание было уделено предполагаемому «ложному подозреваемому» — одной из библиотек. Затем выяснилось, что закомментированный ранее код, вызывавший панику в системе, мог стать фактором уязвимости. И наконец, ключевую роль сыграл санитайзер, который не смог корректно обрабатывать весь спектр символов, что и привело к сбою при обработке некорректно сформированного PDF.