Сбой бэкапов в объектном хранилище увеличил расходы на 160000%

Плата за хранение резервных копий данных, которая обычно составляла около десяти тысяч рублей в месяц, внезапно выросла до сорока двух тысяч рублей за трое суток. Причиной стало повреждение репозитория бэкапов, которое привело к накоплению дубликатов данных и невозможности корректного удаления старых версий.

Проблема заключалась в том, что репозиторий раздулся до 291 гигабайта, при этом 190 гигабайт были дублирующими файлами. Инструмент очистки (prune) не работал из-за повреждения репозитория и конкуренции за эксклюзивную блокировку между шестью виртуальными машинами, что мешало процессу очистки и приводило к накоплению избыточных данных.