Странная статистика по потреблению ресурсов контейнером с monitorrent

[zalessky]

Веб-морда unraid и Portainer считают, что monitorrent потребляет более 3Gb оперативы, что, как по мне, овер черезчур. При этом сам docker stats в консоли показывает крайне скромные 25Mb. Кому верить?
P.S. Есть предположение, что виной тому мои изменения в lostfilm.py, написанные в соавторстве с целым букетом ИИ. И Хост залипает у меня, возможно, из-за утечки памяти в этом скрипте. Но это лишь предположения...

[werwolfby]

Это очень хороший вопрос, но есть одно но!

Там зашит chromium внутри чтобы иногда капчу обходить. Он не всегда запущен, потому большую часть времени monitorrent действительно должен жарть в районе 100Мб. Но иногда может стартануть хром попытаться решить капчу, всё такое... и уже после его закрыть. А кром никогда не скромничал, и мог жрать сколько угодно. Так что виртуального рама там действительн может быть выделено гигабайты, но по факту будет не много.

У меня он запускается в кубике с лимитами:

resources:
  requests:
    cpu: 20m
    memory: 128Mi
  limits:
    cpu: 2000m
    memory: 1024Mi

Так что по умолчанию я ему даю 128Мб, но разрешаю съесть до 1Гб. Проблем ещё замечено не было.

Жрет сейчас 325Мб, что больше чем хотелось бы, но приемлемо, питону сложно сказать не жрать, хотя он и не сильно прожорливый.

[zalessky]

Не. в моем случае все же утечка, пожалуй. Я сейчас еще щедрее на ресурсы:

deploy: resources: limits: memory: 2048m reservations: memory: 512m
Вчера до введения лимитов он сожрал 6 из 8 Гб памяти на сервере и положил его.
После введения - обожрался до лимита и умер сам.

Так что вайбкодинг с ИИ пока еще не торт. Где-то утечка в новом коде. Поэтому жду обнову от автора

[zalessky]

lostfilm.py

gemini полностью переписал класс LostFilmTVTracker для устранения утечек. Больше не вызывает get_download_info бесконечно в цикле
В init: Создается self.scraper, который является экземпляром cloudscraper (по сути, улучшенная сессия requests, которая уже использовалась в коде миграции).
Во всех методах (login, verify, parse_url, get_download_info): Вместо requests.post(...) или requests.get(...) теперь используется self.scraper.post(...) и self.scraper.get(...).
Из get_download_info: Строка session = requests.session() полностью удалена.

Что бы это ни значило... :-)

Остальные изменения, внесенные ранее для парсинга новых сериалов остались и работают. Потребление памяти снизилось

[zalessky]

Полностью переписал логику плагина. (gemini взял на себя всю работу, я только пинал.) Теперь памяти жрет гораздо меньше, lostfilm распарсивается в разы быстрее и находит сериалы и с новыми, и со старыми форматированиями.

lostfilm.py

[werwolfby]

@zalessky спасибо за проделанную работу :) Отдельное спасибо Gemini, но давать AI рефакторить работает очень плохо. Как человек который платит за них я знаю о чем говорю, Клод Код тоже справляется плохо даже на Опусе, Гемини в этом плане ещё хуже.

А полностью переписанная логика может сломать тесты. Я конечно посмотрю на ченджи, но пока это звучит не очень хорошо.