Полнота базы и здоровье конвейера

Тревоги — что накричали обёртки и сторожа, и что из этого не разобрано

неразобранных бед: 55 строк в очереди 396 — повторы свёрнуты самая старая 38,6 сут назад разобрать: scripts/alerts.sh, затем scripts/alerts.sh --ack

Показано бед: 12 из 55; строк в очереди 396. Повторы одной беды свёрнуты в строку со счётчиком: сторож ходит трижды в сутки и переписывает живую беду заново, и девять копий старой прятали свежую — так утонул обрыв 15.08, о котором датчики кричали двое суток. Обе метки времени обязательны: «началось» показывает, сколько беда живёт, «подтверждена» — что она ещё жива. Очередь — файл logs/alerts.log: она переживает ночь и закрытый экран, в отличие от нотификации, которая живёт секунды и требует человека у монитора (05.08 и 06.08 бэкап отменялся, узнали 11-го).

коммитов мимо гейта за 7 сут: 4 обход не бесплатен: гейт уже был мёртв днями, пока его обходили молча

Ночные контуры — жив ли конвейер без человека в петле

Период расписания читается из самого .plist (у агента с несколькими запусками в сутки — по самому длинному промежутку между ними). Красное — не мнение, а факт: агент выключен, либо последний успешный прогон старше трёх периодов расписания. Для бэкапа возрастом считается сам файл дампа, а не код выхода агента (код 0 без дампа мы уже видели 07.08). Прогон, закрывшийся нулём на законном пропуске («канал занят», «остаток квоты ниже порога»), успехом СЧИТАЕТСЯ, а работой — нет: 12–14.08 главный агент три ночи подряд выходил кодом 0, не подвинув горячий край.

Закупочные процедуры (proc) — полнота по журналу сканирования

В клетке — документов найдено и сколько ЯЧЕЕК «день × тип» закрыто сбором (единица журнала: за день сбор тянет каждый из типов отдельно, поэтому «365 из 365 дней» ещё не значит «год собран» — 13.08 при полных днях недоставало 793 584 документа). Ноль документов при просмотренных днях — это честный ноль, а не пробел: журнал fz44_proc.scan_log пишет и пустые дни. Разбор: 35 947 205 разобрано, 1 819 500 ждёт, 3 499 дублей. Счёт документов точен с 23.08.2026: до этого дня журнал писал число НОВЫХ документов последнего захода и обнулял запись при пересканировании горячего края, поэтому на 242 710 ячейках из 245 091 величина занижена и помечена знаком «≥» ([T-201], [T-239]). Два счёта не смешаны в одну цифру намеренно: день, когда они разойдутся, в ней не был бы виден. Пар «регион × день» в журнале — 7 697; знаменатель печатается рядом с долей намеренно, иначе ровный ряд выглядел бы полным и там, где регион перестал собираться. Ночного агента у этого контура нет — сбор идёт руками, поэтому лаг помечен «разовый сбор» и тревогой не считается.

Контроль — полнота по журналу сканирования — окно 01.01…22.09.2026, единица — ячейка «тип × день» (20 типов)

Счёт полученного появился 15.08.2026 (миграция 047), поэтому окно начинается там; всё, что собрано раньше, в этой таблице НЕ учтено и остаётся в таблице ниже как «данные есть». Задним числом журнал не восстанавливается: наличие документов не доказывает, что ячейку смотрели. Числитель и знаменатель берутся из журнала, а не из документов по дате публикации: у жалоб publish_date заполнен у 121 документа из 105 763 (парсер починен 15.08, прежние остались без даты), и на этой оси самый массовый тип дал бы правдоподобную, но смещённую картину. Красное — по колонке «потеряно» (errors), а не по остатку: «не по типу» это документы, которые парсер не признал своими, сигнал другой природы. Свежая недостача сутки не кричит: перескан перезаписывает ячейку целиком, и частично упавший повтор поверх чистого скана дал бы ложную тревогу.

Контроль (жалобы, проверки, РНП) — по факту наличия документов в дне

Клетки контроля намеренно НЕ красятся в шкалу полноты (серое = «данные есть»): журнала сканирования у этого контура нет, а значит нет и знаменателя — сколько ячеек должно было быть. Красить их зелёным значило бы выдать наличие данных за доказанную полноту; ровно эта ошибка 13.08 скрыла 793 584 недостающих документа у proc. Чтобы шкала появилась и здесь, сбору контроля нужен такой же журнал (день × тип), как у proc. Пробелы внутри года ищет python -m gz.fz44.control.collect --gaps по календарю публикаций. Лаг тревожен только у регионов ночного сбора (50, 77, 78); остальные помечены «разовый сбор» — там дата это факт, а не сигнал. Документов без даты публикации: 105 641 — они не попали ни в одну клетку. Организаций в справочнике DaData: 276 162.