База метаданих
Три категорії зберігання. Посилання у базі не замінює сам файл; резервне копіювання має охоплювати потрібні категорії та ключ шифрування.
База містить підключення, джерела, потоки, чернетки й Production, ролі та права, розклади, чергу запусків, журнали та посилання на файли. В окремій установці можна використовувати SQLite або PostgreSQL. У режимі UBC Analytics система використовує PostgreSQL відповідного середовища.
У кожному середовищі UBC Analytics передбачено дві окремі схеми: databridge_builder для «Потоків» та databridge_main для «Інтегратора». Об’єкти й файли одного розділу не стають автоматично доступними в іншому.
Файли
Вміст файлів не зберігається у спільній базі метаданих. У локальному режимі це каталоги керованих файлів. У режимі MinIO використовується окремий бакет UBC Data Bridge; робочі копії залишаються на диску для обробки. Завантажена копія перевіряється за розміром і контрольною сумою.
Версії та звільнення місця
Нова версія файлу не повинна порушувати вже прийнятий запуск: він працює зі своїм зафіксованим посиланням. Старі матеріали видаляються лише після перевірки, що на них більше не посилаються версії, джерела або активні запуски. Зменшення кількості збережених версій може видалити історичні версії в усіх файлах області.
Резервна копія
- Зберігайте узгоджену копію метаданих, керованих файлів і потрібних матеріалів запусків.
- Захищено зберігайте ключ шифрування й конфігурацію: без потрібного ключа збережені секрети підключень не відновляться.
- Для MinIO включайте потрібний бакет і перевіряйте доступ до нього після відновлення.
- Перевіряйте відновлення в окремому середовищі невеликим потоком читання та експорту.