Base de métadonnées
Trois catégories de stockage. Une référence dans la base ne remplace pas le fichier lui-même ; les sauvegardes doivent couvrir les catégories nécessaires et la clé de chiffrement.
La base contient les connexions, les sources, les flux, les brouillons et les versions Production, les rôles et autorisations, les calendriers, la file d’exécution, les journaux et les références aux fichiers. Une installation autonome peut utiliser SQLite ou PostgreSQL. En mode UBC Analytics, le système utilise la base PostgreSQL de l’environnement correspondant.
Chaque environnement UBC Analytics possède deux schémas distincts : databridge_builder pour « Flux » et databridge_main pour « Intégrateur ». Les objets et fichiers d’une section ne deviennent pas automatiquement accessibles dans l’autre.
Fichiers
Le contenu des fichiers n’est pas stocké dans la base de métadonnées partagée. Le mode local utilise des répertoires de fichiers gérés. Le mode MinIO utilise un compartiment propre à UBC Data Bridge ; les copies de travail restent sur disque pour le traitement. La taille et la somme de contrôle des copies téléchargées sont vérifiées.
Versions et récupération d’espace
Une nouvelle version de fichier ne doit pas perturber une exécution acceptée, qui utilise sa référence figée. Les anciens éléments ne sont supprimés qu’après vérification de l’absence de référence depuis des versions, sources ou exécutions actives. Réduire le nombre de versions conservées peut supprimer des versions historiques de tous les fichiers de l’espace de travail.
Sauvegarde
- Conservez une sauvegarde cohérente des métadonnées, des fichiers gérés et des éléments d’exécution nécessaires.
- Conservez en sécurité la clé de chiffrement et la configuration : les secrets de connexion stockés ne peuvent pas être restaurés sans la clé requise.
- Pour MinIO, incluez le compartiment nécessaire et vérifiez les accès après restauration.
- Testez la restauration dans un environnement distinct avec un petit flux de lecture et d’exportation.