Déclarer un dataset

Quatre gestes, le reste est généré.

1. Créer le projet

copier copy --trust gl:flender/dataplateforme/plateforme//copier-template mon_dataset
cd mon_dataset && git init && git add -A && git commit -m "nouveau dataset"

Le gabarit pose cinq questions (nom, titre, responsable, criticité, environnements) et écrit le contrat à 80 %. Créez le projet flender/dataplateforme/dataset/mon_dataset dans GitLab, poussez.

2. Déposer les données

Dans incoming/dev/ (ou gardez le générateur synthétique gen_dev.py), poussez, ouvrez une merge request. Le pipeline lit à blanc et commente la MR : lignes comptées, colonnes et types déduits.

3. Relire le schéma déduit

Dans le contrat, épinglez ce qui doit l'être :

tables:
  mon_dataset:
    primary_key: [ref]
    columns:
      ref: {type: text, description: "Référence ERP, peut commencer par 0"}

Une fois, au premier chargement. Mergez : dev et staging se chargent ; prod se publie à la main par un mainteneur ou selon le planning du contrat.

4. Décrire les colonnes et déclarer les lecteurs

Les descriptions nourrissent cette documentation et le modèle global. Les lecteurs (readers: [user:jdupont, app:radar, group:methodes]) décident qui lit un environnement restreint ; vous pouvez aussi les modifier depuis l'onglet Accès de votre dataset.

Relier au modèle global

Une clé vers un autre dataset se déclare dans le contrat :

tables:
  anc:
    foreign_keys:
      - {column: article__ref, references: ref_articles.articles.ref_article}

Elle apparaît alors dans le modèle de données global.