E(T)LT pour Plesna

Installation

Concepts

• dataplatform: agrégation d'un datacatalogue, de moteur de compute et du dag des transformations.
• datacatalogue: gestion du contenu des datastores.
• datastore: interface de stockage des données.
• compute: moteur de traitement des fluxs.
• graph/dag: organisation logique des fluxs et des données.

Stages

• Raw: fichiers les plus brutes possibles

  • historique (fichiers avant création datawharehouse)
  • pdf (depuis les agences)
  • banque (extract depuis le web)
  • patrimoine

• Staging: importation des données brutes triées par années

  • locataire (fait)
  • charge (fait)
  • banque (fait)
  • patrimoine (dimension): description des lots

• Gold: données enrichies (catégorie, lots...) et testée

  • locataire
  • charge
  • banque
  • patrimoine

• DataMart: données organisées pour analyse

  • lot_<lot_id>_loyer: historique de tous les loyers du lot

  • lot_<lot_id>_travaux: historique de tous les travaux du lot

  • lot_<lot_id>_description: historique des identifications du lot

  • pnl_: agrégation des loyers, charges et banques par mois et immeuble