2024-02-17 04:28:42 +00:00
|
|
|
# E(T)LT pour Plesna
|
|
|
|
|
|
2025-01-03 08:07:48 +00:00
|
|
|
## Installation
|
|
|
|
|
|
|
|
|
|
## Concepts
|
|
|
|
|
|
|
|
|
|
- `dataplatform`: agrégation d'un datacatalogue, de moteur de compute et du dag des transformations.
|
|
|
|
|
- `datacatalogue`: gestion du contenu des datastores.
|
|
|
|
|
- `datastore`: interface de stockage des données.
|
|
|
|
|
- `compute`: moteur de traitement des fluxs.
|
|
|
|
|
- `graph/dag`: organisation logique des fluxs et des données.
|
|
|
|
|
|
2024-02-17 04:28:42 +00:00
|
|
|
## Stages
|
|
|
|
|
|
|
|
|
|
- Raw: fichiers les plus brutes possibles
|
|
|
|
|
|
|
|
|
|
- historique (fichiers avant création datawharehouse)
|
|
|
|
|
- pdf (depuis les agences)
|
|
|
|
|
- banque (extract depuis le web)
|
|
|
|
|
- patrimoine
|
|
|
|
|
|
|
|
|
|
- Staging: importation des données brutes triées par années
|
|
|
|
|
|
|
|
|
|
- locataire (fait)
|
|
|
|
|
- charge (fait)
|
|
|
|
|
- banque (fait)
|
|
|
|
|
- patrimoine (dimension): description des lots
|
|
|
|
|
|
|
|
|
|
- Gold: données enrichies (catégorie, lots...) et testée
|
|
|
|
|
|
|
|
|
|
- locataire
|
|
|
|
|
- charge
|
|
|
|
|
- banque
|
|
|
|
|
- patrimoine
|
|
|
|
|
|
|
|
|
|
- DataMart: données organisées pour analyse
|
|
|
|
|
|
|
|
|
|
- lot\_<lot_id>\_loyer: historique de tous les loyers du lot
|
|
|
|
|
- lot\_<lot_id>\_travaux: historique de tous les travaux du lot
|
|
|
|
|
- lot\_<lot_id>\_description: historique des identifications du lot
|
|
|
|
|
|
|
|
|
|
- pnl\_<annee>: agrégation des loyers, charges et banques par mois et immeuble
|
