# E(T)LT pour Plesna

## Installation

## Concepts

- `dataplatform`: agrégation d'un datacatalogue, de moteur de compute et du dag des transformations.
- `datacatalogue`: gestion du contenu des datastores.
- `datastore`: interface de stockage des données.
- `compute`: moteur de traitement des fluxs.
- `graph/dag`: organisation logique des fluxs et des données.

## Stages

- Raw: fichiers les plus brutes possibles

  - historique (fichiers avant création datawharehouse)
  - pdf (depuis les agences)
  - banque (extract depuis le web)
  - patrimoine

- Staging: importation des données brutes triées par années

  - locataire (fait)
  - charge (fait)
  - banque (fait)
  - patrimoine (dimension): description des lots

- Gold: données enrichies (catégorie, lots...) et testée

  - locataire
  - charge
  - banque
  - patrimoine

- DataMart: données organisées pour analyse

  - lot\_<lot_id>\_loyer: historique de tous les loyers du lot
  - lot\_<lot_id>\_travaux: historique de tous les travaux du lot
  - lot\_<lot_id>\_description: historique des identifications du lot

  - pnl\_<annee>: agrégation des loyers, charges et banques par mois et immeuble