Commencez par créer un nouveau projet EasyMorph.
Import des Données
Nous allons utiliser les sources de données suivantes :
pesticides_fonctions.csv
dim_fonction
Comment construire la table passerelle ?
L’objectif de la table passerelle est d’associer chaque groupe de fonctions à chacune des fonctions qu’il contient (voir figure ci-dessous).
Bien entendu le résultat final devra être composé des clefs comme l’illustre la figure ci-dessous :
Pour aboutir à ce résultat une solution simple (peu efficace, mais l’ensemble de données étant petit c’est acceptable) est d’effectuer le produit cartésien de l’ensemble des groupes de fonctions avec l’ensemble des fonctions et de ne conserver que les lignes pour lesquelles la fonction appartient au groupe fonction.
Processus ETL
Notre processus va se faire en deux étapes :
- La première étape aura pour objectif de construire une table de mapping conservant toutes les données nécessaires pour faire le lien entre la dimension
Pesticide
et la dimensionFonction
. Les clefsgroupe_fonction_key
etfonction_key
mais aussi les attributs pour récupérer ces clefs artificielles :code_groupe_fonction
,libelle_groupe_fonction
. - La seconde étape aura pour objectif d’exporter la table passerelle avec uniquement les données spécifiées dans la logical datamap, c’est à dire les deux clefs
groupe_fonction_key
etfonction_key
.
Construction de la table de mapping
Suivez les étapes suivantes pour générer la dimension mapping_groupe_fonction.csv
:
- Importez les fichiers
pesticides_fonctions.csv
etdim_fonction.csv
en les glissant-déposant dans la fenêtre principale ou avecAdd data > Import file > Import delimited text file
dans le bandeau d’outils. Assurez-vous que les paramètres d’import soient bien configurés (détails). - Ajoutez une clef artificielle auto-incrémentée à la table.
- Effectuez le produit cartésien de l’ensemble des groupes de fonctions avec l’ensemble des fonctions (détails).
- Conservez uniquement les lignes pour lesquelles la fonction appartient au groupe fonction (détails).
- Renommez les colonnes pour respecter la terminologie de la logical datamap (détails).
- Supprimez les colonnes inutiles (détails).
- Réordonnez les colonnes selon le même ordre que la logical datamap. Pour cela allez dans la fenêtre active montrant un extrait des données et déplacez directement les colonnes.
- Exportez la table de mapping dans un fichier
mapping_groupe_fonction.csv
(détails).
Construction de la table passerelle
Suivez les étapes suivantes pour générer la dimension dim_groupe_fonction
:
- Importez le fichier
mapping_groupe_fonction.csv
en le glissant-déposant dans la fenêtre principale ou avecAdd data > Import file > Import delimited text file
dans le bandeau d’outils. Assurez-vous que les paramètres d’import soient bien configurés (détails). - Supprimez les colonnes qui ne sont pas présentes dans la logical datamap (détails).
- Exportez la dimension dans un fichier
dim_groupe_fonction.csv
(détails).
Exécution du processus
Dans le bandeau d’outils cliquez sur Run project
pour exécuter le processus ETL. Vérifiez que le fichier dim_groupe_fonction.csv
a bien été généré.