Paramétrer un Job d’audit avec SAP Data Integrator

Dans ce tutoriel, vous découvrirez comment paramétrer et utiliser un Job d’audit avec SAP Data Integrator.

Prérequis :

• Installation de SAP Data Services avec une version compatible de SAP Information Platform Services (IPS).
• Création d’un référentiel local.
• Import des formats de bases de données sources et cibles.
• Création d’un projet contenant un Job.
• Création d’un flux de données (Data Flow) dans ce Job.

Application : SAP Data Integrator

Version : SAP Data Integrator 4.2 SP10 avec Information Platform Services 4.2 SP5, dernière version compatible.

Remarque : notre Job appelé Job_CustGood contient un unique Data Flow (flux de données) appelé DF_CustGood, c’est pourquoi ce Data Flow n’est pas inclut dans un Workflow. L’important est de respecter la hiérarchie des types d’objets dans SAP Data Integrator :

Projet > Job > Work Flow > Data Flow

Le Data Flow de notre Job d’audit est structuré de la manière suivante :

Dans un premier temps nous allons présenter les aspects fonctionnels généraux de ce type de Job. Ensuite nous vous détaillerons comment paramétrer le composant « Validation » de ce Job d’audit et éxecuter votre Job.

L’objectif d’un Job d’audit est de définir deux chemins de flux pour nos données d’entrée extraites dans la table source représentée par « ods_customer » :

• Une voie de réussite du test réalisé par le composant « Validation » : les données sont alors envoyées vers la table cible CUST_GOOD.
• Une voie d’échec du test réalisé par le composant « Validation » : les données sont alors envoyées vers la table cible CUST_BAD_FORMAT.

Notre table source contient des informations client. Dans notre cas le test mis en place au sein du composant « Validation » consiste à vérifier la validité du format d’un champs de la table source : ce champs contient un code postal et ce code est considéré valide seulement si il est constitué de 5 chiffres.

La table cible récoltant les réussite (versus les échecs) est choisie lors de la création du lien depuis le composant « Validation » vers une table cible avec les mots clés « pass » (réussite) et « fail » (échec) :

Connectez vous à la base de données contenant votre table source et insérez deux nouvelles lignes dans la table client avec un code postal à 6 chiffres (donc invalide) :

Réimporter votre table source pour tenir compte de votre modification :

Avant de vous montrer l’execution de ce Job d’audit, nous allons vous détailler le paramétrage du composant « Validation ». Vous pouvez trouver ce composant dans votre bibliothèque d’objets dans la catégorie « Transform » (comme l’objet « Query ») en ouvrant « Plateforme » :

Faîtes ensuite un cliquer – glisser de l’objet « Validation » vers votre flux de données :

Voilà le détail du paramétrage de votre composant « Validation », vous pouvez voir que les schémas des tables cibles sont les mêmes que le schéma de la table source, car il s’agit seulement de rediriger nos données selon la réussite ou l’échec d’un test sur le champs Zip :

Si vous cliquez sur la règle de validation vous pouvez voir comment est réalisé son paramétrage : après avoir donné un nom et une description cohérents à votre règle vous précisez le format que doit respecter le code postal pour être considéré comme valide grâce à la condition « match pattern » : le code postal doit contenir 5 chiffres.

En ayant coché « Envoi vers Echec » vous précisez qu’en cas de non respect de la règle de validation les données sont envoyées vers une table d’échec. SAP Data Integrator saura à l’exécution qu’il s’agit de la table CUST_BAD_FORMAT car elle est reliée au composant validation par un lien « Fail ».

Exécutez votre Job, puis affichez de nouveau votre flus de données et cliquez sur les petites loupes pour visualiser les données présentes dans vos deux tables cibles :

Les deux lignes avec un code postal erroné que vous avez inséré dans votre table client source on bien été detectées par le composant « Validation » et envoyées vers la table cible CUST_NOT_GOOD.

Vous savez maintenant comment paramétrer un Job d’audit de vos données source.