Talend Open Studio simplifie l’import des données chez Téléshopping

L’import de données est un élément souvent central et complexe dans le cadre des projets informatiques. Par exemple chez Téléshopping, un ERP contient les quelques milliers de produits qui seront vendus via le catalogue, le téléphone ou le site internet. Pour le site internet fonctionnant avec Magento, il est donc nécessaire de communiquer quotidiennement avec cet ERP pour importer ces produits.

Ce travail n’est pas trivial car il faut composer avec beaucoup de contraintes techniques :

  • Bases de données hétérogènes (Oracle et MySQL) ;
  • Fichiers à générer (CSV, JSON, XML) ;
  • Appels HTTP à des scripts PHP ;
  • Parallélisation de tâches à des fins d’optimisation.

Ainsi que des règles fonctionnelles complexes :

  • Validations de données ;
  • Transformations de données ;
  • Nombreuses étapes successives.

C’est pourquoi nous utilisons un outil d’ETL (Extract – Transform – Load) pour effectuer cet import de données.

Ce choix s’est porté sur Talend Open Studio. C’est un outil en Java basé sur un environnement Eclipse.

Il existe une version gratuite et une version payante ; nous utilisons la première.

Le principe de Talend Open Studio est de proposer une interface graphique permettant d’organiser des composants. Ils sont organisés dans des jobs ce qui permet de structurer le projet. Les jobs peuvent s’appeler entre eux.

 

 

Les principales catégories de composants sont :

  • Les connecteurs à une source externe (base de données, fichier, web service, …) ;
  • Les transformateurs de données (mapping de champs, calcul sur des champs, agrégation…) ;
  • Les éléments d’orchestration (boucles, itérateurs, …) ;
  • Les gestionnaires de log et d’erreurs.

Les composants sont reliés entre eux pour communiquer leurs entrées/sorties.

 

 

Une notion de contexte permet de configurer des variables dépendantes de l’environnement (développement, recette, production,…).

Talend Open Studio permet de simplifier la compréhension globale du workflow grâce à son approche visuelle et à la séparation des différentes étapes en sous-jobs. Grâce au grand nombre de composants proposés, il est souvent (pas toujours) facile de se connecter aux différentes sources de données et en dernier recours, il est toujours possible de coder ses propres composants Java.

Du côté plus nuancé, le produit ne répond pas à certains besoins comme le travail en équipe (contrairement à la version payante) et les tests unitaires. Certaines opérations qui peuvent sembler triviales ne sont pas toujours simples à mettre en œuvre et l’utilisation des contextes n’est pas facile à prendre en main.

 

Pour aller plus loin : https://fr.talend.com/products/talend-open-studio

Yves P

Ajouter un commentaire

Tags: