Six solutions ETL de données pour automatiser votre entreprise

Qu'est-ce que l'ETL?

Vous venez peut-être d'un autre langage de programmation ou vous avez peut-être démarré une nouvelle entreprise et souhaitez collecter des données à inclure dans votre nouveau système logiciel. Ou peut-être souhaitez-vous sauvegarder vos données afin qu'elles puissent être converties dans un format de données différent. En fait, toute situation où vous souhaitez obtenir des données d'une source et les placer dans un autre endroit. ETL entre en action dans de tels cas. ETL signifie Extract, Transformer et Load. Vous pouvez en savoir plus sur ETL et son processus ici.

https://en.wikipedia.org/wiki/Extract,_transform,_load

ETL peut être le lundi matin de l'informatique

Très souvent, ETL peut être une tâche pénible qui implique beaucoup de travail manuel et répétitif. Une situation typique est celle où nous avons des tonnes de données rassemblées dans une collection de feuilles de calcul Excel. La tâche peut être d'inclure ces données dans votre base de données pour les utiliser dans une application de bureau ou Web. Extraire manuellement les données d'une feuille Excel prend souvent beaucoup de temps. Ensuite, vous devez transformer les données dans un format que les sources de données de destination peuvent comprendre et utiliser pour charger des données dans leurs propres ensembles de données.

Comment Delphi peut-il vous faire gagner du temps sur ETL?

Delphi a génial prise en charge de la gestion des tâches ETL. Nous avons plusieurs composants dans Delphi spécialement conçus pour simplifier le processus ETL. Dans la plupart des cas, il vous suffit de faire glisser et déposer certains composants sur votre formulaire, de définir certaines propriétés et avec peut-être une très petite quantité de code pour le coller ensemble, la tâche est terminée. Jetons un coup d'œil à certains composants que vous pouvez utiliser dans votre processus ETL.

• FireDAC
• TFDBatchMove
• Liaisons en direct
• Connecteurs d'entreprise
• TRESTClient
• Client SOAP

Qu'est-ce que FireDac et comment l'utiliser?

FireDac est une bibliothèque d'accès aux données universelle que vous pouvez utiliser à la fois dans la VCL et dans les applications Firemonkey multi-périphériques. Il prend en charge à la fois les systèmes de gestion de bases de données relationnelles SQL et les sources de données non SQL.

FireDAC comprend également les composants nécessaires pour déplacer les données d'une source vers une autre source. Ici vous pouvez le voir en action.

Dans cet exemple, nous utilisons le composant «TFDBatchMove» pour déplacer des données d'un SGBDR vers un fichier Microsoft Excel. Nous montrons également l'inverse avec les données transférées dans la direction opposée depuis Excel. De plus, vous pouvez voir qu'il n'y a que deux lignes de code pour que tout se passe!

Comment lier des composants à d'autres composants ou sources de données à l'aide de LiveBindings?

Les LiveBindings sont le moyen visuel de lier les composants <> composants et composants <> sources de données. Vous pouvez contrôler les propriétés d'un composant à l'aide d'un autre composant sans aucun code. Vous pouvez utiliser le concepteur de liaison dynamique ou l'assistant de liaison dynamique pour cela. Il s'agit simplement d'un glisser-déposer d'une connexion pour lier des composants et des ensembles de données.

Un exemple de Live Bindings

Examinons un exemple pour illustrer LiveBindings.

Tout d'abord, créez un nouveau projet VCL et ajoutez un TFDMemTable et ajoutez des données à la table mémoire. Ajoutez ensuite un TDateSource et connectez-le à la table mémoire à l'aide de la propriété de l'ensemble de données. Ensuite, ajoutez des étiquettes, un TSpinEdit, des composants TEdit jusqu'à ce que votre formulaire ressemble au formulaire ci-dessous. Ajoutez maintenant un TDBNavigator et connectez-le à la source de données.

Donnez des noms mémorables à tous les composants afin que nous puissions les identifier dans LiveBindings Designer. Si vous laissez tout avec les noms par défaut comme TEdit1, TEdit2, cela devient très rapidement déroutant dans la vue LiveBindings.

Maintenant, cliquez avec le bouton droit sur le formulaire et sélectionnez «Lier visuellement» dans le menu. Faites glisser et connectez les propriétés de ces composants aux champs de la table mémoire. Ça y est, vous avez terminé!

Maintenant, exécutez l'application et vous pouvez insérer, modifier, supprimer des données dans la table mémoire en utilisant ces composants sans une seule ligne de code.

Une vidéo plus approfondie de LiveBindings pour faciliter ETL

Quels sont ces connecteurs d'entreprise Delphi?

Comme nous l'avons vu précédemment, FireDAC possède de nombreux composants pour prendre en charge une variété de connexions d'entreprise différentes. En utilisant les connecteurs d'entreprise CData, nous pouvons aller au-delà des bases de données SQL / No SQL classiques et nous connecter à de nombreux autres types d'applications et en extraire des données comme n'importe quelle base de données ordinaire. Les connecteurs d'entreprise prennent en charge plus de 180 types de sources de données d'entreprise. Vous pouvez accéder à ces données à l'aide de vos composants habituels à l'aide de liaisons dynamiques ou manuellement dans votre code. Consultez ce lien pour découvrir les composants et applications d'entreprise pris en charge par FireDAC. en utilisant les connecteurs d'entreprise:

https://www.cdata.com/firedac/

Plus de vidéos sur ETL à l'aide de connecteurs d'entreprise

Comment accéder aux services basés sur REST en utilisant Delphi?

Aujourd'hui, de nombreuses applications Web ont un API REST. Delphi a une grande sélection de composants pour gérer les requêtes REST.

TRESTClient - Est le composant qui exécute les requêtes REST. Il a des propriétés pour définir les authentificateurs et l'URL de base qui doivent exécuter la demande.

TRESTRequest - Ce composant contient les données sur la requête HTTP. Il définit la méthode HTTP, les paramètres d'en-tête, les paramètres de corps et de nombreux autres paramètres facultatifs.

TRESTResponse - Ce composant conservera la réponse après avoir exécuté la demande. Il comprendra tous les codes d'erreur (le cas échéant) et toutes les données renvoyées sous la forme de JSON.

Voici une vidéo du support REST de RAD Studio

Comment effectuer des appels de procédure à distance à l'aide du client SOAP?

SOAP signifie Simpulser Object UNEaccès Protocol. Delphi prend en charge à la fois le client et le serveur SOAP. Avec SOAP, nous pouvons accéder à des données distantes ou appeler des procédures distantes. SOAP a un fichier appelé WSDL qui décrit les structures de données et les méthodes disponibles dans SOAP. Delphi dispose d'un assistant pour générer des définitions d'interface et des informations de connexion à partir d'un document WSDL renvoyé par un serveur SOAP.

En savoir plus sur ETL et SOAP

Pour une explication plus détaillée de la création d'un serveur SOAP Delphi et de l'utilisation de l'assistant pour générer des définitions d'interface et des informations de connexion, visitez ce billet d'Embarcadero MVP Craig Chapman.

Création et consommation de services Soap dans Delphi.

Conclusion

ETL est un processus régulier dans de nombreuses entreprises modernes. Cela peut être une corvée ou une tâche répétitive si vous ne disposez pas des outils appropriés. Heureusement, Delphi a de nombreux composants et techniques pour prendre en charge ETL avec un minimum de codage.