Inhaltsverzeichnis
Was ist ETL?
Sie stammen möglicherweise aus einer anderen Programmiersprache oder haben ein neues Unternehmen gegründet und möchten Daten sammeln, die in Ihr neues Softwaresystem aufgenommen werden sollen. Oder vielleicht möchten Sie Ihre Daten sichern, damit sie in ein anderes Datenformat konvertiert werden können. In der Tat jede Situation, in der Sie Daten aus einer Quelle abrufen und an einem anderen Ort ablegen möchten. ETL wird in solchen Fällen aktiv. ETL steht für E.xtract, T.transformieren und L.oad. Weitere Informationen zu ETL und seinem Prozess finden Sie hier.
https://en.wikipedia.org/wiki/Extract,_transform,_load
ETL kann der Montagmorgen des Rechnens sein
Sehr oft kann ETL eine schmerzhafte Aufgabe sein, die viel manuelle und sich wiederholende Arbeit erfordert. Eine typische Situation ist eine, in der viele Daten in einer Sammlung von Excel-Tabellen zusammengefasst sind. Die Aufgabe könnte darin bestehen, diese Daten in Ihre Datenbank aufzunehmen, um sie in einem Desktop oder einer Webanwendung zu verwenden. Das manuelle Extrahieren von Daten aus einer Excel-Tabelle ist oft sehr zeitaufwändig. Dann müssen Sie Daten in ein Format umwandeln, das Zieldatenquellen verstehen und verwenden können, um Daten in ihre eigenen Datensätze zu laden.
Wie kann Delphi Ihnen Zeit bei ETL sparen?
Delphi hat groß Unterstützung für die Bearbeitung von ETL-Aufgaben. Wir haben mehrere Komponenten in Delphi, die speziell zur Vereinfachung des ETL-Prozesses entwickelt wurden. In den meisten Fällen müssen Sie nur einige Komponenten in Ihr Formular ziehen und dort ablegen, einige Eigenschaften festlegen und mit möglicherweise sehr wenig Code zum Zusammenkleben die Aufgabe erledigen. Schauen wir uns einige Komponenten an, die Sie in Ihrem ETL-Prozess verwenden können.
- FireDAC
- TFDBatchMove
- LiveBindings
- Enterprise-Konnektoren
- TRESTClient
- SOAP-Client
Was ist FireDac und wie können Sie es verwenden?
FireDac ist eine universelle Datenzugriffsbibliothek, die Sie sowohl in VCL- als auch in Firemonkey-Anwendungen mit mehreren Geräten verwenden können. Es bietet umfassende Unterstützung sowohl für relationale SQL-Datenbankverwaltungssysteme als auch für Nicht-SQL-Datenquellen.
FireDAC enthält auch die erforderlichen Komponenten, um Daten von einer Quelle zu einer anderen Quelle zu verschieben. Hier können Sie es in Aktion sehen.
In this example we use “TFDBatchMove” component to move data from an RDBMS to a Microsoft Excel file. We also show the reverse with the data transferring in the opposite direction back from Excel. Also, you can see that there are only two lines of code to make it all happen!
Wie binden wir Komponenten mithilfe von LiveBindings an andere Komponenten oder Datenquellen?
LiveBindings are the visual way to bind components <> components and components <> data sources. You can control properties of a component using another component without any code. You can use the Live Binding designer or the Live Binding Wizard to so. It’s just a drag and drop of a connection to bind components and data sets.
Ein Beispiel für Live-Bindungen
Lassen Sie ein Beispiel durcharbeiten, um LiveBindings zu demonstrieren.
Erstellen Sie zunächst ein neues VCL-Projekt, fügen Sie eine TFDMemTable hinzu und fügen Sie der Speichertabelle einige Daten hinzu. Fügen Sie dann eine TDateSource hinzu und verbinden Sie sie mithilfe der Datensatzeigenschaft mit der Speichertabelle. Fügen Sie dann einige Beschriftungen, eine TSpinEdit- und eine TEdit-Komponente hinzu, bis Ihr Formular dem folgenden Formular ähnelt. Fügen Sie nun einen TDBNavigator hinzu und verbinden Sie ihn mit der Datenquelle.
Geben Sie einige einprägsame Namen für alle Komponenten an, damit wir diese in LiveBindings Designer identifizieren können. Wenn Sie alles mit den Standardnamen wie TEdit1, TEdit2 belassen, wird es in der LiveBindings-Ansicht sehr schnell verwirrend.
Now, right-click the form and select “Bind Visually” form the menu. Drag and connect the properties of those components to fields in the memory table. That’s it, you’re done!
Führen Sie nun die Anwendung aus und Sie können Daten in die Speichertabelle mit diesen Komponenten ohne eine einzige Codezeile einfügen, bearbeiten und löschen.
Ein ausführlicheres Video von LiveBindings zur Erleichterung der ETL
Was sind diese Delphi Enterprise Connectors?
Wie bereits erwähnt, verfügt FireDAC über viele Komponenten, die eine Vielzahl unterschiedlicher Unternehmensverbindungen unterstützen. Mit den CData Enterprise Connectors können wir über normale SQL / No SQL-Datenbanken hinausgehen und eine Verbindung zu vielen anderen Arten von Anwendungen herstellen und wie bei jeder normalen Datenbank Daten von diesen abrufen. Die Enterprise Connectors unterstützen mehr als 180 Enterprise-Datenquellentypen. Sie können mit Ihren regulären Komponenten über Live-Bindungen oder manuell in Ihrem Code auf diese Daten zugreifen. Besuchen Sie diesen Link, um herauszufinden, welche Komponenten und Unternehmensanwendungen FireDAC unterstützt. Verwenden der Enterprise Connectors:
https://www.cdata.com/firedac/
Weitere Videos zu ETL mit Enterprise Connectors
Wie kann ich mit Delphi auf REST-basierte Services zugreifen?
Heute haben viele Webanwendungen eine REST-API. Delphi bietet eine große Auswahl an Komponenten für die Bearbeitung von REST-Anforderungen.
TRESTClient – Is the component which execute REST requests. It has properties to set authenticators and Base URL which need to execute the request.
TRESTRequest – This component hold the data about the HTTP request. It set the HTTP method, Header Parameters, Body Parameters and many other optional parameters.
TRESTResponse – This component will hold the response after executing the request. It will include all error codes (if any) and any returned data in the form of JSON.
Here’s a video of RAD Studio’s REST Support
Wie mache ich Remoteprozeduraufrufe mit dem SOAP-Client?
SOAP steht für S.umsetzen ÖObjekt EINZugang P.Rotocol. Delphi unterstützt sowohl SOAP-Client als auch -Server. Mit SOAP können wir auf entfernte Daten zugreifen oder entfernte Prozeduren aufrufen. SOAP verfügt über eine Datei namens WSDL, die die im SOAP verfügbaren Datenstrukturen und -methoden beschreibt. Delphi verfügt über einen Assistenten zum Generieren von Schnittstellendefinitionen und Verbindungsinformationen aus einem WSDL-Dokument, das von einem SOAP-Server zurückgegeben wird.
Mehr über ETL und SOAP
Eine ausführlichere Erklärung zum Erstellen eines Delphi SOAP-Servers und zum Generieren von Schnittstellendefinitionen und Verbindungsinformationen mithilfe des Assistenten finden Sie in diesem Beitrag von Embarcadero MVP Craig Chapman.
Fazit
ETL is a regular process in many modern businesses. It can be a chore or repetitive task if you don’t have the proper tools available. Thankfully, Delphi has many components and techniques to support ETL with minimum coding.