Talend 5.5 - Talend Studio

Höhere Performance und Skalierbarkeit bei der

Big Data-Integration 


MapReduce-Code, der im überarbeiteten Talend-Codegenerator erstellt wurde, ist nun deutlich effizienter und leistungsfähiger. Das bedeutet, dass Big Data-Jobs im Durchschnitt um 45 Prozent schneller laufen, im Vergleich zu älteren Versionen. Dieser Wert beruht auf ausgiebigen Tests. Zum einen dem ausgeklügelte TPC-H-Test (Transaction Processing Performance Council). Zum anderen hat Talend mit einem großen Finanzdienstleister zusammengearbeitet, um Performance und Skalierbarkeit unter realen Bedingungen testen zu können. Ergebnis ist, dass MapReduce-Code in Talend schneller verarbeitet wird und auch auf großen Hadoop-Clustern - mit rund 1000 Knoten - sehr performant ist.

Talend und die Talend Forge-Community beteiligen sich aktiv an der Weiterentwicklung von Apache Spark, ein weiteres Apache Projekt, das sich reibungslos in Hadoop 2 integrieren lässt. Spark ist ein Datenanalyse Framework, das Anwendungen 100 Mal schneller ausführen kann, als Hadoop's MapReduce In-Memory und rund zehn Mal schneller als auf Disk. In Talend lassen sich einfach und effizient Spark-Jobs erstellen, die sich anschließend in Apaches Spark integriert werden können. Anwendungen können in Java, Python oder Scala programmiert werden.
 
Apache Spark unterstützt den Entwicker mit folgenden Funktionen: 

  • In-Memory Berechnungen für iterative Workloads
  • Ein vereinfachtes Programmiermodell in Scala
  • Bibliotheken zu maschinellem Lernen, für noch einfacheres Programmieren

 

Höhere Integrationsreichweite und Datenqualität

Erweiterter Support für Big-Data-Plattformen und -Konnektoren
 

Weniger Zeit für die Integration von Anwendungen aufwenden. Mehr Zeit für die eigentliche Erstellung von Anwendungen mittels Support für Cloudera 5, Hortonworks 2.1, MapR 3.1, Pivotal HD 2.0, HP Vertica 7, Windows Azure Blob Storage und Teradata 15. Es können Daten aus der Vertica-Big-Data-Analyseplattform integriert und analysiert werden. So kann ermittelt werden, wie die Daten am besten genutzt werden und inwiefern sie den gewünhschten Standards entsprechen.

Der Talend Data Mapper kann in der aktuellen Talend Version noch mehr EDI-Nachrichten mappen, parsen und transformieren. Mittels grafischer Tools wird die Produktivität und Integrationsreichweite gesteigert und es muss weniger Zeit für die manuelle Integration komplexer EDI- und HIPAA-Transaktionen aufgewendet werden.
 

Verbesserte Produktivität und Sicherheit 


Erweiterter Kerberos-Support für bessere Datenqualität

 Wer das Netzwerkprotokoll Kerberos einsetzt profitiert gleich doppelt davon. Es wird das Profiling von Hive-Daten unterstützt, solange die Hive-Daten mittels Kerberos geschützt werden. Des Weiteren werden Datenqualitätskomponenten in Hadoop unterstützt. Dies minimiert den Aufwand für die Konfiguration der Sicherheitsfunktionen beim Profiling, der Standardisierung und dem Abgleich der Daten.

Apache Sentry-Support

Mit der aktuellen Version des Talend Studio wird erstmals Apache Sentry unterstützt. Sentry ist ein hochmodulares System für die Bereitstellung fein abgestufter, rollenbasierter Berechtigungen für die Daten und Metadaten, die im Hadoop-Cluster gespeichert sind. Talend bietet eine erweiterte Zugriffskontrolle für Big Data-Jobs an. Das führt zu einem allgemein höheren Sicherheitsniveau bei geringerem Codierungsaufwand.

 
Talend Data Mapper Component (tHMap)

Talend führt die verbesserte Data Mapper Komponente ein. Sie wurde für den Umgang mit komplexen Datenstrukturen wie XML, EDI, JSON und anderen komplexen Inhalten optimiert. Die Komponente vereinfacht die Transformation einer großen Bandbreite an Einzel- oder Mehrfachquellen in Einzel- oder Mehrfachziele. Die Menge der Daten kann problemlos im Gigabyte Bereich liegen.
Talend Data Mapper Component für ESB (cMap)
 
cMap stellt umfassende Mapping- und Transformationsfunktionen für komplexe Datenformate, die eine ESB-Infrastruktur passieren, zur Verfügung.

Kontaktieren Sie uns, gerne beraten wir Sie. Bei Interesse können wir Ihnen auch ein Angebot für eine Schulung zukommen lassen.