Data Engineering heute unterstützen für die Herausforderungen von morgen

Data Engineering war noch nie so wichtig wie heute. Angesichts der Fortschritte bei KI, fortschrittlicher Analytik und datengestützten Anwendungen sind Data Engineers für ihre Unternehmen unverzichtbar geworden, wenn sie sich darauf vorbereiten, diese Technologien zu nutzen. Diese bisher ungesungenen Helden rücken nun ins Rampenlicht und entwickeln die geschäftskritischen Daten-Pipelines, die ihr Unternehmen auf den künftigen Erfolg vorbereiten werden. Diese Chance bringt jedoch auch einige Herausforderungen mit sich. Fragmentierte Tech-Stacks, Performance-Engpässe und der hohe Preis spezialisierter Talente sind zur Norm geworden – sie behindern Innovationen, treiben versteckte Kosten in die Höhe und behindern den Fortschritt.

Wir bei Snowflake glauben, dass es einen besseren Weg gibt. Unser Ziel ist es, Data Engineers die Werkzeuge und die Plattform an die Hand zu geben, um die Komplexität der modernen Datenlandschaft zu bewältigen – egal, ob es darum geht, den Daten-Pipeline-Erstellungsprozess zu optimieren oder unstrukturierte und strukturierte Daten in derselben Infrastruktur zu vereinen. Wir möchten, dass unsere Kunden dank Innovationen, die Prozesse optimieren, die Zusammenarbeit fördern und das Potenzial der Daten voll ausschöpfen, sicher sind, dass sie die Führung übernehmen können. So reduziert sich der Zeitaufwand für langwierige Anpassungen und die alltägliche Wartungsarbeit für veraltete Data-Engineering-Systeme. Stattdessen können Data Engineers mit Freiheit neue Anwendungsfälle entdecken und das vor uns liegende Neuland erkunden. 

Unsere Vision für die Zukunft des Data Engineering vereinfacht das Komplexe, demokratisiert Einblicke und ist vernetzter denn je. Jetzt tun Ihre Daten mehr – für Sie.

Heute freuen wir uns, eine Reihe neuer Funktionen und Produktupdates anzukündigen, die für diese Zukunft entwickelt wurden. In diesem Blogbeitrag gehen wir im Detail auf diese Funktionen ein und zeigen, welchen Mehrwert sie bieten, wenn Sie auf überraschend einfache Weise effiziente Daten-Pipelines entwickeln, offene Lakehouse-Initiativen beschleunigen und KI und unstrukturierte Daten in Ihre Arbeitsabläufe integrieren. Mit Snowflake können Sie sich darauf konzentrieren, Mehrwert zu liefern und Innovationen voranzutreiben, ohne die Komplexität der Dateninfrastruktur hinter sich zu lassen. 

Openflow: Revolutionierung der Datenbewegung

Snowflake Openflow ist ein offener, erweiterbarer, verwalteter Multimodal Data Integration Service, der mühelose Datenbewegung zwischen Datenquellen und Zielen ermöglicht. Openflow unterstützt alle Datentypen – einschließlich strukturierter und unstrukturierter Daten, Batch und Streaming – und revolutioniert die Datenbewegung direkt in Snowflake, einem Schlüssel zur nahtlosen Verarbeitung von ETL (Extrahieren, Transformieren und Laden) für KI. Die gesamte Datenintegration ist auf einer Plattform vereint, mit unbegrenzter Erweiterbarkeit und Interoperabilität für die Verbindung mit jeder Datenquelle. Openflow unterstützt jede Datenarchitektur und ermöglicht es Unternehmen, ihre Integrationsanforderungen zuverlässig und mit Governance auf Unternehmensniveau zu skalieren. Hunderte gebrauchsfertige Konnektoren und Prozessoren vereinfachen und beschleunigen die Datenintegration aus einer Vielzahl von Datenquellen, einschließlich Konnektoren aus strategischen Partnerschaften. Snowflake arbeitet beispielsweise mit Oracle an einer leistungsstarken, skalierbaren und kostengünstigen Lösung zur Replikation von Change Data Capture (CDC) von Oracle-Datenbanken auf Snowflake zusammen. 

Mit Snowflake Openflow können Sie:

• Datenbewegungen mit jedem Konnektor, den Ihr Unternehmen verlangt, ermöglichen.

• ETL-Pipelines nutzen, um es AI Agents zu ermöglichen, maschinenschnelle Entscheidungen zu treffen.

• Erstellen Sie eine skalierbare, unternehmenstaugliche Integration mit flexibler Bereitstellung, Datenbeobachtbarkeit und Governance.

dbt Projects on Snowflake

Als Kernbausteine jeder effektiven Datenstrategie sind Transformationen entscheidend für den Aufbau robuster und skalierbarer Daten-Pipelines. Heute verkünden wir eine weitere spannende Produktentwicklung zur Entwicklung und Orchestrierung von Daten-Pipelines: dbt Projects on Snowflake (demnächst in Public Preview). 

Unter Datenteams beliebt, bietet dbt die Möglichkeit, Best Practices für Software Engineering und verbesserte Effizienz in SQL- und Snowpark-Datentransformationsworkflows direkt in Snowflake umzusetzen. Mit dieser neuen nativen Option können Datenteams nun dbt Projects direkt in der Snowsight-Benutzeroberfläche erstellen, ausführen und überwachen, wodurch Kontextwechsel reduziert, die Einrichtung vereinfacht und der Entwicklungslebenszyklus von Daten-Pipelines beschleunigt wird. 

Dank der Unterstützung von dbt Projects können Sie:

• Es neuen Teams ermöglichen, Pipelines mit einheitlicher Governance aufzubauen und bereitzustellen: Beschleunigen Sie das Onboarding und befähigen Sie neue Teams, die benötigten Pipelines über eine intuitive Oberfläche mit einem einheitlichen Governance- und Sicherheitsmodell für Daten und Pipelines zu erstellen.

• Systemen zur Reduzierung der Verwaltung und Verbesserung des Debugging konsolidieren: Führen Sie dbt nativ auf Snowflake aus und optimieren Sie den Entwicklungslebenszyklus der Pipeline, um die Produktivität der Entwickler:innen zu steigern und Probleme schnell zu erkennen und zu beheben.

Diese Funktionen sind erst der Anfang; weitere spannende Updates zur weiteren Optimierung Ihrer Arbeitsabläufe stehen in Kürze bereit.

Erweiterungen der SQL- und Python-Pipeline

Mit den jüngsten Verbesserungen einiger unserer beliebtesten Funktionen vereinfachen wir komplexe Workflows in der gesamten Data Engineering-Landschaft – von kollaborativen SQL-Workflows bis hin zu komplexen Python-Pipelines. Diese Verbesserungen zielen darauf ab, Prozesse zu optimieren und die Effizienz für Data Engineers zu steigern, die mit verschiedenen Tools und Technologien arbeiten.

Dynamic Tables bietet ein deklaratives Framework für Batch- und Streaming-Pipelines und vereinfacht die Einrichtung durch automatische Orchestrierung und kontinuierliche Verarbeitung. Wichtige Updates umfassen die volle Unterstützung für Apache Iceberg, reduzierte Latenzzeiten für nahezu Echtzeit-Pipelines (rund 15 Sekunden in Private Preview) und Performance-Verbesserungen für verschiedene SQL-Vorgänge. Darüber hinaus bieten neue SQL-Erweiterungen (demnächst allgemein verfügbar) mehr Kontrolle über die Pipeline-Semantik, indem Updates oder Löschungen verhindert und das Datenbackfilling ermöglicht werden.

Ein weiteres neues Update, pandas auf Snowflake mit hybrider Ausführung (Private Preview), unterstützt pandas-Pipelines über alle Datenskalen hinweg. Diese Funktion führt Abfragen intelligent aus, indem sie entweder bei großen Datasets auf Snowflake oder bei kleineren Datasets lokal mit Standard-pandas weitergeleitet wird. So wird eine konsistente und effiziente Performance während des gesamten Entwicklungslebenszyklus gewährleistet.

Offenes Lakehouse

Befreien Sie sich von Datenfragmentierung und beschleunigen Sie Ihre Zeit für Einblicke und KI mit der umfassenden Apache Iceberg™-Tabellenunterstützung von Snowflake. Data Engineers können nun grundlegend neu definieren, wie sie offene und vernetzte Lakehouses aufbauen. Indem wir nahezu Ihr gesamtes Iceberg-Ökosystem automatisch auf einer einzigen Oberfläche zentralisieren und aktivieren, vereinfachen wir Ihren Datenlebenszyklus, ohne dass komplizierte Prozesse für die Datenermittlung und den Datenzugriff erforderlich sind. Die anhaltende Unterstützung für die Umwandlung von Parquet-Dateien in Iceberg-Tabellen sowie neu verfügbare Optimierungen für Dateigröße und Partitionen stellen sicher, dass Ihr offenes Lakehouse mehr Ihrer Daten einbezieht und gleichzeitig die Performance steigert.

Mit den wachsenden Lakehouse-Funktionen von Snowflake können Sie:

• Daten von nahezu überall aus entdecken und aktivieren: Schaffen Sie eine einzige vernetzte Ansicht Ihres offenen Lakehouse, indem Sie Snowflake Open Catalog oder einen anderen Iceberg REST-kompatiblen Katalog mit Catalog Linked Databases in Snowflake integrieren – demnächst in Public Preview. Entdecken, aktualisieren und aktivieren Sie die zugrunde liegenden Tabellen automatisch mit den einheitlichen Rechenressourcen und der preisgünstigen Engine der Snowflake AI Data Cloud.

• Mit einheitlicher Governance transformieren und optimale Performance erzielen Mit der kürzlich eingeführten Unterstützung für das Schreiben auf extern verwalteten Iceberg-Tabellen, in Kürze in Public Preview, können Sie eine nahtlose Datentransformation in Ihrem Iceberg-Ökosystem in Snowflake durchführen und von integrierter umfassender Governance und Sicherheit auf der Grundlage von Snowflake Horizon Catalog profitieren. Übernehmen Sie mit Snowflake die Kontrolle über die Performance, indem Sie Dateigrößen und Partitionen auf nahezu jeder Iceberg-Tabelle definieren, demnächst in Public Preview. Nutzen Sie Table Optimizations (demnächst in Public Preview) zur Automatisierung von Müllerfassung, Komprimierung und mehr. Verbringen Sie weniger Zeit mit der Verwaltung Ihrer Infrastruktur und erzielen Sie mehr Wirkung.

• Deklarative Pipelines für Iceberg-Tabellen erstellen: Vereinfachen Sie Ihre Pipelines mit Dynamic Iceberg Tables, einer vollständig verwalteten Orchestrierungslösung, die Ihre in Iceberg-Tabellen gespeicherten Daten kontinuierlich und schrittweise umwandelt und dabei vollständige Interoperabilität beibehält. Die Unterstützung für von Snowflake verwaltete Iceberg-Tabellen ist jetzt allgemein verfügbar, und die Unterstützung für extern verwaltete Iceberg-Tabellen wird in Kürze allgemein verfügbar sein.

• Fortschrittliche Analytics für mehr Daten ermöglichen: Schöpfen Sie das Potenzial Ihrer semistrukturierten Daten mit VARIANT-Unterstützung aus, jetzt in Iceberg Tables. Integrieren Sie Geodaten- und Geometriedatentypen in Kürze nahtlos in Private Preview, um tiefere, standortbezogene Einblicke zu gewinnen. Dank der Unterstützung für Merge on Read (jetzt in Private Preview) können Sie jetzt mehr von Ihrem Iceberg-Ökosystem in Snowflake aktivieren.

• Auf Delta Lake-Daten als Iceberg-Tabellen ohne Datenmigration zugreifen: Bringen Sie mehr Ihrer Daten in Ihr offenes und vernetztes Lakehouse ein, indem Sie Delta-Tabellenmetadaten in Iceberg-Tabellen konvertieren, ohne sie zu erfassen oder die zugrunde liegenden Parquet-Dateien verschieben zu müssen. 

Verbesserte Integration und Sicherheit auf Unternehmensebene für Open Catalog

Schöpfen Sie das volle Potenzial Ihrer Iceberg-Tabellen in Snowflake aus und genießen Sie umfassende Sicherheit und Governance. Durch die automatische Synchronisierung Ihrer von Open Catalog verwalteten Iceberg-Tabellen erhalten Sie einheitlichen Lese-/Schreibzugriff und einheitliche, integrierte Governance auf der Grundlage von Horizon Catalog – alles innerhalb der Snowflake-Umgebung. Profitieren Sie von einer klaren Trennung der Governance: Horizon verwaltet Snowflake-Abfragen und Open Catalog kümmert sich um externen Multi-Engine-Zugriff und beseitigt Unklarheiten für Ihre Sicherheitslage. Darüber hinaus sind nun Sicherheitsfunktionen auf Unternehmensebene in Open Catalog verfügbar, die sicheren Benutzerzugriff und private Datenverbindungen für den führenden sicheren, interoperablen und anbieterneutralen Katalog bieten.

Dank der Open Catalog-Erweiterungen von Snowflake können Benutzer:innen:

• Sicheren Benutzerzugriff auf Unternehmensebene ermöglichen: Genießen Sie nahtlosen UI-Zugriff über Single Sign-On (SSO) mit SAML 2.0 und ermöglichen Sie eine sichere programmatische Integration über Engines und Dienste hinweg entweder über OAuth mit Ihrem bevorzugten Identitätsanbieter oder Snowflakes native Schlüsselpaar-Authentifizierungslösung.

• Bidirektionale private Konnektivität für den Metadatenzugriff aktivieren: Nutzen Sie Private Link, ein einheitliches Sicherheitsframework, um geschützte Verbindungen zwischen Ihren Daten, Snowflake, Engines, Tools und Snowflake Open Catalog herzustellen und sicherzustellen, dass Ihre Daten während ihres gesamten Lebenszyklus privat und gesetzeskonform bleiben. 

• Auf Ihr gesamtes Iceberg-Ökosystem zugreifen: Mit Catalog Federation in Apache Polaris (Incubating) können Sie nahtlos auf praktisch alle Iceberg-Tabellen zugreifen. Durch die Schaffung einer einzigen Ansicht aller verknüpften Kataloge optimiert Federation die Datenerfassung und ermöglicht die Aktivierung auf jeder Engine, die Iceberg REST-Katalogintegrationen unterstützt. Federation kommt demnächst zu Open Catalog in Private Preview.

• Ihr Delta-Tabellenmanagement vereinfachen: Zentralisieren Sie Iceberg- und Delta-Tabellen auf Snowflake Open Catalog. Erstellen, aktualisieren, löschen und kontrollieren Sie den Zugriff auf Delta- und Iceberg-Tabellen über eine einzige Oberfläche. Erkennen Sie automatisch beide Formate in Snowflake, um Delta-Tabellen abzufragen und einheitliche Transparenz und Kontrolle über Ihre Lakehouse-Assets zu erhalten. Delta-Tabellen in Open Catalog, einem verwalteten Dienst für Apache Polaris (Incubating), demnächst in Private Preview.

Moderne DevOps-Erfahrung

Reduzieren Sie die Time-to-Impact mit Verbesserungen der Produktivität von Entwickler:innen, damit Sie sich auf hochwertige Arbeit konzentrieren können, anstatt nur den Betrieb an sich zu ermöglichen. Mit der DevOps-Funktion in Snowflake können Sie den Software-Entwicklungslebenszyklus für Ihre Snowflake-Umgebungen rationalisieren und automatisieren, mit einem Schwerpunkt auf Best Practices für CI/CD, Code-Entwicklung und Infrastrukturmanagement. In Kombination mit modernen DevOps-Tools und KI-Unterstützung in Snowflake erhalten Sie eine reibungslose Integration zwischen Entwicklungs- und Betriebsaufgaben, was zu einem produktiveren und effizienteren Workflow führt.

Im Einklang mit unserem Engagement, Ihre DevOps-Erfahrung mit Snowflake kontinuierlich zu verbessern, verkünden wir einige neue Updates.

• Snowflake Workspaces: Bietet eine moderne Benutzeroberfläche für alle Snowflake-Entwicklungsaufgaben. Beginnend mit dbt Projects und SQL-Unterstützung können Entwickler:innen eine einzige gemeinsame IDE mit umfassenden Entwicklerfunktionen nutzen, darunter native Git-Integration, Side-by-Side-Visual-Difference und Inline-AI-Copilot-Code-Unterstützung, wenn sie mit Dateien in Snowflake arbeiten. In Zukunft wird zusätzlicher Objektsupport bereitgestellt.

• Snowflake-Infrastrukturmanagement mit Terraform: Der Snowflake Terraform-Anbieter ermöglicht einen einheitlichen Workflow für die Verwaltung von Snowflake-Ressourcen – einschließlich Warehouses, Datenbanken, Schemata, Tabellen, Rollen, Berechtigungen und mehr – mit HashiCorp Terraform zur Verwaltung Ihrer Infrastructure as Code (IaC).

• Weitere Möglichkeiten zur Verbindung mit Ihrem Git-Repository: Jetzt können Sie benutzerdefinierte URLs verwenden, um eine Verbindung zu Ihrem Git-Repository herzustellen (anstatt sich nur auf Repositorys zu beschränken, die zu bekannten Domänen gehören). So erhalten Sie mehr Flexibilität bei der Konfiguration Ihrer Git-Umgebung. 

• Laufzeitunterstützung für Python 3.9: Sie können Python 3.9 jetzt mit Ihren Snowflake Warehouse Notebooks verwenden.

Die Zukunft ist jetzt

Die neuesten Innovationen von Snowflake wurden entwickelt, um die größten Herausforderungen beim Data Engineering zu meistern. Sehen wir uns an, wie diese Fortschritte Ihre Datenstrategie revolutionieren können.

Entwickeln Sie bessere Pipelines

Modernes Data Engineering lebt von optimierter Zusammenarbeit und Skalierbarkeit. Indem wir unsere nativen Funktionen für Erfassung und Transformation mit Funktionen wie Openflow und dbt Projects erweitern, ermöglichen wir Ihren Teams eine nahtlose Zusammenarbeit innerhalb der sicheren Umgebung von Snowflake. Wir unterstützen auch die Flexibilität offener Standards und beliebter Open-Source-Software (OSS) wie dbt und Iceberg und integrieren sie mühelos in Ihre bestehenden Arbeitsabläufe.

Befreien Sie Ihr Team von der Verwaltung komplexer Infrastrukturen und konzentrieren Sie sich stattdessen auf wertschöpfende Aufgaben. Dank unserer serverlosen Transformationen und Orchestrierungsoptionen müssen Rechen-Cluster nicht mehr gehostet und verwaltet werden, und das alles bei hervorragender Performance. Darüber hinaus bildet Automatisierung das Fundament unserer Plattform und optimiert Ihren Entwicklungslebenszyklus durch CI/CD, Bereitstellungsautomatisierung und robustes Infrastrukturmanagement.

Beschleunigen Sie Ihr offenes Lakehouse

Ihr offenes Lakehouse sollte wie eine gut geölte Maschine funktionieren, die in der Lage ist, alle Ihre Datenformate nahtlos zu verarbeiten, unabhängig davon, wo sie gespeichert sind. Mit Snowflake können Sie alle Ihre Daten ganz einfach verbinden, umwandeln und aktivieren. Sicherheit und Governance stehen an erster Stelle – unsere Plattform bietet robusten Datenschutz, präzise Zugriffskontrollen und umfassende Governance-Praktiken, einschließlich Datenmaskierung und Auditzugriff. Mit Snowflake können Sie die Datenqualität, Genauigkeit und Zuverlässigkeit in Ihrem gesamten Daten-Ökosystem gewährleisten. Wir legen großen Wert darauf, eine Datenumgebung zu schaffen, die Innovation und Produktivität durch optimierte Tools und Standards fördert und gleichzeitig sicherstellt, dass Ihre Architektur problemlos skaliert werden kann, wenn sich Ihr Unternehmen weiterentwickelt.

Nutzen Sie Ihre Daten für KI

Nutzen Sie das Potenzial von KI dank der Möglichkeit von Snowflake, Ihre unstrukturierten, semistrukturierten und strukturierten Daten zu vereinheitlichen. Kombinieren Sie Text, Dokumente, Bilder und andere unstrukturierte Datenformate nahtlos mit Ihren vorhandenen strukturierten Daten und schaffen Sie so eine umfassende Grundlage für KI-Modelle. Nutzen Sie Funktionen wie Openflow (entwickelt mit verfügbaren Snowflake Cortex AI-Prozessoren) und Document AI, um sich die Möglichkeiten von LLMs und KI direkt in Ihrer Pipeline zunutze zu machen. Nutzen Sie die leistungsstarken Funktionen von Snowpark, um unstrukturierte Daten in großem Umfang mit Python und anderen vertrauten Sprachen zu verarbeiten und zu transformieren.

Mit Snowflake können Sie auch hochmoderne GenAI-Anwendungen entwickeln und bereitstellen, indem Sie sich die Leistungsfähigkeit erstklassiger LLMs, modernster abruferweiterter RAG-Dienste (Retrieval Augmented Generation) und anderer fortschrittlicher GenAI-Dienste über Cortex AI zunutze machen. Verbinden Sie Ihre gesamte Unternehmensdatenlandschaft mit KI durch bidirektionale Datenflüsse nahezu in Echtzeit – mit Openflow und seiner Unterstützung für verschiedene Datenstrukturen und Anforderungen. Vereinfachen Sie die Komplexität von Daten-Pipelines für KI, da Sie nicht mit unterschiedlichen Tools über mehrere Teams hinweg jonglieren müssen. Dank der einheitlichen Sicherheit, Governance und Beobachtbarkeit von Snowflake können Sie KI-Lösungen zuverlässig in der Produktion bereitstellen und so auf Schritt und Tritt Vertrauen und Zuverlässigkeit schaffen.

Wenn Sie mehr über diese Fortschritte beim Data Engineering erfahren möchten, melden Sie sich an für Snowflakes nächste Veranstaltung Data Engineering Connect am 29. Juli 2025.