Data Mesh Demo Zusammenfassung: Aufbrechen von Datensilos mit Internal Marketplace

Data Mesh hat in den letzten Jahren an Bedeutung gewonnen, angetrieben durch das Versprechen, die Belastung zentraler Datenteams zu reduzieren, indem Engpässe beseitigt, das Datenmanagement skaliert und die Wertschöpfung aus Daten beschleunigt wird. Für diejenigen, die noch nicht auf den Zug aufgesprungen sind: Data Mesh ist ein soziotechnischer Ansatz, der den Schwerpunkt auf die dezentrale Domäneneigentümerschaft von Daten und die Behandlung von Daten als Produkt legt, ermöglicht durch eine Self-Service-Dateninfrastruktur. Ziel ist es, die Herausforderungen zu meistern, die mit der Skalierung von Datenmanagement, Datenzugriff und Data Sharing angesichts kontinuierlich wachsender Datenquellen und Datennutzenden einhergehen. 

Data-Mesh-Experte Matthias Nicola hat zahlreiche Snowflake-Kunden bei der Erforschung, Entwicklung und dem Betrieb von Data-Mesh-Architekturen begleitet. Diese Bemühungen gaben ihm eine einzigartige Perspektive auf die überzeugende Natur des Data Mesh als technische Architektur und organisatorischer Ansatz. In diesem Blogbeitrag fassen wir die Highlights unseres aktuellen Data-Mesh-Demo-Webinars zusammen, in dem Matthias das Potenzial von Data Mesh zur Transformation von Unternehmen erörterte und sich eingehend mit Snowflake-Lösungen, einschließlich Internal Marketplace, befasste, um zu zeigen, wie diese Ihr Unternehmen in die Lage versetzen können, dokumentierte und verwaltete Datenprodukte geschäftsbereichsübergreifend zu teilen. Data Mesh unterliegt zwar auch wichtigen organisatorischen Überlegungen, doch in diesem Webinar ging es um die Funktionen der Datenplattform für das Management von Datenprodukten.

Das Datendilemma: Warum traditionelle Ansätze zu kurz kommen 

Herkömmliche, zentralisierte Datenmanagement-Teams können oft nicht mit dem ständigen Rückstand an Datenanfragen Schritt halten. Dies führt zu Engpässen, die Unternehmen daran hindern, zu skalieren und sich an die sich ändernden Datenanforderungen ihres Unternehmens anzupassen. Darüber hinaus haben zentrale Teams mit fehlendem Fachwissen (in Marketing, Produkt, Vertrieb und anderen Geschäftsbereichen) zu kämpfen, was zu Verzögerungen bei der Bereitstellung der richtigen Daten an die richtigen Datennutzenden führt. Da diese Hindernisse die Teams jeweils ausbremsen, wird die Data Collaboration negativ beeinflusst, was zu einer längeren Time-to-Value und einer verringerten Datenagilität führt. 

Snowflake-Lösungen: Wichtige Funktionen für den Erfolg mit Data Mesh 

Um diese Herausforderungen zu meistern, setzen viele zukunftsorientierte Unternehmen auf einen Data-Mesh-Ansatz, um die organisatorischen Engpässe und Einschränkungen des traditionellen zentralisierten Datenmanagements zu reduzieren. Data-Mesh-Architektur bietet das Potenzial für einen agileren und skalierbaren Ansatz für das Datenmanagement, der Teams mehr Autonomie und nahtloses Data Sharing bietet. 

Die vier wichtigsten Prinzipien eines Data Mesh sind föderierte Governance, domänenorientiertes Eigentum und Architektur, Daten als Produkt und Self-Service-Infrastruktur. 

Die Plattform von Snowflake bietet Lösungen und Funktionen, die auf den Prinzipien des Data Mesh basieren, darunter:   

• Föderierte Governance: Unterstützen Sie Unternehmen mit leistungsstarken Governance-Funktionen, die über Snowflake Horizon Catalog verfügbar sind, dabei, den Zugriff zu kontrollieren, die Nutzung zu überwachen und Sicherheitsrichtlinien einheitlich über verschiedene Domänen und Umgebungen hinweg durchzusetzen.  

• Domainorientiertes Kontrolle: Die verteilte Multi-Cloud-Architektur von Snowflake unterstützt die domänenorientierte Kontrolle, indem sie separate Umgebungen für verschiedene Domänen bereitstellt. Dies fördert die Unabhängigkeit und ermöglicht gleichzeitig nahtloses bereichsübergreifendes Data Sharing und Kollaboration. 

• Daten als Produkt: Versetzen Sie Domänen in die Lage, Datenobjekte, Metadaten und Governance-Richtlinien als Datenprodukte zu verpacken, die einfach im Snowflake Internal Marketplace veröffentlicht und entdeckt werden können. So stellen Sie sicher, dass zuverlässige, hochwertige Daten-Assets leicht zugänglich sind. Datenprodukte in Snowflake können auch Daten-Assets umfassen, die außerhalb von Snowflake gespeichert und verwaltet werden.

• Self-Service-Infrastruktur: Die Benutzerfreundlichkeit und Interoperabilität von Snowflake mit externen Quellen vereinfachen den Datenzugriff und befähigen Teams zu einem unabhängigen Betrieb, wodurch die Abhängigkeit von zentralen Teams reduziert und eine echte Self-Service-Dateninfrastruktur geschaffen wird.

Diese Funktionen bilden die wesentliche Grundlage für den Aufbau und Betrieb einer erfolgreichen Data-Mesh-Architektur. 

Durch die Optimierung des Data Sharing in verschiedenen Bereichen brechen viele Unternehmen klassische Datensilos auf und fördern ein stärker integriertes Datenökosystem. Snowflake hilft Unternehmen wie dem globalen Reisetechnologieführer FlixBus, die transformativen Vorteile des Data Mesh voll auszuschöpfen. FlixBus implementierte eine Data-Mesh-Architektur und nutzte Snowflake Internal Marketplace und Angebote, um Informationen mit Metadaten, Beschreibungen und mehr als Datenprodukt zusammenzuführen. Anschließend konnte FlixBus seine Daten teilen und mobilisieren, um den Flottenbetrieb zu verbessern, Angebot und Nachfrage zu prognostizieren, die Geschäftsleistung zu messen und Self-Service-Analytics bereitzustellen. 

Data-Mesh-Erfolg mit Snowflake: Ihre wichtigsten Fragen beantwortet 

Data Mesh mag zunächst komplex erscheinen, muss es aber nicht. Bei diesem Live-Webinar bekundeten die Teilnehmenden ein großes Interesse daran, näher auf spezifische Aspekte der Data-Mesh-Implementierungen mit Snowflake einzugehen. Um Klarheit und Orientierung zu schaffen, haben wir die Fragen zusammengestellt, die am meisten Interesse geweckt haben: 

Q: Wie kann ich in der Data-Mesh-Architektur zwischen einem und mehreren Snowflake-Konten wählen?

Die Entscheidung, ein einzelnes oder mehrere Snowflake-Konten zu nutzen, hängt wirklich von den spezifischen Anforderungen, Herausforderungen oder rechtlichen Anforderungen Ihres Unternehmens ab. Hier einige Überlegungen, die Ihnen bei der Bestimmung eines Ein- oder Mehrkontenansatzes helfen: 

• Ob Sie eine maximale Isolation zwischen Geschäftsdomänen benötigen oder nicht, aus rechtlichen oder sicherheitsbedingten Gründen, mit separaten Sicherheitskonfigurationen und Benutzerverwaltungen pro Domäne.

• Regionen, in denen Ihr Unternehmen tätig ist: Sind Sie international mit mehreren Unternehmen tätig (Teams mit Sitz in Regionen wie Asien, USA oder Europa)? Oder ist Ihr Unternehmen in einer einzigen geografischen Region tätig?  

• Geschäftsbereiche, die auf verschiedenen Cloud-Plattformen (AWS, Google Cloud, Azure) in verschiedenen Regionen arbeiten und etwaige Lokalisierungsanforderungen berücksichtigen. Haben Sie darüber hinaus cloud- und regionsübergreifende Sicherheits- oder rechtliche Anforderungen? 

Auch Dinge wie die Messung und Kontrolle von Kosten und die Möglichkeit, die Sicherheit zu konfigurieren, sollten berücksichtigt werden. Einige Unternehmen entscheiden sich für ein einzelnes Konto, weil es einfacher und unkomplizierter zu verwalten ist. Einige entscheiden sich jedoch für mehrere Konten, um einen besseren Datenschutz zu bieten, eine breitere Palette von Regionen und Clouds zu unterstützen und individuelle Sicherheitsanforderungen zu erfüllen. 

Wie auch immer Sie sich entscheiden – ob ein Konto oder mehrere –, Sie sind nicht angebunden, da der Snowflake Internal Marketplace nahtlos für ein oder mehrere Konten und sich entwickelnde Kontotopologien funktioniert, wie Sie im untenstehenden Bild sehen.

Um mehr zu erfahren, sehen Sie sich diesen Artikel an!   

Q: Wie kann ich Domainprofile einrichten?

Als Organisationsadmin können Sie Domänenprofile über Organisationsprofile im Internal Marketplace konfigurieren. Organisationsprofile sind reguläre Snowflake-Objekte, die Sie erstellen, ändern, ablegen, anzeigen und verwenden können, um Informationen über die Herkunft und die Eigentümerschaft von Daten aufzulisten. Beim Erstellen oder Ändern eines Profils wird eine YAML-Datei als Eingabe verwendet, die den Domainnamen, eine Beschreibung und verschiedene Domänenattribute wie Kontaktinformationen oder einen Standardgenehmiger für Anfragen an Datenprodukte enthält. Das sorgt für eine klare Datenverantwortung und Datenherkunft, um das Vertrauen, die Datenqualität und -struktur zu fördern und gleichzeitig die Governance im gesamten Unternehmen zu stärken. 

Q: Welche Objekttypen können sich in einem Datenprodukt in Snowflake befinden?

Ein Datenprodukt kann ein oder mehrere Objekte verschiedener Art enthalten, darunter: 

• Datenbanken

• Schemas

• Tabellen

• Dynamische Tabellen

• External Tables

• Semistrukturierte Daten wie JSON und XML

• Dateien und unstrukturierte Dokumente, auch wenn sie in Storage Buckets außerhalb von Snowflake gespeichert sind

• Apache Iceberg™-Tabellen, selbst wenn sie außerhalb von Snowflake gespeichert und über einen Katalog wie AWS Glue oder OneLake verwaltet werden

• Ansichten

• Materialized Views

• Sichere User Defined Functions (UDF)

• Snowflake Native Apps

• ML-Modelle

• Semantic Views (Private Preview)

• On-Premises-Daten, wenn sie als Dateien in einem S3-kompatiblen Speichersystem gespeichert sind

Q: Wie kann ich Datenprodukte auf Basis von Iceberg- und Delta Lake-Tabellen erstellen?

Wenn Sie Daten außerhalb von Snowflake verwalten, z. B. in Apache Iceberg, können Sie diese Iceberg-Tabelle weiterhin in Snowflake sichtbar machen und als Teil eines Datenprodukts in den Internal Marketplace integrieren. Dadurch kann dasselbe Datenprodukt mit anderen Rechen-Engines interoperabel sein, die auf dieselben Daten zugreifen können. 

Q: „Chat with your data product“ ist eine Funktion, die sich derzeit in Private Preview befindet. Was ist es und wie funktioniert es?

Snowflake stellt eine innovative Funktion vor, mit der Datennutzende in natürlicher Sprache mit einem Datenprodukt interagieren können. Daher muss der Besitzer des Datenprodukts eine semantische Ansicht in die Auflistung aufnehmen, die den Inhalt und die Struktur der Daten beschreibt, wie z. B. Beziehungen, Kennzahlen, Dimensionen sowie optionale Kommentare und Synonyme. 

Die semantische Ansicht wird dann von Snowflake Cortex Analyst verwendet, einer vollständig verwalteten LLM-gestützten Funktion, die hilft, geschäftliche Fragen auf der Grundlage Ihrer strukturierten Daten in Snowflake zu beantworten. Datennutzende können dann das Datenprodukt auf leistungsstarke Weise abfragen. Abfragen in natürlicher Sprache werden automatisch in SQL umgewandelt und ausgeführt, um Antworten zu generieren. Das generierte SQL kann überprüft und auf Wunsch bearbeitet werden. Datennutzende können auch offene Fragen stellen, wie z. B.: „Womit kann mir dieses Datenprodukt helfen?“ oder „Was sind die Einschränkungen dieses Datenprodukts?“

Data-Mesh-Webinar: fünf Erkenntnisse 

Hier die fünf wichtigsten Erkenntnisse aus unserem Data-Mesh-Webinar: 

• Data Mesh zielt darauf ab, die Grenzen des traditionellen zentralisierten Datenmanagements zu überwinden, indem der Datenbesitz dezentralisiert und Geschäftsdomänen in die Lage versetzt wird, ihre Daten zu verwalten. Die Bewertung des Data Mesh erfordert sorgfältige Überlegungen, um zu bestimmen, ob die soziotechnische Implementierung und Funktionen mit Ihren Geschäftszielen übereinstimmen. 

• Snowflake bietet eine Plattform, die Data-Mesh-Prinzipien unterstützt, indem sie skalierbares und kontrolliertes Data Ownership ermöglicht, einfaches Data Sharing von Datenprodukten ermöglicht und Komplexität und Kosten reduziert.   

• Internal Marketplace ist eine wichtige Funktion von Snowflake, mit der Domänen kontrollierte Datenprodukte innerhalb ihres Unternehmens veröffentlichen, entdecken, teilen und nutzen können.   

• Snowflake ermöglicht Domänenteams Autonomie, indem es separate Umgebungen mit eigenen Speicher- und Rechenressourcen bereitstellt und gleichzeitig die domänenübergreifende Zusammenarbeit und Data Sharing ermöglicht.   

• Snowflake reduziert die Komplexität und Kosten beim Aufbau und Betrieb einer Datenproduktplattform, indem es einen vorintegrierten, vollständig verwalteten Service mit einer Vielzahl von Funktionen anbietet.

• Snowflake ist in einem breiten Ökosystem von Tools und Services integriert, mit denen Unternehmen individuelle Architekturen für ihre Anforderungen entwickeln können.    

Durch die Unterstützung von Geschäftsdomänen, indem das Data Sharing erleichtert und die Komplexität reduziert wird, kann eine Data-Mesh-Architektur Unternehmen dabei helfen, das volle Potenzial ihrer Daten auszuschöpfen und bessere Geschäftsergebnisse zu erzielen. Der Aufbau und Betrieb eines Data Mesh erfordert jedoch eine Kombination aus Vision, Ausrichtung und technischen Fähigkeiten. Um erfolgreich zu sein, müssen Sie eine Vielzahl von Stakeholdern, Tools und Lösungen nutzen. Die Plattform von Snowflake bietet eine leistungsstarke und umfassende Grundlage für Lösungen für Unternehmen, die auf dieser Data-Mesh-Reise sind.