Potenziare il data engineering oggi per le sfide di domani

Il data engineering non è mai stato così vitale come oggi. Con i progressi nel campo dell’intelligenza artificiale, dell’analisi avanzata e delle applicazioni data-driven, i data engineer sono diventati indispensabili per le loro organizzazioni che si preparano a sfruttare queste tecnologie. Questi eroi finora sconosciuti ora si ritrovano sotto i riflettori, costruendo le pipeline di dati mission-critical che prepareranno le loro organizzazioni per il successo futuro. Tuttavia, questa opportunità non manca di sfide. Stack tecnologici frammentati, colli di bottiglia sulle prestazioni e l’alto prezzo dei talenti specializzati sono diventati la norma, ostacolando l’innovazione, aumentando i costi nascosti e bloccando il progresso.

Noi di Snowflake pensiamo che ci sia un modo migliore di fare data engineering. Ci impegniamo a fornire ai data engineer gli strumenti e la piattaforma necessari per destreggiarsi tra le complessità del panorama dei dati moderno, che si tratti di semplificare il processo di creazione della pipeline di dati o di unificare i dati non strutturati e strutturati all’interno della stessa infrastruttura. Vogliamo che i nostri clienti siano sicuri della loro capacità di guidare la carica, grazie a innovazioni che semplificano i processi, favoriscono la collaborazione e sbloccano il vero potenziale dei dati. Questo significa ridurre il tempo dedicato al noioso tuning e alle attività di manutenzione ordinaria dei sistemi di data engineering obsoleti; i data engineer possono invece lavorare con libertà per scoprire nuovi casi d’uso ed esplorare un territorio inesplorato. 

La nostra visione per il futuro del data engineering semplifica, democratizza ed è più connessa che mai. Ora i vostri dati fanno di più, per voi.

Oggi siamo entusiasti di annunciare una serie di nuove funzionalità e aggiornamenti dei prodotti creati per questo futuro. In questo articolo esamineremo in dettaglio queste funzionalità e il loro valore aggiunto, creando pipeline di dati efficienti, accelerando le iniziative di open lakehouse e integrando l’intelligenza artificiale e i dati non strutturati nei flussi di lavoro con sorprendente facilità. Con Snowflake puoi concentrarti sulla creazione di valore e sulla promozione dell’innovazione, lasciandoti alle spalle le complessità dell’infrastruttura dati. 

Openflow: Rivoluzionare il trasferimento dei dati

Snowflake Openflow è un servizio di integrazione dei dati multimodale aperto, estendibile e gestito che semplifica il trasferimento dei dati tra le sorgenti e le destinazioni. Supportando tutti i tipi di dati, strutturati e non strutturati, batch e streaming, Openflow rivoluziona il movimento dei dati direttamente all’interno di Snowflake, fondamentale per consentire un’elaborazione ETL trasparente per l’AI. Tutte le integrazioni di dati sono unificate in un’unica piattaforma, con estendibilità e interoperabilità illimitate per connettersi a qualsiasi sorgente dati. Agevolando qualsiasi architettura dati, Openflow consente alle aziende di scalare con fiducia le proprie esigenze di integrazione con affidabilità e governance di livello enterprise. Centinaia di connettori e processori pronti all’uso semplificano e accelerano rapidamente l’integrazione dei dati provenienti da un’ampia gamma di sorgenti dati, compresi i connettori di partnership strategiche. Ad esempio, Snowflake sta collaborando con Oracle per creare una soluzione ad alte prestazioni, scalabile e conveniente per replicare il Change Data Capture (CDC) dai database Oracle a Snowflake. 

Con Snowflake Openflow puoi:

• Liberare la circolazione dei dati con qualsiasi connettore richiesto dalla tua azienda.

• Sbloccare le pipeline ETL per consentire agli agenti AI di prendere decisioni alla velocità delle macchine.

• Creare integrazioni scalabili enterprise-ready con distribuzione flessibile, osservabilità dei dati e governance.

Progetti dbt su Snowflake

Come componenti di ogni strategia dati efficace, le trasformazioni sono fondamentali per creare pipeline di dati robuste e scalabili. Oggi siamo felici di annunciare un altro entusiasmante avanzamento di prodotto per creare e orchestrare pipeline di dati: dbt Projects on Snowflake (presto in public preview). 

Uno dei preferiti dai team dati, dbt offre la possibilità di applicare best practice di software engineering e migliorare l’efficienza nei flussi di lavoro di trasformazione dei dati SQL e Snowpark direttamente in Snowflake. Con questa nuova opzione nativa, ora i team dati possono creare, eseguire e monitorare progetti dbt direttamente nell’interfaccia utente Snowsight, riducendo il passaggio da un contesto all’altro, semplificando la configurazione e accelerando il ciclo di sviluppo delle pipeline di dati. 

Con il supporto per dbt Projects puoi:

• Consentire ai nuovi team di creare e distribuire pipeline con governance uniforme: Accelerare l’onboarding e consentire ai nuovi team di creare le pipeline di cui hanno bisogno attraverso un’interfaccia intuitiva con un modello di governance e sicurezza uniforme per dati e pipeline.

• Consolidare i sistemi per ridurre l’amministrazione e migliorare il debug: Esegui dbt in modo nativo su Snowflake e semplifica il ciclo di sviluppo della pipeline per migliorare la produttività degli sviluppatori e individuare e risolvere rapidamente i problemi.

Queste funzionalità sono solo l’inizio; presto saranno disponibili altri interessanti aggiornamenti per semplificare e migliorare ulteriormente i flussi di lavoro.

Miglioramenti della pipeline SQL e Python

Con i recenti miglioramenti ad alcune delle nostre funzionalità più diffuse, stiamo semplificando flussi di lavoro complessi in tutto il panorama del data engineering, con effetti su tutto, dai flussi di lavoro collaborativi SQL alle complesse pipeline Python. Questi miglioramenti mirano a semplificare i processi e aumentare l’efficienza dei data engineer che lavorano con diversi strumenti e tecnologie.

Dynamic Tables offre un framework dichiarativo per pipeline batch e streaming, semplificando la configurazione con orchestrazione automatica ed elaborazione continua. Gli aggiornamenti includono il supporto completo per Apache Iceberg, latenza ridotta per le pipeline in tempo quasi reale (circa 15 secondi, in private preview) e miglioramenti delle prestazioni per varie operazioni SQL. Inoltre, le nuove estensioni SQL (presto in GA) assicurano un maggiore controllo sulla semantica della pipeline impedendo aggiornamenti o eliminazioni e abilitando il riempimento dei dati.

Un altro nuovo aggiornamento, pandas su Snowflake con esecuzione ibrida (private preview), supporta le pipeline pandas su tutte le scale di dati. Questa funzionalità esegue in modo intelligente le query inviandole a Snowflake per data set di grandi dimensioni o localmente con panda standard per quelli più piccoli, ottenendo prestazioni coerenti ed efficienti durante tutto il ciclo di sviluppo.

Open lakehouse

Liberati dalla frammentazione dei dati e accelera il time-to-insight e l’intelligenza artificiale con il supporto completo per tabelle Apache Iceberg™ di Snowflake. Ora i data engineer possono fondamentalmente ridefinire il modo in cui costruiscono lakehouse open e connessi. Centralizzando e attivando automaticamente quasi tutto l’ecosistema Iceberg, semplifichiamo il ciclo di vita dei dati, eliminando la necessità di complicati processi di scoperta e accesso ai dati. Grazie al supporto continuo per la trasformazione dei file Parquet in Iceberg Tables e alle ottimizzazioni appena disponibili per le dimensioni dei file e le partizioni, l’open lakehouse incorpora una maggiore quantità di dati e migliora le prestazioni.

Con le crescenti funzionalità lakehouse di Snowflake puoi:

• Scoprire e attivare i dati praticamente ovunque: Crea un’unica vista connessa del tuo open lakehouse integrando Snowflake Open Catalog, o qualsiasi altro catalogo compatibile con Iceberg REST, in Snowflake con Catalog Linked Databases (presto in public preview). Individua, aggiorna e attiva automaticamente le tabelle sottostanti con il motore di calcolo e prezzo unificato dell’AI Data Cloud Snowflake.

• Trasformare con una governance unificata e ottieni prestazioni ottimali: Di recente è stato lanciato il supporto per la scrittura su tabelle Iceberg gestite esternamente, presto in public preview, che consente di trasformare i dati in modo trasparente in tutto l’ecosistema Iceberg all’interno di Snowflake e di sfruttare la governance e la sicurezza complete integrate basate su Snowflake Horizon Catalog. Prendi il controllo delle prestazioni con Snowflake definendo dimensioni dei file e partizioni su quasi tutte le tabelle Iceberg, presto in public preview. Sfrutta le ottimizzazioni delle tabelle (presto in public preview) per automatizzare la raccolta degli scarti, la compattazione e altro ancora. Dedica meno tempo alla gestione dell’infrastruttura e più tempo a produrre effetti.

• Creazione di pipeline dichiarative per le tabelle Iceberg: Semplifica le tue pipeline con Dynamic Iceberg Tables, una soluzione di orchestrazione completamente gestita che trasforma continuamente e in modo incrementale i dati archiviati nelle Iceberg Tables mantenendo la completa interoperabilità. Il supporto per le tabelle Iceberg gestite da Snowflake è ora disponibile per tutti i clienti, mentre quello per le tabelle Iceberg gestite esternamente lo sarà a breve.

• Analitica avanzata su più dati: Libera il valore dei tuoi dati semi-strutturati con il supporto di VARIANT, ora nelle tabelle Iceberg. Integra facilmente i tipi di dati geospaziali e geometrici, presto in private preview, per sbloccare insight più approfonditi e sensibili alla posizione. Il supporto per Merge on Read, ora in private preview, significa che ora puoi attivare più del tuo ecosistema Iceberg all’interno di Snowflake.

• Accesso ai dati Delta Lake come tabelle Iceberg senza migrazione dati: Porta più dati nel tuo lakehouse open e connesso convertendo i metadati delle tabelle Delta in tabelle Iceberg senza bisogno di caricare o spostare i file Parquet sottostanti. 

Integrazione avanzata e sicurezza di livello enterprise per Open Catalog

Sfrutta tutto il potenziale delle tue Iceberg Tables in Snowflake e goditi sicurezza e governance complete. Sincronizzando automaticamente le tabelle Iceberg gestite da Open Catalog, si ottiene un accesso unificato in lettura/scrittura e una governance coerente e integrata basata su Horizon Catalog, sempre all’interno dell’ambiente Snowflake. Godetevi una netta separazione della governance, con Horizon che gestisce le query Snowflake e Open Catalog che gestisce l’accesso multimotore esterno, eliminando l’ambiguità della vostra postura di sicurezza. Inoltre, le funzionalità di sicurezza di livello enterprise sono ora disponibili in Open Catalog, fornendo accesso sicuro agli utenti e connessioni dati private per il catalogo sicuro, interoperabile e vendor-neutral leader.

Grazie ai miglioramenti Open Catalog di Snowflake, gli utenti ottengono:

• Accesso sicuro per utenti di livello enterprise: Goditi l’accesso trasparente all’interfaccia utente tramite Single Sign-on (SSO) con SAML 2.0 e consenti un’integrazione programmatica sicura tra motori e servizi tramite OAuth con il tuo provider di identità preferito o la soluzione di autenticazione con coppia di chiavi nativa di Snowflake.

• Attivazione della connettività privata bidirezionale per l’accesso ai metadati: Sfrutta Private Link, un framework di sicurezza unificato, per stabilire connessioni protette tra dati, Snowflake, motori, strumenti e Snowflake Open Catalog, per garantire che i tuoi dati rimangano privati e conformi per tutto il loro ciclo di vita. 

• Accesso al tuo intero ecosistema Iceberg: Accedi senza problemi praticamente a tutte le tue tabelle Iceberg con Catalog Federation in Apache Polaris (incubazione). Creando un’unica vista di tutti i cataloghi collegati, Federation semplifica la scoperta dei dati e ne abilita l’attivazione su qualsiasi motore che supporti le integrazioni dei cataloghi Iceberg REST. Federation sarà presto disponibile in private preview.

• Semplificazione della gestione delle tabelle Delta: Centralizza le tabelle Iceberg e Delta su Snowflake Open Catalog. Crea, aggiorna, elimina e governa l’accesso a tutte le tabelle Delta e Iceberg da un unico pannello di vetro. Individua automaticamente entrambi i formati all’interno di Snowflake, consentendoti di interrogare le tabelle Delta, ottenendo visibilità e controllo unificati sulle tue risorse lakehouse. Le tabelle Delta in Open Catalog, un servizio gestito per Apache Polaris (incubazione), saranno presto disponibili in private preview.

Esperienza DevOps moderna

Riduci il time-to-impact con miglioramenti della produttività degli sviluppatori che ti consentono di concentrarti sul lavoro di alto valore invece di tenere le luci accese. La funzionalità DevOps di Snowflake consente di semplificare e automatizzare il ciclo di vita dello sviluppo software per gli ambienti Snowflake, con particolare riguardo alle best practice in materia di CI/CD, sviluppo del codice e gestione dell’infrastruttura. Insieme ai moderni strumenti DevOps e al supporto AI in Snowflake, si ottiene una perfetta integrazione tra attività di sviluppo e operative, che porta a un flusso di lavoro più produttivo ed efficiente.

In linea con il nostro impegno a migliorare continuamente la vostra esperienza DevOps con Snowflake, annunciamo alcuni nuovi aggiornamenti.

• Snowflake Workspaces: Fornisce un’interfaccia utente moderna per tutti i task di sviluppo Snowflake. A partire dal supporto per dbt Projects e SQL, gli sviluppatori potranno utilizzare un unico IDE comune con ricche funzionalità per gli sviluppatori, tra cui integrazione nativa Git, differenziazione visiva side-by-side e assistenza per il codice AI Copilot in linea, quando lavorano con file in Snowflake. In futuro verrà fornito ulteriore supporto per gli oggetti.

• Gestione dell’infrastruttura Snowflake con Terraform: Il provider Snowflake Terraform consente un flusso di lavoro coerente per la gestione delle risorse Snowflake, inclusi warehouse, database, schemi, tabelle, ruoli, sovvenzioni e altro ancora, utilizzando HashiCorp Terraform per gestire la tua infrastruttura come codice (IaC).

• Altri modi per connettersi ai repository Git: Ora è possibile utilizzare URL personalizzati per connettersi ai repository Git (invece di limitarsi solo ai repository che appartengono a domini ben noti), offrendo maggiore flessibilità nella configurazione dell’ambiente Git. 

• Supporto runtime Python 3.9: Ora è possibile utilizzare Python 3.9 con i notebook Snowflake Warehouse.

Il futuro è adesso

Le ultime innovazioni di Snowflake sono progettate per affrontare a testa alta le sfide più complesse del data engineering. Esaminiamo in che modo questi progressi possono rivoluzionare la tua strategia dati.

Creare pipeline migliori

Il data engineering moderno si basa sulla collaborazione semplificata e sulla scalabilità. Espandendo le nostre funzionalità native per l’ingestion e la trasformazione con funzionalità come Openflow e dbt Projects, consentiamo ai tuoi team di collaborare senza problemi all’interno dell’ambiente sicuro di Snowflake. Supportiamo inoltre la flessibilità degli standard aperti e dei software open source (OSS) più diffusi come dbt e Iceberg, integrandoli senza sforzo nei flussi di lavoro esistenti.

Libera il tuo team dall’onere di gestire infrastrutture complesse e concentrati invece su task di alto valore. Le nostre trasformazioni serverless e opzioni di orchestrazione eliminano la necessità di ospitare e gestire cluster di calcolo, il tutto con prestazioni eccezionali. Per finire, l’automazione è al centro della nostra piattaforma, semplificando il ciclo di vita dello sviluppo tramite CI/CD, automazione del deployment e solida gestione dell’infrastruttura.

Accelera il tuo open lakehouse

Il tuo data lakehouse open dovrebbe funzionare come una macchina ben oliata, in grado di gestire senza problemi tutti i formati di dati, indipendentemente da dove sono archiviati. Snowflake ti consente di connettere, trasformare e attivare tutti i tuoi dati con facilità. Sicurezza e governance sono fondamentali: la nostra piattaforma fornisce una solida protezione dei dati, controlli di accesso granulari e procedure di governance complete, tra cui mascheramento dei dati e accesso all’audit. Snowflake garantisce la qualità, l’accuratezza e l’affidabilità dei dati in tutto l’ecosistema. Ci impegniamo a promuovere un ambiente dati che promuova l’innovazione e la produttività attraverso strumenti e standard ottimizzati, garantendo al contempo che la vostra architettura possa scalare senza sforzo con l’evoluzione della vostra azienda.

Sfrutta i tuoi dati per l’AI

Sfrutta la potenza dell’AI con la capacità di Snowflake di unificare i tuoi dati non strutturati, semi-strutturati e strutturati. Combina facilmente testo, documenti, immagini e altri formati di dati non strutturati con i tuoi dati strutturati esistenti, creando una base completa per i modelli AI. Sfrutta funzionalità come Openflow (con processori AI Snowflake Cortex disponibili) e Document AI per sfruttare la potenza dei LLM e dell’AI direttamente nella pipeline. Utilizza le potenti funzionalità di Snowpark per elaborare e trasformare i dati non strutturati su larga scala utilizzando Python e altri linguaggi familiari.

Snowflake consente anche di creare e distribuire applicazioni di AI generativa all’avanguardia sfruttando la potenza dei migliori LLM, la Retrieval‐Augmented Generation (RAG) all’avanguardia e altri servizi di AI generativa avanzati tramite Cortex AI. Collega l’intero panorama dei dati aziendali all’AI con flussi di dati bidirezionali in tempo quasi reale utilizzando Openflow e il suo supporto per diverse strutture di dati e requisiti. Semplifica la complessità delle pipeline di dati per l’AI, eliminando la necessità di destreggiarsi tra strumenti eterogenei tra più team. Con la sicurezza, la governance e l’osservabilità unificate di Snowflake, puoi portare le soluzioni AI in produzione con fiducia, aggiungendo sicurezza e affidabilità in ogni fase del processo.

Per scoprire di più su questi e altri progressi del data engineering, registrati al prossimo evento Data Engineering Connect di Snowflake il 29 luglio 2025.