Intercontinental Exchange et la Bourse de New York optimisent leurs coûts avec Snowpark

En tant qu’organisation financière internationale menant des opérations des États-Unis à Singapour en passant par l’Europe et Abou Dabi, Intercontinental Exchange exploite des bourses, des chambres de compensation, des services de données et des technologies de prêts immobiliers. Relevant du portefeuille d’ICE, le NYSE est la plus importante bourse de valeurs au monde, offrant à des icônes et des entrepreneurs la possibilité de lever des capitaux pour changer le monde.

La stratégie d’ICE, consistant à présenter des opportunités aux investisseurs, s’appuie sur ses technologies innovantes, son expertise dans le secteur et ses quantités massives de données. C’est pourquoi ICE et le NYSE font confiance au Data Cloud Snowflake pour gérer efficacement leurs données à grande échelle, tout en maîtrisant leurs coûts.

ICE traite des milliards d’enregistrements de transactions chaque jour, ce qui met à rude épreuve ses systèmes analytiques en aval dédiés à la conformité réglementaire, à la surveillance des marchés et au reporting client. « En comptant l’ensemble de nos systèmes, nous avons traité plus de 500 milliards de messages sur une seule journée de trading », souligne Anand Pradhan, Senior Director of Regulatory and NMS Tech pour le New York Stock Exchange. « Toutes ces transactions relèvent d’une granularité à la microseconde, ce qui produit des données temporelles denses et complexes. »

L’ancien entrepôt de données on-premise d’ICE offrait une capacité de stockage limitée, entraînant un archivage de données chronophage et des mises à niveau matérielles coûteuses. Pour réduire les problèmes de simultanéité et les délais de reporting, le personnel technique perdait du temps à concevoir des solutions de contournement, au lieu d’intégrer de nouveaux flux de travail. 

Face à la nécessité de répondre à la demande croissante d’analyses, ICE a commencé à évaluer diverses technologies cloud. Après avoir mené une démonstration de faisabilité approfondie, ICE a jeté son dévolu sur le Data Cloud Snowflake. « Nous avons commencé notre transition vers Snowflake en 2019 et avons effectué notre démonstration de faisabilité avec le marché des instruments dérivés », explique Divakar Jeyadevan, ICE Director. « Nous avons mis cette solution en service en 2020, au moment du pic de la pandémie, avec un succès considérable. »

Le stockage et le calcul à l’évolutivité quasi instantanée et infinie de Snowflake sont à la hauteur des besoins divers d’ICE en matière de reporting, tout en permettant de traiter les téraoctets de nouvelles données chargées chaque jour. La migration des charges de travail vers le Data Cloud a amélioré les performances des requêtes ad hoc jusqu’à 80 % et a pratiquement éliminé les problèmes de non-respect des accords de niveau de service (SLA) en matière de disponibilité des données.

ICE bénéficie maintenant d’une vision à 360 degrés des indicateurs commerciaux et opérationnels, associée à une plus grande transparence des coûts. « Nous avons tant d’unités commerciales, mais Snowflake nous offre une bonne visibilité sur la gestion des coûts pour simplifier l’administration », ajoute Divakar Jeyadevan. En outre, l’infrastructure entièrement gérée de Snowflake permet aux techniciens d’ICE de se concentrer sur la génération d’analyses, plutôt que sur la fourniture de matériel, la mise à niveau de systèmes ou la recherche de solutions de contournement. 

Si la migration des charges de travail existantes vers le Data Cloud représentait une première étape stratégique dans le parcours de transition d’ICE vers Snowflake, la priorité est rapidement devenue l’optimisation des économies dans le cloud, l’augmentation du rendement et l’accélération de l’impact des données. 

L’optimisation de la charge de travail stratégique du NYSE, à savoir le reporting réglementaire, représentait une opportunité considérable de réduire les coûts des données et de gagner en productivité. « Notre charge de travail de reporting réglementaire prend en compte des centaines de milliards d’enregistrements dans l’ensemble de données et les fusionne constamment pour identifier différents schémas, tout en réconciliant plusieurs sources de données de référence. Cela nécessite une puissance de calcul énorme », ajoute Anand Pradhan. 

À l’origine, le NYSE utilisait Snowflake à l’aide d’un connecteur Spark pour prendre en charge les pipelines de data engineering dans un environnement externe. Cependant, le maintien de deux environnements de calcul séparés s’avérait coûteux et compliquait les opérations, entraînant des coûts cachés et une « double taxation » lors des transferts de données depuis et vers Snowflake. 

C’est pourquoi le NYSE a choisi Snowpark, une solution rentable et fiable pour sa charge de travail de reporting réglementaire. En collaborant avec l’équipe des services professionnels Snowflake, le NYSE a pu accélérer sa transition vers Snowpark tout en réduisant les risques. « Nous avons migré vers Snowpark sans faire aucun compromis sur la gouvernance, car cette solution nous permet de construire des pipelines de data engineering basés sur Python dans une seule et même plateforme Snowflake, où se trouvent déjà nos données », souligne Anand Pradhan. « Cette étape clé a été un succès majeur pour nous. »

Avec Snowpark, le NYSE se débarrasse de la complexité tout en faisant des économies. En effet, les coûts associés aux données ont chuté de plus de 50 % dans le mois qui a suivi le déploiement de Snowpark pour la charge de travail de reporting réglementaire, malgré des volumes de données relativement constants. Selon Anand Pradhan, « Snowpark a permis une telle réduction des coûts que j’ai dû adapter mon budget pour cette année ». 

En outre, la rationalisation des charges de travail avec Snowpark a également permis de réduire les points de défaillance et les ajustements manuels de code à gérer. « Comme nous sommes confrontés à moins de défis opérationnels, le rendement de notre data engineering a été multiplié plusieurs fois », ajoute Anand Pradhan. « Nous nous concentrons désormais davantage sur les analyses avancées et faisons un meilleur usage de notre temps pour gagner en productivité. »

Grâce à la connexion d’outils SaaS à Snowflake, ICE peut plus facilement optimiser ses données pour obtenir de meilleurs résultats commerciaux. « Après nos succès initiaux, notre communauté de développeurs a hâte de tirer parti de Snowpark for Python et d’explorer encore plus de cas d’usage pour migrer depuis Spark », explique Divakar Jeyadevan. De plus, l’équipe d’Anand Pradhan évalue actuellement des solutions pour prendre en charge les cas d’usage du machine learning et de l’IA générative et teste également certaines des dernières fonctionnalités d’IA/ML de Snowflake. Selon Anand Pradhan, « toutes ces opportunités se sont offertes à nous parce que nous avons commencé à travailler en partenariat avec Snowflake et nous espérons continuer sur cette lancée ».

En optimisant d’autres charges de travail, ICE améliorera encore sa posture pour répondre à l’évolution des conditions du marché et à l’augmentation des volumes de données. La Marketplace Snowflake jouera sans doute un rôle important dans ces optimisations à venir. Comme l’explique Anand Pradhan, « la migration vers Snowflake était la mesure à prendre pour que nous puissions mener ces différentes expérimentations, innovations et collaborations ».