Stockage de données Ionic pour une haute scalabilité en supply chain
Les supply chains ont adopté assez tôt les systèmes de gestion informatisés. Pourtant, en conséquence, de nombreuses grandes entreprises disposent de systèmes supply chain datant de plusieurs décennies qui ont tendance à être lents lorsqu’il s’agit de traiter une grande quantité de données. Certes, des tonnes de technologies Big Data sont disponibles de nos jours, mais les entreprises avancent prudemment. Bon nombre, voire la plupart, de ces entreprises Big Data dépendent de manière critique de talents d’ingénierie de premier ordre pour assurer le bon fonctionnement de leurs technologies; et toutes ne réussissent pas, contrairement à Facebook, à réécrire des couches de technologies Big Data pour les faire fonctionner.
La capacité de traiter d’énormes quantités de données est un engagement de longue date de Lokad. En effet, optimiser l’ensemble de la supply chain requiert généralement des centaines d’ajustements progressifs. Au fur et à mesure que les hypothèses se précisent, c’est souvent l’ensemble de la chaîne de calculs qui doit être réexécuté. Obtenir des résultats englobant l’ensemble du réseau supply chain en quelques minutes plutôt qu’en heures vous permet de terminer un projet en quelques semaines alors qu’il aurait autrement duré toute une année.
Et c’est pourquoi nous avons commencé notre migration vers cloud computing dès 2009. Cependant, le simple fait de fonctionner sur une plateforme cloud computing ne garantit pas que d’énormes quantités de données puissent être traitées rapidement. Pire encore, bien que l’utilisation de nombreuses machines offre la possibilité de traiter davantage de données, cela tend également à ralentir le traitement de données, et non à l’accélérer. En fait, des retards surviennent généralement lorsque les données sont transférées d’une machine à l’autre, ainsi que lorsque les machines doivent coordonner leur travail.
En conséquence, ajouter simplement plus de machines à un problème de traitement de données ne réduit pas davantage le temps de traitement. Les algorithmes doivent être rendus plus intelligents, et chaque machine devrait être capable d’en faire plus sans ressources informatiques supplémentaires.
Il y a quelques semaines, nous avons lancé un nouveau format de stockage en colonnes haute performance, nommé Ionic, qui est fortement optimisé pour le traitement de données en parallèle à grande vitesse. Ce format est également conçu pour l’optimization de la supply chain puisqu’il prend en charge de manière native la gestion des distributions de probabilités de stockage. Et ces distributions sont essentielles pour pouvoir tirer parti des prévisions probabilistes. Ionic n’est pas destiné à être utilisé comme format d’échange entre Lokad et ses clients. Pour l’échange de données, l’utilisation d’un format de fichier texte plat, tel que CSV, est tout à fait acceptable. Le format Ionic est destiné à être utilisé comme format de données interne pour accélérer tout ce qui se passe au sein de Lokad. Grâce à Ionic, Lokad peut désormais traiter des centaines de gigaoctets de données d’entrée avec une relative facilité.
En particulier, l’aspect en colonnes du format Ionic garantit que les colonnes peuvent être chargées et traitées séparément. Lorsqu’il s’agit de résoudre des problèmes supply chain, nous sommes régulièrement confrontés à des extractions ERP où les tableaux comportent plus de 100 colonnes, et jusqu’à 500 colonnes pour les cas les plus extrêmes. Ionic offre un gain de performance considérable pour gérer un aussi grand nombre de colonnes.
Du point de vue de Lokad, nous percevons de plus en plus les capacités de traitement de données comme un facteur de succès critique dans la mise en œuvre de projets d’optimization de la supply chain. Un temps de traitement plus long signifie que moins de travail est accompli chaque jour, ce qui est problématique puisque, en fin de compte, chaque entreprise opère sous des délais serrés.
Le format de stockage Ionic est encore une étape dans notre voyage Big Data.