Stockage de données Ionic pour une grande évolutivité dans la supply chain
Les supply chains ont adopté assez tôt des systèmes de gestion informatisés. Cependant, en conséquence, de nombreuses grandes entreprises disposent de systèmes de supply chain datant de plusieurs décennies qui ont tendance à être lents lorsqu’il s’agit de traiter de grandes quantités de données. Certes, de nombreuses technologies Big Data sont disponibles de nos jours, mais les entreprises avancent avec prudence. Beaucoup, sinon la plupart, de ces entreprises Big Data dépendent de talents en ingénierie de premier ordre pour faire fonctionner leurs technologies en douceur ; et toutes les entreprises ne réussissent pas, contrairement à Facebook, à réécrire des couches de technologies Big Data pour les faire fonctionner.
Pouvoir traiter de vastes quantités de données est un engagement de longue date de Lokad. En effet, optimiser toute une supply chain nécessite généralement des centaines d’ajustements incrémentiels. À mesure que les hypothèses se précisent, c’est généralement toute la chaîne de calculs qui doit être réexécutée. Obtenir des résultats qui englobent l’ensemble du réseau de la supply chain en quelques minutes plutôt qu’en quelques heures vous permet de mener à bien un projet en quelques semaines, alors qu’il aurait traîné pendant un an sinon.
Et c’est pourquoi nous avons commencé notre migration vers le cloud computing dès 2009. Cependant, le simple fait de fonctionner sur une plateforme de cloud computing ne garantit pas que de vastes quantités de données peuvent être traitées rapidement. Pire encore, bien que l’utilisation de nombreuses machines offre la possibilité de traiter plus de données, cela tend également à rendre le traitement des données plus lent, pas plus rapide. En fait, les retards ont tendance à se produire lorsque les données sont déplacées d’une machine à l’autre, ainsi que lorsque les machines doivent coordonner leur travail.
Par conséquent, ajouter simplement plus de machines à un problème de traitement de données ne réduit pas davantage le temps de traitement des données. Les algorithmes doivent être rendus plus intelligents, et chaque machine doit être capable de faire plus avec moins de ressources informatiques.
Il y a quelques semaines, nous avons publié un nouveau format de stockage de colonnes hautes performances appelé Ionic, qui est fortement optimisé pour le traitement de données concurrentiel à grande vitesse. Ce format est également adapté à l’optimisation de la supply chain car il prend en charge nativement la gestion des distributions de probabilités de stockage. Et ces distributions sont essentielles pour pouvoir tirer parti des prévisions probabilistes. Ionic n’est pas destiné à être utilisé comme format d’échange entre Lokad et ses clients. Pour l’échange de données, l’utilisation d’un format de fichier texte plat, tel que CSV, convient parfaitement. Le format Ionic est destiné à être utilisé comme format de données interne pour accélérer tout ce qui se passe au sein de Lokad. Grâce à Ionic, Lokad peut maintenant traiter des centaines de gigaoctets de données d’entrée relativement facilement.
En particulier, l’aspect colonne du format Ionic garantit que les colonnes peuvent être chargées et traitées séparément. Lorsque nous abordons des problèmes de supply chain, nous sommes régulièrement confrontés à des extractions ERP où les tables comportent plus de 100 colonnes, et jusqu’à 500 colonnes pour les pires cas. Ionic offre une augmentation de performance massive lorsqu’il s’agit de traiter autant de colonnes.
Du point de vue de Lokad, nous percevons de plus en plus les capacités de traitement des données comme un facteur de succès critique dans la mise en œuvre de projets d’optimisation de la supply chain. Un temps de traitement plus long signifie que moins de choses sont faites chaque jour, ce qui pose problème puisque chaque entreprise opère finalement dans des délais serrés.
Le format de stockage Ionic est une étape de plus dans notre parcours Big Data.