Le pipeline d'extraction de données
Ce document guide les services informatiques dans la construction d’un pipeline qui extrait les données des systèmes de gestion existants et les met à disposition sur la plateforme Lokad. Sa mise en place est l’une des premières étapes d’une initiative de Supply Chain Quantitative. Nous présentons l’approche recommandée par Lokad : périmètre des données à extraire et à transmettre, formats et stratégies de transfert.
Motivation et contexte
Lokad définit une initiative de la Supply Chain Quantitative comme étant celle qui délivre une recette numérique automatisant les décisions (ou du moins des recommandations) face aux défis de la supply chain. Lokad propose une plateforme programmatique conçue pour la résolution de problèmes d’optimisation prédictive liés à la supply chain.
Les problèmes typiques incluent :
- Décider des quantités de stocks à réapprovisionner
- Décider des quantités de stocks à produire
- Décider s’il faut augmenter ou diminuer les prix
- Décider si les stocks doivent être déplacés au sein du réseau
Si l’entreprise optimise ces décisions, elle peut généralement réduire ses coûts d’exploitation et son besoin en fonds de roulement tout en améliorant sa qualité de service. Elle devrait au minimum pouvoir revoir l’équilibre entre coûts, trésorerie et service pour mieux l’aligner sur sa stratégie globale de supply chain.
La recette numérique, qui répond au problème d’intérêt, est destinée à être mise en œuvre au sein de Lokad. En conséquence, la recette numérique nécessite que des données pertinentes de l’entreprise soient mises à disposition sur la plateforme de Lokad. Cela conduit aux questions suivantes :
- Quelles données doivent être transférées vers Lokad ?
- Quel format doit être utilisé pour les données ?
- Quels schémas de transfert doivent être utilisés pour actualiser les données ?
Bien que les problèmes énumérés ci-dessus soient variés, les données d’entrée pertinentes sont très similaires et proviennent généralement des données transactionnelles historiques de l’entreprise (les ventes historiques, par exemple).
Le département IT du client est généralement responsable de la mise en place et de la maintenance du pipeline d’extraction de données. Dans les sections suivantes, ce qui est spécifiquement requis du département IT sera expliqué en détail.
Une fois le pipeline d’extraction de données créé, les ingénieurs côté Lokad - appelés Supply Chain Scientists - sont responsables de la mise en place et de la maintenance de la recette numérique. Ces ingénieurs sont fréquemment fournis par Lokad dans le cadre d’un accord de service « Platform+Experts », mais il est également possible pour le client d’internaliser cette compétence. Cependant, même lorsque ces ingénieurs sont internes, nous recommandons de les affecter au département supply chain, plutôt qu’au département IT.
Indépendamment du fait que cette partie de l’initiative supply chain soit externalisée ou non, la perspective exposée dans ce document reste la même.
Vue d’ensemble technique
Lokad est une couche analytique qui opère au-dessus des systèmes transactionnels existants du client. En d’autres termes, Lokad ne remplace pas l’ERP ; il le complète par des capacités d’optimisation prédictive qui, en réalité, ne peuvent être mises en œuvre dans le cadre d’un système transactionnel traditionnel.
Chaque compte Lokad dispose d’un système de fichiers accessible par SFTP et FTPS. Une interface web est également disponible, mais elle sert surtout à présenter des tableaux de bord aux utilisateurs non spécialistes, plutôt qu’aux équipes informatiques. Les données pertinentes, généralement extraites des principaux systèmes transactionnels de l’entreprise, doivent être exportées sous forme de fichiers plats, puis transférées vers le système de fichiers de Lokad. Nous détaillons ce format plus loin.
Sauf accord contraire, le service informatique du client est responsable des données jusqu’au transfert des fichiers plats vers le système de fichiers de Lokad. La plateforme est conçue pour gérer les échecs partiels d’extraction, comme expliqué plus loin, ce qui laisse une certaine marge de manœuvre au service informatique.
Une fois les données disponibles, des scripts Envision — le langage de programmation dédié développé par Lokad — les traitent et génèrent les décisions de supply chain optimisées recherchées.
L’extraction de données a de nombreuses applications au-delà de l’optimisation de la supply chain par Lokad. Les équipes marketing, finance et ventes, entre autres, peuvent exploiter le même historique des ventes. Lokad recommande donc de consolider les données transactionnelles dans une couche dédiée, un « data lake », exclusivement destinée à les fournir aux équipes concernées et aux systèmes analytiques tiers comme Lokad.
Un data lake n’est pas obligatoire pour utiliser Lokad. C’est une possibilité d’architecture qui facilite le fonctionnement de l’entreprise et aide à structurer ses pratiques de gestion des données, si elles ne le sont pas déjà.
Le périmètre des données pertinentes
La supply chain consiste à optimiser les décisions relatives au flux de biens physiques (achats, transport, production, ventes, etc.). En conséquence, les données les plus pertinentes pour une initiative d’optimisation prédictive sont presque toujours celles qui décrivent tous les flux qui se produisent au sein de l’entreprise. Ces données se trouvent généralement dans les systèmes d’information transactionnels du client.
Comme mentionné précédemment, la plateforme de Lokad est assez flexible dans ses capacités de traitement, par conséquent, il n’y a aucune exigence stricte en matière de données. Il est fort probable que le client ne puisse pas fournir bon nombre des éléments de données énumérés ci-dessous, et Lokad est capable d’opérer dans de telles limites. Ainsi, la liste ci-dessous tente d’être aussi exhaustive que possible pour identifier les sources de données utiles, sans exiger la fourniture rigoureuse de chacune d’entre elles.
Catalogue de produits: La liste des produits (ou articles, pièces) que l’entreprise achète, transforme, assemble et/ou vend. Cette liste est importante car de nombreuses décisions se prennent au niveau du « produit ». La hiérarchie (par exemple, catégories, familles, sous-familles), si elle est présente, est pertinente – tant pour les besoins de reporting qu’à des fins analytiques. Les attributs structurés (par exemple, couleur, taille, poids, forme) qui qualifient les produits sont également utiles. En règle générale, toute donnée décrivant les produits – du point de vue de la supply chain – est pertinente. Les relations entre produits - comme les nomenclatures (BOMs, bills of materials) - le sont également.
Historique des commandes de vente : La liste des commandes de vente passées du client. Les ventes sont presque toujours le meilleur indicateur disponible pour estimer la demande du marché. Il faut inclure les montants des transactions, car l’optimisation de la supply chain doit suivre une perspective financière, détaillée plus loin. Dès que possible, il est toujours préférable de fournir les transactions brutes plutôt que des agrégats quotidiens, hebdomadaires ou mensuels ; nous revenons aussi sur ce point ci-dessous. Commandes en attente, annulées, reportées ou modifiées, retours : tous ces éléments peuvent être pertinents. Si les acheteurs sont identifiés, leurs identifiants anonymisés sont utiles. Les données personnelles font l’objet d’une section distincte.
Commandes d’achat : La liste des commandes d’achat historiques du client, ainsi que les commandes d’achat en attente (non encore reçues). Cette liste est importante car les commandes d’achat sont presque toujours le meilleur indicateur pour estimer les délais de livraison des fournisseurs et leur qualité de service. Les commandes d’achat en attente reflètent le « stock en commande ». Les commandes d’achat devraient également inclure les montants monétaires associés aux transactions. Dans la mesure du possible, il est (toujours) préférable de fournir l’historique des commandes brutes plutôt que des agrégats. L’historique des commandes d’achat devrait inclure, si disponible, les dates pertinentes : date de commande, date d’expédition, date de livraison, etc.
Ordres de production : La liste des ordres de production historiques du client (le cas échéant), ainsi que les ordres de production en attente (non encore exécutés). Cette liste est importante car ces ordres reflètent le flux de transformation des biens qui se produit au sein de l’entreprise, tout en nous permettant d’identifier les goulots d’étranglement qui peuvent exister dans la supply chain. Selon la situation, la production peut afficher des rendements variables ou parfois des lots peuvent être rebutés en raison de problèmes de qualité. Ces événements sont pertinents.
Mouvements de stocks : La liste des mouvements de stocks historiques du client s’il existe plusieurs sites. Cette liste est importante car elle éclaire l’origine des stocks utilisés pour déclencher des processus de production ou servir les clients. Selon la situation, les délais de ces mouvements peuvent varier. Le détail des dates (date de commande de transfert, date d’expédition, date de réception) est également pertinent.
Niveaux de stocks : La liste de tous les SKU du client (stock-keeping unit) avec leur niveau de stock actuel. Cette liste est importante car elle caractérise l’état actuel de la supply chain. Selon l’industrie, la représentation des stocks peut être plus complexe que de simples niveaux de SKU. Des dates d’expiration peuvent également être présentes. Certains ou l’ensemble des stocks peuvent être suivis au niveau des numéros de série. Si le suivi des stocks par numéro de série est utilisé, la liste complète des numéros de série et leurs emplacements associés est pertinente. De manière plus générale, tous les éléments qui décrivent l’état actuel des actifs de stocks détenus par l’entreprise sont pertinents.
Tarifs : La liste des prix pratiqués pour les biens fournis et, le cas échéant, les services associés. La politique tarifaire actuelle peut différer des prix facturés par le passé. Les nouveaux prix influencent la demande future et la rentabilité des décisions de supply chain. Promotions, remises par quantité et options tarifaires peuvent aussi intervenir. Tout élément contribuant au montant facturé aux clients est pertinent.
Des instantanés des stocks, des tarifs et des commandes d’achat en attente à des dates passées sont également utiles pour la plupart des besoins de supply chain, mais rarement disponibles dans les systèmes de gestion. Une fois le pipeline en place, Lokad peut constituer ces instantanés sans intervention directe du service informatique du client.
Bien que cette liste soit déjà conséquente, il existe généralement plus de sources de données pertinentes dans les entreprises que celles qui ont été listées ici. En règle générale, si une information est utile à la division supply chain, elle est très probablement pertinente pour l’optimisation prédictive et devrait être dirigée vers Lokad.
Schéma priorisé des données préparées
Cette liste de tables potentiellement pertinentes ne doit pas décourager. Il faut distinguer les tables nécessaires au passage en production de celles qui seraient simplement utiles. Il faut aussi hiérarchiser les extractions pour permettre aux Supply Chain Scientists de passer de l’extraction à l’optimisation.
Lokad recommande donc aux Supply Chain Scientists de produire un schéma priorisé des données préparées, partagé avec le service informatique dès le début de l’initiative. Il recense les tables et leurs champs attendus à l’issue de la préparation des données, ainsi que la priorité de chaque champ demandé.
Ce schéma donne une vue d’ensemble des données souhaitées ; il ne spécifie pas les fichiers à produire lors de l’extraction. La préparation incombe aux Supply Chain Scientists. Il est acceptable, et courant, que la structure des données extraites diffère fortement du schéma « idéal » des données préparées. La section « Extractions transactionnelles brutes » détaille ce point.
Profondeur historique des données
En ce qui concerne la profondeur historique des données à extraire, il y a généralement deux préoccupations distinctes. Premièrement, jusqu’où dans le passé l’extraction de données doit-elle remonter ? Deuxièmement, quelle est la profondeur historique minimale nécessaire pour que l’initiative supply chain réussisse ?
Nous recommandons généralement d’extraire tout l’historique disponible des tables de moins de 1 milliard de lignes. Le tronquer fait perdre des données potentiellement utiles pour évaluer l’évolution à long terme de la supply chain. Des filtres seront de toute façon appliqués côté Lokad pendant la préparation : transmettre davantage de données n’augmente donc pas nécessairement les ressources de calcul utilisées.
En ce qui concerne la profondeur historique, il n’y a pas d’exigence minimale. Si l’historique du système est court (par exemple, six mois), alors certains schémas statistiques, comme la saisonnalité, ne peuvent pas être estimés. Cependant, les praticiens de la supply chain, qui doivent prendre les décisions d’intérêt avant l’initiative Lokad, sont soumis aux mêmes limitations. La recette numérique de Lokad sera mise en œuvre de manière à exploiter toute la profondeur historique disponible, même si elle peut paraître insuffisante pour le client.
Données manquantes
Malgré l’étendue des systèmes de gestion modernes, beaucoup de données semblent manquer, au point de faire douter de la viabilité d’une initiative de Supply Chain Quantitative. Pourtant, les employés parviennent à prendre les décisions nécessaires au fonctionnement de la supply chain, quelle que soit la quantité de données « manquantes ». Une solution existe donc. Comme eux, Lokad cherche à tirer le meilleur parti des données disponibles. Cette approche s’oppose à celle des logiciels d’entreprise courants, qui imposent des exigences figées et refusent de fonctionner tant qu’elles ne sont pas toutes satisfaites.
Selon notre expérience, il existe deux grandes catégories de données « manquantes » qu’il convient de distinguer : d’abord, les données qui devraient être intégrées dans le système d’entreprise ; ensuite, les données que l’on considère comme extrêmement bénéfiques pour le système analytique (comme Lokad).
Les quantités minimales de commande (MOQ), les remises par quantité et les semaines de fermeture des fournisseurs manquent souvent dans les systèmes de gestion, alors qu’elles sont précieuses pour optimiser la supply chain. Dispersées entre tableurs et e-mails, elles ne peuvent pas être directement analysées de façon structurée par Lokad. Nous suggérons alors des heuristiques codées par Lokad et des tableurs ad hoc à transférer sur la plateforme. Une fois la recette numérique opérationnelle, Lokad sollicite le service informatique pour intégrer ces données aux systèmes de gestion. La recette elle-même permet de préciser quelles données comptent réellement, et dans quelle mesure.
Les données de veille concurrentielle, telles que les prix des concurrents, constituent une catégorie que l’on considère comme très utile mais, selon notre expérience, cela n’est pas évident. De manière anecdotique, l’obtention de ce type de données se fait souvent à un coût considérable, sinon les entreprises le feraient déjà. Pour cette raison, fournir ces données n’est pas une exigence. Quoi qu’il en soit, la recette numérique de Lokad sera déterminante pour évaluer - ultérieurement - les gains financiers réels associés aux données additionnelles.
Extractions transactionnelles brutes
Nous recommandons vivement de conserver la forme originale des données. Les données envoyées à Lokad ne devraient être rien de plus que des copies brutes des tables et colonnes originales, telles qu’elles se trouvent dans le SGBDR supportant les systèmes d’entreprise de la société. Toute la préparation des données devrait être déléguée à la plateforme Lokad, qui a été spécifiquement conçue pour la préparation de données.
Tenter de préparer les données entraîne invariablement une perte de données. Que cette perte soit acceptable ou non dépend des décisions supply chain spécifiques qui intéressent. Si les données sont déjà perdues au moment où elles atteignent la plateforme Lokad, rien ne peut être fait pour récupérer cette perte. Les extractions transactionnelles brutes garantissent que l’ensemble des informations disponibles dans les systèmes d’entreprise devient accessible au sein de Lokad.
La préparation des données ajoute aussi sa propre complexité à celle des systèmes de gestion. La recette numérique ne peut certes pas éviter la complexité intrinsèque de l’optimisation recherchée. Mais si elle doit en plus traiter la complexité accidentelle introduite par une préparation préalable, le problème devient déraisonnablement difficile. Les extractions brutes évitent d’imposer à Lokad un problème plus vaste que celui à résoudre.
D’un point de vue informatique, les extractions transactionnelles brutes sont simples. Des copies simples de tables devraient être utilisées (par exemple, SELECT * FROM MyTable), ce qui est la forme la plus simple de requêtes sur une base de données relationnelle. Ces requêtes sont simples, car aucun filtre n’est impliqué, et performantes, puisqu’il n’y a pas de jointure. Cependant, les très grandes tables requièrent une attention particulière. Ce point est abordé ci-dessous.
Si un data lake existe, il doit répliquer à l’identique les données relationnelles des systèmes de gestion. Les principaux systèmes de bases de données intègrent cette capacité de réplication, dont nous recommandons de tirer parti. Répliquer les données est bien plus simple que les préparer, surtout pour le service informatique : la préparation dépend fortement du problème métier à résoudre.
L’antipattern d’extraction BI
Les données à envoyer à Lokad ne devraient pas provenir d’une source secondaire (par exemple, d’un système de Business Intelligence (BI)) où elles ont déjà été largement modifiées, généralement au bénéfice d’une consommation directe par l’utilisateur final. Bien que l’extraction des données depuis un système BI soit plus facile que depuis un ERP, cela crée invariablement des problèmes insolubles par la suite. Par conception, les aspects transactionnels des données sont perdus, car elles sont agrégées en séries temporelles quotidiennes / hebdomadaires / mensuelles.
De plus, de nombreuses complications difficiles à visualiser mais pertinentes, telles que les commandes sur plusieurs lignes, sont éliminées des systèmes de Business Intelligence (comme les cubes BI). Ces détails sont précieux car ils reflètent l’essence des situations de supply chain qui doivent être prises en compte.
Mauvaises données
D’après l’expérience de Lokad, les cas de mauvaises données sont rares. Au contraire, les systèmes d’entreprise transactionnels (comme les ERP) disposent généralement de données précises. Les saisies incorrectes des données transactionnelles sont rares et se produisent typiquement une ou deux fois par 1000 entrées. Lorsque des codes-barres ou des dispositifs similaires sont utilisés, le taux d’erreur est encore plus faible. Le véritable problème réside dans le logiciel qui fait des suppositions incorrectes sur les données, plutôt que dans la mauvaise qualité des données elles-mêmes.
Les niveaux de stocks en magasin pour les grands réseaux de distribution B2C sont presque toujours inexacts. Toutefois, du point de vue de Lokad, cette situation relève de données bruyantes, et non de mauvaises données. Si ces niveaux de stocks sont (incorrectement) supposés être précis, les résultats seront dénués de sens. Nous abordons cette situation spécifique avec une vision probabilistique des niveaux de stocks, en acceptant l’incertitude plutôt qu’en la rejetant.
En somme, les systèmes de Lokad ont été conçus pour recevoir des données et permettre au client d’exploiter sa supply chain sans se soucier de ces préoccupations. Lokad établit une sémantique de données pour traiter ces questions, et cela représente la partie la plus difficile de la phase de préparation des données.
Données personnelles
Une initiative supply chain n’a presque jamais besoin de données personnelles pour fonctionner. Ainsi, du point de vue de la supply chain, nous recommandons de traiter les données personnelles comme un passif, et non comme un atout. Nous déconseillons fortement le transfert de données personnelles vers la plateforme Lokad. En pratique, cela signifie généralement filtrer les colonnes de la base de données (voir discussion ci-dessous) qui contiennent des identifiants personnels (par exemple, nom, adresse, numéro de téléphone, e-mail, etc.).
Ces identifiants personnels peuvent être remplacés par des identifiants opaques anonymes – si l’information est pertinente du point de vue de la supply chain. Par exemple, des identifiants clients opaques sont utiles car ils permettent à Lokad d’identifier des tendances liées à la fidélité des clients – comme l’impact négatif des ruptures de stocks. Contrairement à la plupart des technologies de prévision qui ne peuvent fonctionner qu’avec une perspective de séries temporelles, la plateforme de Lokad peut tirer parti de données historiques ultra-détaillées, jusqu’au niveau de la transaction.
La position de Lokad sur les données permettant d’identifier une personne (PII) est détaillée dans les sections 1, 3 et 4 de notre document sur la sécurité.
Données financières
Les montants des biens achetés, transformés et vendus sont essentiels à l’optimisation proposée par Lokad. Notre perspective financière vise à optimiser les gains en dollars plutôt que les pourcentages d’erreur.
Contrairement aux fournisseurs qui ne considèrent que les quantités en stock, Lokad utilise les données financières du client lorsqu’elles sont disponibles. Les coûts les plus problématiques se concentrent aux extrêmes : une demande inattendue très forte provoque des ruptures ; une demande très faible conduit à passer des stocks en pertes. Entre ces extrêmes, les stocks tournent normalement. Optimiser les décisions de stock nécessite donc un arbitrage financier entre ces risques. Lokad le calcule à partir des données financières du client.
Pipeline de données vs extraction ponctuelle
Un pipeline d’extraction de données actualise automatiquement les données transférées à Lokad. Cette configuration représente un effort plus important qu’une extraction ponctuelle de données. Si possible, nous recommandons fortement d’automatiser l’extraction des données, éventuellement par une approche progressive si le nombre de tables pertinentes est important. Cette automatisation fonctionne mieux si elle est mise en place dès le premier jour. Cependant, des extractions ponctuelles partielles utilisées pour identifier les tables pertinentes peuvent s’avérer utiles. Ce point est abordé dans les passages suivants.
Il existe trois raisons principales de soutenir une approche par pipeline de données.
Premièrement, du point de vue du praticien de la supply chain, des données datant de 3 semaines sont de l’histoire ancienne. Les résultats obtenus à partir de données périmées sont sans pertinence quant aux décisions supply chain actuelles. Une extraction ponctuelle produirait des résultats basés sur un instantané unique de l’historique d’affaires du client, donnant ainsi des résultats de valeur limitée. De plus, les praticiens de la supply chain doivent voir le système en action afin de faire confiance à sa capacité à gérer la variabilité quotidienne.
Deuxièmement, bien que la mise en place d’un pipeline de données hautement fiable soit difficile, il est préférable aux alternatives. Un pipeline de données peu fiable compromet l’ensemble de l’initiative de la Supply Chain Quantitative, car aucune quantité d’analyses ne peut résoudre des problèmes de données fondamentaux, tels que l’absence d’accès à des niveaux de stocks à jour.
Il faut généralement de nombreuses exécutions programmées pour perfectionner le processus d’extraction, car certains problèmes se manifestent de manière intermittente. Le moyen le plus sûr de résoudre ces problèmes est de démarrer le pipeline de données le plus tôt possible, permettant ainsi à Lokad d’identifier et de résoudre les éventuels problèmes. En particulier, les exécutions programmées figurent également parmi les options les plus sûres pour évaluer les performances de bout en bout de l’ensemble de la séquence de processus, y compris ceux qui aboutissent à la livraison des décisions supply chain recommandées.
Troisièmement, selon notre expérience, la cause la plus fréquente de retards dans les initiatives de Supply Chain Quantitative est la mise en place tardive du pipeline d’extraction de données. Nous reconnaissons que les services IT sont souvent sous une forte pression pour livrer de nombreux projets et que la construction d’un pipeline d’extraction de données constitue une tâche supplémentaire à laquelle ils doivent faire face. Ainsi, il est tentant – pour le service IT – de reporter la partie pipeline, optant plutôt pour une série d’extractions ponctuelles. Bien que cette approche soit viable, elle présente le risque d’introduire des retards dans l’initiative, ainsi que d’empêcher Lokad d’identifier dès le départ des catégories entières de problèmes potentiels (comme décrit dans le paragraphe précédent).
Fréquence d’extraction des données
Nous recommandons d’actualiser tous les pipelines de données – les segments d’extraction ainsi que les segments analytiques – au moins une fois par jour, même lorsqu’il s’agit de calculs mensuels ou trimestriels. Cela peut sembler contre-intuitif, mais, selon notre expérience, des actualisations automatisées fréquentes sont la seule manière d’obtenir un processus de bout en bout hautement fiable.
Pour la plupart des situations supply chain, nous recommandons une routine d’extraction qui fournit une image complète des données jusqu’à la clôture de la journée en cours (par exemple, extraire le jeudi soir toutes les données historiques pertinentes jusqu’à la clôture des affaires du jeudi). Le pipeline d’extraction de données s’exécute en fin de journée, suivi du traitement analytique – au sein de la plateforme Lokad. Des résultats frais sont disponibles dès le début de la journée ouvrable suivante.
Profondeur d’extraction des données : la règle 2+1 pour les incréments
Lorsque les données sont trop volumineuses pour être retransmises intégralement chaque jour, il faut procéder par envois incrémentaux. Nous recommandons la règle 2+1 : chaque envoi quotidien couvre les deux dernières semaines complètes et la semaine en cours. Cette règle est importante pour la fiabilité de la solution Lokad.
Le pipeline d’extraction de données échouera de temps en temps – indépendamment de Lokad. Selon notre expérience, même d’excellents services IT rencontrent 1 à 2 défaillances de pipeline par an. Lorsque l’upload quotidien échoue, le dernier jour de données est compromis. Si chaque upload quotidien ne couvre qu’une seule journée (pas de chevauchement entre les uploads), Lokad se retrouve avec un historique de données partiellement corrompu. Corriger cet historique, côté Lokad, nécessite une seconde intervention manuelle du service IT, en plus de la réparation de ce qui a empêché le bon fonctionnement du pipeline d’extraction de données en premier lieu. Cette « correction de l’historique des données » risque d’être retardée de quelques jours – étant donné qu’il s’agit d’une opération inhabituelle pour le service IT. Pendant ce temps, les résultats renvoyés par Lokad sont impactés négativement, certaines données récentes se trouvant partiellement corrompues.
Au contraire, si chaque upload quotidien couvre les deux dernières semaines ouvrables complètes, plus la semaine en cours, un échec ponctuel du pipeline d’extraction de données bénéficie d’une récupération complète le lendemain. En effet, puisque le pipeline d’extraction de données fait partie des opérations routinières du service IT, le retour à un état normal de fonctionnement est susceptible de se produire en une journée ouvrable. Cette récupération ne nécessite aucune interaction spécifique entre le service IT et le personnel de support de Lokad ni les utilisateurs finaux de la solution Lokad. La correction des données est automatiquement effectuée via les réécritures qui se produisent quotidiennement pour couvrir la fenêtre temporelle 2+1.
La règle 2+1 est un compromis issu de notre expérience. Plus la fenêtre est longue, mieux le pipeline résiste aux incidents temporaires. Une résolution en un jour ouvré est souhaitable, mais le service informatique peut avoir des urgences plus importantes ; la panne du pipeline peut même être le symptôme d’un problème plus grave. La reprise peut donc prendre quelques jours. Avec la règle 2+1, si le pipeline est rétabli dans les deux semaines, les opérations reprennent normalement en limitant l’impact sur l’optimisation. À l’inverse, une fenêtre trop longue rend les envois incrémentaux trop coûteux en ressources et annule leur intérêt.
Si les trois dernières semaines représentent moins de 100Mo de données, nous suggérons d’adopter la variante mensuelle de la règle 2+1 : la période de l’envoi quotidien couvre les deux mois complets précédents, plus le mois en cours.
Identifier les tables et colonnes pertinentes
La grande majorité des logiciels d’entreprise reposent sur des bases relationnelles. Les API web, lorsqu’elles existent, offrent rarement des performances satisfaisantes pour extraire régulièrement l’historique complet. Interroger directement la base en SQL est souvent plus simple et performant, car les requêtes recommandées par Lokad ne nécessitent aucune jointure.
Ainsi, une fois qu’un système d’entreprise (par exemple, ERP) a été jugé comme une source de données pertinente pour l’initiative supply chain, et en supposant que la base de données relationnelle sous-jacente est accessible, il faut identifier la liste restreinte spécifique des tables et colonnes pertinentes. De nombreux systèmes d’entreprise contiennent des centaines de tables et des milliers de colonnes, dont la plupart ne sont pas pertinentes pour l’initiative supply chain. En règle générale, une initiative supply chain a rarement besoin de plus d’une douzaine de tables pour démarrer et seulement de quelques dizaines pour atteindre un degré élevé de couverture de données.
Si l’entreprise a accès à un expert qui connaît le schéma de la base de données de l’entreprise, tirer parti de cette expertise est la manière la plus simple d’identifier les tables pertinentes dans la base de données. Cependant, en l’absence d’un expert, rétroconcevoir la base de données pour identifier les zones d’intérêt peut généralement être réalisé en une semaine ou deux (même en présence d’un système assez complexe). En plus d’exploiter toute documentation technique accessible concernant le système en question, nous suggérons de commencer par une extraction complète du schéma de la base de données, incluant:
- le nom de la table
- le nom de la colonne
- le type de la colonne
- la taille de la table
Nous suggérons de rassembler ces informations dans un tableur. Les tables potentielles peuvent être identifiées grâce à leurs noms et tailles. Nous suggérons de commencer par une inspection plus approfondie des plus grandes tables, car c’est là que l’on peut généralement découvrir les plus pertinentes (pour une initiative supply chain optimisée). Pour inspecter une table, nous recommandons une inspection visuelle de quelques dizaines de lignes de données. Les observations devraient être ajoutées au tableur au fur et à mesure de l’avancement du travail.
Diagnostic du schéma PostgreSQL
La requête pour extraire toutes les tables et colonnes :
SELECT column_name, data_type
FROM information_schema.columns
WHERE table_name = '‘table_name'’;
Voir également https://stackoverflow.com/questions/20194806/how-to-get-a-list-column-names-and-datatypes-of-a-table-in-postgresql
La requête pour extraire toutes les tailles de table :
select table_name, pg_relation_size(quote_ident(table_name))
from information_schema.tables
where table_schema = '‘public'’
Voir également https://stackoverflow.com/questions/21738408/postgresql-list-and-order-tables-by-size
Le modèle de requête pour extraire un échantillon de lignes :
select column from table
order by RANDOM()
limit 10000
Voir également https://stackoverflow.com/questions/19412/how-to-request-a-random-row-in-sql
Diagnostic du schéma Oracle
La requête pour extraire toutes les tables et colonnes :
SELECT table_name, column_name, data_type FROM ALL_TAB_COLUMNS
La requête pour extraire toutes les tailles de table :
SELECT table_name, num_rows FROM ALL_TABLES
Le modèle de requête pour extraire un échantillon de lignes :
set colsep ,
set headsep off
set pagesize 0
set trimspool on
spool c:/temp/oracle/output/foo_my_table.csv
SELECT * FROM FOO_MY_TABLE FETCH FIRST 10000 ROWS ONLY;
spool off
Formats de fichiers et transferts
La plateforme Lokad lit et écrit des fichiers plats en texte brut, généralement CSV ou TSV, ainsi que des feuilles de calcul Microsoft Excel. La section Lecture et écriture de fichiers documente ces capacités d’entrée-sortie. Malgré la diversité des formats pris en charge, nous recommandons les conventions suivantes :
- Le texte brut remplace les tableurs (voir ci-dessous).
- La première ligne contient les en-têtes de colonnes et correspond aux noms de colonnes d’origine.
- Les noms de colonnes ne contiennent pas d’espaces ni de tirets.
- UTF-8 est utilisé pour l’encodage des caractères.
- Le point (.) est le séparateur décimal pour les nombres fractionnaires.
- Toutes les dates partagent le même format à travers les tables.
- Les montants monétaires isolent la devise dans une colonne distincte
- Le nom du fichier correspond au nom de table d’origine.
- /input est le dossier côté Lokad utilisé, par convention, pour déposer les fichiers extraits.
Chaque fois qu’un fichier plat extrait dépasse 100Mo, nous recommandons de compresser le fichier à l’aide de GZIP.
Pour le transfert, nous recommandons d’utiliser SFTP avec authentification par clé publique.
Tables partitionnées
Nous recommandons de partitionner les tables trop volumineuses pour être renvoyées intégralement chaque jour. Un découpage selon l’ancienneté des données permet généralement des envois incrémentaux. En dessous de 1 million de lignes, le partitionnement ne justifie généralement pas l’effort nécessaire.
Lors de la partition d’une table en une liste de fichiers, le schéma de nommage recommandé consiste à regrouper les fichiers dans un sous-dossier dédié au sein de /input (nommé d’après la table concernée), et à suffixer chaque fichier avec le segment extrait correspondant :
/input/mytable/mytable-2022-10-17.csv
/input/mytable/mytable-2022-10-18.csv
/input/mytable/mytable-2022-10-19.csv
/..
Même si toutes les lignes à l’intérieur d’un fichier ont la même valeur “date” (correspondant à celle présente dans le nom du fichier), nous recommandons de conserver cette colonne “date” dans le fichier.
Microsoft Excel
La plateforme Lokad supporte la lecture de données à partir de tableurs Microsoft Excel, tant que le tableur suit un format tabulaire (la première ligne contient les en-têtes, puis un enregistrement par ligne). Cependant, le pipeline d’extraction de données devrait éviter de transférer les tableurs vers Lokad.
Les tableurs sont acceptables si les fichiers sont téléversés manuellement vers Lokad, par opposition à un transfert par le pipeline d’extraction de données automatisé. Les téléversements manuels sont acceptables si :
- Les données n’existent pas (encore) dans les systèmes d’entreprise.
- Les données sont mises à jour très rarement.
/manual est le dossier côté Lokad utilisé, par convention, pour recevoir les fichiers téléversés manuellement.
Écrasement de fichiers
Les fichiers dans le système de fichiers Lokad représentent les données telles que perçues par Lokad. L’écrasement des fichiers existants est la méthode recommandée pour rafraîchir les tables extraites non partitionnées. Dans le cas d’une table partitionnée, il est attendu par défaut qu’un nouveau fichier soit créé pour chaque période (un fichier par jour, ou par semaine, ou par mois).
Une fois que tous les fichiers à créer (ou à écraser) ont été transférés vers Lokad, nous recommandons de créer (ou de mettre à jour) un fichier nommé /input/end-of-transfer.csv qui contient :
- une seule colonne nommée LastTransfer
- une seule ligne de données (deux lignes en comptant l’en-tête) avec un horodatage du transfert le plus récent
Ce fichier peut être utilisé pour déclencher une séquence de projets qui traite les données fraîchement mises à jour.
Santé des données
Le pipeline d’extraction de données doit fonctionner de manière fiable. La plateforme Lokad elle-même peut être utilisée pour instrumenter la sortie du pipeline d’extraction et évaluer l’intégrité, l’exhaustivité et la fraîcheur des données extraites. Ainsi, dès la toute première étape du pipeline au sein de Lokad, nous recommandons de mettre en place des tableaux de bord de santé des données. Ces tableaux de bord sont destinés au département informatique (bien qu’il ne soit pas attendu qu’ils en aient la charge). Le but collectif de ces tableaux de bord est de signaler toute anomalie de données et d’accélérer la résolution éventuelle par le département informatique. Cette mise en œuvre, comme le reste de la recette numérique qui pilote l’initiative supply chain optimisée, est censée être réalisée par un expert supply chain, voire par l’équipe Lokad (dans le cas d’un abonnement Platform+Experts).
Spécification de l’extraction de données
Une fois que le pipeline d’extraction de données est stabilisé, nous recommandons de produire une spécification pour l’extraction de données. Ce document devrait lister tous les fichiers attendus et leurs colonnes, ainsi que le calendrier de l’extraction de données. La stabilisation du pipeline de données est prévue dans les six mois suivant le lancement de l’initiative. Ce document devrait être approuvé conjointement par le département informatique et le département supply chain. Ce document contient les détails des données qui devraient être mises à disposition, en temps opportun, par le département informatique sur la plateforme Lokad.
Le format des données peut évoluer, mais le service informatique doit prévenir le service supply chain avant de modifier le format ou le calendrier. Une fois la spécification approuvée, les opérations en production dépendent de l’intégrité de l’extraction. En cas de changement, le service supply chain doit donc disposer d’un délai raisonnable pour adapter la logique de Lokad au nouveau format.
Comme produire une spécification détaillée nécessite un temps et un effort considérables, nous recommandons de retarder la production de ce document jusqu’à ce que le pipeline soit stabilisé. D’après notre expérience, au cours des premiers mois, le pipeline – tant pour l’extraction de données que pour les segments analytiques – évolue rapidement. Cette évolution rapide est susceptible de rendre obsolètes les premières tentatives de production d’une telle spécification.
Boucle de rétroaction
Les décisions de supply chain calculées par Lokad, comme les réapprovisionnements, peuvent être exportées en fichiers plats puis réintégrées aux systèmes de gestion. C’est la boucle de rétroaction. Selon notre expérience, elle est rarement mise en place dans les quatre premiers mois de l’initiative. Confier ne serait-ce qu’une partie de la supply chain au pilotage automatique exige une forte confiance dans la recette numérique, qui se construit sur plusieurs mois. Cette boucle n’est donc pas une préoccupation au démarrage.
La mise en place de cette boucle est bien plus simple que celle du pipeline d’extraction. Les chiffres produits par Lokad doivent faire autorité et être définitifs. S’il reste des règles à appliquer pour les rendre exploitables, comme les MOQ, la recette numérique est incomplète et doit être corrigée côté Lokad. La plateforme peut par ailleurs lire et produire toute forme de données raisonnablement tabulaire. La simplicité de la boucle reflète celle des décisions finales : des dizaines de contraintes peuvent déterminer la validité d’une commande d’achat, mais celle-ci reste une simple liste de quantités associées à des références.
Nous recommandons toutefois de ne donner à Lokad aucun accès direct aux systèmes de gestion du client. Les fichiers sont mis à disposition en temps voulu dans le système de fichiers de Lokad, et le service informatique reste responsable de leur réimportation. Une compromission du compte Lokad ne peut ainsi pas servir à accéder aux autres systèmes de l’entreprise. Le service informatique peut aussi différer cette réimportation si elle entre en conflit avec une autre opération sur ces systèmes.
Comme la boucle de rétroaction concerne les opérations réelles de la supply chain, nous recommandons de la documenter dans une spécification dédiée. Celle-ci est le pendant de la spécification d’extraction, avec des transferts dans le sens inverse. Les services informatique et supply chain doivent également l’approuver ensemble.