Memorizzazione dati Ionic per una scalabilità elevata nella supply chain
Le supply chain si sono presto orientate verso sistemi di gestione basati su computer. Eppure, di conseguenza, molte grandi aziende dispongono di sistemi di supply chain vecchi di decenni che tendono ad essere lenti quando si tratta di elaborare un’enorme quantità di dati. Certamente, oggi sono disponibili tonnellate di tecnologie Big Data, ma le aziende procedono con cautela. Molte, se non la maggior parte, di quelle aziende Big Data dipendono in maniera critica da talenti ingegneristici di prim’ordine per far funzionare le loro tecnologie senza intoppi; e non tutte le aziende riescono, a differenza di Facebook, a riscrivere gli strati di tecnologie Big Data per farle funzionare.
Essere in grado di elaborare enormi quantità di dati è da sempre un impegno per Lokad. Infatti, ottimizzare un’intera supply chain solitamente richiede centinaia di aggiustamenti incrementali. Man mano che le ipotesi vengono perfezionate, è tipicamente l’intera catena di calcoli che deve essere rieseguita. Ottenere risultati che coprano l’intera rete della supply chain in minuti, anziché in ore, ti consente di completare un progetto in poche settimane, mentre altrimenti si sarebbe protratto per un anno.
Ed è per questo che abbiamo iniziato la nostra migrazione verso il cloud computing già nel 2009. Tuttavia, eseguire semplicemente su una piattaforma di cloud computing non garantisce che enormi quantità di dati possano essere processate rapidamente. Ancor peggio, sebbene l’uso di molte macchine offra la possibilità di elaborare più dati, tende anche a rendere l’elaborazione più lenta, non più veloce. In effetti, i ritardi tendono a verificarsi quando i dati vengono spostati da una macchina all’altra, e anche quando le macchine devono coordinare il loro lavoro.
Di conseguenza, aggiungere semplicemente più macchine a un problema di elaborazione dei dati non riduce ulteriormente i tempi di elaborazione. Gli algoritmi devono essere resi più intelligenti, e ogni singola macchina dovrebbe essere in grado di fare di più senza ulteriori risorse di calcolo.
Qualche settimana fa, abbiamo rilasciato un nuovo formato di memorizzazione a colonne ad alte prestazioni, in codice Ionic, fortemente ottimizzato per l’elaborazione concorrente dei dati ad alta velocità. Questo formato è inoltre orientato all’supply chain optimization in quanto supporta nativamente la gestione delle distribuzioni di probabilità. E queste distribuzioni sono critiche per poter sfruttare le probabilistic forecasts. Ionic non è pensato per essere usato come formato di scambio tra Lokad e i suoi clienti. Per lo scambio dei dati, l’impiego di un formato file di testo semplice, come CSV, va benissimo. Il formato Ionic è destinato ad essere utilizzato come formato dati interno per accelerare tutto ciò che avviene all’interno di Lokad. Grazie a Ionic, Lokad ora può elaborare centinaia di gigabyte di dati in ingresso con relativa facilità.
In particolare, l’aspetto colonnare del formato Ionic garantisce che le colonne possano essere caricate ed elaborate separatamente. Quando si affrontano problemi di supply chain, ci si trova regolarmente di fronte a estrazioni ERP in cui le tabelle contengono oltre 100 colonne, e fino a 500 colonne nei casi peggiori. Ionic offre un enorme incremento delle prestazioni quando si tratta di gestire un numero così elevato di colonne.
Dal punto di vista di Lokad, stiamo sempre più considerando le capacità di elaborazione dei dati come un fattore critico di successo nell’implementazione di progetti di supply chain optimization. Tempi di elaborazione più lunghi significano che ogni giorno si realizza meno, il che è problematico poiché, in definitiva, ogni azienda opera con scadenze serrate.
Il formato di memorizzazione Ionic rappresenta un ulteriore passo nel nostro percorso nel mondo del Big Data.