Ionic data storage per alta scalabilità nella supply chain
Le catene di approvvigionamento si sono spostate molto presto verso sistemi di gestione basati su computer. Tuttavia, di conseguenza, molte grandi aziende hanno sistemi di supply chain vecchi di decenni che tendono ad essere lenti quando si tratta di elaborare grandi quantità di dati. Certamente, oggi sono disponibili molte tecnologie Big Data, ma le aziende procedono con cautela. Molte, se non la maggior parte, di queste aziende Big Data dipendono in modo critico da talenti di ingegneria di alto livello per far funzionare le loro tecnologie in modo fluido; e non tutte le aziende riescono, a differenza di Facebook, a riscrivere strati di tecnologie Big Data per farle funzionare.
Essere in grado di elaborare grandi quantità di dati è stato un impegno a lungo termine di Lokad. Infatti, ottimizzare un’intera supply chain richiede tipicamente centinaia di aggiustamenti incrementali. Man mano che le ipotesi vengono affinate, è tipicamente l’intera catena di calcoli che deve essere rieseguita. Ottenere risultati che comprendono l’intera rete di supply chain in pochi minuti anziché ore consente di completare un progetto in poche settimane, mentre altrimenti si sarebbe trascinato per un anno.
Ed è per questo che abbiamo iniziato la nostra migrazione verso il cloud computing nel 2009. Tuttavia, semplicemente eseguire su una piattaforma di cloud computing non garantisce che grandi quantità di dati possano essere elaborati rapidamente. Anzi, mentre l’utilizzo di molte macchine offre la possibilità di elaborare più dati, tende anche a rendere più lenta l’elaborazione dei dati, non più veloce. Infatti, i ritardi tendono a verificarsi quando i dati vengono spostati da una macchina all’altra e anche quando le macchine devono coordinare il loro lavoro.
Di conseguenza, semplicemente aggiungere più macchine a un problema di elaborazione dati non riduce ulteriormente il tempo di elaborazione dei dati. Gli algoritmi devono essere resi più intelligenti e ogni singola macchina dovrebbe essere in grado di fare di più senza ulteriori risorse di calcolo.
Alcune settimane fa, abbiamo rilasciato un nuovo formato di archiviazione di colonne ad alte prestazioni chiamato Ionic che è fortemente ottimizzato per l’elaborazione dati simultanea ad alta velocità. Questo formato è anche orientato all’ottimizzazione della supply chain in quanto supporta nativamente la gestione di distribuzioni di probabilità di stoccaggio. E queste distribuzioni sono fondamentali per poter sfruttare le previsioni probabilistiche. Ionic non è destinato ad essere utilizzato come formato di scambio tra Lokad e i suoi clienti. Per lo scambio di dati, l’utilizzo di formati di file di testo piatti, come CSV, va benissimo. Il formato Ionic è destinato ad essere utilizzato come formato di dati interno per velocizzare tutto ciò che avviene all’interno di Lokad. Grazie a Ionic, Lokad può ora elaborare centinaia di gigabyte di dati di input con relativa facilità.
In particolare, l’aspetto colonnare del formato Ionic garantisce che le colonne possano essere caricate e elaborate separatamente. Affrontando problemi di supply chain, ci troviamo regolarmente di fronte a estrazioni ERP in cui le tabelle hanno oltre 100 colonne e fino a 500 colonne per i casi peggiori. Ionic offre un enorme aumento delle prestazioni quando si tratta di gestire così tante colonne.
Dal punto di vista di Lokad, stiamo sempre più percependo le capacità di elaborazione dati come un fattore critico di successo nell’implementazione di progetti di ottimizzazione della supply chain. Un tempo di elaborazione più lungo significa che meno viene fatto ogni singolo giorno, il che è problematico poiché alla fine ogni azienda opera con scadenze strette.
Il formato di archiviazione Ionic è un altro passo nel nostro viaggio nel Big Data.