Ionic almacenamiento de datos para alta escalabilidad en supply chain
Las supply chains adoptaron bastante temprano los sistemas de gestión basados en computadoras. Sin embargo, como resultado, muchas grandes empresas tienen sistemas de supply chain con décadas de antigüedad que tienden a ser lentos cuando se trata de procesar un montón de datos. Ciertamente, hoy en día están disponibles toneladas de tecnologías de Big Data, pero las empresas avanzan con cautela. Muchas, si no la mayoría, de aquellas empresas de Big Data dependen críticamente del talento de ingeniería de primera clase para hacer que sus tecnologías funcionen sin problemas; y no todas las empresas tienen éxito, a diferencia de Facebook, en reescribir capas de tecnologías de Big Data para hacerlas funcionar.
Poder procesar grandes cantidades de datos ha sido un compromiso de larga data de Lokad. De hecho, optimizar una supply chain completa requiere típicamente cientos de ajustes incrementales. A medida que se refinan las hipótesis, normalmente es toda la cadena de cálculos la que necesita ser reejecutada. Obtener resultados que abarcan toda la red de supply chain en minutos en lugar de horas te permite completar un proyecto en pocas semanas, mientras que de otra forma se habría extendido por un año.
Y por eso comenzamos nuestra migración hacia computación en la nube allá por 2009. Sin embargo, simplemente ejecutarse sobre una plataforma de computación en la nube no garantiza que grandes cantidades de datos puedan procesarse rápidamente. Peor aún, aunque usar muchas máquinas ofrece la posibilidad de procesar más datos, también tiende a hacer que el procesamiento de datos sea más lento, no más rápido. De hecho, suelen producirse retrasos cuando los datos se trasladan de una máquina a otra, y también cuando las máquinas necesitan coordinar su trabajo.
Como resultado, simplemente agregar más máquinas a un problema de procesamiento de datos no reduce en absoluto el tiempo de procesamiento de datos. Los algoritmos deben hacerse más inteligentes, y cada máquina individual debería poder hacer más sin necesidad de más recursos de computación.
Hace unas semanas, hemos lanzado un nuevo formato de almacenamiento columnar de alto rendimiento con nombre en clave Ionic, que está fuertemente optimizado para el procesamiento de datos concurrente a alta velocidad. Este formato también está orientado a la optimización de supply chain ya que soporta de manera nativa el manejo de distribuciones de almacenamiento de probabilidades. Y estas distribuciones son críticas para poder aprovechar los forecast probabilístico. Ionic no está destinado a usarse como un formato de intercambio entre Lokad y sus clientes. Para el intercambio de datos, utilizar un formato de archivo de texto plano, como CSV, está perfectamente bien. El formato Ionic está destinado a ser utilizado como formato de datos interno para acelerar todo lo que sucede dentro de Lokad. Gracias a Ionic, Lokad ahora puede procesar cientos de gigabytes de datos de entrada con relativa facilidad.
En particular, el aspecto columnar del formato Ionic asegura que las columnas puedan cargarse y procesarse por separado. Al abordar problemas de supply chain, rutinariamente nos enfrentamos a extracciones de ERP donde las tablas tienen más de 100 columnas, y hasta 500 columnas para los peores casos. Ionic ofrece un gran impulso en el rendimiento cuando se trata de lidiar con tantas columnas.
Desde la perspectiva de Lokad, estamos percibiendo cada vez más las capacidades de procesamiento de datos como un factor crítico de éxito en la implementación de proyectos de optimización de supply chain. Un tiempo de procesamiento más largo significa que se realiza menos cada día, lo cual es problemático ya que, en última instancia, cada empresa opera bajo plazos estrictos.
El formato de almacenamiento Ionic es un paso más en nuestro viaje de Big Data.