Almacenamiento de datos iónico para una alta escalabilidad en la cadena de suministro
Las cadenas de suministro se trasladaron bastante temprano hacia sistemas de gestión basados en computadoras. Sin embargo, como resultado, muchas grandes empresas tienen sistemas de cadena de suministro de hace décadas que tienden a ser lentos cuando se trata de procesar una gran cantidad de datos. Ciertamente, hoy en día hay toneladas de tecnologías de Big Data disponibles, pero las empresas están avanzando con cautela. Muchas, si no la mayoría, de esas empresas de Big Data dependen críticamente de talento de ingeniería de primer nivel para hacer que sus tecnologías funcionen sin problemas; y no todas las empresas tienen éxito, a diferencia de Facebook, en reescribir capas de tecnologías de Big Data para hacer que funcionen.
Ser capaz de procesar grandes cantidades de datos ha sido un compromiso de larga data de Lokad. De hecho, optimizar toda una cadena de suministro generalmente requiere cientos de ajustes incrementales. A medida que las hipótesis se refinan, generalmente es toda la cadena de cálculos la que debe ser reejecutada. Obtener resultados que abarquen toda la red de la cadena de suministro en minutos en lugar de horas le permite completar un proyecto en unas pocas semanas, mientras que de lo contrario se hubiera prolongado durante un año.
Y es por eso que comenzamos nuestra migración hacia cloud computing en 2009. Sin embargo, simplemente ejecutarse en una plataforma de cloud computing no garantiza que se puedan procesar grandes cantidades de datos rápidamente. Peor aún, si se utilizan muchas máquinas, es posible que el procesamiento de datos sea más lento, no más rápido. De hecho, los retrasos tienden a ocurrir cuando los datos se mueven de una máquina a otra, y también cuando las máquinas necesitan coordinar su trabajo.
Como resultado, simplemente agregar más máquinas a un problema de procesamiento de datos no reduce aún más el tiempo de procesamiento de datos. Los algoritmos deben ser más inteligentes y cada máquina debe ser capaz de hacer más sin más recursos informáticos.
Hace unas semanas, lanzamos un nuevo formato de almacenamiento de columnas de alto rendimiento llamado Ionic, que está altamente optimizado para el procesamiento de datos concurrente de alta velocidad. Este formato también está orientado a la optimización de la cadena de suministro ya que admite nativamente el manejo de distribuciones de probabilidades de almacenamiento. Y estas distribuciones son fundamentales para poder aprovechar los pronósticos probabilísticos. Ionic no está destinado a ser utilizado como un formato de intercambio entre Lokad y sus clientes. Para el intercambio de datos, el uso de formatos de archivos de texto plano, como CSV, está bien. El formato Ionic está destinado a ser utilizado como formato de datos interno para acelerar todo lo que sucede dentro de Lokad. Gracias a Ionic, Lokad ahora puede procesar cientos de gigabytes de datos de entrada con relativa facilidad.
En particular, el aspecto columnar del formato Ionic asegura que las columnas se puedan cargar y procesar por separado. Al abordar problemas de cadena de suministro, nos enfrentamos rutinariamente a extracciones de ERP donde las tablas tienen más de 100 columnas, y hasta 500 columnas para los peores casos. Ionic ofrece un gran impulso de rendimiento cuando se trata de lidiar con tantas columnas.
Desde la perspectiva de Lokad, cada vez percibimos más las capacidades de procesamiento de datos como un factor crítico de éxito en la implementación de proyectos de optimización de la cadena de suministro. Un tiempo de procesamiento más largo significa que se hace menos cada día, lo cual es problemático ya que en última instancia, cada empresa opera bajo plazos ajustados.
El formato de almacenamiento Ionic es un paso más en nuestro viaje de Big Data.