Хранение данных Ionic для высокой масштабируемости в цепи поставок
Цепи поставок достаточно рано перешли на компьютеризированные системы управления. Однако в результате многие крупные компании имеют десятилетние системы управления цепями поставок, которые склонны быть медленными при обработке большого объема данных. Конечно, сегодня доступно множество технологий Big Data, но компании действуют осторожно. Многие из этих компаний, если не большинство, критически зависят от высококлассных инженеров, чтобы их технологии работали без сбоев; и не все компании, в отличие от Facebook, успешно переписывают слои технологий Big Data, чтобы заставить их работать.
Способность обрабатывать огромные объемы данных является долгосрочным обязательством Lokad. Действительно, оптимизация всей цепи поставок обычно требует сотен инкрементальных корректировок. По мере уточнения гипотез, обычно требуется повторное выполнение всей цепи вычислений. Получение результатов, охватывающих всю сеть цепи поставок за несколько минут вместо нескольких часов, позволяет завершить проект за несколько недель, в то время как он мог бы затянуться на год.
Именно поэтому мы начали наш переход к облачным вычислениям еще в 2009 году. Однако просто работа на платформе облачных вычислений не гарантирует быструю обработку огромного объема данных. Что еще хуже, использование множества машин предлагает возможность обработки большего объема данных, но это также склонно замедлять обработку данных, а не ускорять ее. Фактически, задержки обычно возникают, когда данные перемещаются с одной машины на другую, а также когда машины должны согласовывать свою работу.
В результате просто бросание большего количества машин на проблему обработки данных не сокращает время обработки данных. Алгоритмы должны стать умнее, и каждая отдельная машина должна быть способна делать больше без дополнительных вычислительных ресурсов.
Несколько недель назад мы выпустили новый высокопроизводительный формат хранения столбцов с кодовым именем Ionic, который оптимизирован для быстрой параллельной обработки данных. Этот формат также ориентирован на оптимизацию цепи поставок, поскольку он нативно поддерживает обработку распределений вероятностей хранения. И эти распределения критичны для возможности использования вероятностных прогнозов. Ionic не предназначен для использования в качестве формата обмена данными между Lokad и его клиентами. Для обмена данными вполне подходит формат плоского текстового файла, такой как CSV. Формат Ionic предназначен для использования внутри Lokad для ускорения всего, что происходит внутри компании. Благодаря Ionic, Lokad теперь может обрабатывать сотни гигабайт входных данных сравнительно легко.
В частности, колоночный аспект формата Ionic обеспечивает возможность загрузки и обработки столбцов отдельно. Решая проблемы цепи поставок, мы регулярно сталкиваемся с извлечениями ERP, где таблицы имеют более 100 столбцов и до 500 столбцов для наихудших случаев. Ionic обеспечивает значительный прирост производительности при работе с таким количеством столбцов.
С точки зрения Lokad, мы все больше воспринимаем возможности обработки данных как критический фактор успеха при реализации проектов по оптимизации цепи поставок. Более длительное время обработки означает, что каждый день делается меньше работы, что проблематично, поскольку в конечном итоге каждая компания работает в условиях жестких сроков.
Формат хранения Ionic - это еще один шаг в нашем пути Big Data.