Ionic хранилище данных для высокой масштабируемости в цепочке поставок
Цепочки поставок уже давно перешли на компьютерные системы управления. Однако в результате многие крупные компании используют системы управления цепочками поставок десятилетней давности, которые, как правило, работают медленно при обработке большого объема данных. Конечно, сегодня доступно множество технологий Big Data, но компании подходят к их внедрению с осторожностью. Многие, если не большинство, из этих компаний Big Data критически зависят от первоклассных инженерных специалистов, чтобы их технологии работали без сбоев, и не все компании, в отличие от Facebook, способны переписать слои технологий Big Data для обеспечения их работоспособности.
Возможность обрабатывать огромные объемы данных всегда была приоритетом для Lokad. Действительно, оптимизация всей цепочки поставок обычно требует сотен последовательных корректировок. По мере уточнения гипотез, как правило, требуется повторное выполнение всей цепочки вычислений. Получение результатов, охватывающих всю сеть цепочки поставок за считанные минуты, а не часы, позволяет завершить проект за несколько недель, в то время как иначе он мог бы затянуться на год.
Именно поэтому мы начали наш переход к облачным вычислениям еще в 2009 году. Однако просто работа на облачной платформе не гарантирует быструю обработку огромного объема данных. Более того, использование большого количества машин, предлагающее возможность обработки большего объема данных, зачастую приводит к замедлению обработки, а не к ускорению. Фактически, задержки возникают при передаче данных с одной машины на другую, а также когда машины должны координировать свою работу.
В результате, простое увеличение числа машин для решения задачи обработки данных не сокращает время ее выполнения. Алгоритмы должны стать умнее, и каждая машина должна справляться с большей нагрузкой без дополнительных вычислительных ресурсов.
Несколько недель назад мы выпустили новый высокопроизводительный формат колонкового хранения с кодовым именем Ionic, который оптимизирован для высокоскоростной параллельной обработки данных. Этот формат также предназначен для оптимизации цепочек поставок, поскольку он изначально поддерживает работу с распределениями вероятностей в хранилище. А эти распределения критически важны для того, чтобы можно было воспользоваться вероятностными прогнозами. Ionic не предназначен для использования в качестве формата обмена данными между Lokad и его клиентами. Для обмена данными использование плоского текстового формата, такого как CSV, вполне подходит. Формат Ionic планируется использовать как внутренний формат данных для ускорения всех процессов в Lokad. Благодаря Ionic, Lokad теперь может с относительной легкостью обрабатывать сотни гигабайт входных данных.
В частности, колонковая структура формата Ionic обеспечивает возможность загружать и обрабатывать столбцы отдельно. При решении проблем цепочек поставок мы регулярно сталкиваемся с извлечениями ERP, где таблицы содержат более 100 столбцов, а в худших случаях — до 500 столбцов. Ionic обеспечивает значительное повышение производительности при работе с таким количеством столбцов.
С точки зрения Lokad, возможности обработки данных становятся критическим фактором успеха в реализации проектов по оптимизации цепочек поставок. Более длительное время обработки означает, что за каждый день выполняется меньше работы, что является проблемой, поскольку каждая компания в конечном итоге работает в условиях жестких сроков.
Формат хранения Ionic — еще один шаг на нашем пути в мир Big Data.