サプライチェーンにおける高い拡張性のためのIonicデータストレージ
サプライチェーンは、かなり早い段階でコンピュータベースの管理システムに移行しました。しかし、その結果、多くの大企業は10年以上前のサプライチェーンシステムを持っており、大量のデータを処理する際に遅くなる傾向があります。確かに、現在では多くのビッグデータ技術が利用可能ですが、企業は慎重に進んでいます。これらのビッグデータ企業の多くは、自社の技術をスムーズに動作させるために一流のエンジニアリングの才能に極めて依存しており、Facebookのようにビッグデータ技術のレイヤーを書き直してうまく動作させることができるわけではありません。
大量のデータを処理できる能力を持つことは、Lokadの長年の取り組みです。実際、サプライチェーン全体を最適化するには、数百の増分調整が必要です。仮説が洗練されるにつれて、通常は計算の全体的な連鎖が再実行される必要があります。数時間ではなく数分でサプライチェーンネットワーク全体を網羅する結果を得ることで、プロジェクトを数週間で完了させることができます。さもなければ、1年以上かかっていたでしょう。
これがなぜ、私たちは2009年にクラウドコンピューティングへの移行を開始した理由です。ただし、クラウドコンピューティングプラットフォームの上で実行するだけでは、大量のデータを迅速に処理できるわけではありません。さらに悪いことに、多くのマシンを使用することで、データ処理が速くなるのではなく遅くなる傾向があります。実際、データが次のマシンに移動する際や、マシンが作業を調整する必要がある際に遅延が発生する傾向があります。
結果として、データ処理の問題に対して単により多くのマシンを投入することは、データ処理時間をさらに短縮しません。アルゴリズムをよりスマートにする必要があり、すべてのマシンがより多くの計算リソースを必要とせずにより多くの作業を行えるようにする必要があります。
数週間前、私たちは高速並列データ処理に最適化された新しい高性能な列ストレージ形式であるIonicというコードネームのリリースを行いました。この形式は、サプライチェーン最適化にも適しており、確率分布の処理をネイティブにサポートしています。そして、これらの分布は確率的予測の活用に不可欠です。Ionicは、Lokadとそのクライアント間のデータ交換には使用されません。データ交換には、CSVなどのフラットテキストファイル形式を使用することが適しています。Ionic形式は、Lokad内で行われるすべての処理を高速化するための内部データ形式として使用することを目的としています。Ionicのおかげで、Lokadは相対的に容易に数百ギガバイトの入力データを処理することができるようになりました。
特に、Ionic形式の列指向の側面により、列を個別にロードおよび処理することができます。サプライチェーンの問題に取り組む際には、最悪の場合でもテーブルに100以上の列、最悪の場合には500以上の列があるERPの抽出が発生します。Ionicは、そのような多数の列を扱う際に大幅なパフォーマンス向上をもたらします。
Lokadの視点からは、データ処理能力をサプライチェーン最適化プロジェクトの実装における重要な成功要因としてますます認識しています。処理時間が長いと、毎日の作業量が減少し、すべての企業が厳しい締め切りの下で運営されているため、これは問題です。
Ionicストレージ形式は、私たちのビッグデータの旅のさらなる一歩です。