サプライチェーン向け高スケーラビリティを実現する Ionic データストレージ
サプライチェーンは、早い段階でコンピュータベースの管理システムに移行しました。しかしその結果、多くの大企業は数十年前のサプライチェーンシステムを使用しており、大量のデータを処理する際に動作が遅くなる傾向があります。確かに、現在では膨大なビッグデータ技術が利用可能ですが、企業は慎重に進めています。多くの、あるいはほとんどのビッグデータ企業が、一流のエンジニアリング人材に大きく依存して技術を円滑に動作させていますが、Facebookのようにビッグデータ技術の層を一から書き直して成功する企業はそう多くありません。
膨大なデータを処理する能力は、Lokad が長年にわたって注力してきたテーマです。実際、サプライチェーン全体を最適化するには、通常、数百に及ぶ細かな調整が必要となります。仮説が精緻化されると、計算の連鎖全体を再実行する必要が出てきます。数時間ではなく数分でサプライチェーン全体を網羅する結果を得ることができれば、本来1年かかるプロジェクトを数週間で完了することも可能になります。
このため、私たちは 2009 年にクラウドコンピューティングへの移行を開始しました。しかし、クラウドコンピューティング基盤上で稼働させるだけでは、膨大なデータが迅速に処理される保証にはなりません。さらに、多くのマシンを使えばより多くのデータを処理できる可能性はあるものの、実際にはデータ処理が速くなるのではなく、遅くなる傾向があります。データがあるマシンから別のマシンへ移動する際や、各マシンが連携して作業する際に遅延が発生しやすいからです。
その結果、データ処理の問題に単にマシンを追加するだけでは、処理時間をさらに短縮することはできません。アルゴリズムをより賢くし、各マシンが追加の計算資源なしでより多くの処理を実行できるようにしなければなりません。
数週間前、私たちは高速かつ並列的なデータ処理に最適化された新たな高性能カラム型ストレージフォーマット、コードネーム Ionic をリリースしました。このフォーマットは、確率分布の保存をネイティブに扱えるため、サプライチェーン最適化にも適しています。そして、これらの分布は確率的予測を活用するうえで極めて重要です。Ionic は、Lokad とそのクライアント間でのデータ交換フォーマットとして使うことを意図していません。データ交換には、CSV などのフラットなテキストファイル形式で十分です。Ionic フォーマットは、Lokad 内部のあらゆる処理を高速化するための内部データフォーマットとして位置付けられています。Ionic のおかげで、Lokad は数百ギガバイトにも及ぶ入力データを容易に処理できるようになりました。
特に、Ionic フォーマットのカラム型という特性により、各カラムを個別に読み込み、処理することが可能となります。サプライチェーンの問題に取り組む際には、100 列を超え、場合によっては 500 列にも及ぶ ERP のデータ抽出に直面することが珍しくありません。Ionic は、これほど多くのカラムを扱う際に大幅な性能向上を実現します。
Lokad の視点から見ると、データ処理能力はサプライチェーン最適化プロジェクトの実施における重要な成功要因として、ますます重視されています。処理時間が長引けば、1 日にこなせる作業量は減少します。どの企業も厳しい締め切りの中で運営されている以上、これは大きな問題です。
Ionic ストレージフォーマットは、私たちのビッグデータへの取り組みにおける、もう一つの前進です。