Tech Blog
AnyMind Group
Jul 26, 2022
[Tech Blog] Vertex AI を用いた機械学習バッチ推論基盤の導入
こんにちは。AnyMind で機械学習エンジニアをしている河本直起です。
AnyMind では 0 から MLOps 環境を作成しており、前回の記事では機械学習導入初期フェーズにおいてとっていた構成について紹介させていただきました。今回は、その続編として Vertex AI を用いて実装している現状のバッチ推論基盤についてご紹介できればと思います。
従来の構成
こちらの記事でご紹介させていただいた通り、既存の仕組みでは以下のようにプロダクトアプリケーションが特徴量を取得し、それを推論 API にリクエストするという形になっていました。また、学習に使用するデータもプロダクトアプリケーション側の RDB から直接取得されていました。
課題
推論 API という観点では、プロダクトアプリケーション側の実装が機械学習モデルの使用する特徴量に依存するという点が問題となります。推論 API の入出力が特徴量の変更ごとに変わってしまうことになり、その度にプロダクトアプリケーション側で開発が必要になります。同時に、不要なコミュニケーションコストやミスコミュニケーションによるバグの発生にも繋がります。
次に、推論時にデータセットと接続しているのがプロダクトアプリケーションであるということから、推論結果の蓄
