Tech Blog
AnyMind Group
Jul 13, 2022
[Tech Blog] Vertex Pipelines (Kubeflow) の機械学習システムへの導入
こんにちは。AnyMind で機械学習エンジニアをしている河本直起です。
AnyMind では 0 からモデル学習パイプラインを含めた MLOps 環境を作成しています。
前回の記事では、Cloud Composer (Airflow) を用いて作成した機械学習向けデータ基盤について現状と将来的なプラン含めてご紹介させていただきました。
今回は、Vertex Pipelines (Kubeflow) を用いて実装している現状のモデル学習パイプラインについて、ご紹介できればと思います。
背景 / 課題
まず、Vertex Pipelines (Kubeflow) 導入前にどのような状態だったのか、どのようなことが課題だったのかについて説明します。
モデル学習・サービング処理の属人化
従来 AnyMind では notebook 環境で作成したモデルをレポジトリに配置してリリースする、単一のバッチで全ての学習処理を行うなど、プロジェクトごとに様々なモデル学習・サービング方法がとられ属人化していました。加えて、モデル学習をスケジュール実行する仕組みや、モデルの学習とそのモデルの API へのデプロイやバッチ推論を一貫して実行する仕組みも存在せず、こちらもマニュアル実行を含む各々の方法で行われてい
