広告枠(320×50) 広告枠(728×90 相当)
← トップへ

5分ニュース

【5分ニュース】Google CloudがAI推論の接続構成を2種類提示

前提知識

Google Cloudは、AIモデルへの社内接続を設計するため、GKE専用と複数の実行先向けの2構成を示した。単一の実行基盤か、社内外にまたがる基盤かで入口と振り分け方を分ける考え方である。両構成では、社内ネットワーク内に入口を置き、認証と入出力検査を加えられる。

3行サマリー

  • Google Cloudは、AI推論用にGKE専用と複数基盤向けの2構成を示した。
  • GKE専用ではGKE 推論 Gatewayがモデル別に推論先を選ぶ。
  • 複数基盤ではモデル名を取り出し、対応する実行先へ振り分ける。

狙った目的・効用

Google Cloudは、AI推論モデルを社内から呼ぶための接続構成を2種類示した。Google Kubernetes Engine(GKE、コンテナを動かす管理サービス)だけを使う場合と、複数の実行基盤をまたぐ場合で分けている。 情シスは、モデルを増やす前に実行先の種類を整理できる。GKE専用ならGKE 推論 Gateway(モデルへの要求を振り分ける入口)を使い、複数基盤なら負荷分散機能がモデルごとに接続先を選ぶ。 記事は設計の概要を示しており、実装手順の詳細は別文書を参照する必要がある。提供条件や料金、性能の数値は今回の情報では示されていない。

出典

関連記事