LLM利用の可視化、一本化からコスト最適化まで！全社LLM Gateway 構築と運用のすべて
ポストCfPセッション(30分)
Shoya Aomatsu / aoshow
応募日: 2026/07/30
概要
2025年4月、私たち LayerX は行動指針を「Bet Technology」から「Bet AI」へ変更しました。全社員が AI・LLM を使い倒し、AI 活用は一気に浸透しました。 一方で、AI サービスごとに管理が分かれ、誰がどのモデルをどれだけ使っているかを全社で見る手段はありませんでした。コストの上限設定も各サービスの管理画面から手作業で、全社を横断して制御する仕組みはなく、扱ってよい情報の判断も各社員に委ねられていました。 いくつかの手段を比較した結果、OSS の LLM Gateway「LiteLLM」を選び、2026年2月に検証を開始、7月に集約しました。 統制を土台に、AI 活用を加速し続ける。選定から運用まで、全てをお伝えします。
登壇者プロフィール
株式会社LayerX コーポレートエンジニアリング室 アプリケーションチームに所属。2025年10月入社。社内向けアプリケーションの開発と基盤構築を担当。全社 LLM Gateway とコーポレート領域のデータ基盤の設計・構築・運用に取り組んでいる。