PoCでは動いたAIサービス、なぜ本番で安定しない？ ～GPUの異常・遊休とLLMの性能・処理停滞をどう可視化するか～

本セミナーはWebセミナーです ツールはZoomを使います。URLは直前にメールにてご連絡いたします。 なお、「osslabo.com」「majisemi.com」からのメールが迷惑メールとならないよう、メールの設定をご確認ください。 PoCから本番運用へ、AI基盤に求められるものが変わる 生成AIやLLMを活用したサービスでは、PoC段階ではモデルが動作すること自体が重要でも、本番運用・商用化へ進むと、大量データを期限内に処理できるか、GPUやCPU、メモリなどのリソースを安定して使えるか、障害時に素早く原因を特定できるかといった運用面の課題が顕在化します。特にローカルLLMやGPU基盤では、モデル単体の性能だけでなく、処理量や納期、複数ジョブの並行実行まで含めて基盤全体を設計・管理する必要があります。 GPUが動いていても、LLM処理の異常や停滞は見えない GPU使用率が高いからといって、AIサービ…

• 主催マジセミ×先端技術・最新動向（デジタルとの新たな出会いと体験）