AI Genius | エピソード2 AI ワークフローの品質を評価・測定し、継続的に改善する

セッションの紹介 AIエージェントの構築は始まりに過ぎません。継続的に品質を維持・向上させるためには、適切な評価、コスト管理、そして改善効果を可視化する仕組みが必要です。 本セッションでは、Microsoft Foundryの評価機能（Evaluations）、Agent Optimizer、Microsoft IQを活用し、AIワークフローの品質を継続的に評価・測定しながら改善する方法をご紹介します。実践的なデモを通じて、AIエージェントの品質、コスト、パフォーマンスを可視化し、データに基づいて継続的な最適化を実現するためのアプローチを学びます。 学習内容 • Microsoft Foundry を活用したモデルの比較・評価と、要件に応じた最適なモデルの選定方法 • エージェントに組織固有の知識やコンテキストを組み込む方法 • エージェントの継続的な評価パイプラインを構築する方法 • 品質、応答速度、トークンコストのバランスを分析し、最適化するアプローチ • Agent Optimizer を活用してエージェントのパフォーマンスを継続的に改善する方法 • CI/CD パイプラインでエージェントを継続的に管理・運用する方法 使用技術 • Microsoft Foundry • Microsoft Foundry Extension for Visual Studio Code •…

• 主催Microsoft Reactor