LLMアプリケーション開発のリアル — オブザーバビリティと品質評価の実践

開催日時: 2026/07/29 12:00 ～ 13:00 開催場所: オンライン 🎥 アーカイブ動画 アーカイブ動画はこちらから ✍️概要 AIプロダクトの開発が急速に進む一方で、PoCを越えて本番で安定稼働させる段階に入り、「LLMの精度評価」や「運用後の監視」に課題を感じるチームが急増しています。 本イベントは、各社のLLM運用におけるオブザーバビリティ（可観測性）の実践事例から、ツール選定と本番運用の判断軸を持ち帰れるオンラインイベントです。 複数社のLLMオブザーバビリティの実践知をインプットすることで、各社の導入背景や取り組みのタイミング、ツール選定の基準を横断的に知ることができます。 自社プロダクトにおいて 「オブザーバビリティの向上がもたらす価値は何か」「自社に最適な運用体制はどうあるべきか」「そのためにツールをどう活用し、見極めるべきか」 の判断軸がわかり、運用時に見るべきチェックポイントと評価タイミングを具体的にイメージすることで、チームで可観測性の確保を目指せるようになることを目的としたイベントです。 🧑💻こんな方におすすめ LLMを実装したものの、品質・コスト・事故対応に不安があるML/DS、SRE/Platformエンジニア、プロダクトエンジニア LLMアプリケーションのDevOpsに関心のある方 PoCを越えて「本番で安定稼働させる」段階の品質担保・監視に課題を感じている方 ✅ イベントのゴール LLMの評価・監視体制を築くことがどのような事業価値向上をもたらすのかがわかる 自社のフェーズやプロダクトに最適な運用フローの判断基準がわかり、評価体制構築へのロードマップを描ける 自社において「ツールの要否や選定」をどう見極めるか、独自の判断軸を持てる 運用時に見るべきチェックポイントと、評価を回すタイミングを具体的にイメージできる 🕛タイムテーブル（予定） 時刻 内容 登壇者 12:00-12:05 オープニング 運営 12:05-12:25 LangfuseによるLLMOps基盤の構築と活用事例 清水 悠揮さん（株式会社ZOZO） 12:25-12:40 AIの生産性を測定する方法：LLMトークンのコストからArizeAXによるビジネス価値まで ショーン・リーさん（Arize AI, Inc.） 12:40-13:00 TDB 上野 彰大さん（PharmaX株式会社） ※発表の順番や内容は変更の可能性があります、ご了承ください。 🎤 登壇者 LangfuseによるLLMOps基盤の構築と活用事例 清水 悠揮 株式会社ZOZO データ・AIシステム本部 データサイエンス部 コーディネートサイエンスブロック ZOZOにてデータサイエンティストとして、ファッションテック領域のML・AI応用に従事。 ファッションコーディネートアプリ「WEAR」におけるVLMを活用した画像特徴抽出システムの開発や、LLMOps・LLM評価基盤の構築に取り組む。 技術的な関心としては、LLMをプロダクションで運用するための評価・観測基盤、いわゆるLLMOpsに力を入れています。最近は、DSPyを使ったプロンプトの自動最適化などにも関心があります。 AIの生産性を測定する方法：LLMトークンのコストからArizeAXによるビジネス価値まで ショーン・リー Arize AI, Inc. アジア太平洋地域ソリューション担当ディレクター Arize AI の Director of Solutions として、APJ 地域におけるエンタープライズ AI オブザーバビリティ・評価プラットフォームの導入に従事。 大規模組織が AI エージェントを施設環境で安定的に運用するための観測・評価基盤の構築を支援しています。前職は AWS のシニアアプリケーションアーキテクトで、AI・クラウドインフラ分野で 15 年以上の経験を持ちます。 技術的な関心としては、エージェントオブザーバビリティの標準化、LLM 評価の自動化、自律改善ループ(自己改善) AIコミュニティのミートアップシリーズを主催し、週刊テックニュースレターを発行、屋内のAIカンファレンスでの訴え実績多数。 上野 彰大 (@ueeeeniki) PharmaX 株式会社 CTO PharmaX株式会社 共同創業者・CTO。オンライン医薬品販売事業『YOJO』で得られたAI開発の知見をもとに、調剤薬局向けAIエージェントを開発しています。また、他社様向けにAIエージェントのコンサルティング・開発支援も行っています。 著書『実践Rustプログラミング ─ LINE botを題材に学ぶWebアプリケーション開発』、『LLMアプリケーションの評価と継続的改善（執筆中）』、監訳『ExcelとRで学ぶ ベイズ分析入門』、『CTOの思考法』。AI関連カンファレンスやコミュニティで登壇実績多数。 ⚠️諸注意 参加用リンクは開催当日、参加確定者にconnpass経由で通知します。 エージェントの方や営業目的でのイベントの参加はご遠慮ください。 性別/性的指向/障碍の有無/人種/宗教/年齢/容姿/体格/技術の選択に関わりなく、 誰もが気持ちよく参加できるようにご協力ください。 当イベントの内容およびスケジュールは、予告なく変更となる場合があります。予めご了承ください。 イベント参加時に入力いただいた情報は、以下に基づき扱います。 ファインディ株式会社 プライバシーポリシー 📣主催・運営 ファインディ株式会社 開発ツールのレビューサイト「Findy Tools」： 開発ツールに特化したレビューサイトです。第三者の視点で実際にツールの選定を行った企業の生の声を集めることで、ツール選定に関する不安を解消し、導入検討に必要な情報を提供します。 IT/Webエンジニアの転職サービス「Findy」： 独自のアルゴリズムを用いてエンジニアのスキルを可視化し、ハイスキルなエンジニアと企業をマッチングする転職サービスです。登録エンジニアは12万人を突破、登録企業数は約1,100社、スタートアップ企業を中心にDXを推進したい大手企業まで幅広い企業に導入していただいております。 ハイスキルなフリーランスエンジニア紹介サービス「Findy Freelance」： Findy Freelance（ファインディフリーランス）は、スタートアップ企業の自社サービス開発案件に特化したフリーランスエンジニア向けのエージェントサービスです。高単価・フルリモートの案件を中心にご紹介しています。 経営と現場をつなぐAI戦略支援SaaS「Findy Team+」： 開発生産性、AI活用状況、プロジェクト進捗などを可視化。データに基づく改善で、AI駆動開発を成果につなげる伴走支援を行います。2021年10月の正式リリース以降、約1,400社（トライアル含む）に導入いただいております。

• 主催ファインディ株式会社（Findy Tools）