LLM Opsの実践

開催日時: 2026/07/28 19:00 ～ 21:30 開催場所: 東京都品川区大崎1丁目2番2号 アートヴィレッジ大崎セントラルタワー 19F freee 大崎本社 Asobiba 📋 概要 SaaSに組み込まれたLLMは、従来のソフトウェアコンポーネントとは異なる運用課題を持っています。出力は確率的で、モデルは外部プロバイダに依存し、品質評価やコスト管理の方法もプロダクトごとに大きく変わります。LLM機能は「一度リリースしたら終わり」ではなく、継続的に観測・評価・改善しながら育てていく必要があります。 一方で、LLMOpsの実践知はまだ各社の中に閉じていることが多く、具体的な設計や運用の判断軸は共有されにくいのが現状です。 本イベントでは、SaaSのAI機能を本番運用するうえで重要になる オブザーバビリティ・評価駆動開発・AI Agentの設計/改善 をテーマに、Sansan、フリー、ログラスの実践事例を共有します。AI機能を「動く」から「運用し続けられる」状態へ進めるための、現場の具体的な判断軸と改善サイクルを持ち帰れる場を目指します。 🕑 タイムテーブル 時間 セッション 企業 スピーカー 19:00 オープニング - - 19:05 セルフホストLangfuseを安全に本番運用するために必要だった設計と、そこから生まれた成果 Sansan株式会社 小松 展久 19:25 freeeにおけるEvalsの実践例の紹介 フリー株式会社 Kengo Nakamura 19:45 決定論と非決定論を組み合わせたAI Agentの構築と改善 株式会社ログラス 山崎 倫太郎 20:05 懇親会 - - 21:25 クロージング - - 👨💻 こんな方におすすめ LLM/AI Agentを組み合わせたプロダクト開発に関心がある方 LLMOps基盤を本番運用するうえでの設計・セキュリティ・運用体制に関心がある方 AI機能の品質評価、コスト管理、LLM-as-a-Judge、改善サイクルの作り方に課題を感じている方 ✅ イベントのゴール 観測すべきポイントを知る ：LLM固有の可観測性や、従来のアプリケーション監視との違いを理解し、自社でどこから取り組むべきかを整理する ツール選定と品質評価の観点を学ぶ ：技術スタック、チーム規模、データ主権要件を踏まえた選定軸や、LLM-as-a-Judge、出力バリデーション、評価データ管理を改善につなげる方法を知る コスト管理と改善サイクルを考える ：LLMのコストを可視化し、モデル選定や開発優先度に反映する方法、検知から改善までのループをチームに定着させる考え方を持ち帰る 🎤 登壇者 セルフホストLangfuseを安全に本番運用するために必要だった設計と、そこから生まれた成果 小松 展久 Sansan株式会社 研究開発部Architectグループ ソフトウェアエンジニア 金融系SIer、通信会社、SaaSベンチャーを経て2021年にSansanに入社。Contract Oneの開発・運用に携わり、その後は研究開発部で関連システムの開発・運用を担当。 freeeにおけるEvalsの実践例の紹介 Kengo Nakamura (@shallow1729) フリー株式会社 AIラボ 基盤チーム テックリード freeeでは一度DBREのリーダーをした後転職、出戻りして基盤開発チームのテックリードを担当。現在はAIラボに所属。 connpass: NaKengo 決定論と非決定論を組み合わせたAI Agentの構築と改善 山崎 倫太郎 (@zakky_dimn) 株式会社ログラス AIソリューション事業本部 FDE 新卒でtoB向けのコンサルティング・アナリティクス業務に従事した後、PdM兼エンジニアへとキャリアチェンジ。主にサーバーサイドやクラウドインフラの開発を経験。ITベンチャー数社にてWebアプリケーションを中心に開発のリードを担当後、DeNAグループ会社にてエンジニア組織の副部長として開発組織マネジメントに従事。2025年からログラスにてFDEとしてAI Agent新規事業を担当。 ⚠️ 諸注意 本イベントはオフライン開催です。会場情報・入館方法は参加確定者にconnpass経由でご案内します 撮影・録音については、当日スタッフの案内に従ってください 20時以降のご参加はお断りしております。 エージェントの方や営業目的でのイベント参加はご遠慮ください 性別/性的指向/障碍の有無/人種/宗教/年齢/容姿/体格/技術の選択に関わりなく、誰もが気持ちよく参加できるようにご協力ください 当イベントの内容およびスケジュールは、予告なく変更となる場合があります。予めご了承ください イベント参加時に入力いただいた情報は、以下に基づき扱います。 ファインディ株式会社 プライバシーポリシー ⚓ SaaS Harborについて B2B SaaSに関わるすべての挑戦者のためのコミュニティです。立場や職種を超えてつながり、誰もが顧客への価値提供に熱中できる場を目指しています。 職種を超えたフラットな交流 ：エンジニア、PM、事業責任者、マネジメント層など、キャリアやフェーズを超えてつながれます。 現場の「リアルな知見」を共有 ：単なる成功体験だけでなく、泥臭い失敗談や意思決定の背景といった"血の通った知見"をオープンに扱い合います。 共に学び、共につくる ：参加者同士が刺激を与え合い、日本のSaaSプロダクトの進化をカジュアルに加速させる場です。 💬 常設コミュニケーション空間（Discord）はこちら ： https://discord.gg/Jgqdd38gE2 📣 主催・運営 【主催】株式会社アンチパターン 株式会社アンチパターン 【共催】ファインディ株式会社 ファインディ株式会社 お問い合わせ: event@findy.co.jp

• 主催ファインディ株式会社（Findy Tools）