【神戸】苦しんで学ぶLLM #6 〜輪読編〜

公式ページより

開催日時: 2025/11/15 14:00 ～ 16:00 開催場所: 兵庫県神戸市中央区浪花町64 （三宮電電ビル 5階） 11/15(土)勉強会「苦しんで学ぶLLM #5 〜輪読編〜」開催予定！ 苦しんで学ぶLLM の続編です。 第1回では、Transformer、RAG、応答精度といったテーマを中心に、 LLMに関する基本的な概念とその理論を学びました。 それらの理解をさらに深めるべく、 第2回からは複数回に渡って書籍 『つくりながら学ぶ！LLM 自作入門』(マイナビ出版) を輪読し、 LLMを自らの手で作りあげる体験をしていきます。 この本では、Python(PyTorch)を用いてGPT型のLLMを実装する方法と高度な理論の両方が解説されています。 物理学者のRichard Phillips Feynman氏は「What I cannot create, I do not understand」と言っていたそうですが、 既存の理論を真に理解するためには自ら再構築することが欠かせません。 決して易しくはない本ですが、歯を食いしばって学びましょう。 また参加者には数学を専門的に学んだメンバーもいるので、 理工系学部レベルの線形代数や微積分、集合論などの質問対応・解説も可能です。 数学の知識がネックでLLMの学習に手が出ないという方には絶好の機会です。 今回からの参加でも大歓迎です！ 日程 2025/11/15 (土) 14:00-16:00 内容 第2回(輪読初回)では付録A、第1章、第2章を読み、全員がPyTorchの実行環境を整え、 疑問点や掘り下げたい点を洗い出しました。 第3回では、機械学習に関する知識(誤差逆伝播法や計算グラフなど)や第2章(テキスト処理)の復習を行い、 第3章を読み進めて行きました。 新規参加の方はPyTorchの環境構築をし、主に第2章の内容について疑問点を話し合いました。 第4回でははじめにattentionに関する説明資料の紹介を行い、 その後は第3章、第4章を読みながら内容について話し合い、理解度を確認しました。 第5回でも引き続き第4章を中心に読み進めます。 第4章が重要な内容となっており、ボリュームも大きいためです。 その他希望があればお気軽にお申し出ください。 ※ 第5回から参加予定の方 は付録Aを参考にPyTorchの環境構築を行った上で、 第3章(できれば第4章まで)事前に読んでおくとスムーズに合流できるかと思います。 発表について 毎回冒頭で前回までの内容について希望者が5~15分程度で発表を行います。 メンバーに共有したい話題がある方は気軽に発表してください。 発表を希望される場合は事前にご連絡いただけますと助かりますが、 当日に飛び込みでの発表でもまったく問題ありません。 また、過去の話題や発表予定に挙がっている話題と重複していても構いませんので、 理解を深めるためぜひ活用してください。 発表形式は自由です。 これまではスライド、マークダウン、記事紹介、書籍の該当ページの解説などのスタイルがありました。 参加対象者 LLMの仕組みを学びたい方・理解を深めたい方 ローカルLLMを作ってみたい方・ファインチューニングをしたい方 LLMの学習に必要な数学の知識に不安がある方 PyTorchを使ってみたい方 LLMを通して機械学習に触れたい方・機械学習の知識を活かしてLLMを学びたい方 注意事項 書籍は各自準備していただく必要があります。 Google Meetで録画を行います ので、あらかじめご了承お願いいたします。 会場内では運営の記録用に写真撮影を行う場合があります。（写真NGの方は申込時にお知らせください。） イベント内容は変更になる場合があります。変更の際は株式会社Digeon公式Xやconnpassのメールにてご連絡をいたします。 参加できなくなった場合は、キャンセルのご連絡をお願いいたします。 タイムテーブル 時間 内容 13:50〜14:00 開場・受付 14:00〜14:05 オープニング 14:05〜14:50 第4回の振り返り(発表) 14:50〜15:50 4章 テキストを生成するためのGPTモデルを一から実装する 15:50〜16:00 クロージング・閉場 ※ 内容は順次更新します。 場所 株式会社Digeon 〒650-0035 兵庫県神戸市中央区浪花町64 三宮電電ビル 5階 ※ビルは21:00以降になりますと、入口が施錠されます。入れない方は「連絡先」までお問い合わせください。 https://maps.app.goo.gl/jT3r6UBhY8xpcUpC6 主催者 株式会社Digeon が主催しています。 連絡先 神戸AI研究会 Digeon Slackチャンネル ご意見・ご質問、イベントの告知、雑談、技術記事の共有などが行われています。イベントに来られる方は参加してください。 本イベントに関するお問い合わせは上記Slackチャンネルで@木ノ本和也 をメンションしてください。

公式ページより

開催日時: 2025/10/25 14:00 ～ 16:00 開催場所: 兵庫県神戸市中央区浪花町64 （三宮電電ビル 5階） 10/25(土)勉強会「苦しんで学ぶLLM #4 〜輪読編〜」開催予定！ 苦しんで学ぶLLM の続編です。 第1回では、Transformer、RAG、応答精度といったテーマを中心に、 LLMに関する基本的な概念とその理論を学びました。 それらの理解をさらに深めるべく、 第2回からは複数回に渡って書籍 『つくりながら学ぶ！LLM 自作入門』(マイナビ出版) を輪読し、 LLMを自らの手で作りあげる体験をしていきます。 この本では、Python(PyTorch)を用いてGPT型のLLMを実装する方法と高度な理論の両方が解説されています。 物理学者のRichard Phillips Feynman氏は「What I cannot create, I do not understand」と言っていたそうですが、 既存の理論を真に理解するためには自ら再構築することが欠かせません。 決して易しくはない本ですが、歯を食いしばって学びましょう。 また参加者には数学を専門的に学んだメンバーもいるので、 理工系学部レベルの線形代数や微積分、集合論などの質問対応・解説も可能です。 数学の知識がネックでLLMの学習に手が出ないという方には絶好の機会です。 今回からの参加でも大歓迎です！ 日程 2025/10/25 (土) 14:00-16:00 内容 第2回(輪読初回)では付録A、第1章、第2章を読み、全員がPyTorchの実行環境を整え、 疑問点や掘り下げたい点を洗い出しました。 第3回では、機械学習に関する知識(誤差逆伝播法や計算グラフなど)や第2章(テキスト処理)の復習を行い、 第3章を読み進めて行きました。 新規参加の方はPyTorchの環境構築をし、主に第2章の内容について疑問点を話し合いました。 第4回でも、まず前回の復習・補足として各自が話したいテーマについて発表する時間を取ります。 その後は第4章を中心に、各自の進度に応じて読み進めて行きます。 その他希望があればお気軽にお申し出ください。 ※ 第4回から参加予定の方 は付録Aを参考にPyTorchの環境構築を行った上で、 第3章まで事前に読んでおくとスムーズに合流できるかと思います。 発表について 毎回冒頭で前回までの内容について希望者が5~15分程度で発表を行います。 第4回の発表については第3回の終了時点で2名が予定しています。テーマは以下です。 2章のByte Pair Encoding 3章のCausal Attention メンバーに共有したい話題がある方は気軽に発表してください。 発表を希望される場合は事前にご連絡いただけますと助かりますが、 当日に飛び込みでの発表でもまったく問題ありません。 また、過去の話題や発表予定に挙がっている話題と重複していても構いませんので、 理解を深めるためぜひ活用してください。 発表形式は自由です。 第3回ではスライド、マークダウン、記事紹介、書籍の該当ページの解説などのスタイルがありました。 参加対象者 LLMの仕組みを学びたい方・理解を深めたい方 ローカルLLMを作ってみたい方・ファインチューニングをしたい方 LLMの学習に必要な数学の知識に不安がある方 PyTorchを使ってみたい方 LLMを通して機械学習に触れたい方・機械学習の知識を活かしてLLMを学びたい方 注意事項 書籍は各自準備していただく必要があります。 Google Meetで録画を行います ので、あらかじめご了承お願いいたします。 会場内では運営の記録用に写真撮影を行う場合があります。（写真NGの方は申込時にお知らせください。） イベント内容は変更になる場合があります。変更の際は株式会社Digeon公式Xやconnpassのメールにてご連絡をいたします。 参加できなくなった場合は、キャンセルのご連絡をお願いいたします。 タイムテーブル 時間 内容 13:50〜14:00 開場・受付 14:00〜14:05 オープニング 14:05〜14:50 第3回の振り返り(発表) 14:50〜15:50 4章 テキストを生成するためのGPTモデルを一から実装する 15:50〜16:00 クロージング・閉場 ※ 内容は順次更新します。 場所 株式会社Digeon 〒650-0035 兵庫県神戸市中央区浪花町64 三宮電電ビル 5階 ※ビルは21:00以降になりますと、入口が施錠されます。入れない方は「連絡先」までお問い合わせください。 https://maps.app.goo.gl/jT3r6UBhY8xpcUpC6 主催者 株式会社Digeon が主催しています。 連絡先 神戸AI研究会 Digeon Slackチャンネル ご意見・ご質問、イベントの告知、雑談、技術記事の共有などが行われています。イベントに来られる方は参加してください。 本イベントに関するお問い合わせは上記Slackチャンネルで@木ノ本和也 をメンションしてください。

公式ページより

開催日時: 2025/10/11 14:00 ～ 17:00 開催場所: 兵庫県神戸市中央区浪花町64 （三宮電電ビル 5階） 10/11(土)勉強会「苦しんで学ぶLLM #3 〜輪読編〜」開催予定！ 苦しんで学ぶLLM の続編です。 第1回では、Transformer、RAG、応答精度といったテーマを中心に、 LLMに関する基本的な概念とその理論を学びました。 それらの理解をさらに深めるべく、 第2回からは複数回に渡って書籍 『つくりながら学ぶ！LLM 自作入門』(マイナビ出版) を輪読し、 LLMを自らの手で作りあげる体験をしていきます。 この本では、Python(PyTorch)を用いてGPT型のLLMを実装する方法と高度な理論の両方が解説されています。 物理学者のRichard Phillips Feynman氏は「What I cannot create, I do not understand」と言っていたそうですが、 既存の理論を真に理解するためには自ら再構築することが欠かせません。 決して易しくはない本ですが、歯を食いしばって学びましょう。 また参加者には数学を専門的に学んだメンバーもいるので、 理工系学部レベルの線形代数や微積分、集合論などの質問対応・解説も可能です。 数学の知識がネックでLLMの学習に手が出ないという方には絶好の機会です。 日程 2025/10/11 (土) 14:00-17:00 想定内容 第2回(輪読初回)では付録A、第1章、第2章を読み、全員がPyTorchの実行環境を整え、 疑問点や掘り下げたい点を洗い出しました。 第3回では、それらの事項について調べてきたことやまとめを共有する時間をまず初めに設けます。 その後は時間が許す限り3章、4章と読み進め、内容について語り合います。 その他希望があればお気軽にお申し出ください。 今回からの参加でも大歓迎です！ 参加対象者 LLMの仕組みを学びたい方・理解を深めたい方 ローカルLLMを作ってみたい方・ファインチューニングをしたい方 LLMの学習に必要な数学の知識に不安がある方 PyTorchを使ってみたい方 LLMを通して機械学習に触れたい方・機械学習の知識を活かしてLLMを学びたい方 注意事項 書籍は各自準備していただく必要があります。 Google Meetで録画を行います ので、あらかじめご了承お願いいたします。 会場内では運営の記録用に写真撮影を行う場合があります。（写真NGの方は申込時にお知らせください。） イベント内容は変更になる場合があります。変更の際は株式会社Digeon公式Xやconnpassのメールにてご連絡をいたします。 参加できなくなった場合は、キャンセルのご連絡をお願いいたします。 タイムテーブル 時間 内容 13:50〜14:00 開場・受付 14:00〜14:05 オープニング 14:05〜14:50 第2回の振り返り 14:50〜15:40 3章 Attentionメカニズムのコーディング 15:40〜15:55 休憩 15:55〜16:55 4章 テキストを生成するためのGPTモデルを一から実装する 16:55〜17:00 クロージング・閉場 ※ 内容は順次更新します。 場所 株式会社Digeon 〒650-0035 兵庫県神戸市中央区浪花町64 三宮電電ビル 5階 ※ビルは21:00以降になりますと、入口が施錠されます。入れない方は「連絡先」までお問い合わせください。 https://maps.app.goo.gl/jT3r6UBhY8xpcUpC6 主催者 株式会社Digeon が主催しています。 連絡先 神戸AI研究会 Digeon Slackチャンネル ご意見・ご質問、イベントの告知、雑談、技術記事の共有などが行われています。イベントに来られる方は参加してください。 本イベントに関するお問い合わせは上記Slackチャンネルで@木ノ本和也 をメンションしてください。