大语言模型编程马拉松：全景实战训练营

🎯 课程目标

• 快速入门 ：在 2 天 课程内，使用积木代码，亲手运行和搭建自己的 🤖 LLM 应用。

• 确保收获 ：每位学员都不会空手而归。

• 课程类型

• 1 天体验公开课

• 只讲课，不做正式练习

• 2 天深度内训课

• 深度分组练习

• 使用内部应用类型/案例/数据

👥 课程受众

• 产品经理：希望成为 👥LLM 产品经理 的专业人士，希望了解 LLM 的商业和技术应用。

• 开发人员：想要转型成为 👥LLM 软件工程师 的开发者，希望通过实际编程加深对 LLM 的理解。

• 敏捷教练：想具备一定 AI 认知和实战技能的 👥项目经理、敏捷教练、Scrum Master、DevOps 人员。

• 零入门门槛：开箱即用的积木代码 + ChatGpt/豆包/千问/元宝 + 组内助理。

💰 课程收益

• 跨越门槛：快速消除初入人工智能领域的陌生与畏惧感。

• 认知提升：深入理解大语言模型的工作原理及其在多种场景下的实际应用。

• 编程技能：非编程背景的学员也能通过课程提供的积木代码尝试编写和改进代码。

• 项目实战：围绕假想产品实际操作 LLM 平台，解决实际问题。

• 自学赋能：通过对 Langchain 框架的解读、基于 ChatGpt 的自动化编程，让没有 AI 和 python 基础的学员在课后仍然能编写和扩展应用

📚 核心内容

• LLM 大语言模型

• Prompt Engineering 提示词工程

• Memory 记忆

• Search Engine 搜索引擎

• RAG 检索增强生成

• Agents 智能体

• Multimodal 多模态

• Langchain 编程框架 / LangServe 服务发布 / Langsmith 运维框架

• DeepAgents 深度智能体框架

🦜 为何选择 Langchain 作为课程框架

--- 商业成功 ---

• 💵 2025 年 10 月 融资 1.25 亿美元

• 🦄 估值 12.5 亿 美元，世界唯一 LLM 应用框架独角兽

--- 开源项目 ---

• ⚙️ 完善的 DevOps 生态链：涵盖从基础 RAG、智能体、多智能体、开发环境（Langchain Studio）、测试与运维工具（LangSmith）

• 🔌 1000 多个厂商的集成组件（大模型、向量数据库等）

• ⭐ Github 关注量第一名（90K，是第二名 Llamaindex 的两倍）

• 📖 完善的在线文档与在线课程

💡 授课思路

🧱 积木代码

1 讲师为学员准备了一系列可以开箱即用、循序渐进的功能积木代码

2 每段代码都将进行原理讲解-代码分析-代码运行-代码改造几个阶段进行教学

3 学员可直接运行积木代码，并尝试修改参数查看结果的变化，无需任何相关编程经验

🎀 假想产品

1 学员提前准备自己的“🎀 假想产品”，在整个教学过程中，从无到有，以个人或团队完成此产品的基本功能

2 每个团队推选一位 Python 熟练的学员做组长，为组员提供技术支持

3 学员将积木代码片段移植到 🎀 假想产品中，当场实现预期的功能

4 每当假想产品增加一个指定的新功能，即可赢得 🏅 勋章 作为积分，最终用于评价实践深度

🏫 自学赋能

1 在课程的最后 2 小时，团队接受了自学能力赋能，可以在 🎀 假想产品上自由叠加课上功能，继续赢得勋章。

📖 课程大纲

第一部分：大语言模型开发技术

📚概述：LLM 简介与核心概念

📝 知识点

什么是大语言模型 LLM

• LLM 的发展历史

• LLM 是如何工作的

• LLM 与 AI 的关系

应用与限制

• LLM 在理解、生成、推理能力方面的具体表现

• LLM 面临的挑战，如偏见、误解和数据依赖性

• 讨论如何通过技术和策略改进来克服这些局限

🔍 案例《ChatGpt 框架》

• 通过 ChatGpt 的框架解析，理解大语言模型 APP 的前后台关系

🔍 案例《辨别极限》

• 通过 ChatGpt 中存在的若干问题，指出 LLM 在处理该案例时可能遇到的问题，并提出可能的解决方案。

🏁 第一课：Hello World!

📝 知识点

• 亲手操作 LLM，从最基础的“Hello World!”程序开始，逐步学习如何调用 LLM 进行简单的文本生成

• 解释 API 的使用方法与调用参数

• 讲解如何安全有效地管理 API 账号与密钥

• 理解 LLM Api 的计费方式与持续性成本

🧰 实用工具箱

• 利用 ChatGpt 编写代码 此内容可让完全没有编程基础的学员，生成、改进、调试 python 代码，从而解决课后的持续开发问题；可使用文心一言、通义千问等替代

💻 练习《我的第一条 AI 生成文本》

• 使用提供的 API，编写一个简单的问题回答脚本+🏅

• 让 LLM 能循环回答用户问题（需借助 ChatGpt 编程） +🏅🏅

📝 第二课：提示词工程

📝 知识点

• 学习如何设计有效的提示词以引导 LLM 生成更高质量的内容

• 介绍不同类型的提示词模板，如静态提示、动态提示

• 探讨如何利用用户输入调整提示词以改善交互质量

💻 练习《优化提示词》

• 让 LLM 编写并执行代码

• 让 LLM 进行智能销售分析

• 对参数的排列组合后传入 LLM

• 从 LLM 返回的结果中，获取结构化数据

🎀 假想产品升级

• 为 AI 设置一个合理的人设与规则 +🏅

• 限定 AI 回答问题的范围 +🏅

• 使用 2 种以上人类语言回答问题 +🏅

• 使输出格式成为一个可以被解析的 json 结构 +🏅🏅

📚 第三课：检索增强生成（RAG）

📝 知识点

• 介绍如何通过集成外部数据来提高 LLM 的输出质量和相关性

• 讲解如何构建一个向量数据库，并使用检索增强技术来改进模型的答案质量

💻 练习《内部 OA 助手》

• 创建一个简单的 OA 助手

• 借助本地文档回答问题

• 借助内网/外网网页内容回答问题

🎀 假想产品升级

• 访问本地一个目录中的所有文档（Markdown 格式）+🏅🏅

• 访问一个 URL 页面的网页内容 +🏅🏅

🤖 第四课：多模态

📝 知识点

• 理解多模态的运行机制

• 学习基于图片的多模态描述与识别

💻 练习《智能 OA 助手》

• 描述图片

• 判定图片

🎀 假想产品升级

• 尝试增加一个图片识别相关的功能 比如评价或判定物理看板的状态

🤖 第五课：Langgraph 智能体（初步）

📝 知识点

• 了解智能体与工具的基本运行原理原理

• 为智能体设计运行流程

• 为智能体设计工具

• 智能体的工具发现机制

• 进一步实践与感受大语言模型的能力与限制

💻 练习《智能 OA 助手》

• 调用基于智能体的大语言模型

• 手工添加一些自己喜欢的工具

🎀 假想产品升级

• 执行多轮关联对话 +🏅

• 上下文来自不同的文档 +🏅🏅

• 至少一次上下文来自 URL 页面的网页内容 +🏅🏅

🤖 第六课：Langgraph 智能体（记忆与持久化）

📝 知识点

• 探讨如何通过对话记忆和持久化技术来实现复杂的会话管理

• 介绍如何使用 LLM 存储/回忆/总结/“遗忘”过往对话内容

• 了解如何处理长期记忆和短期记忆的不同技术策略

💻 练习《内部 OA 助手》

• 与用户进行多轮相关联的对话

• 在多轮对话中使用多个不同工具的内容进行分析

• 调整记忆窗口长度

• 总结和以往过往对话内容

🎀 假想产品升级

• 设置记忆长度 +🏅

• 总结记忆长度 +🏅

🤖 第七课：Langgraph 智能体（人工干预）

📝 知识点

• 利用切入点进行人机协作

• 利用智能体嵌套完成智能体协作

💻 练习《内部 OA 助手》

• 增加切入点

• 切入后改变状态

• 多个智能体

🎀 假想产品升级

• 提出并获取一次人类反馈 +🏅

• 上下文来自不同的文档 +🏅🏅

• 至少一次上下文来自 URL 页面的网页内容 +🏅🏅

🤖 第八课：DeepAgents 深度智能体框架

📝 知识点

• 创建能自主思考的智能体

• 核心机制剖析（如 Todo list 的创建）

• 内置本地文档读写工具

• 短期记忆与长期记忆压缩

• 跨会话、跨项目的知识库

💻 练习《深度智能体》

• 创建具有自主思考能力的智能体

• 使用内置文档读写工具

• 配置跨会话知识库

🎀 假想产品升级

• 使用 DeepAgents 框架创建智能体 +🏅🏅

• 实现跨会话知识库功能 +🏅🏅🏅

🤖 第九课：大语言模型应用架构

📝 知识点

• 了解大语言模型应用如何嵌入到常见的软件中

• 用真实案例了解大语言模型的 DevOps 及运营流程

🎀 大语言模型应用集成案例

• 案例 1：某生活服务小程序

• 小程序 + WebApi + LangServe

• 案例 2：某多模态考试小程序

• uniApp + WebApi + LangServe + Mongodb + 科大讯飞 Api

• 案例 3：某办公插件应用（人工智能需求分析工具）

• vscode/word/excel 插件 + WebApi + LangServe + LangSmith

• 案例 4：某中医辅助应用

• 管理员端（python 桌面客户端） + 后端用户服务器 + 算力服务器 + 核心数据服务器 + 用户端微信小程序/H5

• vscode/word/excel 插件 + WebApi + LangServe + LangSmith

第二部分：大语言模型产品与运维技术

🧑‍💻 第十课：LangFlow 无代码开发平台

📝 知识点

• 如何完全不写代码开发 LLM 应用

• 基于 LangFlow 的可视化开发

💻 练习《LangFlow 可视化开发》

• 使用 LangFlow 创建简单的 LLM 应用

• 通过可视化界面配置提示词、工具和 RAG

🎀 假想产品升级

• 使用 LangFlow 创建产品原型 +🏅🏅

🖥️ 第十一课：Ollama 大模型本地部署

📝 知识点

• 了解如何使用 Ollama 本地部署大模型

• 了解大模型参数代表的含义

💻 本地部署大语言模型工具

• Ollama:

• 简单的命令行工具，用于在本地部署大语言模型。

• 特点：

• 快速安装和管理模型，支持多实例运行。

• 提供本地 API 访问，无需外部服务器。

• 功能：

• 支持提示词和生成工具的集成。

• 支持 RAG 功能，进行本地数据检索与生成。

• 适用场景：

• 适用于快速测试、原型开发及本地化任务。

• 可部署类似Deepseek R1、QWen等多种模型。

🌐 第十二课：OpenWebUI 开源开箱即用平台

📝 知识点

• 了解如何在企业内部使用 OpenWebUI + Ollama 启动第一个免开发智能体

• 如何配置参数实现本地知识库调用

• 如何让智能体调用外部工具

• 如何开发和添加自研工具

• 比较不同模型处理同一问题的能力

💻 练习《OpenWebUI 平台使用》

• 部署 OpenWebUI

• 配置本地知识库

• 创建免开发智能体

• 添加自定义工具

🎀 假想产品升级

• 在 OpenWebUI 上创建一个 RAG 信息查询产品 +🏅🏅🏅

💻 第十三课：LangSmith 大语言模型的 DevOps 工具

• 观察大语言模型调用过程

• 观察与控制大语言模型的调用成本

• 理解 token 的计算

• 理解大语言模型调用中的计费组成

• 调用数学工具，对数学问题进行计算

📊 第十四课：大语言模型产品运营

📝 知识点

• 不同模型的性能、价格比较与选择

• 大语言模型的自动化测试

• 使用 Ragas 为大模型应用评分

• 使用 LangSmith 统计大模型应用的成本、质量、客户反馈

• 合规性检查

• 使用阿里工具

• 使用 Langchain 工具

💻 练习《产品运营实践》

• 使用 LangSmith 监控应用成本和性能

• 使用 Ragas 评估应用质量

• 进行合规性检查

🎀 假想产品升级

• 完成合规性检查 +🏅

• 使用 Ragas 进行现状评测 +🏅🏅

• 使用 Ragas 进行两个不同参数的评测（调整后分数增加）+🏅🏅🏅

🚀 扩展：自学赋能

📝LLM 相关资源

• Langchain 官网概览

• 此内容整体介绍 Langchain 编程框架官网的结构、模块、功能

• 特别会提及部署方案 LangServe 和运维方案 LangSmith

• github 简单使用指南

• 在 github 上搜索、浏览 LLM 相关代码

• Docker 简单使用指南

• 在本机部署各种向量数据库、redis 等服务的快捷做法

🎀 假想产品升级

• 每组推选本组一个前面练习后最成熟的假想产品为代表产品

• 以组为单位（之前可以单个学员自己做）

• 分工协作，有计划地为此产品扩展功能。

• 基于 Langchain 官网提供的功能，尝试实现课上未涉及的功能

• 自主决定添加何种新功能（需要与产品相关）

• 添加新功能可持续获得勋章

🏅 计分标准

• 尝试将这些特性加入产品功能，并获得勋章，比如（不限于）：

• 两个以上文档示才能解决的问题 +🏅🏅

• 使用“思维链”才能解决的复杂问题 +🏅🏅

• 调用LangSmith上的提示词完成功能（Langchain网站搜Hub） +🏅🏅🏅

• RAG 支持本地 PDF 或 WORD 文档 +🏅🏅🏅

• RAG 支持数据持久化数据库（如Chroma）或 redis +🏅🏅🏅🏅🏅

• 使用 LangServe 将产品发布为服务 +🏅🏅🏅🏅🏅

• 需要同步做一个client端进行演示性调用

• 加入一个图片相关的功能 +🏅🏅

• 在智能体中使用一个涉及复杂计算的工具+🏅🏅🏅

扫描加入群AI大语言模型交流群。

🎓 授课讲师

Martin 火星人陈勇（主讲人）

• 长期从事敏捷开发、需求分析、设计模式等开发、培训、咨询、培训工作

• 《SEAi 人工智能需求分析课题》组长

• 此课题旨在借助人工智能对需求进行自动化总结和拆分

• 拆分后的结果将直接对应

• 类（Controller/Model/数据库表）

• 方法（API）

• 验收测试用例（instance）

• 本课程所使用的技术，即提炼于此课题

• 多个 AI 项目的发起人/主要负责人

• LangStart 开源项目发起人（基于 LangChain 的开箱即用 LLM 应用代码）

• SEAi 需求分析系统产品经理 AI 首席科学家

• 某 AI 视觉考试系统（通信类）产品经理

• 某 AI 视觉考试系统（消防类）产品经理

• 某生活健康类小程序 AI 负责人

• 某中医 AI 大模型底座 AI 负责人

• 清华大学 电子与通信 硕士 | 南京航空航天大学 自动控制 学士

往期照片