第1章 Agent框架与应用1
1.1 初识Agent 1
1.1.1感知能力 2
1.1.2思考能力 2
1.1.3动作能力 3
1.1.4记忆能力 4
1.2 Agent框架 5
1.2.1 Agent框架理念5
1.2.2常用的Agent框架 6
1.3 Multi-Agent多角色协作 12
1.3.1 SOP拆解 12
1.3.2角色扮演 13
1.3.3反馈迭代 13
1.3.4监督控制 13
1.3.5实例说明 14
1.4 Agent应用分析 16
1.4.1 Agent自身场景落地16
1.4.2 Agent结合RPA场景落地19
1.4.3 Agent多态具身机器人 25
第2章使用Coze打造专属Agent 29
2.1 Coze平台 29
2.1.1 Coze平台的优势 29
2.1.2 Coze平台的界面 30
2.1.3 Coze平台的功能模块 33
2.2 Agent的实现流程34
2.2.1 Agent需求分析34
2.2.2 Agent架构设计35
2.3 使用Coze平台打造专属的NBA新闻助手35
2.3.1需求分析与设计思路制定 35
2.3.2 NBA新闻助手的实现与测试 36
2.4 使用Coze平台打造小红书文案助手55
2.4.1需求分析与设计思路制定 55
2.4.2小红书文案助手的实现与测试 55
第3章打造专属领域的客服聊天机器人 71
3.1 客服聊天机器人概述 71
3.1.1客服聊天机器人价值简介 71
3.1.2客服聊天机器人研发工具 72
3.2 AI课程客服聊天机器人总体架构 74
3.2.1前端功能设计 76
3.2.2后端功能设计 78
3.3 AI课程客服聊天机器人应用实例 86
第4章 AutoGen Agent开发框架实战 88
4.1 AutoGen开发环境 89
4.1.1 Anaconda 89
4.1.2 PyCharm 89
4.1.3 AutoGen Studio 89
4.2 AutoGen Studio案例 91
4.2.1案例介绍 91
4.2.2 AutoGen Studio模型配置91
4.2.3 AutoGen Studio技能配置95
4.2.4 AutoGen Studio本地化配置 117
第5章生成式代理——以斯坦福AI小镇为例 131
5.1 生成式代理简介 131
5.2 斯坦福AI小镇项目简介 133
5.2.1斯坦福AI小镇项目背景 133
5.2.2斯坦福AI小镇设计原理 133
5.2.3斯坦福AI小镇典型情景 134
5.2.4交互体验 135
5.2.5技术实现 136
5.2.6社会影响 138
5.3 斯坦福AI小镇体验 139
5.3.1资源准备 139
5.3.2部署运行 139
5.4 生成式代理的行为和交互 146
5.4.1模拟个体和个体间的交流 146
5.4.2环境交互 148
5.4.3示例“日常生活中的*天” 149
5.4.4自发社会行为 150
5.5 生成式代理架构 151
5.5.1记忆和检索 152
5.5.2反思 154
5.5.3计划和反应 156
5.6 沙盒环境实现 158
5.7 评估 160
5.7.1评估程序 160
5.7.2条件 161
5.7.3分析 162
5.7.4结果 163
5.8 生成式代理的进一步探讨 16*
第6章 RAG检索架构分析与应用 167
6.1 RAG架构分析 168
6.1.1检索器 168
6.1.2生成器 169
6.2 RAG工作流程 169
6.2.1数据提取 170
6.2.2文本分割 170
6.2.3向量化 171
6.2.4数据检索 172
6.2.5注入提示 172
6.2.6提交给LLM 173
6.3 RAG与微调和提示词工程的比较 173
6.4 基于LangChain的RAG应用实战 174
6.4.1基础环境准备 174
6.4.2收集和加载数据 174
6.4.3分割原始文档 175
6.4.4数据向量化后入库 175
6.4.5定义数据检索器 176
6.4.6创建提示 176
6.4.7调用LLM生成答案 176
第7章 RAG应用案例——使用RAG部署本地知识库 179
7.1 部署本地环境及安装数据库 182
7.1.1在Python环境中创建虚拟环境并安装所需的库 182
7.1.2安装phidata库 182
7.1.3安装和配置Ollama 183
7.1.4基于Ollama安装Llama 3模型和nomic-embed-text模型 184
7.1.5下载和安装Docker并用Docker下载向量数据库的镜像 184
7.2 代码部分及前端展示配置 185
7.2.1 assistant.py代码 185
7.2.2 app.py代码 188
7.2.3启动AI交互页面 194
7.2.4前端交互功能及对应代码 195
7.3 调用云端大语言模型 203
7.3.1配置大语言模型的API Key 205
7.3.2修改本地RAG应用代码 206
7.3.3启动并调用云端大语言模型 208
第8章 LLM本地部署与应用 212
8.1 硬件准备 212
8.2 操作系统选择 213
8.3 搭建环境所需组件 214
8.4 LLM常用知识介绍 217
8.4.1分类 217
8.4.2参数大小 217
8.4.3训练过程 217
8.4.4模型类型 217
8.4.5模型开发框架 218
8.4.6量化大小 218
8.5 量化技术 219
8.6 模型选择 220
8.6.1通义千问 220
8.6.2 ChatGLM 220
8.6.3 Llama 220
8.7 模型应用实现方式 221
8.7.1 Chat 221
8.7.2 RAG 221
8.7.3高效微调 221
8.8 通义千问1.5-0.5B本地Windows部署实战 222
8.8.1介绍 222
8.8.2环境要求 222
8.8.3依赖库安装 223
8.8.4快速使用 224
8.8.5量化 226
8.9 基于LM Studio和AutoGen Studio使用通义千问 226
8.9.1 LM Studio介绍 226
8.9.2 AutoGen Studio介绍226
8.9.3 LM Studio的使用 227
8.9.4在LM Studio上启动模型的推理服务 229
8.9.5启动AutoGen Studio服务230
8.9.6进入AutoGen Studio界面230
8.9.7使用AutoGen Studio配置LLM服务 231
8.9.8把Agent中的模型置换成通义千问232
8.9.9运行并测试Agent 233
第9章 LLM与LoRA微调策略解读 235
9.1 LoRA技术 235
9.1.1 LoRA简介 235
9.1.2 LoRA工作原理 237
9.1.3 LoRA在LLM中的应用 237
9.1.4实施方案 238
9.2 LoRA参数说明 238
9.2.1注意力机制中的LoRA参数选择 238
9.2.2 LoRA网络结构中的参数选择 239
9.2.3 LoRA微调中基础模型的参数选择 241
9.3 LoRA扩展技术介绍 241
9.3.1 QLoRA介绍 241
9.3.2 Chain of LoRA方法介绍 242
9.4 LLM在LoRA微调中的性能分享242
第10章 PEFT微调实战——打造医疗领域LLM 243
10.1 PEFT介绍 243
10.2 工具与环境准备244
10.2.1工具安装 244
10.2.2环境搭建 247
10.3 模型微调实战 256
10.3.1模型微调整体流程256
10.3.2项目目录结构说明257
10.3.3基础模型选择258
10.3.4微调数据集构建 259
10.3.5 LoRA微调主要参数配置260
10.3.6微调主要执行流程262
10.3.7运行模型微调代码263
10.4 模型推理验证 26*
第11章 Llama 3模型的微调、量化、部署和应用267
11.1 准备工作 268
11.1.1环境配置和依赖库安装268
11.1.2数据收集和预处理270
11.2 微调Llama 3模型 271
11.2.1微调的意义与目标271
11.2.2 Llama 3模型下载 271
11.2.3使用Llama-factory进行LoRA微调 273
11.3 模型量化 285
11.3.1量化的概念与优势285
11.3.2量化工具Llama.cpp介绍 285
11.3.3 Llama.cpp部署286
11.4 模型部署 291
11.4.1部署环境选择291
11.4.2部署流程详解292
11.5 低代码应用示例293
11.5.1搭建本地大语言模型 293
11.5.2搭建用户界面294
11.5.3与知识库相连297
11.6 未来展望 300