生成式AI入门与AWS实战

封面

版权信息

版权

内容提要

O'Reilly Medica. Inc.介绍

资源与支持

资源获取

对本书的赞誉

前言

本书所使用的印刷约定

斜体

等宽字体

等宽粗体

代码示例使用方式

O’Reilly在线平台学习（O’Reilly Online Learning）

联系我们

致谢

Chris的致谢

Antje的致谢

Shelbee的致谢

第1章 生成式AI用例、基础知识和项目生命周期

1.1 生成式AI用例和任务

1.2 基础模型和模型中心

1.3 生成式AI项目生命周期

1.4 AWS上的生成式AI

1.5 为什么选择基于AWS构建生成式AI

1.6 在AWS上构建生成式AI应用程序

1.7 小结

第2章 提示工程与上下文学习

2.1 提示与补全

2.2 token

2.3 提示工程

2.4 提示结构

2.4.1 指令

2.4.2 上下文

2.5 通过少样本推理进行上下文学习

2.5.1 零样本推理

2.5.2 单样本推理

2.5.3 少样本推理

2.5.4 上下文学习出错

2.5.5 上下文学习实践

2.6 提示工程实践

2.7 推理配置参数

2.8 小结

第3章 大语言基础模型

3.1 大语言基础模型简介

3.2 分词器

3.3 嵌入向量

3.4 Transformer

3.4.1 输入token上下文窗口

3.4.2 嵌入

3.4.3 编码器

3.4.4 自注意力层

3.4.5 解码器

3.4.6 Softmax输出

3.5 基于Transformer的基础模型的类别

3.6 预训练数据集

3.7 缩放定律

3.8 计算最优模型

3.9 小结

第4章 显存和计算优化

4.1 显存容量挑战

4.2 数据类型和数值精度

4.3 量化

4.3.1 fp16

4.3.2 bfloat16

4.3.3 fp8

4.3.4 int8

4.4 优化自注意力层

4.4.1 FlashAttention

4.4.2 分组查询注意力

4.5 分布式GPU集群计算

4.5.1 分布式数据并行

4.5.2 全分片数据并行

4.5.3 FSDP与DDP的性能比较

4.6 基于AWS的分布式计算

4.6.1 通过Amazon SageMaker进行全分片数据并行

4.6.2 AWS Neuron SDK与AWS Trainium

4.7 小结

第5章 微调和评估

5.1 指令微调简介

5.1.1 Llama 2

5.1.2 Falcon

5.1.3 FLAN-T5

5.2 指令数据集

5.2.1 多任务指令数据集

5.2.2 FLAN：示例多任务指令数据集

5.2.3 提示模板

5.2.4 将自定义数据集转换为指令数据集

5.3 指令微调的过程

5.3.1 Amazon SageMaker Studio

5.3.2 Amazon SageMaker JumpStart

5.3.3 将Amazon SageMaker Estimator用于Hugging Face

5.4 评估

5.4.1 评估指标

5.4.2 基准测试和数据集

5.5 小结

第6章 参数高效微调

6.1 全量微调与PEFT

6.2 LoRA和QLoRA