3.6. 指令对齐 ..............................................................................................................................14
3.6.1. 奖励数据集 ..............................................................................................................15
3.6.2. 奖励模型训练 ..........................................................................................................15
3.6.3. 强化学习 ..................................................................................................................16
3.7. 下游任务适配 ......................................................................................................................16
3.7.1. 设计 Prompt .............................................................................................................16
3.7.2. 参数高效微调 ..........................................................................................................17
3.8. 模型能力评估 ......................................................................................................................19
3.8.1. 通用领域评估 ..........................................................................................................19
3.8.2. 垂直领域评估 ..........................................................................................................20
3.9. 模型量化 ..............................................................................................................................20
3.9.1. 后训练量化(PTQ)....................................................................................................20
3.10. 模型部署 ............................................................................................................................21
3.10.1. KV Cache ................................................................................................................22
3.10.2. PagedAttention ........................................................................................................23
3.10.3. 内存共享 ................................................................................................................23
4. 算法应用 ........................................................................................................................................24
4.1. 市场监管问答 ......................................................................................................................24
4.1.1. 数据预处理 ..............................................................................................................24
4.1.2. 数据向量化 ..............................................................................................................25
4.1.3. Prompt 设计 ..............................................................................................................27
