主題

知識點

第一節(jié)：大模型智能體技術(shù)原理詳解

（1）基本原理講解

Agent模式涉及的不同大模型的選型

Agent感知環(huán)境、自主決策和生成行為的方式和思路

強化學(xué)習(xí)的思路和Agent模式

Agent的組成：感知、執(zhí)行、規(guī)劃、反饋

對Agent環(huán)境感知與理解

提示詞中任務(wù)拆解和狀態(tài)表達(dá)

Agent的Plan執(zhí)行步驟

Agent的Evaluate風(fēng)險與收益

Agent的Decision與Plan關(guān)系

Agent的Act執(zhí)行與Reply

多Agent協(xié)作

使用大模型做Agent模式的實例

反饋機制的使用

（2）典型應(yīng)用場景舉例，以及技術(shù)實現(xiàn)

智能會議助手、文檔自動摘要軟件

介紹自動生成報告、郵件的工具及其應(yīng)用場景

高級信息檢索與知識圖譜應(yīng)用

自動代碼生成與程序缺陷檢測軟件

圖像識別、視頻監(jiān)控分析

自動化圖形設(shè)計與創(chuàng)意輔助系統(tǒng)

（3）利用智能體如何解決復(fù)雜問題

案例：大模型代理模式的使用

案例：給定提示詞生成報告

案例：給定提示詞生成長文本報告

第二節(jié)：智能體技術(shù)實戰(zhàn)

?

智能體解決復(fù)雜任務(wù)的思路

案例：特定格式的報告生成

案例：提示詞失效和如何調(diào)整

案例：CoT方式和大模型問答實操

案例：表格問題的處理

案例：作圖問題的處理

案例：報告生成和按照要求長度做修正

綜合：提示詞的書寫

綜合：Agent感知環(huán)境、自主決策和生成行為的使用

第三節(jié)：多模態(tài)技術(shù)實戰(zhàn)

?

?

多模態(tài)技術(shù)的內(nèi)核思想

案例：對比單模態(tài)下同樣問題的輸出差異

案例：圖像在多模態(tài)中的作用

案例：大模型角色扮演的實現(xiàn)

案例：雙智能體的對比對話場景下多模態(tài)實戰(zhàn)

案例：多智能體角色扮演中多模態(tài)場景實戰(zhàn)

第四節(jié)：LLM的知識學(xué)習(xí)和openaAI API的使用

（1）LLM的知識學(xué)習(xí)

智能代理、知識表示、推理與搜索

對Self-Attention的快速理解

對Transformer模型的快速理解

對Encoder得到的BERT原理快速解釋

對Decoder得到的GPT原理快速解釋

對比知識圖譜-專家系統(tǒng)和大模型的差異和技術(shù)融合

深度學(xué)習(xí)對AI帶來的革命影響

（2）OpenaAI API的使用

注冊和使用合適合理的網(wǎng)絡(luò)方式調(diào)用API

使用API進(jìn)行問答的實現(xiàn)

API接口調(diào)用中的Temperature等若干參數(shù)的調(diào)參

根據(jù)MD進(jìn)行問答文本的過濾

其他API的調(diào)用方式

文心一言接口的注冊和調(diào)用方法實戰(zhàn)

通義千問接口的注冊和調(diào)用方法實戰(zhàn)

智譜清言接口的注冊和調(diào)用方法實戰(zhàn)

第五節(jié)：大語言模型LLM的本地部署

HuggingFace網(wǎng)站中的模型選擇

ModelScope網(wǎng)站中的模型選擇

文本信息提取方案

詞模型：詞嵌入、動態(tài)詞嵌入等相關(guān)技術(shù)拆解

Hugging Face重要API逐個分析和代碼案例解釋

ChatGLM簡介

大模型LLM服務(wù)部署整體思路

硬件選型與軟件配置的確定

TensorFlow、PyTorch的版本選擇

基座模型選擇

預(yù)訓(xùn)練大模型的選型：GPT-3、chatGLM4、BERT

架構(gòu)設(shè)計：定制模型的架構(gòu)

模型訓(xùn)練和微調(diào)模型的準(zhǔn)備需要注意的問題

模型評估與測試

BLEU分?jǐn)?shù)或ROUGE分?jǐn)?shù)

實踐：基于Hugging Face API的快速部署模型

案例：大模型實現(xiàn)運營商質(zhì)差中的部署（講師負(fù)責(zé)的某省分的實際項目）

第六節(jié)：大語言模型LLM的本地微調(diào)整體介紹

Prompt tuning與Fine tuning

構(gòu)建垂直領(lǐng)域大模型的通用思路和方法

PEFT(參數(shù)高效的微調(diào))

全量微調(diào)

大模型微調(diào)(Fine-tuning)

大模型微調(diào)技術(shù)原理揭秘

大模型高效微調(diào)技術(shù)Parameter-Efficient Fine-Tuning(PEFT)初探

Adapter Tuning

Prefix Tuning

Prompt Tuning

P-Tuning v1

P-Tuning v2

大模型輕量級高效微調(diào)方法LoRA

LoRA：Low-Rank Adaptation of LLMs

QLoRA： Efficient Finetuning of Quantized LLMs

AdaLoRA： Adaptive Budget Allocation for PEFT

Few-shot PEFT新方法 IA3： Better and Cheaper than In-Context Learning

統(tǒng)一微調(diào)框架UniPELT：Unified Framework for Parameter-Efficient LM Tuning