主題

知識(shí)點(diǎn)

第一節(jié)：主流大模型應(yīng)用介紹和模型間的商業(yè)集成

典型大模型比較

1. GPT-4（OpenAI）

2. Claude（Anthropic）

3. Gemini（Google）

4. Llama（Meta）

5. QWen（阿里）

6. Coze（字節(jié)跳動(dòng)）

7. DeepSeek（深度求索-幻方量化）

大模型整體技術(shù)闡述：主流技術(shù)、小眾技術(shù)有哪些

基于Transformer架構(gòu)和支持復(fù)雜上下文理解

大模型的量化壓縮

GPT4的多模態(tài)能力（文本、圖像輸入）、邏輯推理、長(zhǎng)文本生成。

GPT4應(yīng)用場(chǎng)景建議：對(duì)話系統(tǒng)、內(nèi)容創(chuàng)作、數(shù)據(jù)分析、教育

Claude的安全性和倫理對(duì)齊，支持超長(zhǎng)上下文（最高支持200k tokens）

Claude的Constitutional AI框架特點(diǎn)

Claude應(yīng)用場(chǎng)景建議：法律文檔分析、長(zhǎng)文本總結(jié)、合規(guī)性審核

Gemini原生多模態(tài)（文本、圖像、視頻、代碼）和高性能推理

Gemini的TPU優(yōu)化訓(xùn)練，支持實(shí)時(shí)多模態(tài)交互。

Gemini應(yīng)用場(chǎng)景建議：跨媒體內(nèi)容生成、科研數(shù)據(jù)分析、編程輔助

Llama區(qū)別于GPT4的重要做法：開(kāi)源可商用，70B參數(shù)規(guī)模，支持微調(diào)

Llama社區(qū)驅(qū)動(dòng)優(yōu)化思路

Llama應(yīng)用場(chǎng)景建議：企業(yè)私有化部署、學(xué)術(shù)研究、定制化AI服務(wù)

QWen的中文優(yōu)化，行業(yè)垂類模型（如法律、醫(yī)療），支持插件擴(kuò)展

QWen應(yīng)用場(chǎng)景推薦：電商客服、金融風(fēng)控、智慧城市

Coze的低代碼AI Agent開(kāi)發(fā)平臺(tái)，多模態(tài)交互，工作流編排

Coze應(yīng)用場(chǎng)景建議：智能客服、自動(dòng)化流程、游戲NPC交互

Coze的插件市場(chǎng)、可視化流程設(shè)計(jì)器、多模型調(diào)度（支持集成第三方模型）的實(shí)踐

DeepSeek的數(shù)學(xué)、中文問(wèn)答、CoT、代碼生成等方向的sota做法，長(zhǎng)上下文優(yōu)化

DeepSeek的MoE架構(gòu)，在R1、V3兩個(gè)不同模型上的對(duì)比技術(shù)亮點(diǎn)

DeepSeek應(yīng)用場(chǎng)景建議：一般性問(wèn)答、金融數(shù)據(jù)分析、科研計(jì)算、教育解題

DeepSeek與火山Coze的商用集成方案

插件開(kāi)發(fā)、工作流開(kāi)發(fā)、觸發(fā)器配置

通過(guò)插件擴(kuò)展Coze與DeepSeek的交互能力

調(diào)用DeepSeek的數(shù)學(xué)引擎處理數(shù)據(jù)

接口封裝：將DeepSeek的API封裝為Coze插件（如REST API適配）

權(quán)限控制：在Coze平臺(tái)配置API密鑰與訪問(wèn)權(quán)限

調(diào)用DeepSeek-Math處理用戶輸入的財(cái)務(wù)數(shù)據(jù)

調(diào)用DeepSeek生成Python腳本并返回結(jié)果到Coze對(duì)話流

在Coze中通過(guò)可視化工具串聯(lián)DeepSeek與其他服務(wù)（如數(shù)據(jù)庫(kù)、第三方API）。

用戶輸入觸發(fā)：用戶通過(guò)Coze聊天界面提問(wèn)（如“計(jì)算公司季度增長(zhǎng)率”）

數(shù)據(jù)預(yù)處理：Coze調(diào)用插件從數(shù)據(jù)庫(kù)提取原始數(shù)據(jù)

調(diào)用DeepSeek：將數(shù)據(jù)發(fā)送至DeepSeek進(jìn)行數(shù)學(xué)建模。

結(jié)果渲染：DeepSeek返回計(jì)算結(jié)果，Coze生成可視化圖表并反饋給用戶

定時(shí)觸發(fā)：每日自動(dòng)生成銷售報(bào)告（調(diào)用DeepSeek分析數(shù)據(jù)）

條件觸發(fā)：當(dāng)用戶提問(wèn)包含“計(jì)算”“公式”等關(guān)鍵詞時(shí)，自動(dòng)路由到DeepSeek處理

API觸發(fā)：外部系統(tǒng)通過(guò)Webhook觸發(fā)Coze工作流（如ERP系統(tǒng)請(qǐng)求庫(kù)存預(yù)測(cè)）

通過(guò)Coze的權(quán)限管理限制DeepSeek訪問(wèn)敏感數(shù)據(jù)

對(duì)DeepSeek的API請(qǐng)求做緩存（如高頻計(jì)算問(wèn)題結(jié)果緩存）

在Coze中設(shè)置異步調(diào)用，避免長(zhǎng)流程阻塞。

第二節(jié)：技術(shù)對(duì)比和主流開(kāi)源大模型選型

1.1 模型選擇

·?Deepseek-R1?(7B/67B)：中文領(lǐng)域表現(xiàn)SOTA，支持長(zhǎng)上下文推理

·?Llama-3?(8B/70B)：Meta最新開(kāi)源模型，多語(yǔ)言通用底座

·?Mistral-8x7B：MoE架構(gòu)標(biāo)桿，推理效率提升3倍

·?Qwen-72B：阿里千問(wèn)開(kāi)源版，金融法律領(lǐng)域微調(diào)能力強(qiáng)

1.2 基礎(chǔ)環(huán)境搭建實(shí)操

·?硬件要求：至少24GB顯存（如RTX 3090/A10） + 64GB內(nèi)存

·?軟件依賴：

o?CUDA 12.1 + cuDNN 8.9

o?PyTorch 2.2 + Transformers 4.38

o?FlashAttention-2加速庫(kù)

o?關(guān)鍵配置：LD_LIBRARY_PATH添加cuda路徑，設(shè)置PYTORCH_CUDA_ALLOC_CONF防止顯存碎片

第三節(jié)：大模型辦公效率提升和提示詞Prompt技巧

?

?

DeepSeek應(yīng)用

AI工具對(duì)個(gè)人與企業(yè)影響

DeepSeek與Llama3、Qwen的對(duì)比

DeepSeek網(wǎng)頁(yè)版與本地版功能對(duì)比

7B小模型與32B模型功能對(duì)比

DeepSeek角色扮演，打造不同領(lǐng)域的專屬AI顧問(wèn)

PPT中AI智能應(yīng)用

AI自動(dòng)排版

AI自動(dòng)搜圖

DeepSeek輔助PPT創(chuàng)意構(gòu)思

DeepSeek融合專業(yè)PPT應(yīng)用工具

DeepSeek關(guān)聯(lián)PPT智能插件應(yīng)用

Excel中的AI智能數(shù)據(jù)魔法

AI自動(dòng)分析、格式化

AI自動(dòng)圖表、透視表

DeepSeek輔助Excel深度數(shù)據(jù)分析

DeepSeek函數(shù)編寫(xiě)“神助攻”，助力函數(shù)菜鳥(niǎo)成高手

DeepSeek編寫(xiě)VBA代碼，讓零基礎(chǔ)寫(xiě)代碼變得簡(jiǎn)單高效

將工作表數(shù)據(jù)拆分成多個(gè)工作表

將工作表數(shù)據(jù)拆分成多個(gè)工作簿

將多個(gè)工作表數(shù)據(jù)合并成一個(gè)工作表

多個(gè)工作簿中的工作表保存到一個(gè)工作簿

ChatGPT助力Excel自動(dòng)化實(shí)戰(zhàn)

DeepSeek創(chuàng)意枯竭時(shí)的靈感源泉

營(yíng)銷文案、工作報(bào)告、創(chuàng)意寫(xiě)作的生成案例

DeepSeek快速精準(zhǔn)地提煉文檔信息

DeepSeek助力文檔智能糾錯(cuò)與優(yōu)化建議

DeepSeek助力學(xué)術(shù)論文撰寫(xiě)得力助手

第四節(jié)：本地大模型私有化部署

2.1 Deepseek-R1部署流程

1.?模型獲取：

o?通過(guò)HuggingFace官方倉(cāng)庫(kù)申請(qǐng)權(quán)限

o?下載deepseek-r1-7b-base的safetensors格式權(quán)重

2.?推理服務(wù)啟動(dòng)

o?關(guān)鍵參數(shù)trust_remote_code、max_model_len等的講解

o?解釋器多種啟動(dòng)服務(wù)方式對(duì)比

3.?服務(wù)驗(yàn)證

o?代碼調(diào)用

o?服務(wù)API的參數(shù)設(shè)置

2.2 Llama-3-8B快速部署

1.?量化加速

o?FP8的特點(diǎn)

o?對(duì)比Deepseek原論文中量化章節(jié)的解讀

2.?REST API調(diào)用：

o?深度學(xué)習(xí)系統(tǒng)部署的常用方式

o?針對(duì)AI算法的部署框架

第五節(jié)：大模型行業(yè)數(shù)據(jù)的微調(diào)和模型訓(xùn)練

3.1 Deepseek-R1金融領(lǐng)域微調(diào)

1.?數(shù)據(jù)準(zhǔn)備：

o?格式：JSONL文件，每條含instruction/input/output

o?數(shù)據(jù)源：財(cái)報(bào)、券商研報(bào)、金融問(wèn)答對(duì)、運(yùn)營(yíng)商問(wèn)答對(duì)、意圖識(shí)別數(shù)據(jù)

o?關(guān)鍵處理：使用SentencePiece重組專業(yè)術(shù)語(yǔ)tokenization

2.?QLoRA訓(xùn)練配置

o?微調(diào)在大模型中的常用方法

o?多種LoRA方式的對(duì)別

3.?啟動(dòng)訓(xùn)練

o?顯存優(yōu)化

o?GPU并行

3.2 探討適合微調(diào)的場(chǎng)景

o?闡述項(xiàng)目中RAG模式和LoRA模式的選擇

第六節(jié)：基于DeepSeek私有化代碼編程

本地化模型部署

模型獲取與安裝

DeepSeek獲取私有化模型安裝包，模型文件（權(quán)重+配置文件）

硬件選型：GPU算力、內(nèi)存、存儲(chǔ)，并安裝依賴環(huán)境CUDA、Docker、Python庫(kù)

服務(wù)器內(nèi)網(wǎng)環(huán)境管理和必要的設(shè)置

開(kāi)發(fā)工具本地化集成、IDE插件適配

Cursor、CodeGPT等工具配置，模型調(diào)用指向DeepSeek API，禁用云端服務(wù)

搭建本地模型服務(wù)（RESTful API或gRPC）

離線依賴管理：搭建私有倉(cāng)庫(kù)

禁用外部數(shù)據(jù)傳輸，關(guān)閉開(kāi)發(fā)工具自動(dòng)更新、云同步功能

對(duì)模型文件、代碼庫(kù)進(jìn)行加密存儲(chǔ)，記錄所有模型調(diào)用日志

記錄用戶操作（如模型調(diào)用、代碼提交）

確定DeepSeek的離線更新流程，及時(shí)模型補(bǔ)丁

第七節(jié)：自定義知識(shí)問(wèn)答

4.1研報(bào)文檔自動(dòng)生成系統(tǒng)

架構(gòu)設(shè)計(jì)：

1.?數(shù)據(jù)層：Wind API實(shí)時(shí)獲取宏觀指標(biāo) + PDF解析模塊

2.?推理層：

o?Deepseek-R1作為生成核心

o?Mistral-8x7B進(jìn)行事實(shí)核查

3.?評(píng)估層：

o?Rouge-L評(píng)估內(nèi)容一致性

o?FinBERT檢測(cè)財(cái)務(wù)數(shù)據(jù)矛盾

以部署拓?fù)淅砬逭w脈絡(luò)

常規(guī)分析、復(fù)雜計(jì)算、數(shù)據(jù)采集、向量數(shù)據(jù)庫(kù)、路由決策、Deepseek-R1/Mistral-8x7B、合規(guī)審查、PDF輸出

4.2 業(yè)務(wù)領(lǐng)域的對(duì)話系統(tǒng)（根據(jù)具體需要選擇智能投顧、套餐產(chǎn)品等）

關(guān)鍵技術(shù)點(diǎn)：

1.?RAG增強(qiáng)：

o?使用LlamaIndex構(gòu)建行業(yè)知識(shí)圖譜

o?FAISS向量庫(kù)實(shí)現(xiàn)百萬(wàn)級(jí)文檔秒級(jí)檢索

2.?記憶管理：

o?緩存最近輪次的對(duì)話摘要

o?采用CoT（Chain-of-Thought）提示工程技術(shù)

3.?風(fēng)控?cái)r截：

o?關(guān)鍵詞過(guò)濾（如“保證收益”、“100%”等違規(guī)表述）

o?置信度閾值設(shè)定（softmax概率<0.7時(shí)觸發(fā)人工接管）

第八節(jié)：上線前的大模型系統(tǒng)優(yōu)化

5.1 性能加速方案

·?量化壓縮：

o?GPTQ 4bit量化使模型體積減少70%

o?采用DeepseekV3提出的MTP技術(shù)實(shí)現(xiàn)tokens

·?緩存策略：

o?KV Cache分塊存儲(chǔ)，降低重復(fù)計(jì)算

o?高頻問(wèn)題回答預(yù)生成

5.2 監(jiān)控體系建設(shè)

1.?業(yè)務(wù)指標(biāo)：

o?平均響應(yīng)時(shí)間<2.5s

o?意圖識(shí)別準(zhǔn)確率>92%

2.?模型指標(biāo)：

o?PPL（困惑度）波動(dòng)監(jiān)控

o?Attention熵值異常檢測(cè)

3.?硬件監(jiān)控：

o?GPU利用率>85%時(shí)自動(dòng)擴(kuò)容

o?顯存泄漏預(yù)警機(jī)制