在 ChatGPT 的核心團(tuán)隊(duì)中，不乏清華大學(xué)畢業(yè)進(jìn)入 OpenAI 的開發(fā)者，就在 GPT-4 發(fā)布的同一天，清華大學(xué)頂尖的 NLP 團(tuán)隊(duì)，也公開了自研的類 ChatGPT 的大模型 —— 中英雙語(yǔ)對(duì)話模型 ChatGLM-6B，初具問答和對(duì)話功能，現(xiàn)已開啟邀請(qǐng)制內(nèi)測(cè)，后續(xù)還會(huì)逐步擴(kuò)大內(nèi)測(cè)范圍。

圖片來自網(wǎng)絡(luò)/侵刪

　　官方博客中提到，這是一個(gè)初具問答和對(duì)話功能的千億中英語(yǔ)言模型，并針對(duì)中文進(jìn)行了優(yōu)化。該模型基于 General Language Model(GLM)架構(gòu)，具有 62 億參數(shù)。結(jié)合模型量化技術(shù)，用戶可以在消費(fèi)級(jí)的顯卡上進(jìn)行本地部署(INT4 量化級(jí)別下最低只需 6GB 顯存)。ChatGLM-6B 使用了和 ChatGLM 相同的技術(shù)，針對(duì)中文問答和對(duì)話進(jìn)行了優(yōu)化。經(jīng)過約 1T 標(biāo)識(shí)符的中英雙語(yǔ)訓(xùn)練，輔以監(jiān)督微調(diào)、反饋?zhàn)灾⑷祟惙答亸?qiáng)化學(xué)習(xí)等技術(shù)的加持，62 億參數(shù)的 ChatGLM-6B 雖然規(guī)模不及千億模型，但大大降低了推理成本，提升了效率，并且已經(jīng)能生成相當(dāng)符合人類偏好的回答。

　　具體來說，ChatGLM-6B 具備以下特點(diǎn)：

　　充分的中英雙語(yǔ)預(yù)訓(xùn)練：ChatGLM-6B 在 1:1 比例的中英語(yǔ)料上訓(xùn)練了 1T 的 token 量，兼具雙語(yǔ)能力。

　　優(yōu)化的模型架構(gòu)和大?。何?GLM-130B 訓(xùn)練經(jīng)驗(yàn)，修正了二維 RoPE 位置編碼實(shí)現(xiàn)，使用傳統(tǒng) FFN 結(jié)構(gòu)。6B(62 億)的參數(shù)大小，也使得研究者和個(gè)人開發(fā)者自己微調(diào)和部署 ChatGLM-6B 成為可能。

　　較低的部署門檻：FP16 半精度下，ChatGLM-6B 需要至少 13 GB 的顯存進(jìn)行推理，結(jié)合模型量化技術(shù)，這一需求可以進(jìn)一步降低到 10GB(INT8)和 6GB(INT4)，使得 ChatGLM-6B 可以部署在消費(fèi)級(jí)顯卡上。

　　更長(zhǎng)的序列長(zhǎng)度：相比 GLM-10B(序列長(zhǎng)度 1024)，ChatGLM-6B 序列長(zhǎng)度達(dá) 2048，支持更長(zhǎng)對(duì)話和應(yīng)用。

　　人類意圖對(duì)齊訓(xùn)練：使用了監(jiān)督微調(diào)(Supervised Fine-Tuning)、反饋?zhàn)灾?Feedback Bootstrap)、人類反饋強(qiáng)化學(xué)習(xí)(RLHF)等方式，使模型初具理解人類指令意圖的能力。輸出格式為 markdown，方便展示。

　　因此，ChatGLM-6B 具備了一定條件下較好的對(duì)話與問答能力。當(dāng)然，ChatGLM-6B 也有相當(dāng)多已知的局限和不足：

　　模型容量較?。?6B 的小容量，決定了其相對(duì)較弱的模型記憶和語(yǔ)言能力。在面對(duì)許多事實(shí)性知識(shí)任務(wù)時(shí)，ChatGLM-6B 可能會(huì)生成不正確的信息;她也不擅長(zhǎng)邏輯類問題(如數(shù)學(xué)、編程)的解答。

　　可能會(huì)產(chǎn)生有害說明或有偏見的內(nèi)容： ChatGLM-6B 只是一個(gè)初步與人類意圖對(duì)齊的語(yǔ)言模型，可能會(huì)生成有害、有偏見的內(nèi)容。

　　較弱的多輪對(duì)話能力： ChatGLM-6B 的上下文理解能力還不夠充分，在面對(duì)長(zhǎng)答案生成，以及多輪對(duì)話的場(chǎng)景時(shí)，可能會(huì)出現(xiàn)上下文丟失和理解錯(cuò)誤的情況。

　　英文能力不足： 訓(xùn)練時(shí)使用的指示大部分都是中文的，只有一小部分指示是英文的。因此在使用英文指示時(shí)，回復(fù)的質(zhì)量可能不如中文指示的回復(fù)，甚至與中文指示下的回復(fù)矛盾。

　　易被誤導(dǎo)： ChatGLM-6B 的“自我認(rèn)知”可能存在問題，很容易被誤導(dǎo)并產(chǎn)生錯(cuò)誤的言論。例如當(dāng)前版本模型在被誤導(dǎo)的情況下，會(huì)在自我認(rèn)知上發(fā)生偏差。即使該模型經(jīng)過了 1 萬(wàn)億標(biāo)識(shí)符(token)左右的雙語(yǔ)預(yù)訓(xùn)練，并且進(jìn)行了指令微調(diào)和人類反饋強(qiáng)化學(xué)習(xí)(RLHF)，但是因?yàn)槟Ｐ腿萘枯^小，所以在某些指示下可能會(huì)產(chǎn)生有誤導(dǎo)性的內(nèi)容。

　　該團(tuán)隊(duì)稱，一直在探索、嘗試和努力，GLM 系列模型取得了一絲進(jìn)展，但離國(guó)際頂尖大模型研究和產(chǎn)品(比如 OpenAI 的 ChatGPT 及下一代 GPT 模型)都還有明顯差距。中國(guó)大模型研究在原創(chuàng)算法、AI 芯片和產(chǎn)業(yè)上的追趕與突破需要大家的一起努力，更需要我們對(duì)下一代 AI 人才的培養(yǎng)與鍛煉。
　?。?a href="http://www.rzslsm.com">碼上科技）

微軟GitHub發(fā)布Copilot ...

聯(lián)想宣布將與英偉達(dá)聯(lián)合...