隨著ChatGPT登臺(tái)亮相，從科技從業(yè)者，到投資圈，再到普羅大眾，越來越多人再次關(guān)注到了“過氣”的AI，及其所能帶來的價(jià)值和改變。

商業(yè)界也的確源源不斷貢獻(xiàn)著更多新的素材：OpenAI和微軟的聯(lián)姻讓性能提升、成本降低成為可能；Google、Meta窮追不舍更新動(dòng)作；國內(nèi)，百度、字節(jié)、騰訊等大廠，以及眾多創(chuàng)業(yè)公司，都開始從自己擅長的角度切入競爭……

為了幫助讀者能夠持續(xù)關(guān)注由ChatGPT引發(fā)的科技圈海嘯，36氪推出「Chat AI」欄目，從中立的第三方視角，探索、分析每一次熱點(diǎn)背后的商業(yè)觀點(diǎn)。

(資料圖片僅供參考)

作者 | 沈筱、王與桐

不久前，OpenAI開放的ChatGPT模型API已經(jīng)以顯著的成本優(yōu)勢(shì)驚艷了眾人。

而OpenAI的胃口已經(jīng)越來越大。今天凌晨，OpenAI以Twitter和YouTube為宣傳渠道，公布了又一個(gè)重磅消息如約而至——GPT-4上線。

Youtube觀看量已經(jīng)突破110萬

目前，ChatGPT PLUS用戶已經(jīng)能夠提前嘗鮮；同時(shí)，GPT-4的模型API也已對(duì)部分開發(fā)者開放。

OpenAI將在2023年發(fā)布GPT-4的籌謀早已是公開的秘密，但塵埃落定后，一些答案浮出水面，一些答案卻“點(diǎn)到為止”。

多模態(tài)、圖像處理、真實(shí)性等等特點(diǎn)，是GPT4公開的答案；而關(guān)于數(shù)據(jù)集規(guī)模、參數(shù)規(guī)模等，OpenAI卻并沒有回復(fù)此前大家的猜想。

行能提升的背后，也是商業(yè)競爭的進(jìn)一步白熱化。

01What differences make GPT-4 different

GPT-4究竟有何不同？總的來看，模型在圖像理解、文本處理、安全性和事實(shí)性提升等方面實(shí)現(xiàn)了多點(diǎn)開花。

正如3月9日微軟德國 CTO Andreas Braun對(duì)外宣稱的，GPT-4是一個(gè)多模態(tài)模型。

盡管GPT-4沒有和人們預(yù)料的一樣，可以支持視頻、音頻等輸入方式，但是，支持圖像輸入已經(jīng)成為板上釘釘?shù)氖聦?shí)。也就是說，GPT-4附帶了圖像理解能力，可以對(duì)圖像內(nèi)容作出說明、進(jìn)行分類和分析。但目前，OpenAI還在和合作伙伴「Be My Eyes」共同測(cè)試該能力，因此尚未對(duì)OpenAI所有客戶開放。

除了這一“理所當(dāng)然”的變化，GPT-4在文本處理方面的能力又有了較大提升。一方面，GPT-4能夠處理的文本長度增加了；另一方面，GPT-4的文本記憶能力增加了。

據(jù)介紹，GPT-4可以處理超過 25,000 個(gè)單詞的文本，這一數(shù)字約為ChatGPT的8倍。這也意味著GPT-4可以執(zhí)行的任務(wù)場(chǎng)景得以拓展——可以支持格式內(nèi)容創(chuàng)建、擴(kuò)展對(duì)話以及文檔搜索和分析等。

同時(shí)，GPT-4 支持的最大token數(shù)量為 32,768，相當(dāng)于64,000個(gè)單詞或 50 頁文字。相比之下，GPT-3.5 和上一版ChatGPT 的token限制為4,096 個(gè)，大約 8,000個(gè)單詞。因此，在對(duì)話時(shí)，GPT-4能夠記住更多的聊天內(nèi)容，降低重復(fù)回答或者“神游”的可能性；在生成長文時(shí)，連續(xù)性也會(huì)更強(qiáng)。

就上述兩個(gè)改進(jìn)而言，有業(yè)內(nèi)人士分析，其究竟能夠在應(yīng)用層產(chǎn)生多大的威力，需分情況討論。據(jù)悉，圖像理解能力的提升，從理論上來講，是比較大的突破。但其是否能夠在各類場(chǎng)景中得到廣泛應(yīng)用，還取決于不同場(chǎng)景下的具體業(yè)務(wù)邏輯。需要對(duì)業(yè)務(wù)進(jìn)行拆解后，進(jìn)一步甄別是否具有多模態(tài)理解的需求，以及如何接入這樣的能力。相比之下，文本處理能力的提升可能會(huì)在應(yīng)用層被更迅速地采納。

雖然GPT-4的上述改進(jìn)在應(yīng)用層能掀起何種波瀾仍未可知，但能夠確定的是，要想實(shí)現(xiàn)這樣的能力提升，GPT-4無論是在模型架構(gòu)、模型訓(xùn)練，還是迭代優(yōu)化路徑等各方面都會(huì)有一定的突破。

遺憾的是，由于本次OpenAI未在技術(shù)報(bào)告中透露有關(guān)模型參數(shù)、硬件、訓(xùn)練方法和訓(xùn)練數(shù)據(jù)量等細(xì)節(jié)，我們還無從得知，這些突破可能是什么。目前的已知努力是，OpenAI為了訓(xùn)練GPT-4，在過去兩年里聯(lián)合微軟在Azure云上重新搭建了一個(gè)專用的超算平臺(tái)。

此外，在技術(shù)層面，OpenAI其實(shí)也公布了一些看似不那么重要，卻是保障AI未來可以得到人類正確使用的關(guān)鍵突破。

例如，OpenAI構(gòu)建了可預(yù)測(cè)擴(kuò)展（predictable scaling）的深度學(xué)習(xí)堆棧，支持使用更少的計(jì)算量來評(píng)估模型訓(xùn)練性能，例如預(yù)測(cè)訓(xùn)練期間優(yōu)化的指標(biāo)（損失）。OpenAI表示，通過從使用相同方法訓(xùn)練，但使用萬分之一的計(jì)算量對(duì)模型訓(xùn)練性能進(jìn)行了推斷，準(zhǔn)確預(yù)測(cè)了 GPT-4 在其內(nèi)部代碼庫上的最終損失。

OpenAI將這一突破更多地聚焦于“安全性”——“我們認(rèn)為，準(zhǔn)確預(yù)測(cè)未來的機(jī)器學(xué)習(xí)能力是安全的重要組成部分，但相對(duì)于其潛在的影響，它并沒有得到足夠的關(guān)注(盡管我們受到了幾家機(jī)構(gòu)的鼓勵(lì))。我們正在加大努力開發(fā)方法，為社會(huì)提供更好的指導(dǎo)，了解未來系統(tǒng)的期望，我們希望這成為該領(lǐng)域的共同目標(biāo)?！?/p>

然而值得一提的是，有業(yè)內(nèi)人士告訴36氪，這其實(shí)也意味著模型訓(xùn)練正朝著更加科學(xué)、結(jié)果可預(yù)測(cè)的方向前進(jìn)，將有望減少不必要的資源浪費(fèi)。比如，如果預(yù)測(cè)訓(xùn)練性能不好，或許就沒必要使用更多的數(shù)據(jù)進(jìn)行訓(xùn)練了。但同時(shí)，該人士也指出，還需要關(guān)注實(shí)現(xiàn)這個(gè)功能的技術(shù)路徑，即對(duì)如何實(shí)現(xiàn)預(yù)測(cè)的詳細(xì)解釋。如果實(shí)現(xiàn)這樣的預(yù)測(cè)工程難度較大，說明其可能不具有普適性。

另外，在安全性提升方面，OpenAI還做了另一件事：花費(fèi)了6個(gè)月的時(shí)間對(duì)模型進(jìn)行了針對(duì)性的迭代優(yōu)化。當(dāng)然，迭代后的GPT-4在回答的準(zhǔn)確性、事實(shí)性、可操作性等多個(gè)方面也有了提升。

02 GPT3.5是PreGPT4，所以只要6個(gè)月

OpenAI表示，他們已經(jīng)在2022年8月就完成了模型訓(xùn)練，但是為了推出GPT4，又進(jìn)行了6個(gè)月的迭代，而迭代主要是針對(duì)ChatGPT此前飽受詬病的點(diǎn)，比如事實(shí)性不夠、風(fēng)格難以控制、信息隔離不夠好，等進(jìn)行了提升：“利用對(duì)抗性測(cè)試計(jì)劃和ChatGPT的經(jīng)驗(yàn)教訓(xùn)，迭代調(diào)整GPT-4，在事實(shí)性、可操縱性和拒絕走出護(hù)欄方面取得了有史以來最好的結(jié)果。”

盡管GPT4的整體訓(xùn)練時(shí)長我們不得而知，但模型性能提升主要是得益于模型之前的預(yù)訓(xùn)練過程，因此只花了6個(gè)月的時(shí)間。

在官網(wǎng)上，OpenAI迭代調(diào)整的提升比例，比如事實(shí)性這個(gè)功能里，“在我們的內(nèi)部對(duì)抗性事實(shí)評(píng)估中，GPT-4的得分比我們最新的GPT-3.5高40%”；在安全性角度，“與GPT-3.5相比，我們將模型響應(yīng)不允許內(nèi)容請(qǐng)求的趨勢(shì)降低了82%，GPT-4根據(jù)我們的政策響應(yīng)敏感請(qǐng)求（例如醫(yī)療建議和自我傷害）的頻率增加了29%”。

40%、82%、29%，這些數(shù)字背后，迭代調(diào)整的時(shí)間僅有6個(gè)月。

作為OpenAI設(shè)計(jì)的一系列模型中的第五個(gè)，此前此前還出現(xiàn)了GPT - 1、GPT - 2 、 GPT - 3、GPT-3.5，前三個(gè)分別官宣于2018、2019、2020，GPT3已經(jīng)出現(xiàn)了重大飛躍，參數(shù)是上一代的百倍，同時(shí)在商業(yè)上也表現(xiàn)出穩(wěn)定性和實(shí)用性（比如估值15億美元的JasperAI此前就使用的GPT3）。

此前OpenAI就曾表示，GPT3.5只是一個(gè)中間版本，或許叫“PreGPT4”會(huì)比“GPT3.5”更貼合，因?yàn)镚PT3.5在技術(shù)路線上與之前有較大差異，是基于人工標(biāo)注數(shù)據(jù)+強(qiáng)化學(xué)習(xí)的推理和生成。正如同ChatGPT最初是以“demo”形態(tài)被OpenAI推出，其原因也是為了測(cè)試在安全性、真實(shí)性等方面的改進(jìn)空間。

而GPT4的整體訓(xùn)練，在官網(wǎng)上，OpenAI僅用了幾段話作為簡單描述。抽象來看，主要是從幾個(gè)維度進(jìn)行了加強(qiáng)訓(xùn)練：

基礎(chǔ)模型訓(xùn)練：與之前的GPT模型一樣，使用公開數(shù)據(jù)（如互聯(lián)網(wǎng)數(shù)據(jù)）以及被許可的數(shù)據(jù)進(jìn)行訓(xùn)練。數(shù)據(jù)語料庫里包括數(shù)學(xué)問題的正確和不正確的解決方案，弱而強(qiáng)烈的推理，自相矛盾和一致的陳述，并代表了各種各樣的意識(shí)形態(tài)和想法。 人工反饋強(qiáng)化學(xué)習(xí)（RLHF）微調(diào)模型：GPT-4具有與以前的模型類似的風(fēng)險(xiǎn)，例如產(chǎn)生有害的建議、錯(cuò)誤代碼或不準(zhǔn)確的信息。為了了解風(fēng)險(xiǎn)程度，OpenAI聘請(qǐng)了來自人工智能對(duì)齊風(fēng)險(xiǎn)、網(wǎng)絡(luò)安全、生物風(fēng)險(xiǎn)、信任和安全以及國際安全等領(lǐng)域的50多名專家來對(duì)抗性地測(cè)試該模型。GPT-4在RLHF培訓(xùn)期間納入了額外的安全獎(jiǎng)勵(lì)信號(hào)，通過培訓(xùn)模型拒絕此類內(nèi)容的請(qǐng)求來減少有害輸出。為了防止模型拒絕有效請(qǐng)求，OpenAI從各種來源（例如，標(biāo)記生產(chǎn)數(shù)據(jù)、人類紅色組合、模型生成的提示）收集不同的數(shù)據(jù)集，并在允許和不允許的類別上應(yīng)用安全獎(jiǎng)勵(lì)信號(hào)（具有正值或負(fù)值）。 可預(yù)測(cè)深度學(xué)習(xí)堆棧：GPT-4項(xiàng)目的一大重點(diǎn)是構(gòu)建一個(gè)可預(yù)測(cè)的深度學(xué)習(xí)堆棧。由于GPT4模型更大， 因此如果用以往的方式把模型放在數(shù)據(jù)里跑一次，時(shí)間和計(jì)算成本都更高，而GPT4采用了新的方式，只需要用萬分之一的計(jì)算量就可以預(yù)測(cè)出準(zhǔn)確率。

GPT4能用萬分之一計(jì)算量就可以預(yù)測(cè)出準(zhǔn)確率

OpenAI這次也提供了一個(gè)官方的論文來解釋相關(guān)的功能和訓(xùn)練過程，但是關(guān)于具體的比如數(shù)據(jù)集規(guī)模、參數(shù)規(guī)模等都沒有透露。雖然也提供了一個(gè)開源工具“Evals”，但這是為了讓更多開發(fā)者給GPT4提建議的，而并非共享的。

這并不符合以往OpenAI的作風(fēng)，也似乎與OpenAI創(chuàng)始人Sam Altman此前說到的OpenAI成立之初的愿景——AGI，讓更多的人使用AI技術(shù)，并從中獲利——并不相符。

03諱莫如深的背后

對(duì)具體參數(shù)和規(guī)模緘口不言，背后的原因可以從兩個(gè)方向分析：技術(shù)角度和商業(yè)角度，都要建立壁壘。

在GPT4公布前，不少人判斷GPT4將是百萬億大模型，比此前GPT3.5的千億大模型還要多100倍量級(jí)。但同樣也在GPT4公布前，Altman也親自下場(chǎng)辟謠，他表示，GPT-4的參數(shù)量不會(huì)大很多，但可能會(huì)用到更多的計(jì)算資源。在此前的分析文章中，36氪也有提到，這可能意味著OpenAI正在尋求其他創(chuàng)新性地提升模型能力的路徑，而非一味求大。

但Altman同時(shí)也表示，GPT4模型還是以文本訓(xùn)練為主。但目前來看，GPT4并不是僅僅以本文為主，已經(jīng)能夠支持圖片、視頻等多種交互方式。這從側(cè)面或許證明，Altman的“辟謠”或許并不是真的“辟謠”，外界的猜測(cè)，有可能是真的——的確在規(guī)模上有了更大、更令人難以想象的突破。

不少人猜測(cè)，雖然并沒有達(dá)到百萬級(jí)別，但會(huì)落在 1 萬億或 10 萬億參數(shù)范圍內(nèi)。相關(guān)分析指出，在這樣的情況下，模型可能會(huì)受益于稀疏網(wǎng)絡(luò)（sparse networks）的使用，以獲得更好的模型擴(kuò)展性。也就是說，OpenAI或?qū)⒁酝芗W(wǎng)絡(luò)（densenetworks）方法改為稀疏網(wǎng)絡(luò)，并開發(fā)新的訓(xùn)練算法。同時(shí)，使用稀疏網(wǎng)絡(luò)也可能導(dǎo)致模型架構(gòu)的變化—— GPT-4 或許具有神經(jīng)形態(tài)架構(gòu)，即類似于人腦，可以根據(jù)需要適時(shí)激活特定部分的任務(wù)執(zhí)行區(qū)域。

在技術(shù)壁壘的不斷加深的背后，OpenAI此次對(duì)參數(shù)和技術(shù)細(xì)節(jié)緘口不言、諱莫如深的態(tài)度，或許來源于他們不想再被“抄”下去了，也要進(jìn)一步在商業(yè)上建立自己的壁壘。技術(shù)細(xì)節(jié)披露越多，能夠與OpenAI比拼的角度就會(huì)更多。

不過，也有從業(yè)者認(rèn)為，OpenAI或許是出于安全負(fù)責(zé)的考慮，才沒有披露具體細(xì)節(jié)，后續(xù)可能會(huì)公布。

但無論從什么角度考慮，壁壘的建立都是箭在弦上。畢竟，以Google、Meta為代表的大廠已經(jīng)虎視眈眈許久，并且炮火聲在最近越來越響：

今天，在GPT4推出之后，Google開放自家的大語言模型 API 「PaLM API」，此外還發(fā)布了一款幫助開發(fā)者快速構(gòu)建 AI 程序的工具 MakerSuite。

Google開放其API接口

3月，Google推出PaLM-E，其擁有5620億參數(shù)，是GPT-3的三倍多，號(hào)稱史上最大規(guī)模視覺語言模型。 2月底，Meta突然公布了一款全新的AI大型語言模型LLaMA，宣稱可幫助研究人員降低生成式AI工具可能帶來的“偏見、有毒評(píng)論、產(chǎn)生錯(cuò)誤信息的可能性”等問題。并且僅用約1/10的參數(shù)規(guī)模，實(shí)現(xiàn)了匹敵OpenAI GPT-3、DeepMind Chinchilla、谷歌PaLM等主流大模型的性能表現(xiàn)。 此前，百度高調(diào)官宣會(huì)在3月16日上線文心一言。

開放API接口、用更低的參數(shù)、用更高的參數(shù)……參與者們都在尋找更適合的角度，想要與OpenAI及其“爸爸”微軟，正面競爭。

或許這也是OpenAI著急將GPT4推出的重要原因——你們還在圍繞我的3.5比拼，而我已經(jīng)跳到下一階段了。這無疑能夠幫助OpenAI依舊當(dāng)仁不讓成為“AI引領(lǐng)者”。

當(dāng)下，由ChatGPT引發(fā)的系列討論熱度在持續(xù)升高，其中比較主流的討論，集中在成本和模型規(guī)模兩個(gè)維度。

一方面，在3月初，OpenAI以每1000個(gè)tokens0.002美元的價(jià)格開放了API接口，是原本價(jià)格的十分之一。如此低廉的價(jià)格，或許會(huì)將吸引絕大多數(shù)應(yīng)用層伙伴，OpenAI得以建立自己的生態(tài)。而生態(tài)不僅是未來商業(yè)變現(xiàn)的根據(jù)地，更是反復(fù)強(qiáng)化訓(xùn)練的數(shù)據(jù)來源，因此，當(dāng)GPT系列成本足夠低時(shí)，將擠占其他互聯(lián)網(wǎng)大廠的生態(tài)。

對(duì)于全球所有模型層的公司來說，都在思考還要不要繼續(xù)做、怎么做才能讓自己成本更低；對(duì)于所有應(yīng)用層的公司來說，都希望可以以如此低的接入成本，成為不同領(lǐng)域的“Jaseper”。

另一方面，到底需不需要如此大的模型，也成為業(yè)內(nèi)討論的話題之一。不少人認(rèn)為，如果能夠?qū)崿F(xiàn)相同的效果，用更大的模型訓(xùn)練就是浪費(fèi)資源。

但此刻看來，必要不充分條件依舊成立：雖然模型不是越大越好，但是更好地效果實(shí)現(xiàn)，還是必須得有更大的模型。

此刻，OpenAI的GPT4再次甩開了自以為能夠與其競爭的“競爭者們”。未來，OpenAI一定會(huì)以更低的價(jià)格繼續(xù)開放更好的模型，那時(shí)AI格局或許已經(jīng)不會(huì)再出現(xiàn)變化了。

明天，百度文心一言會(huì)上線，36氪也將繼續(xù)關(guān)注。

相關(guān)鏈接：

ChatGPT模型API接口1折開放，全球AI格局巨變進(jìn)行時(shí) |Chat AI

ChatGPT走紅背后：苦熬五年，三次AI路線迭代｜Chat AI

Chat AI | 最快月活過億，但ChatGPT或終將被開源打敗

ChatGPT背后：一個(gè)天才、百億融資和1億月活 | 全球獨(dú)角獸

5月，36氪將舉辦“顛覆AIGC”主題峰會(huì)

關(guān)鍵詞：