3月23日凌晨，英偉達(dá)創(chuàng)始人兼CEO黃仁勛與OpenAI聯(lián)合創(chuàng)始人兼首席科學(xué)家伊爾亞·蘇茨克維針對ChatGPT進(jìn)行了深入探討。伊爾亞·蘇茨克維指出，和之前版本相比，ChatGPT-4最大的提升在于更強大的神經(jīng)網(wǎng)絡(luò)功能，能通過邏輯推理對未來進(jìn)行預(yù)測。但ChatGPT-4目前的推理能力還沒有達(dá)到預(yù)期水平，如果能進(jìn)一步擴大數(shù)據(jù)庫，保持目前的商業(yè)運轉(zhuǎn)模型，其推理能力將會得到進(jìn)一步提升。

　　黃仁勛認(rèn)為，ChatGPT是AI界的“iPhone時刻”，但這一時刻的到來并非一蹴而就。

　　以下為中國電子報記者整理的本次對話內(nèi)容精華：

　　黃仁勛：近期，ChatGPT的熱潮讓AI獲得了全世界的關(guān)注，OpenAI作為研發(fā)者備受行業(yè)關(guān)注。為什么會決定聚焦AI深度學(xué)習(xí)領(lǐng)域?

　　伊爾亞·蘇茨克維：人工智能通過不斷的深度學(xué)習(xí)，給世界帶來了巨大的改變。對于個人而言，主要體現(xiàn)在兩方面：

　　首先，關(guān)注AI深度學(xué)習(xí)的初心在于，人類對于各種各樣的問題都有一定的直覺性理解。人類是如何通過智力完成這樣的預(yù)判，以及人類意識、人類體驗的如何進(jìn)行定義，使我非常感興趣。

　　其次，在2002年—2003年上大學(xué)期間，認(rèn)為“學(xué)習(xí)”這項技能，只有人類才能完成，計算機無法做到。可當(dāng)時突然冒出一個想法——如果讓計算機也能夠不斷學(xué)習(xí)，或許會為整個AI領(lǐng)域帶來改變。

　　我當(dāng)時的專業(yè)正好是研究神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)。神經(jīng)網(wǎng)絡(luò)是AI領(lǐng)域的一個非常重要的進(jìn)步，人們一直在探索如何通過神經(jīng)網(wǎng)絡(luò)去進(jìn)行深度學(xué)習(xí)，如何讓神經(jīng)網(wǎng)絡(luò)像人類的大腦一樣思考，以及如何將處理數(shù)據(jù)的能力反映到計算機的工作方式上。那時，我其實并不清楚研究這個領(lǐng)域的未來會怎樣，只是覺得長期來看很有前景。

　　黃仁勛：你曾說過，GPU將會影響接下來幾代人的生活，GPU可能會對深度學(xué)習(xí)的培訓(xùn)帶來幫助。你是在何時意識到這一點的?

　　伊爾亞·蘇茨克維：我們在多倫多實驗室中，第一次嘗試使用了GPU來培訓(xùn)深度學(xué)習(xí)，當(dāng)時并不清楚如何使用GPU，以及如何讓GPU獲得真正的關(guān)注。但隨著我們獲得的數(shù)據(jù)集越來越多，我們也越來越清楚，這將會為傳統(tǒng)模型帶來的優(yōu)勢。我們希望能夠加速數(shù)據(jù)處理的過程，培訓(xùn)出過去科學(xué)家從來沒有培訓(xùn)過的內(nèi)容。GPU的使用，給我們帶來了一個轉(zhuǎn)變性的革命，讓我們能不斷地去培訓(xùn)神經(jīng)網(wǎng)絡(luò)，訓(xùn)練神經(jīng)網(wǎng)絡(luò)的圖像處理能力。

　　黃仁勛：ChatGPT和OpenAI是否已經(jīng)打破了過去計算機編輯圖像的模式?

　　伊爾亞·蘇茨克維：我認(rèn)為不是打破了計算機圖像的編輯，而是用另外一種處理方式。大部分人都是用傳統(tǒng)的思維模式去處理數(shù)據(jù)集，但我們的處理方式更先進(jìn)，是“超越式”的。曾經(jīng)，我們也認(rèn)為這是一件艱難的事情，甚至覺得幾乎不可能完成，但如果我們能做好，就是讓人類生活有了一大進(jìn)步。

　　黃仁勛：擔(dān)任Open AI的首席科學(xué)家，你認(rèn)為最重要的工作是什么?我覺得Open AI在不同的時間點，關(guān)注焦點并不相同。我認(rèn)為ChatGPT是“AI界的iPhone時刻”，你是如何實現(xiàn)這樣的跨時代轉(zhuǎn)變的?

　　伊爾亞·蘇茨克維：最開始，我們也不太清楚如何開展整個項目，而且，我們現(xiàn)在所得出的結(jié)論，和當(dāng)時使用的邏輯完全不同。無法想象現(xiàn)在的用戶已經(jīng)有這么好用的ChatGPT工具，來幫助大家創(chuàng)造出非常好的藝術(shù)效果和文本效果。但在2015年、2016年時，我們還不敢想象能達(dá)到當(dāng)下的程度。

　　在當(dāng)時，我有兩大想法：一是，想讓機器具備一種不受監(jiān)督的學(xué)習(xí)能力。雖然，現(xiàn)在認(rèn)為這是理所當(dāng)然的，可以用自然語言模型培訓(xùn)所有內(nèi)容。但在2016年，不受監(jiān)督的學(xué)習(xí)能力仍舊是沒有被解決的問題，也沒有任何科學(xué)家有過相關(guān)的經(jīng)驗和研究。我當(dāng)時認(rèn)為“數(shù)據(jù)壓縮”是技術(shù)上的瓶頸。但實際上ChatGPT確實壓縮了我們的培訓(xùn)數(shù)據(jù)集。最后，我們還是找到了數(shù)學(xué)模型，通過不斷培訓(xùn)來壓縮我們的數(shù)據(jù)。

　　二是，希望通過培訓(xùn)神經(jīng)網(wǎng)絡(luò)來預(yù)測下一個字符。我認(rèn)為，下一個神經(jīng)元的單位會和我們的整個視覺神經(jīng)的網(wǎng)絡(luò)密切相關(guān)，這和我們驗證的方法是一致的。再次重新證明了，下一個字符的預(yù)測、下一個數(shù)據(jù)的預(yù)測能夠幫助我們?nèi)グl(fā)掘現(xiàn)有數(shù)據(jù)的邏輯，這就是ChatGPT培訓(xùn)的邏輯。關(guān)鍵在于，培訓(xùn)一些神經(jīng)網(wǎng)絡(luò)去預(yù)測下一個字符，是一個值得努力的目標(biāo)。

　　黃仁勛：擴大數(shù)據(jù)規(guī)模能夠提高AI的表現(xiàn)能力，更多的數(shù)據(jù)、更大的數(shù)據(jù)集能夠幫助生成式AI獲得更好的結(jié)果。你覺得GPT-1、GPT-2、GPT-3的演變過程，是否符合這樣的“摩爾定律”?

　　伊爾亞·蘇茨克維：OpenAI的目標(biāo)之一，是解決擴大數(shù)據(jù)集的問題。剛開始面臨的問題，是如何提升數(shù)據(jù)的高精準(zhǔn)度。因此，我們在做Open AI項目時，通過讓它做一些策略性的游戲，來提升精準(zhǔn)度，比如，競爭性的體育游戲，訓(xùn)練它必須足夠快、足夠聰明，還要和其它隊競賽。作為一個AI模型，它需要不斷重復(fù)個基于人類反饋的強化學(xué)習(xí)過程。

　　我們的工作原理，就是通過不斷培訓(xùn)神經(jīng)網(wǎng)絡(luò)體系，讓神經(jīng)網(wǎng)絡(luò)去預(yù)測下一個單詞。預(yù)測的單詞和過去的單詞之間，能夠達(dá)成一定的邏輯上的一致。從神經(jīng)網(wǎng)絡(luò)來看，它更像是根據(jù)方方面面來得出一個結(jié)論。但我們的模型還沒有達(dá)到這樣的效果。人類的反饋很重要，越多的反饋能使AI更可靠。

　　黃仁勛：你可以讓AI做一些事情，但是你能不能讓AI不做一些事情?如何讓AI知道自己的界限在哪里?

　　伊爾亞·蘇茨克維：可以實現(xiàn)。未來，第二階段的培訓(xùn)序列，就是和AI、神經(jīng)網(wǎng)絡(luò)去進(jìn)行交流，我們對AI訓(xùn)練得越多，AI的精準(zhǔn)度越高，就會越來越符合我們的意圖。我們不斷地提高AI的忠誠度和準(zhǔn)確度，它就會變得越來越可靠、越來越精準(zhǔn)，而且越來越符合人類社會的邏輯。

　　黃仁勛：相比較于以前的版本，GPT-4有怎樣的升級?未來在哪些方面、哪些領(lǐng)域有更多的升級?

　　伊爾亞·蘇茨克維：GPT-4基于ChatGPT的性能，做了很多改善。對GPT-4的訓(xùn)練大概是6～8個月之前開始，GPT-4和之前GPT版本最重要的區(qū)別，是GPT-4有更強大的神經(jīng)網(wǎng)絡(luò)預(yù)測功能，能夠更精確的去預(yù)測下一個單詞是什么，意味著能夠?qū)θ藗冋f的話有更精準(zhǔn)的理解。

　　這與人們此前常說的直覺有很大不同，GPT-4采用的是推理能力。比如，在一篇推理小說中，小說中有各種不同的人物和情節(jié)，有密室、有謎團，人們在讀推理小說的過程中，完全不清楚接下來會發(fā)生什么。但是能通過小說中不同的人物和情節(jié)，來預(yù)測結(jié)局。GPT-4也是如此，能夠像推理小說一樣預(yù)測結(jié)果。

　　黃仁勛：語言模型是如何學(xué)習(xí)到推理和邏輯的?GPT-4現(xiàn)在有哪些缺陷，在接下來的版本中將進(jìn)一步完善?

　　伊爾亞·蘇茨克維：想清楚定義邏輯和推理并不容易，但是未來可通過將邏輯和推理定義的更精準(zhǔn)，來獲得更確切的答案。

　　神經(jīng)網(wǎng)絡(luò)是有一些缺陷，用神經(jīng)網(wǎng)絡(luò)去打破之前固有的思維模式，那么就需要考慮這個神經(jīng)網(wǎng)絡(luò)能夠走多遠(yuǎn)的問題

　　神經(jīng)網(wǎng)絡(luò)依舊面料一些挑戰(zhàn)，比如，讓神經(jīng)網(wǎng)絡(luò)去打破固有的思維模式，但這也就意味著人們要思考神經(jīng)網(wǎng)絡(luò)到底能走多遠(yuǎn)，也就是神經(jīng)網(wǎng)絡(luò)到底有多大潛力。目前GPT-4的推理能力確實還沒有達(dá)到預(yù)期的水平，未來希望GPT-4的推理和邏輯能夠達(dá)到更高的水平。但未來如果能更進(jìn)一步的擴大數(shù)據(jù)庫，保持過去的商業(yè)運轉(zhuǎn)模型，未來推理的能力會進(jìn)一步提高，對此也很有信心。

　　黃仁勛：ChatGPT是否有一種自然屬性，能夠不斷地去理解新內(nèi)容?

　　伊爾亞·蘇茨克維：是的，神經(jīng)網(wǎng)絡(luò)確實有這些能力，但是有時候也并不準(zhǔn)確，這也是神經(jīng)網(wǎng)絡(luò)接下來面臨的最大挑戰(zhàn)。在很多情況下，神經(jīng)網(wǎng)絡(luò)會出現(xiàn)很多奇怪的錯誤，甚至出一些人類根本不會犯的錯誤。針對這些“不可靠性”，需要進(jìn)一步針對神經(jīng)網(wǎng)絡(luò)來進(jìn)行研究，從而未來能夠給人們一個更精準(zhǔn)的結(jié)果，甚至能夠糾正一些錯誤，讓神經(jīng)網(wǎng)絡(luò)變得更可靠。

　　現(xiàn)在GPT-4的模型已經(jīng)被公開發(fā)布了，它其實沒有追蹤數(shù)據(jù)模型的能力，它的能力是基于文本去預(yù)測下一個單詞，根據(jù)數(shù)據(jù)調(diào)節(jié)來得出結(jié)果，所以是有局限性的。有人認(rèn)為，可以讓GPT-4去找出某些數(shù)據(jù)的來源，然后會對數(shù)據(jù)來源做更深入地調(diào)查，來不斷提升能力。

　　總體而言，盡管GPT-4并不支持內(nèi)部的數(shù)據(jù)收集，但它肯定會在持續(xù)的數(shù)據(jù)挖掘之中變得更加精準(zhǔn)。GPT-4甚至已經(jīng)能夠從圖片中進(jìn)行學(xué)習(xí)，并且根據(jù)圖片和內(nèi)容的輸入進(jìn)行反饋。

　　黃仁勛：多模態(tài)學(xué)習(xí)如何能夠加深GPT-4對于的理解能力?為什么多模態(tài)學(xué)習(xí)定義了GPT和OpenAI?

　　伊爾亞·蘇茨克維：多模態(tài)學(xué)習(xí)可以從兩個維度來看：

　　第一，多模態(tài)在視覺和圖像識別上特別有幫助。因為整個世界是由圖片形成的，人們和其他動物都是視覺動物，人腦1/3的灰質(zhì)都是用來處理圖像的，GPT-4也能夠去理解這些圖像。

　　第二，隨著人們對于世界的認(rèn)知不斷加深，通過圖片或文字對世界的理解是一樣的。對于一個人而言，一個人可能一生之中只會說10億個詞。這通過計算人一生有多少時間，以及一秒能處理多少詞，再減去睡覺的時間，就能算出一生處理了多少單詞。人和神經(jīng)網(wǎng)絡(luò)的不同之處在于，人如果10億個詞匯無法理解，可以用其他萬億級的詞匯來理解。對于AI神經(jīng)網(wǎng)絡(luò)而言，可以通過文本，將人們對于世界的知識和信息慢慢滲透給AI的神經(jīng)網(wǎng)絡(luò)。外加視覺圖片等其他元素，神經(jīng)網(wǎng)絡(luò)可以更精準(zhǔn)地進(jìn)行學(xué)習(xí)。

　　黃仁勛：對于文本和圖片方面的深度學(xué)習(xí)，如果我們想要人工智能去理解其背后的邏輯，甚至是理解這個世界的基本原理——比如我們?nèi)祟惾粘５谋磉_(dá)方式，一個詞其實有兩種含義，聲音的高低變化，其實都代表著兩種不同的語氣。說話的語言和語調(diào)的變化，對AI去理解文本是否有一定幫助呢?

　　伊爾亞·蘇茨克維：是的，這類場景非常重要。對于語音和語調(diào)，包括聲音的大小和語氣，對于AI而言都是非常重要的信息來源，提供了領(lǐng)域中重要的解讀信息的方式。

　　黃仁勛：請總結(jié)一下AI正處于怎樣的發(fā)展階段?以及在不遠(yuǎn)的將來，生成式AI能夠達(dá)到怎樣的高度?大語言模型的未來是什么?

　　伊爾亞·蘇茨克維：預(yù)測未來比較困難的。目前能做的，是把現(xiàn)有的事情繼續(xù)做下去，讓人們看到GPT更驚艷的系統(tǒng)版。未來，希望通過提高數(shù)據(jù)的可靠度，讓系統(tǒng)更進(jìn)一步獲得人們的信任。目前，生成式AI在解讀這個文本過程中，還無法完全驗證文本的真實性以及信息來源。對于未來的展望，是讓神經(jīng)網(wǎng)絡(luò)必須要確認(rèn)所有數(shù)據(jù)來源的真實性，準(zhǔn)確地服務(wù)人們每一步的需求。

　　黃仁勛：在第一次使用ChatGPT-4時，有哪些性能讓你覺得很驚艷和震驚?

　　伊爾亞·蘇茨克維：我認(rèn)為AI本身存在的意義，是可以給人類帶來幫助。之前的ChatGPT版本，神經(jīng)網(wǎng)絡(luò)只會回答問題，甚至有時候會誤解問題，在回答方面很不理想。但是GPT-4基本沒有誤解問題的情況，甚至能夠去處理更復(fù)雜的任務(wù)。簡而言之，它的可靠性更好。例如，GPT-4能夠?qū)懺姡梢詫懷侯^韻的詩，也能寫押尾韻的詩。甚至它能去理解笑話，能明白笑話背后的意思。

　　作者：沈叢、許子皓　　來源：中國電子報、電子信息產(chǎn)業(yè)網(wǎng)