贵州持桥房产交易有限公司

OpenAI發布炸裂研究:讓AI解釋AI黑箱,人類無法理解,語言無法描述

就算在新產品滿天飛,商業文明正在被 AI 重建的當下,我們仍然不知道,這些令人驚嘆的技術是如何運作的。

AI,語言模型,它是個黑箱(black box),人類無法理解,我們甚至不知道怎樣研究才能夠理解。

如果,研究這個黑箱的不是人類,而是 AI 自己呢?


(資料圖)

這是一個令人好奇但又非常危險的想法。因為你甚至不知道,這一研究方法產生的結果,是否會徹底顛覆多年來人類對人腦和 AI 的理解。

但是有人這樣做了。幾小時前,OpenAI 發布了最新的研究成果,他們用 GPT-4 解釋 GPT-2 的行為,獲得了初步的成果。

毫不夸張地說,人們震驚極了:「求求你們讓它離覺醒遠點吧!」

「AI 理解 AI,然后很快,AI 訓練 AI,然后再過幾年,AI 創造新的 AI?!?/p>

但客觀來說,學術界為之感到興奮:「瘋了,OpenAI 剛剛搞定了可解釋性問題?!?/p>

人與機器之間是GPT-4

OpenAI 剛剛在官網發布博客文章《語言模型可以解釋語言模型中的神經元》(Language models can explain neurons in language models)。

簡單來說,他們開發了一個工具,調用 GPT-4 來計算出其他架構更簡單的語言模型上神經元的行為,這次針對的是 GPT-2,發布于 4 年前的開源大模型。

大模型(LLM)和人腦一樣,由「神經元」(neurons)組成,這些神經元會觀察文本中的特定規律,進而影響到模型本身生產的文本。

舉例來說,如果有一個針對「漫威超級英雄」的神經元,當用戶向模型提問「哪個超級英雄的能力最強」時,這個神經元就會提高模型在回答中說出漫威英雄的概率。

OpenAI 開發的工具利用這種規則制定了一套評估流程。

開始之前,先讓 GPT-2 運行文本序列,等待某個特定神經元被頻繁「激活」的情況。

然后有三個評估步驟:

第一步,讓 GPT-4 針對這段文本,生成解釋。比如在下面的案例中,神經元主要針對漫威內容。GPT-4 接收到文本和激活情況后,判斷這與電影、角色和娛樂有關。

第二步,用 GPT-4?模擬這個 GPT-2 的神經元接下來會做什么。下圖就是 GPT-4 生成的模擬內容。

最后一步,對比評估打分。對比 4 代模擬神經元和 2 代真實神經元的結果,看 GPT-4 猜的有多準。

通過這樣的方法,OpenAI 對每個神經元的行為作出了初步的自然語言解釋,并對這種解釋和實際行為的匹配程度進行了評分。

最終他們對 GPT-2 中 307200 個神經元全部進行了解釋,這些解釋匯編成數據集,與工具代碼一起在 GitHub 上發布。

超越語言的機器?人類無法理解的機器

據 OpenAI 在博客文章中表示,目前 GPT-4 生成的解釋還不完美,尤其要解釋比 GPT-2 更大的模型時,表現效果很差,「可能是因為后面的 layer 更難解釋」。

對于 GPT-2 解釋的評分大多也非常低,僅有 1000 個左右的解釋獲得了較高的評分(0.8 以上)。

OpenAI 可拓展對齊團隊的 Jeff Wu 表示,「大多數解釋的得分很低,或者無法解釋實際神經元那么多的行為。比如,許多神經元以一種難以判斷的方式保持活躍,它們在五六件事上保持激活,但卻沒有可以辨別的模式。有時候存在明顯的模式,但 GPT-4 有無法找到它?!?/p>

雖然現階段成績不好,但是 OpenAI 卻比較有信心,他們認為可以使用機器學習的方式提高 GPT-4 產出解釋的能力。

比如通過反復產出解釋,并根據激活情況修改解釋;或者使用更大的模型作出解釋;以及調整解釋模型的結構等等。

OpenAI 還提到,這一方法目前還有很多局限性。

使用簡短的自然語言進行解釋,也許并不匹配神經元可能非常復雜的行為,不能簡潔地進行描述。神經元可能會具備多個不同概念,也可能,會具備一個人類沒有語言描述甚至無法理解的概念。

最終 OpenAI 希望能夠自動化找到并解釋能夠實現復雜行為的整個神經回路,而目前的方法只解釋了神經元的行為,并沒有涉及下游影響。

解釋了神經元的行為,但沒有解釋產生這種行為的機制。這意味著即使是拿了高分的解釋,也只能描述相關性。

整個過程是計算密集型的。

在論文中,OpenAI 表示:「語言模型可能代表了人類無法用語言表達的陌生概念。這可能是因為語言模型關心不同的事情,比如統計結構對下一個token預測任務有用,或者因為模型已經發現了人類尚未發現的自然的抽象,例如在不同領域的類似概念家族?!?/p>

它把 LLM 的這種屬性,稱為?Alien Feature,在生物領域翻譯為「異類特征」。

把對齊問題也交給 AI

「我們正試圖開發預測『AI 系統會出現什么問題』的方法,」OpenAI 可解釋性團隊負責人 William Saunders 對媒體說,「我們希望能夠真正做到,讓這些模型的行為和生產的回答是可以被信任的?!?/p>

Sam Altman 也轉發博客文章稱:GPT-4 對 GPT-2 做了一些可解釋性工作。

可解釋性(interpretability)是機器學習的研究子領域,指的是對模型的行為有清晰的理解和對模型結果的理解能力。

簡單來說,目的就是解釋機器學習模型「如何做到」(how)。

2019 年開始,可解釋性成為機器學習的重要領域,相關研究有助于開發人員對模型進行優化和調整。針對當下 AI 模型大規模應用時,亟需解決的可信度(trust)、安全性(safety)和決策參考(decision making)等問題。

如果我們不知道 AI 是如何作出決策的,始終把它當做一個黑箱,那么就算 AI 在各種場景下表現得再完美,也無法解決部分人類的信任問題。

OpenAI 這次使用 GPT-4 來解決可解釋性的問題,就是希望能夠使用自動化的方式,讓機器完成 AI 研究。

「這是我們對齊研究的第三支柱的一部分:我們希望自動化對齊研究。令人期待的是,這一方向能讓它(對齊)與 AI 發展的步伐相匹配。」

在 2022 年夏天,OpenAI 曾發布文章《我們做對齊研究的方法》(Our approach to alignment research)。

文中提到,宏觀來看,OpenAI 的對齊研究將由三大支柱支撐:

1、利用人工反饋訓練 AI

2、訓練 AI 系統協助人類評估

3、訓練 AI 系統進行對齊研究

「語言模型非常適合自動化對齊研究,因為它們通過閱讀互聯網『預裝』了大量有關人類價值觀的知識和信息。開箱即用,它們不是獨立代理,因此不會在世界上追求自己的目標。」

太快了?連認知都范式革命了

雖然 OpenAI 本意很好,但是這樣的研究成果著實嚇壞了網友。

OpenAI 的推文下梗圖橫飛,有不少人在認真地建議 OpenAI 搞慢點。

「用我們不理解的東西,解釋另一個我們不理解的東西,這合理嗎?」

「護欄都被你撤了」

「這太迷人了,但也讓我感到極度不適?!?/p>

「自然創造了人類來理解自然。我們創造了 GPT-4 來理解自己?!?/p>

「我們要怎么判斷解釋者是好的?這就像... 誰監督著監督者?」(who watches the watchers)

還有人看到了更深的一層:

「大模型很快就能比人類更好地解釋他們自己的思維過程,我想知道我們未來要創造多少新的詞匯,來描述那些 AI 發現的概念(概念本身也不準確)?我們還沒有一個合適的詞描述它們?;蛘撸覀兪欠駮X得這些概念有意義?它們又能教會我們如何認識自己呢?」

另一網友回應道:「人類本身對自己行為的解釋,大多是謊言、捏造、幻覺、錯誤的記憶、事后推理,就像 AI 一樣?!?/p>

本文來源:?Founder Park,原文標題:《OpenAI發布炸裂研究:讓AI解釋AI黑箱,人類無法理解,語言無法描述》

風險提示及免責條款 市場有風險,投資需謹慎。本文不構成個人投資建議,也未考慮到個別用戶特殊的投資目標、財務狀況或需要。用戶應考慮本文中的任何意見、觀點或結論是否符合其特定狀況。據此投資,責任自負。

關鍵詞:

下载咪咕体育直播视频| 人人体育旧版本下载| 人人体育app官方下载| 足球今晚比赛cctv5直播| 178体育赛事免费直播| 看球直播app下载| 体育赛事直播| 直播足球的平台app| 在线观看免费足球直播的软件| 免费看球赛app推荐| cctv5直播在线观看足球直播| 免费看足球比赛app| jrs直播低调看直播奥运会| nba直播jrs在线观看免费| 看球直播app下载| 竞彩足球结果查询| 实况足球网易版官网最新版本| 哪个app可以直播英超比赛| 可以看球赛的app| 178足球免费直播手机版下载| 在线观看免费足球直播的软件| 178赛事直播| 亚洲体育app下载地址| 免费高清篮球直播吧| jrs直播低调看直播奥运会| 足球资料库数据| 实况足球网易版官网下载| 免费观看球赛的软件| 足球体育平台app| 178足球免费直播| 足球直播软件app免费| 蓝鲸体育app下载安卓版本安装| 咪咕视频下载免费安装| 足球球赛高清直播app| jrs低调看NBA高清直播官网| 斗球app官网苹果下载安装| 足球直播免费高清视频| 咪咕体育免费直播手机app| 蓝鲸体育app下载安卓版本安装| 体育足球赛事| 可以看球赛的app|