贵州持桥房产交易有限公司

谷歌PaLM 2細節曝光:3.6萬億token,3400億參數 獨家焦點

谷歌最新大語言模型PaLM 2,更細節內幕被曝出來了!

據CNBC爆料,訓練它所用到的token數量多達3.6萬億。

這是什么概念?


(相關資料圖)

要知道,在去年谷歌發布PaLM時,訓練token的數量也僅為7800億。

四舍五入算下來,PaLM 2足足是它前身的近5倍!

(token本質是字符串,是訓練大語言模型的關鍵,可以教會模型預測序列中出現的下一個單詞。)

不僅如此,當時谷歌發布PaLM 2時,只是提到“新模型比以前的LLM更小”。

而內部文件則是將具體數值爆料了出來——3400億個參數(初代PaLM是5400億)。

這表明,谷歌通過技術“buff加持”,在參數量更小的情況下,讓模型可以更高效地完成更復雜的任務。

雖然在已經維持了數月的AIGC大戰中,谷歌一直“全軍出擊”,但對于訓練數據的大小或其他細節信息,卻是遮遮掩掩的態度。

而隨著這次內部文檔的曝光,也讓我們對谷歌最in大語言模型有了進一步的了解。

PaLM 2要在廣告上發力了

關于谷歌上周發布PaLM 2的能力,我們就不再詳細的贅述(可點擊此處了解詳情),簡單總結下來就是:

接受了100多種語言的訓練,在語言理解、生成和翻譯上的能力更強,更加擅長常識推理、數學邏輯分析。

數據集中有海量論文和網頁,其中包含非常多數學表達式。

支持20種編程語言,如Python、JavaScript等常用語言。

推出了四種不同size:“壁虎”版、“水獺”版、“野?!卑婧汀蔼毥谦F”版(規模依次增大)。

至于使用方面,谷歌在發布會中就已經介紹說有超過25個產品和應用接入了PaLM 2的能力。

具體表現形式是Duet AI,可以理解為對標微軟365 Copilot的一款產品;在現場也展示了在Gmail、Google Docs、Google Sheets中應用的能力。

而現在,CNBC從谷歌內部文件中挖出了其在PaLM 2應用的更多計劃——進軍廣告界

根據這份內部文件,谷歌內部的某些團隊現在計劃使用PaLM 2驅動的工具,允許廣告商生成自己的媒體資產,并為YouTube創作者推薦視頻。

谷歌也一直在為YouTube的青少年內容測試PaLM 2,比如標題和描述。

谷歌在經歷了近20年的快速發展后,現在已然陷入了多季度收入增長緩慢的“泥潭”。

也由于全球經濟大環境等原因,廣告商們也一直在在線營銷預算中掙扎。

具體到谷歌,今年大多數行業的付費搜索廣告轉化率都有所下降。

而這份內部文件所透露出來的信號,便是谷歌希望抓住AIGC這根救命稻草,希望使用生成式AI產品來增加支出,用來增加收入并提高利潤率。

據文件顯示,AI驅動的客戶支持策略可能會在100多種谷歌產品上運行,包括Google Play商店、Gmail、Android搜索和地圖等。

訓練數據缺乏透明度,越發被熱議

不過話說回來,包括谷歌在內,縱觀大多數大語言模型玩家,一個較為明顯的現象就是:

對模型、數據等細節保密。

這也是CNBC直接挑明的一個觀點。

雖然很多公司都表示,這是因為業務競爭所導致的,但研究界卻不這么認為。

在他們看來,隨著AIGC大戰的持續升溫,模型、數據等需要更高的透明度。

而與之相關的話題熱度也是越發的激烈。

例如谷歌Research高級科學家El Mahdi El Mhamdi便于二月份辭職,此舉背后的原因,正是因為他覺得公司缺乏透明度。

無獨有偶,就在OpenAI CEO Sam Altman參與聽證會期間,便“反向”主動提出立法者進行監管:

如果這項技術出了問題,那就可能會是大問題……我們希望合作,防止這種情況發生。

截至發稿,對于CNBC所爆料的諸多內容,谷歌方面暫未做出回應。

本文作者:金磊,來源:量子位,原文標題:《谷歌PaLM 2細節曝光:3.6萬億token,3400億參數》

風險提示及免責條款 市場有風險,投資需謹慎。本文不構成個人投資建議,也未考慮到個別用戶特殊的投資目標、財務狀況或需要。用戶應考慮本文中的任何意見、觀點或結論是否符合其特定狀況。據此投資,責任自負。

關鍵詞:

蓝鲸体育app下载安卓版本安装| 免费高清篮球直播吧| 竞彩足球app手机版下载| 足球比赛app官网| 足球今晚比赛cctv5直播| 咪咕体育cba直播| 体育直播cctv5直播| 196体育app官网下载最新版本| 178看球直播app下载| 山猫体育免费直播| JRS低调看球免费高清视频直播| 东方赢家app下载| 看足球比赛哪个app好| 免费高清篮球直播吧| 最全的足球直播app| nba直播(jrs无插件)极速体育| 196体育app官网下载最新版本| jrs低调看球免费nba高清直播| 看球赛直播app免费的| jrs低调看高清直播NBA无插件| 实况足球网易官网下载最新版| 足球直播软件排行榜前十名| 篮球官方直播| 人人体育ios版本| 今日足球最稳三串一推荐| 乐球直播免费体育直播回放视频| 雨燕360体育免费直播nba| 88体育app直播最新版| 哪个软件可以免费看足球直播| 蓝鲸体育直播app安卓版| 飞鲸体育直播| 免费看足球比赛app直播| 低调看jrs极速体育| 人人体育怎么下载不了| jrs低调看高清直播NBA无插件| 十大免费体育直播软件| 实况足球国际服下载2024| 球赛直播app哪个最全| jrs低调看NBA高清直播官网| jrs低调看NBA高清直播官网| 蓝鲸体育app官方下载|