贵州持桥房产交易有限公司

AI見聞日報:將上下文學習能力從語言遷移到視覺,MetaVL開啟下一個多模態時代 | 見智研究|環球即時看

今日要點:

1、蘋果在 iOS17 中加入transformer語言模型,用于提高文字和語音轉文字時的準確性。


(資料圖片僅供參考)

2、蘋果開發人員:Vision Pro里用了“腦機接口”,通過檢測眼睛等準確預測用戶下一步要做什么

3、MetaVL: 將上下文學習能力從語言模型遷移到視覺,開啟下一個多模態時代

4、Runway獲得1億美元D輪融資,谷歌領投

見聞視角

海外AI

1、蘋果在ios17中加入transformer語言模型,用于提高文字和語音轉文字時的準確性。

蘋果在今日更新的ios系統介紹中,闡述了使用transformer語言模型,用于提高文字和語音轉文字時的準確性,通過用于單詞預測——提高了用戶每次鍵入時的體驗和準確性。而這個模型如同蘋果一直以來強調對用戶的隱私保護一樣,是在手機端的模型。

見智研究認為,蘋果使用transformer模型用于一些基礎應用符合蘋果一直以來的務實精神,蘋果從不強調某項技術是否先進,而是要在用戶體驗上做到極致。這也是蘋果一直強調技術落地到應用的體現。

見智研究相信蘋果設備在明年將會擁有自己的llm模型,而這個模型按照蘋果一貫的隱私保護模式,應為純本地化的模型。

2、蘋果開發人員:Vision Pro里用了“腦機”,通過檢測眼睛準確預測用戶下一步要做什么

一位在AR/VR領域工作十年、擔任蘋果AR神經技術研究員的網友Sterling Crispin發推文,介紹了蘋果AR的神經技術研發

根據Crispin的介紹和蘋果的專利說明,蘋果的神經技術可以做到預測用戶行為、根據用戶狀態調整虛擬環境。

最酷的結果是在用戶實際點擊之前預測他們會點擊什么,人們的瞳孔在點擊之前往往有反應,原因是人們會期望在點擊之后會發生什么。

這時可以通過監測用戶的眼睛行為來創造生物反饋,并實時重新設計用戶界面,以創造更多預期的瞳孔反應。這是一個通過眼睛實現的粗略“腦機接口”,用戶不用接受侵入性的腦部外科手術。

推斷認知狀態的其他技術,包括以用戶可能無法察覺的方式向他們快速閃現視覺或聲音,然后測量他們的反應。

見智研究認為,蘋果通過全新的神經技術對人的行為進行預測,從而大幅減小了vision產品整個UI操作的延遲,大幅提升用戶體驗。從無數細節中可以看到,蘋果在用搬山能力處理每一個細節,這個軟硬整合能力,不是誰能可以隨便模仿的,它所體現的每一個細節,都看出蘋果花費巨大的功夫在解決交互體驗。這也是蘋果之所以偉大的地方。

3、MetaVL: 將上下文學習能力從語言模型遷移到視覺,開啟下一個多模態時代

動機:研究如何在視覺-語言領域實現上下文學習,將單模態的元學習知識轉移到多模態中,以提高大規模預訓練視覺-語言(VL)模型的能力。方法:首先在自然語言處理(NLP)任務上元訓練一個語言模型,實現上下文學習,然后通過連接一個視覺編碼器將該模型轉移到視覺-語言任務上,以實現跨模態的上下文學習能力的轉移。優勢:實驗證明,跨模態的上下文學習能力可以轉移,該模型顯著提高了視覺-語言任務上的上下文學習能力,并且在模型大小方面能夠有顯著的優化,例如在VQA、OK-VQA和GQA上,所提出方法在參數數量減少約20倍的情況下超過了基準模型。

見智研究一句話總結:

M Monajatipoor, L H Li, M Rouhsedaghat, L F. Yang, K Chang探索了將元學習的上下文學習能力從單模態遷移到多模態的可能性,證明了在視覺-語言任務中通過遷移可以顯著提升上下文學習能力,甚至在模型大小方面實現優化。

這意味著多模態情況下的對話能力將得到加強,對于現有的文生圖來說可能會帶來新的變化,生成模式對用戶將更友好。

4、Runway獲得1億美元D輪融資,谷歌領投

生成式AI平臺Runway獲得1億美元D輪融資(約7億元),估值15億美元,本次由谷歌領投。谷歌投資Runway的最大原因之一是為了爭奪云計算客戶。

Runway曾在4月底與谷歌簽訂了7500萬美元的3年商業協議,同時Runway已從谷歌獲得了價值2000萬美元的云計算資源用于產品運營和研發。

見智研究曾使用過GEN-1生成相應視頻特效,但目前可玩性不算高。Gen-2是Runway在今年3月最新發布的,但目前手機客戶端還未提供使用。Gen-2可以通過文本、圖片、文本+圖片直接生成視頻,同時支持風格化和渲染添加好萊塢式大片特效,僅需要幾分鐘即可完成所有操作。

風險提示及免責條款 市場有風險,投資需謹慎。本文不構成個人投資建議,也未考慮到個別用戶特殊的投資目標、財務狀況或需要。用戶應考慮本文中的任何意見、觀點或結論是否符合其特定狀況。據此投資,責任自負。

關鍵詞:

实况足球网易官网下载最新版| 蓝鲸体育直播app官网下载| 免费看足球比赛app直播| opta足球数据官网| 178足球免费直播手机版下载| 看球直播app下载| 哪个软件可以免费看足球直播| 黑白直播官方免费下载安装| 竞彩网最新版下载| 人人体育ios版本| 实况足球下载最新版| cctv5直播在线观看足球直播| 人人体育直播赛事| bet356体育在线亚洲版网页版| 免费足球直播app哪个软件好| 龙珠无插件直播足球| 178足球免费直播| 山猫体育免费直播| 手机看中超直播比赛| 球宴app官方入口| jrs直播 极速体育| 883足球免费直播| 免费足球直播app下载| 看球软件免费下载| 咪咕体育手机在线直播| 足球球赛高清直播app| 在线观看免费足球直播的软件| 免费足球直播app哪个软件好| 黑白体育app版下载| 斗球直播app下载| 下载竞彩足球彩票app| 88看球直播高清| 看球赛直播app免费的| 看足球比赛哪个app好| jrs直播 极速体育| 雨燕足球高清免费直播| 178体育直播平台App| jrs低调看高清直播免费| 178看球直播app下载| 龙珠足球直播(无插件)直播体育| 实况足球网易版官网最新版本|