今日熱訊:AI還不完美!“公測”一周,微軟的新Bing也犯了不少錯誤
公測才一周,微軟的新一代搜索引擎New Bing就錯誤頻出。
美東時間2月8日,在谷歌發布會上,谷歌的人工智能聊天機器人Bard在該產品的第一個演示視頻中犯了一個“事實錯誤”,成了谷歌當日股價大跌的導火索。作為與 Bard 對標、嵌入 ChatGPT 技術的微軟 New Bing,在最初的48小時內,有超過100萬人注冊試用,卻也沒有承載住人們的期待。
幾天前,在微軟副總裁 Yusuf Mehdi?對 Bing?的展示中,它需要對服裝公司 Gap 2022年第三季度財報進行要點整理,但卻給出了一些錯誤的數據,甚至自己編造了一些數據。具體來看:
(資料圖片)
Bing 給出的 Gap 調整后的運營毛利率為5.9%。然而在實際財報中,Gap的運營毛利率是4.6%,調整后則是3.9%。
(Gap 2022年第三季度財報)
Bing 給出的 Gap 毛利率為37.4%,但實際調整后的毛利率應為38.7%;現金和現金等價物為14億美元,但實際財報中是6.79億美元;調整后攤薄每股收益為0.42美元,但實際財報里的數據應是0.71美元。
(Gap 2022年第三季度財報)
Gap?在去年8月就下調了全年業績預期,并在對四季度的展望中表示,四季度銷售凈增長率“可能呈中間個位數下降”,但 New Bing 給出的全年的銷售指引為“預計銷售凈增長率為低雙位數”。
Bing 甚至還編造了一些財務數據,給出了 Gap?的“營業毛利率為7%,攤薄每股收益為1.6美元到1.75美元之間”,但這些數據在 Gap 三季度財報中并沒有出現。
對于 Lululemon 的財報分析,Bing也犯了大量的類似錯誤。New Bing 給出的 Lululemon 毛利率為58.7%,實際上應為55.9%;營業毛利率為20.6%,實際上應為19.0%;攤薄每股收益為1.65美元,實際上應為2.00美元。
(Lululemon 2022年第三季度財報)
獨立搜索研究員 Dmitri Brereton 周一在社交平臺上寫道:
在演示過程中,Bing的一些答案完全錯誤。但沒有人注意到。
相反,所有人都迫不及待地跳上這趟“炒作”的列車。
Brereton?指出,除了財務數據錯誤之外,Bing 為在墨西哥城旅行的游客們也提供了一些存在問題的建議。Bing 推薦的幾個酒吧,沒有任何客戶評價、聯系方式或者商店介紹,但這些信息都可以在谷歌地圖或者商店的 Facebook 主頁上找到。此外,Bing?給出的營業時間、商品價格和商店地址都存在誤差。
專家對此表示,這可能是它的一種“幻覺”(hallucination),基于大型語言模型的人工智能工具存在簡單編造信息的一種傾向。ChatGPT 這類大型語言模型的生成,隨著生成的序列越長,越容易脫離給定的數據,生成各種虛假錯誤信息。
而微軟方面表示,他們知道這些錯誤,預計 Bing 也會犯錯。微軟發言人周二在接受媒體采訪時表示:
風險提示及免責條款 市場有風險,投資需謹慎。本文不構成個人投資建議,也未考慮到個別用戶特殊的投資目標、財務狀況或需要。用戶應考慮本文中的任何意見、觀點或結論是否符合其特定狀況。據此投資,責任自負。我們注意到了這份報告,并分析了調查結果,正努力改善用戶體驗。
我們意識到仍有工作要做,預計系統在測試期間還可能會繼續犯錯,正因如此,反饋才至關重要,這可以幫助我們學習和改進模型。