Anthropic Claude 3 全面完勝 GPT-4,全球最強AI大模型一夜易主
来源:Techbang 发布日期:2024-03-06
新聞半導體/電子產業5G/網路AI/大數據電動車/交通加密貨幣/區塊鏈遊戲/電競雲端/資訊安全商業/金融尖端科技3C新品趨勢產品手機/平板行動周邊電信服務手錶/手環筆電桌機印表機顯示器鍵鼠電視投影機耳機/音響相機攝影器材空拍機/無人機處理器主機板顯示卡記憶體/儲存裝置機殼/電源/散熱網通/網路NAS智慧家居家電汽機車電動車車用科技遊戲/電競軟體/APP商業應用手機遊戲/電競評測教學影片活動抽獎/得獎公告體驗試玩活動課程講座討論區課程#AI ChatGPT2024筆電挑選推薦
Anthropic Claude 3 來了!作為 OpenAI 最強競爭選手,此次它發佈的新模型家族,以最強版 Claude 3 Opus 為代表,「已經實現了接近人類的理解能力」——在推理、數學、編碼、多語言理解和視覺方面,全面超越 GPT-4 在內的所有大模型,可以說直接重新樹立行業基準。
▲ 幾項數學類評測都是用 0-shot 超越 GPT-4 的 4-8 shot。
除此之外,此前就以長下文窗口見長的 Claude,此次全系列大模型可提供 200K 上下文窗口,並且接受超過 100 萬 Tokens 輸入。
目前可以免費體驗第二強 Sonnet,Opus 最強版供 Claude Pro 付費使用者使用,但大模型競技場也可以免費用。於是乎,網友們已經開始玩瘋了。
另外,Opus 和 Sonnet 也開放 API 訪問,開發者可以立即使用。
最新最強大模型發佈
此次 Claude 3 家族共有三個型號:低階 Haiku、中階 Sonnet 以及高階 Opus,成本和性能依次遞增。
首先,在性能參數上,Claude 3 全系多方面全面提升。其中 Opus 在 MMLU、GPQA、GSM8K 等評估基準上領先於其他所有模型:
還有在視覺能力上,它能可以處理各種視覺格式,包括照片、圖表、圖形和技術圖表。
對於這樣性能結果,有專業人士表達了自己的看法。
比如愛丁堡大學博士生、 中文大模型知識評估基準 C – Eval 提出者之一符堯就表示,像 MMLU / GSM8K / HumanEval 這些基準,已經嚴重飽和:所有模型的表現都相同。
他認為,真正區分模型性能基準的是MATH and GPQA。
另外,在拒絕回答人類問題方面,Claude 3 也前進了一大步,拒絕回答的可能性顯著降低
在上下文以及記憶能力上,他們用大海撈針(Needle In A Haystack,NIAH)來評估衡量大模型從大量資料中精準召回資訊的能力。
結果 Claude 3 Opus 不僅實現了近乎完美的召回率,超過 99% 的精準率。而且在某些情況下,它甚至能識別出「針」句似乎是人為插入原文的,從而識別出評估本身的侷限性。
還在生物知識、網路相關知識等方面取得了進步,但出於負責任的考慮,仍處於 AI 安全等級 2(ASL-2)。
其次,在響應時間上,Claude 3 大幅縮短,做到近乎即時。
官方介紹,即將發佈的低階 Haiku 能夠在三秒內閱讀並理解帶有圖表的長度約 10k token 的 arXiv 論文。
而中街 Sonnet 能夠在智慧水平更高的基礎上,速度比 Claude 2 和 Claude 2.1 快 2 倍,尤其擅長知識檢索或自動化銷售等需快速響應的任務。
高階 Opus 的智慧水平最高,但速度不減,與 Claude 2 和 Claude 2.1 近似。
官方對三款型號的模型也有清晰的定位。
高階 Opus:比別家模型更智慧。適用於複雜的任務自動化、研發和制定策略;
中階 Sonnet:比其他同類模型更實惠。更適合規模化。適用於資料處理、RAG、在中等複雜度工作流程中節省時間;
低階 Haiku:比同類模型更快速、實惠。適用於與使用者即時互動,以及在簡單工作流程中節省成本;
在價格方面,最便宜的低階定價 0.25 美元(約新台幣 8 元)/1M tokens輸入,最貴的高階定價 75 美元(約新台幣 2,370 元)/1M tokens輸入
對比 GPT-4 Turbo,高階價格確實高出不少,也能體現 AnthropicAI 對這款模型非常有信心。
實測如何?
既如此,那就先免費來嘗嘗鮮~
目前官方頁面已經更新,Claude 展現了「理解和處理圖像」這一功能,包括推薦風格改進、從圖像中提取文字、將 UI 轉換為前端程式碼、理解複雜的方程、轉錄手寫筆記等。
即使是模糊不清的有年代感的手記文件,也能精準 OCR 識別:
底下寫著:你正在使用他們第二大智慧模型 Claude 3 Sonnet。
然鵝,可能是人太多的原因,嘗試了幾次都顯示「Failed」
不過,網友們也已經 po 出了一些測試效果,比如讓 Sonnet 解謎題。
為其提供一些示例,要求它找出數字之間的關係,比如「1 Dimitris 2 Q 3」,意思是3是1和2相加的結果。
結果 Sonnet 成功解出 -1.1 加 8 等於6.9,所以「X」的值應該是 6.9:
還有網友發現 Sonnet 現在也可以讀取 ASCII 碼了,直呼:這是 GPT-4++ 的水平了。
在程式任務上,誰寫的程式碼好先不說,Claude 3 至少不會像 GPT-4 一樣偷懶。
好了,感興趣的朋友,可以戳下方連結體驗啦~
https://claude.ai/
參考連結:
[1]https://www.anthropic.com/news/claude-3-family
[2]https://twitter.com/AnthropicAI/status/1764653830468428150/photo/1
稿源:量子位
延伸閱讀:昔日創辦人馬斯克怒告OpenAI,阿特曼內部備忘錄向員工表態:我懷念那個透過開發更好的技術與他人競爭的人
延伸閱讀:馬斯克不忍了!正式對OpenAI提告:46頁訴狀稱自己被騙慘了、要求賠錢、開源
延伸閱讀:OpenAI 指控紐約時報花錢「破解」ChatGPT
量子位(Qbitai)專注於人工智慧及前沿科技領域,提供技術研發趨勢、科技企業動態、新創公司報道等最新資訊,以及機器學習入門資源、電腦科學最新研究論文、開源程式碼和工具的相關報導。
請勿一文多貼灌水洗板或發表無意義字串,違者直接刪除留言。
請勿張貼廣告,不允許任何形式的商業廣告行為,包含頭像、簽名檔等。
禁止發表非官方所舉辦的團購性質活動,違者直接刪除留言。
發言時請勿涉及人身攻擊、侮辱、色情或其他有違社會善良風俗之內容,違者直接刪除留言。
嚴禁發表討論破解軟體、註冊碼、音樂、影片、軟體複製等違反智慧財產權之留言。
請尊重他人之文章著作權,轉載者請標明來源。
-
急起直追?庫克:蘋果將在生成式 AI 領域「開闢新天地」,外界推估 WWDC 2024 見真章
-
Anthropic Claude 3 全面完勝 GPT-4,全球最強AI大模型一夜易主
-
OpenAI回击马斯克:你过去曾同意营利和不开源!
-
“天幕”大模型技术赋能 万兴科技Wondershare Filmora上线AI视频翻译
-
中广天择:公司不涉及相关AI业务及AI技术
-
武汉工程大学人工智能2023年考研辅导班
-
河北工业大学人工智能2024考研辅导班
-
展新品 秀实力 | 台达出席2023中国国际智能建筑展
-
郑州航空工业管理学院人工智能2024年考研辅导班
-
X 禁止第三方抓取数据,只因要亲自下场做 AI
-
中文在线等26家单位联合发布业内首份AIGC数据版权倡议书
-
“人工智能”真的能领悟围棋之“道”?