12月19日，智源研究院發(fā)布國內(nèi)外100余個，開源和商業(yè)閉源的大模型綜合及專項評測結(jié)果。“大語言模型評測能力榜單”中，豆包通用模型pro（Doubao-pro-32k-preview），在主觀評測中排名第一。
智源研究院 FlagEval 大語言模型評測能力榜單-主觀評測
“多模態(tài)模型評測榜單”中，豆包·視覺理解模型（Doubao-Pro-Vision-32k-241028）。在視覺語言模型中排名第二，僅次于GPT-4o，是得分最高的國產(chǎn)大模型。
智源研究院 FlagEval 多模態(tài)模型評測榜單-視覺語言模型
“FlagEval大模型角斗場榜單”中，豆包通用模型pro（Doubao-pro-32k-240828)。
在大語言模型榜單中位居第一梯隊，評分排名第二，僅次于OpenAI的o1-mini，是得分最高的國產(chǎn)大模型。
智源研究院 FlagEval 大模型角斗場榜單-大語言模型榜單
據(jù)智源研究院介紹，大模型評測平臺FlagEval目前已覆蓋全球800多個開閉源模型，在評測方法與工具上聯(lián)合了全國10余家高校和機構(gòu)合作共建。此次公布的榜單中，大語言模型主觀評測重點考察的是模型的中文能力，多模態(tài)模型評測榜單視覺語言模型主要考察的是模型在圖文理解、長尾視覺知識、文字識別以及復雜圖文數(shù)據(jù)分析能力；FlagEval大模型角斗場則是向用戶開放的模型對戰(zhàn)評測服務，反映了用戶對模型的偏好。
大使用量才能打磨出更好的模型。剛剛結(jié)束的2024火山引擎冬季FORCE原動力大會公布了豆包大模型最新進展——豆包大模型12月日均tokens使用量超過4萬億，較5月發(fā)布時期增長超過33倍，在不同應用場景中調(diào)用量快速增長。
使用量和應用場景的提升，也讓豆包大模型迎來了全新的升級。其中在“大語言模型評測能力榜單”的主觀評測中排名第一的豆包通用模型pro完成新版本迭代，綜合處理能力較5月發(fā)布時提升了32%，在推理上提升13%，在指令遵循上提升9%，在代碼上提升58%，在數(shù)學上提升43%，在專業(yè)知識領域能力提升54%。
在“多模態(tài)模型評測榜單”的視覺語言模型中，得分國內(nèi)最高的豆包·視覺理解模型也在FORCE原動力大會上正式對外發(fā)布。豆包·視覺理解模型可以理解用戶所輸入的文本和圖片相關(guān)的信息，并給出準確的回答。通過更強的內(nèi)容識別能力、更強的理解和推理能力、更細膩的視覺描述能力，豆包·視覺理解模型極大地拓寬了大模型場景邊界，基于對真實世界的信息處理，可以更好的輔助人類完成復雜的任務。
豆包·視覺理解模型在教育、旅游、電商等場景有著非常廣泛的應用。為了更好地幫助企業(yè)開拓大模型的創(chuàng)新應用場景，豆包·視覺理解模型的價格為每千tokens 0.003元，比行業(yè)平均價格降低85%，相當于一塊錢可以處理284張720P圖片，讓企業(yè)和開發(fā)者用好視覺理解模型，找到更多創(chuàng)新場景。
從能力升級到模態(tài)豐富，火山引擎將持續(xù)拓展豆包大模型的能力邊界及應用場景，加速推動AI大模型應用的普及與落地，為更多企業(yè)智能化升級提供有力支撐。
