GPT-4o mini锋芒毕露,主打一个“快”字。
性能方面,GPT-4o mini在MMLU上的得分达到了82%,在LMSYS排行榜的聊天方面表现优于GPT-4,展现了强大的实力。
价格方面,GPT-4o mini的定价亲民,商用价格每百万输入token仅15美分,每百万输出token仅60美分,相较GPT-3.5 Turbo价格降低了60%以上。
在WildBench测试中,GPT-4o mini目前排名第九,已优于谷歌的Gemini-flash及Anthropic的Claude 3 Haiku。
今日凌晨,我们已经为您介绍了GPT-4o mini的基本情况(详见《GPT-4o Mini:新星崛起,API价格大降60%》)。现在,让我们深入探讨其使用体验及背后的研发团队。
GPT-4o mini实测体验
在GPT-4o mini开放测试的瞬间,我们抛出一个热门话题:“9.1与9.9哪个大?”遗憾的是,GPT-4o mini未能正确回答,却认真地回答了“0.11>0.9”。
在Poe应用(已集成GPT-4o mini)中,我们尝试让模型解读电影《Eno》的设计封面,但GPT-4o mini“认不出照片上的人”。相对之下,GPT-4的表现更为准确。
在数学问题解决方面,GPT-4o mini的逻辑有时显得混乱,仿佛是学生在硬答却听不懂课程的内容。不必灰心,GPT-4的表现也不尽如人意,它甚至无法理解数字代表的是正方形边长。
在文字总结能力上,GPT-4o mini与GPT-4旗鼓相当,都能抓住重点信息。但GPT-4的回答更为条理清晰。
值得一提的是,GPT-4o mini的响应速度名副其实地做到了“更快”。与其对话时几乎无需等待,输出速度亦十分迅速。
研发团队与未来展望
其他领导者包括Jacob Menick、Kevin Lu等科研人员,他们分别在不同的研究领域有着深厚的学术背景和丰富的经验。