摘要：
今日，OpenAI宣布终止对中国提供API服务，阿里云百炼第一时间宣布，将为OpenAI API用户提供最具性价比的中国大模型替代方案，并为中国开发者提供2200万免费tokens和专属迁移服务。根据斯坦福最新公布的大模型测评榜单HELM MMLU,Qwen2-72B得分为0.824,与GPT-4并列全球第四等会说。
...
今日，OpenAI宣布终止对中国提供API服务，阿里云百炼第一时间宣布，将为OpenAI API用户提供最具性价比的中国大模型替代方案，并为中国开发者提供2200万免费tokens和专属迁移服务。根据斯坦福最新公布的大模型测评榜单HELM MMLU,Qwen2-72B得分为0.824,与GPT-4并列全球第四等会说。
o(?""?o
据悉大规模多任务语言理解能力评估(MMLU on HELM)采用了Dan Hendrycks 等人提出的一种测试方法，用于衡量文本模型在多任务学习中的准确性。这个测试内容包括基础数学、美国历史、计算机科学、法律等领域的57 个任务。要在这个测试中获得高分，模型必须具备广泛的世界知后面会介绍。
●０●
ju xi da gui mo duo ren wu yu yan li jie neng li ping gu ( M M L U o n H E L M ) cai yong le D a n H e n d r y c k s deng ren ti chu de yi zhong ce shi fang fa ， yong yu heng liang wen ben mo xing zai duo ren wu xue xi zhong de zhun que xing 。 zhe ge ce shi nei rong bao kuo ji chu shu xue 、 mei guo li shi 、 ji suan ji ke xue 、 fa lv deng ling yu de 5 7 ge ren wu 。 yao zai zhe ge ce shi zhong huo de gao fen ， mo xing bi xu ju bei guang fan de shi jie zhi hou mian hui jie shao 。
＋▂＋
本科生水平的知识(MMLU) 和编码能力(HumanEval)多方面，也都刷新了行业基准。在速度和成本方面，Claude 3.5 Sonnet是Claude 3 Opus的两倍，加上优惠的价格，它很适合帮用户处理编程、联动程序等复杂任务。目前，用户可以通过Claude网页和iOS程序免费试用Claude 3.5 Sonnet,付费后面会介绍。
ˋ０ˊ
˙▽˙
近日，豆包大模型在火山引擎原动力大会上正式发布。以超低价格掀起大模型降价潮的同时，豆包的模型能力也引发行业关注。在火山引擎的一份产品资料中，豆包模型团队公布了一期内部测试结果：在MMLU、BBH、GSM8K、HumanEval等11个业界主流的公开评测集上，Doubao-pro-4k 的后面会介绍。
ˇ＾ˇ
鞭牛士5月27日消息，近日，豆包大模型在火山引擎原动力大会上正式发布。以超低价格掀起大模型降价潮的同时，豆包的模型能力也引发行业关注。在火山引擎的一份产品资料中，豆包模型团队公布了一期内部测试结果：在MMLU、BBH、GSM8K、HumanEval等11个业界主流的公开评测集神经网络。
明敏丰色发自凹非寺量子位| 公众号QbitAI悄无声息，羊驼家族“最强版”来了！与GPT-4持平，上下文长度达3.2万token的LLaMA 2 Long,正式登场。在性能上全面超越LLaMA 2。和竞争对手相比，在指令微调MMLU (5-shot)等测试集上，表现超过ChatGPT。在人类评估(human evaluation)上等会说。
≥＾≤
9月6日，AI社区Hugging Face于官网宣布，由技术创新研究所TII训练的开源大模型Falcon 180B正式登陆该社区。作为当前最大的开源大模型，它具有1800亿参数，在3.5万亿Tokens上完成训练。从表现能力上来看，Falcon 180B在MMLU上的表现超过了Llama 2 70B和OpenAI的GPT-3.5,在He说完了。
MMLU等英文评估基准的英文主流任务评分，70亿参数量的Baichuan2-7B在英文主流任务上与130亿参数的LLaMA2相当。一并开源的还有Baichuan2-13B、Baichuan 2-13B-Chat与其4bit量化版本，以及模型训练从220B到2640B全过程的Check Poin。同时公布了详细介绍训练细节的Baic是什么。
Baichuan 2-13B-Chat与其4bit量化版本，并且均为免费可商用。据了解，Baichuan 2-7B-Base 和Baichuan 2-13B-Base两个模型，基于2.6万亿高质量多语言数据进行训练，相比上一代模型在数学、代码、安全、逻辑推理、语义理解等能力有所提升，在MMLU、CMMLU、GSM8K等评估基准中等会说。
南方财经5月9日电，今日，阿里云正式发布通义千问2.5,在权威基准OpenCompass上，该模型得分追平GPT-4 Turbo,同时，通义千问最新开源的1100亿参数模型在MMLU、TheoremQA、GPQA等基准测评中超越了Meta的Llama-3-70B模型。21世纪经济报道)
发表评论