智能日报
业界资讯 智能手机 电脑硬件 平板电脑 智能手表 智能家电 耳机音频 笔记本 热点资讯

Meta发布Llama 4系列AI,混合专家架构能否助其效率飙升?

2025-04-06来源:ITBEAR编辑:瑞雪

meta近期推出了其最新的Llama 4系列AI模型,这一系列包括了Llama 4 Scout、Llama 4 Maverick和Llama 4 Behemoth三款模型。据meta透露,这些模型均经过了庞大的未标注文本、图像和视频数据的训练,旨在赋予它们广泛的视觉理解能力。

目前,meta已将Scout和Maverick两款模型上架至Hugging Face平台。而Behemoth模型仍在紧锣密鼓的训练中。Scout模型能够在单个英伟达H100 GPU上运行,而Maverick则需要更高配置的英伟达H100 DGX AI平台或性能相当的设备。

值得注意的是,Llama 4系列是meta首次采用混合专家(MoE)架构的模型。这种架构通过将数据处理任务分解为多个子任务,再将这些子任务分配给更小的、专门化的“专家”模型,从而在训练和回答用户查询时展现出更高的效率。例如,Maverick模型拥有4000亿个参数,但在128个“专家”模型中,只有170亿个参数处于活跃状态。

相比之下,Scout模型拥有170亿个活跃参数,分布在16个“专家”模型中,总参数数为1090亿个。尽管Llama 4系列模型在性能上有所提升,但它们并非像OpenAI的o1和o3-mini那样的“推理模型”。推理模型会对答案进行事实核查,通常能更可靠地回答问题,但响应时间相对较长。

meta内部测试显示,Maverick模型在通用AI助手和聊天等应用场景中表现出色,尤其在创意写作、代码生成、翻译、推理、长文本上下文总结和图像基准测试等方面,其性能超过了OpenAI的GPT-4和谷歌的Gemini 2.0等模型。然而,与谷歌的Gemini 2.5 Pro、Anthropic的Claude 3.7 Sonnet和OpenAI的GPT-4.5等更强大的最新模型相比,Maverick仍有一定的提升空间。

Scout模型则擅长总结文档和基于大型代码库进行推理。该模型支持处理1000万个词元,这意味着它一次能够处理数百万字的文本。meta还预告了其Behemoth模型。据透露,Behemoth拥有2880亿个活跃参数,分布在16个“专家”模型中,总参数数接近2万亿个。meta内部基准测试显示,在一些衡量解决数学问题等科学、技术、工程和数学(STEM)技能的评估中,Behemoth的表现优于GPT-4.5、Claude 3.7 Sonnet和Gemini 2.0 Pro,但略逊于Gemini 2.5 Pro。

华为Mate X7或本月登场 首发20GB超大内存 配色丰富性能强劲
11月份的机圈将会是华为的主场,不仅新一代的直板旗舰华为Mate80系列会震撼亮相,还会有迭代的大折叠屏手机华为Mate X7发布。@定焦数码爆料,华为Mate X7将会首发定制20GB超大内存,这是华为史…

2025-11-15

欧加9K级大电池定版试产,一加骁龙8系直屏新机测试,中端机竞争升级
IT之家 11 月 14 日消息,博主 @数码闲聊站 今天在微博透露,欧加的 9K 级别大电池现已定版试产。 博主表示,这块电池采用单块4.51V 单电芯设计,额定容量 32.59Wh,额定电池 8760m…

2025-11-14

高通跃龙IQ-X系列处理器登场 助力工业PC与边缘智能场景革新发展
高通技术公司汽车、工业及嵌入式物联网事业群总经理Nakul Duggal称,高通跃龙IQ-X系列将Qualcomm Oryon CPU的计算性能引入工业PC领域,有助于提升工厂车间边缘控制器的运行能力与…

2025-11-14

iPhone 17系列线上线下热销,苹果2025年有喜有忧未来可期
在此情况下,原本不被看好的苹果 iPhone 17 系列成为一匹黑马,上市后销售极为火爆,尤其是中国市场的表现远超预期:首发 10天销量同比增长 14%,第三季度出货量达 1010 万台,成为头部厂商中唯…

2025-11-13

95后「AI天才少女」罗福莉加入小米,AI圈人才争夺再掀热潮
DeepSeek员工、有天才名号、小米雷军出千万年薪挖角,这几个因素叠合起来,让不怎么关注 AI 的网友都知道了这位 95 后技术大牛。暂且不说这“千万年薪”是不是真消息,能让雷军出动请人, 相信大家都能从…

2025-11-13

苹果携手三宅一生推iPhone Pocket,以独特设计诠释佩戴新乐趣
11月12日消息,据business insider报道称,苹果公司将与奢侈时尚品牌三宅一生(IsseyMiyake)联合推出一款特别版iPhone配件——iPhone Pocket。 三宅设计工作室总监宫…

2025-11-12

“AI才女”罗福莉官宣加入小米,携手团队共筑AGI美好未来
罗福莉的职业生涯始于阿里巴巴达摩院,主导开发了多语言预训练模型VECO,并推动了AliceMind的开源工作。 此外,罗福莉在朋友圈提到的“XiaomiMiMo”是小米公司于2025年4月开源的首个推理大模型…

2025-11-12

创始人离职“官宣停更”后,Nova Launcher却悄然推出8.1.6 Beta新版本
然而,自巴里离职后,Nova Launcher 已经发布了多个连续更新,最新的 8.1.6 Beta 版本解决了一个严重的崩溃问题。 IT之家从报道中获悉,目前用户最困惑的问题是:究竟是谁在进行这些更新和发…

2025-11-12

联想双十一成绩亮眼:89亿销售额揽19冠 平板与多品类齐发力
不仅一举夺得笔记本电脑总榜自营销量冠军与POP销售额冠军,更在细分品类中实现了多维度领跑。旗下的ThinkPad与ThinkBook分别拿下POP销售额冠军与自营高端销售额冠军;游戏本方面,联想更是包揽了自营…

2025-11-12

苹果MacBook Pro或迎全面升级:OLED触控屏、纤薄机身及5G支持将至
根据目前爆料,此次改款或将是一次重大升级,多项关键特性有望给用户带来全新体验。显示屏方面,新MacBookPro将采用支持触控功能的OLED显示屏,相较于现款所使用的Mini LED技术,这无疑是一次重大…

2025-11-12