标签:MoE架构

Gemini 1.5 Pro以MoE架构重构AI天花板:百万Token如何撬动产业变革

① 事件背景 2024年2月,谷歌CEO桑达尔·皮查伊在内部动荡中强势推出Gemini 1.5 Pro,距初代Gemini发布仅隔45天。这款基于TPUv4集群训练的混合专家模型,甫一问...

MoE架构+超长上下文如何重塑AI效率版图?开源大模型|Meta Llama 4发布:

技术术语对照表 中文术语 英文全称 简写 混合专家架构 Mixture of Experts MoE 交错旋转位置编码 Interleaved Rotary Positional Encoding iRoPE ...