新智元报道
编辑：编辑部
初创团队 Mistral AI 再次放出一条磁力链，281GB 文件解禁了最新的 8x22B MoE 模型。
一条磁力链，Mistral AI 又来闷声不响搞事情。
281. 24GB 文件中，竟是全新 8x22B MOE 模型！
全新 MoE 模型共有 56 层，48 个注意力头，8 名专家，2 名活跃专家。
而且，上下文长度为 65k。
网友纷纷表示，Mistral AI 一如既往靠一条磁力链，掀起了 AI 社区热潮。
对此，贾扬清也表示，自己已经迫不及待想看到它和其他 SOTA 模型的详细对比了！
靠磁力链火遍整个 AI 社区
去年 12 月，首个磁力链发布后，Mistral AI 公开的 8x7B 的 MoE 模型收获了不少好评。
基准测试中，8 个 70 亿参数的小模型性能超越了多达 700 亿参数的 Llama 2。
它可以很好地处理 32k 长度的上下文，支持英语、法语、意大利语、德语和西班牙语，且在代码生成方面表现出强大的性能。
今年 2 月，最新旗舰版模型 Mistral Large 问世，性能直接对标 GPT-4。
不过，这个版本的模型没有开源。
Mistral Large 具备卓越的逻辑推理能力，能够处理包括文本理解、转换以及代码生成在内的复杂多语言任务。
也就是半个月前，在一个 Cerebral Valley 黑客松活动上，Mistral AI 开源了 Mistral 7B v0.2 基础模型。
这个模型支持 32k 上下文，没有滑动窗口，Rope Theta = 1e6。
现在，最新的 8x22B MoE 模型也在抱抱脸平台上上线，社区成员可以基于此构建自己应用。
参考资料：
