Face Wall的智能端侧模型发布了“前向四” Minicp

6月7日的Home报道说，智能面孔墙在第六晚发布了末端型号Minicpm 4.0。该公司表示，在极端情况下，新车型可以通过其自己的CPM.CU推理地块加速220倍，并且常规速度的速度更快5倍，并且支持在Vllm，Sglang和Lllamaafactory等框架中部署。此时发布的8B闪电稀疏版使用创新的混乱构造建筑，为风暴造成了巨大的风暴。另一个0.5B称为“最强的小炮轻且柔韧性”。根据官方介绍，墙上推出的Minicpm 4.0系列LLM模型此时使用两个参数：8b和0.5b。为了应对单个体系结构的技术困难，难以考虑长文本和短文的不同情况，Minicpm 4.0-8B采用了“有效的双频移动”机制，可以根据任务特性自动切换注意力模式Teristics：处理艰难的长文本和深思熟虑的任务时，稀疏的注意力可以降低计算复杂性，并在简短的文本场景中切换到密集的关注，以确保准确性，从而实现长期和简短的文本传输的良好响应。根据这所房屋，Minicpm 4.0可以部署到打开资源框架，例如VLLM，Sglang，Llamaafactory和Xtuner。内置的自我开发cpm.cu极端端端推理框架，从想象中的采样创新，模型压缩和音量变化以及端端部署框架创新创新的创新型，从而带来了90％的模型改进和速度改进。军官说，它将实现pand末端“自然生活”的末端的平稳性。