为什么DeepSeek能够实现如此低的成本和如此高的性能呢？它背后的原理有哪些？
总体来看，DeepSeek的核心技术包括MoE架构、MLA机制、数据蒸馏技术……，今天就带大家弄懂MOE架构。
MoE全称Mixture of Experts，翻译过来就是“混合专家”。这是一种在深度学习领域高效利用计算资源的架构思想。
MoE 的核心理念在于：当模型需要处理一个输入时，不必动用全部参数，而是动态选择一部分“专家”模型来处理任务。这样既能保证大模型给出高质量的回答，又能显著降低每次推理时的计算量和内存开销。

你去一家医院看病，但是这家医院只有一位医生。这位医生什么都 懂，无论你是头疼还是肚子疼，无论你是要治感冒还是要切除阑尾，他都能够应对。

这样一位超级医生看起来很厉害，但他每次只能接诊一位患者，而且要动用自己的全部智慧。完成一天的工作后，超级医生疲惫不堪，工作成本巨大。
怎么解决这个问题呢？医院不再使用超级医生，而是按照不同的科室，招收许多细分领域的医生。例如，外科有外科医生，内科有内科医生，眼科有眼科医生，耳鼻喉科有耳鼻喉科医生……
同时，为了方便不同的患者找到对应的医生，医院设立了一个分诊台，患者看病时先到分诊台报到，分诊台根据患者的情况为其分配医生。

如果患者的病情比较复杂，某个科室不足以解决问题，那么也可以邀请多个科室的医生进行会诊。

传统的大语言模型拥有庞大的神经网络，这个网络就像一位超级医生，每次有用户提出问题，都需要动用整个网络，消耗大量的算力进行解答。
MoE架构把这个庞大的神经网络拆分成一个个较小的“专家网络”，这些专家网络就相当于医院各个科室的医生，擅长处理不同细分领域的问题。
在这些专家网络之前，又有一个“门控网络”，它相当于医院的分诊台，负责解析用户的输入，并且按照输入内容所属领域，将问题分配给对应的一个或多个专家网络。
最后，专家网络经过专业的处理，把处理结果聚合成最终的输出内容，返回给用户。
MoE架构的工作流程，可以用下面的图表示。

MoE架构的优势

节约算力：正如上面所探讨的，MoE架构每次回答问题只需要动用部分专家网络，大大节省了算力资源。
细分领域更专业：不同的专家网络有不同的专长，在回答特定领域的问题时，MoE架构的水平可能比完整的大模型还要高，而且响应速度更快。
MoE架构的劣势
专家平衡问题：在模型运行的过程中，可能有部分 “热门专家”被频繁使用，而其他专家长时间闲置，从而浪费了这部分能力。
复杂度提升：由于MoE架构引入路由机制，整个系统的复杂度也随之增加，会影响训练过程的稳定性，以及调节参数的难度。

本文摘自《漫画DeepSeek》