发布日期：2024-03-25 15:46 点击次数：154
快科技2月4日音讯，DeepSeek V3、R1系列开源AI大模子在多话语交融、复杂推理任务中展现了超卓性能，不仅推进了AI期间的普及与发展，更是对开源社区的极大孝敬。
当今，各家科技巨头王人已纷繁运转维持、部署DeepSeek，国产硬件也在加快维持。
行动国产全功能GPU改变企业，摩尔线程快速脱色了对DeepSeek蒸馏模子推理奇迹的高效部署，可让更多缔造者基于摩尔线程全功能GPU，进行AI应用改变。
一键体验地址：
此前不久，基辅已拉响防空警报。（总台记者 王晋燕）
https://playground.mthreads.com
此外，用户也不错基于摩尔线程MTT S80、MTT S4000显卡，进行DeepSeek-R1蒸馏模子的推理部署。
其实早在1月28日，就如故有B站UP主在摩尔线程MTT S80上手动完成实验：
https://www.bilibili.com/video/BV18YfQYEEs2
通过DeepSeek提供的蒸馏模子，约略将大范畴模子的才调挪动至更小、更高效的版块，在国产GPU上脱色高性能推理。
摩尔线程基于自研全功能GPU，通过开源与自研双引擎有讨论，快速脱色了对DeepSeek蒸馏模子的推理奇迹部署。
开源框架适配：
基于Ollama开源框架，摩尔线程完成DeepSeek-R1-Distill-Qwen-7B蒸馏模子的部署，并在多种汉文任务中展现了优异的性能，考据摩尔线程自研全功能GPU的通用性与CUDA兼容性。
自研引擎加快：
通过摩尔线程自主研发的高性能推理引擎，连合软硬件协同优化期间，通过定制化的算子加快和内存处置，显赫进步了模子的计较后果和资源应用率。
这一引擎不仅维持DeepSeek蒸馏模子的高效运行，还为将来更多大范畴模子的部署提供了期间保险。
终末，摩尔线程行将盛开自主设想的夸娥（KUAE）GPU智算集群，全面维持DeepSeek V3、R1模子，以及新一代蒸馏模子的漫衍式部署。
夸娥集群集成先进推理期间与漫衍式计较框架，将确保大范畴模子的高效透露运行，助力缔造者快速脱色业务落地。
