如果你是政企决策者,在“拥抱DeepSeek”的同时担心内部数据的安全问题,又或者有DeepSeek的个性化定制需求和对长期使用的成本担忧,将DeepSeek进行私有化部署或许是一个更好的选择,比如清程极智和瑞莱智慧的DeepSeek推理一体机。

一、清程极智
为了解决政企客户本地化部署DeepSeek的痛点,清程极智将陆续推出DeepSeek系列一体机,帮助客户又快又省又灵活又安全地实现本地部署DeepSeek。
目前,清程极智推出的一体机包括QC-1100、QC-3200、QC-5220、QC-5300三款。其中除QC-1100外,其余一体机均部署的是DeepSeek满血版。
QC-1100面向个人及小型组织,支持本地运行DeepSeek系列蒸馏模型,其中DeepSeek-R1-Distill-Qwen-7B模型的单对话回答速度达60 token/s,最高并发吞吐可达4000 token/s;
QC-3200性价比高、门槛较低,适合小团队长线使用,单个对话回答速度约40token/s;
QC-5220一体机则适合中小规模团队,不仅能同时支持100+用户的并发请求,还支持官方原版的128K上下文和FP8计算精度;
适用于中大型企业的QC-5300较QC-5220的精度更高、并发更大,并且稳定性和软件配套情况也更好。

另外,清程极智已基于十余家国产芯片,包括壁仞科技、寒武纪、海光信息、摩尔线程、沐曦、清微智能、昇腾、燧原科技、思朗科技、天数智芯、太初元碁等(按字母排序)公司的芯片产品,推出了DeepSeek私有化部署方案。清程极智希望用系统软件创新在大模型和国产芯片之间架起桥梁,让企业客户享受到AI红利,也让国产芯片在新一轮AI技术爆发中拥有更高增长潜力和更广阔的想象空间。

二、瑞莱智慧
瑞莱智慧联合其生态伙伴是石科技,第一时间完成惠企政策大模型与全尺寸DeepSeek - V3/R1 模型的适配,并正式推出一体机产品形态。全尺寸MoE模型在指令跟随、复杂推理等任务表现出色,适用于政策、能源、营销等领域的复杂多轮用户意图理解、深度研究分析与长篇撰写、以及长链条智能体构建等场景,全面助力大模型行业应用进入快车道。
此外,瑞莱智慧与太初元碁深度合作,基于太初T100训推一体加速卡 ,完成了惠企政策大模型方案在DeepSeek - V3/R1 模型的适配,并实现DeepSeek R1不同蒸馏模型的推理和微调工作,为客户提供了高性能、私有化的信创一体机交钥匙方案。该一体机通过预置全尺寸的DeepSeek大模型,实现了从算力、大模型到应用的全栈一体化交付方案,开箱即用,无需软硬件适配联调,大幅降低客户采购、运维等使用成本。软硬一体私有化部署模式,可以确保客户数据全程在本地服务器处理,避免信息、数据外流,同时实现软硬一体全栈国产化适配。
作为第三代人工智能基础设施和解决方案提供商,瑞莱智慧致力于提供安全、可靠、可控的人工智能基础设施,并在一体机中配置了瑞莱智慧在大模型安全加固领域的最新研究成果——STAIR框架,通过引入类似“系统2”思维的深层次内省推理,通过系统性思考来规避“直觉”的识别安全风险和“本能”地进行拒答,以解决行业普遍担忧的基础模型的安全性和幻觉问题。
目前,该一体机已率先在盐城高新区投资集团有限公司成功落地应用。

三、中科闻歌
对于媒体、金融、中医、社会治理与公共安全等垂类行业的客户,中科闻歌自主研发的智能体开发平台“智川”X-Agent更能满足这些行业的需求。
“智川”X-Agent是面向全行业的一站式智能体开发平台,内置具有自主知识产权的国产大模型雅意,并支持按需接入国内外先进大模型。目前,“智川”X-Agent全面接入DeepSeek全系列模型,企业用户可以在平台中一键部署使用。

媒体领域:通过深度语义理解和大规模数据处理,平台能够快速生成高质量的内容,提升媒体机构的创作效率和传播效果。
金融领域:平台结合DeepSeek的推理能力,能够精准分析市场趋势和风险,为金融机构提供智能化的风控和投资决策支持。
中医领域:融合传统中医与AI技术,平台可提供智能化中医诊疗服务,推动中医药事业现代化发展。
社会治理与公共安全:平台通过社会计算和决策智能引擎,帮助政府机构实现高效的社会治理和公共安全管控。
因DeepSeek坚持深度的开源,其R1模型遵循MIT License,允许用户通过蒸馏技术借助R1训练其他模型。此芯科技和AutoDL也为对于蒸馏模型有需求的开发者提供了便捷。

一、此芯科技
早在2024年5月,DeepSeek V2开源模型发布之际,此芯科技便捕捉到这一技术前沿动态,并迅速启动了与此芯SoC的异构适配工作。近日,此芯科技宣布成功实现了DeepSeek R1系列模型的蒸馏版本在此芯P1平台上的异构适配,包括DeepSeek-R1-Distill-Qwen-1.5B、DeepSeek-R1-Distill-Qwen-7B、DeepSeek-R1-Distill-Llama-8B和DeepSeek-R1-Distill-Qwen-14B等版本。

实测数据显示,在此芯P1平台上,DeepSeek-R1-Distill-Qwen-7B模型的推理速度可达10 tokens/s,DeepSeek-R1-Distill-Qwen-1.5B模型的推理速度将近40 tokens/s,展现出强大的端侧AI计算能力。
通过此次适配,此芯科技不仅推动了DeepSeek-R1模型在此芯P1平台上的chatbot高效本地部署,同时基于微软VSCode插件调用DeepSeek-R1本地模型作为服务端进行代码辅助生成,突破传统云端依赖,实现本地模型的高速运行,保障数据安全与处理速度。此外,该插件与VSCode编辑器深度整合,开发者无需额外学习成本,即可轻松上手,为开发者们带来了全新的编码体验。

对于DeepSeek1月底刚发布的多模态大模型DeepSeek Janus-Pro,此芯科技也将进行异构适配,进一步拓展端侧AI的应用场景。

二、AutoDL
AutoDL是一个面向“大 AI 圈”内的科研工作者和科技企业,提供弹性、省钱、好用的普惠AI云算力服务的算力互联网平台。AutoDL整合了来自全国各地的不同IDC、运营商和云计算厂商的高性价比算力,共有超10个型号的7000多片GPU和国产AI加速芯片。
DeepSeek-R1发布后,AutoDL在其算法社区上线了开箱即用的DeepSeek-R1和Janus-Pro镜像,以方便用户在AutoDL上运行使用,用户可以通过两者的镜像地址进入算法社区,在AutoDL.com中创建实例开始使用。
具体使用方式请点击链接:http://mp.weixin.qq.com/s/7ZSZO5uNVLLPL-wRUKWQEQ


一、清程极智
清程极智的MaaS平台上线满血版DeepSeek-R1大模型,其自研清程赤兔引擎通过一系列性能优化可以让DeepSeek-R1在速度上实现提升。用户可以通过清程MaaS的API调用,在自己的项目中无缝集成DeepSeek-R1。
另外,DeepSeek模型是否是“满血版”是不少用户关心的问题。
DeepSeek-R1满血版是DeepSeek官方开源的原版模型,总参数量达到671B。DeepSeek-R1满血版模型在英文、中文、数学、代码等任务场景中表现出的能力都能与OpenAI最先进的模型能力相媲美,甚至超越。非满血版的蒸馏版模型是利用知识蒸馏技术从满血版中提炼出的参数量较小的模型,可以使得模型部署成本大大降低,但参数量的减少也会导致模型能力的降低,尤其是在数学和代码相关的任务上,蒸馏版模型的能力往往展现出与满血版相比不小的差距。
这同样可以在清程极智的MaaS平台加以检验。用户只需要登录平台地址(http://maas.qc-ai.cn/),通过以下三步就能快速识别别处的DeepSeek是不是满血版:
进入测试界面:点击平台顶部导航栏的测试按键。
2.选择测试题目:在对话框上方的测试题库中,随意挑选一个问题,测试机器人会告诉你具体的操作方法。
3.复制答案验证:按照指示,把你的模型回答复制到输入框,AI 测试机器人会迅速判断,告诉你手中的 DeepSeek 是不是满血版。


二、Gitee AI
多LLM集成客户端Cherry Studio在v0.9.23版本中,新增Gitee AI的服务商选项,以便开发者在Cherry Studio使用Serverless API中的模型完成各类工作。DeepSeek R1/V3以及四款千问蒸馏模型均在可使用模型列表内,开发者可在Cherry Studio中自主选择。
除了DeepSeek系列模型,用户还可以使用Serverless API的其他种类模型在Cherry Studio进行文生图、翻译、知识库等工作。Gitee AI的Serverless API提供了文本生成、视觉模型、图像处理、语音识别、语音生成、向量与重排模型、代码生成等9种类型共55个大模型的API使用。
中科创星
Portfolio
推荐阅读
Recommend







收藏
登录后参与评论