技术分享 | 欣威视通AIoT3588S-E智能主板部署DeepSeek-R1(1.5B)​大模型全流程解析

　　是一款国产领先的AI大模型，以其卓越的推理能力和高效的文本生成技术在全球人工智能领域崭露头角。DeepSeek的推出，标志着国产AI大模型在技术自主创新和产业应用落地方面迈出了重要一步。

　　AIoT3588S-E智能主板基于Rockchip RK3588S芯片，成功实现DeepSeek大模型的高效移植与推理加速，为边缘计算场景提供开箱即用的AI解决方案。如何快速将AI大模型部署到嵌入式设备?本文从模型部署到效果测试，揭秘全流程操作指南。

01.

部署过程

DeepSeek+AIoT3588S-E

　　设备连接与远程登录

　　将AIoT3588S-E智能主板连接到显示器，登录后获取IP地址，进行SSH远程登录，以便进一步管理和查看系统信息。

　　模型获取与环境配置

　　下载预量化模型：DeepSeek-R1-Distill-Qwen-1.5B_W8A8_RK3588.rkllm，更新系统软件包列表，配置Python 3.8环境并安装pip，安装Git工具及编译环境，以便代码仓库的克隆和管理。

　　获取与编译rkllm

　　下载好量化后的模型，在AIoT3588S-E开发板上git一下rkllm的仓库【 rkllm仓库地址】，修改编译脚本，将编译好的文件移动到rkllm目录下，便于后续管理与执行。

　　创建与运行脚本

　　进入rkllm目录，创建deepseek_start.sh脚本文件并赋权777权限，编辑该脚本并设置必要的环境变量并定义启动命令，执行该脚本来启动应用程序。

02.

性能测评

DeepSeek+AIoT3588S-E

　　在完成部署后，我们针对程序运行时对主板资源的占用情况进行了测试与分析，总结了以下几个关键数据：

　　CPU占用8%~27%。

　　程序执行期间，CPU的使用率稳定在8%到27%之间，该程序在处理任务时能够有效利用系统资源，避免过度消耗。

　　内存占用2GB。

　　程序运行时，内存占用维持在2GB水平，反映出程序设计高效，在确保性能的同时，尽可能减少了对内存资源的需求，有助于提升整体稳定性及响应速度。

　　NPU占用：三个核心负载45%~51%。

　　NPU三个核心的负载介于45%至51%，程序在进行特定计算任务时，能够均衡地利用硬件加速资源，实现高效的并行处理能力。

03.

应用效果

DeepSeek+AIoT3588S-E

　　DeepSeek-R1 是一款全能型人工智能助手，凭借强大的数据处理能力和丰富的知识库，支持多种场景下的高效应用，兼具快速响应与数据安全，是用户探索与解决问题的得力助手。在完成部署后，我们检测了使用效果：

　　DeepSeek可以快速分析设备故障问题，并给出技术支持的建议。

　　例如：AIoT3588S-E智能主板在启动时卡在Uboot阶段时，如何通过串口日志定位问题?

　　DeepSeek可以快速分析数学问题，并按照指令生成答题过程。

　　例如：请用高斯消元法求解方程组：2x+y =5、3x-2y =8。

　　本文分享了在智能主板AIoT3588S-E上部署DeepSeek-R1(1.5B)的过程，经过实际测试，其强大功能和高效表现得到了充分验证。

　　“先进算法+硬核算力”的协同模式，是国产AI生态从“实验室”走向“生产线”的重要过程，为开发者提供了一个即开即用的创新平台，为各行各业提供了更高效、更安全、更灵活的智能化解决方案。如果您对此感兴趣，欢迎随时咨询，我们会提供更全面的技术支持，期待与您共同探索AI应用的无限可能。