一、技术背景与建设意义
1.技术发展状况
（1）大模型技术
自大模型技术问世以来，作为人工智能领域的一项关键性突破，正在深刻地 重塑着各行各业的发展态势。该技术基于深度学习架构，通过对巨量数据的学习 过程，构建起庞大且复杂的知识体系，展现出强大的语言理解、生成以及逻辑推 理能力。在自然语言处理、计算机视觉、语音识别等多个领域中，大模型技术已 显示出卓越的性能，为智能化应用提供了坚实的技术基础。
DeepSeek 大模型自 2025 年初出现以后，凭借其独特的架构设计与先进的训 练算法，在语言理解与生成任务中展现出卓越的性能，通过深度挖掘和学习大规 模文本数据，能够以更加低成本的算力需求，实现对用户意图的精准理解，并生 成高质量、逻辑性强的文本回复。目前，在知识图谱构建、智能客服、代码开发、 机器翻译等众多应用场景中，DeepSeek 大模型都取得了显著成效，包括华为、腾讯、三大运营商等在内的国内众多企业，都在陆续与DeepSeek 展开合作，预 示着其广阔的应用潜力。
在教育领域，大模型技术的应用为教学模式的创新提供了新的视角。通过与 教学内容的深度整合，大模型能够实现个性化学习辅助，依据学生的学习状况和 个性特征，提供定制化的学习建议和辅导服务。在科研和行业应用领域，大模型 技术通过与物理设备相连接，比如视觉、语音、机器人等，可以构建丰富的具身 智能场景，从而助力开发人员不断在各行各业提出创新的解决方案，加速大模型 在行业落地的进程。
（2）云边协同技术
云边协同技术是云计算与边缘计算的有机结合，该技术的提出，主要在于充 分发挥两者的优势，实现更高效的数据处理和服务响应。云计算凭借其强大的计 算能力和海量的数据存储，能够处理大规模的复杂计算任务，为用户提供弹性的 计算资源。而边缘计算则靠近数据源（比如生产现场），能够在本地进行实时的 数据处理和分析，减少数据传输延迟，提高系统的响应速度和可靠性。
同样的，在教育领域，云边协同技术也为高校的教学和科研提供了新的解决 方案。通过将部分计算任务下沉到边缘设备，如昇腾开发板、人工智能套件、机 械臂、移动机器人等，可以实现本地的实时数据处理和交互，提高教学和科研的 效率。同时，利用云端的强大算力支持，可以对上述边缘设备采集的数据进行深 度挖掘和分析，从而更加有效的驱动边缘设备执行各类任务。
特别的，在如 DeepSeek、Qwen2.5、Llama 等大模型技术出现后，通过在云 端部署大模型，可以为边缘设备提供远超传统云平台的算力支持和推理能力，具 有极其广阔的应用前景。

2.建设意义
（1）高校算力需求升级
随着人工智能时代的加速到来，在高校科研与教学的过程中，对算力的需求越来越大，除了人工智能和计算机相关专业，还有如材料、化工等专业，都面临
着大量数据的处理需求。此时，传统服务器的局限性已经开始显现，然而，当在服务器中部署如DeepSeek、Qwen2.5、Llama等大模型后，则可以实现多方面的性能提升。
最显著的提升表现在计算性能上，比如，在深度学习训练任务中，传统服务器可能需要数天才能完成的大规模神经网络训练，而一台搭载了大模型的服务器借助分布式计算技术和专为模型加速设计的硬件，可以将训练时间大幅缩短至数小时甚至更短，让用户可以更快的进行模型的迭代。
另外，大模型服务器还具备强大的泛化能力和适应性。传统服务器在面对多样化的数据类型和复杂的应用场景时，往往需要频繁更换硬件或调整软件配置。而部署了如DeepSeek、Qwen2.5、Llama等大模型的服务器，凭借其对多模态数据的理解和处理能力，能轻松应对如计算机视觉中的图像识别以及自然语言处理中的文本挖掘等不同领域的任务。
（2）大模型技术应用机遇
大模型技术是一场生产力领域的变革，预期将深刻的改变各行各业。对高校而言，大模型可以整合文本、图像、音频等多种数据模态，在各个专业的教学、科研和人才培养方面，也带来了前所未有的应用机遇。比如，在音乐专业的教学方面，通过输入对乐曲的基本要求，大模型便可以生成基本的曲谱，大大提升了创造效率；在科研领域，多模态大模型可以辅助科学研究，如在机器人专业，多模态大模型可以实时的采集用户的语音指令和环境信息，并通过对机器人动作和姿态的分析，得出更具效率的机器人运动轨迹和路径。当然，在其他如化工、材料等专业，大模型在数据分析方面都可以发挥巨大的价值。
通过建设云边协同算力平台，可以为多模态大模型的运行提供有力的支持，使得模型的训练和推理更加高效，更主要的，可以实现与现场设备和数据的融合，从而充分释放多模态大模型的潜力。
（3）教育智能化转型亟需场景适配
教育智能化转型是当前高校发展的重要趋势，近年来，国家也出台了非常多的政策，促进人工智能技术与传统教学过程的结合。本方案中的多模态大模型与云边协同算力平台，通过部署大模型服务器，可以在诸多方面促进高校的教学、科研与应用实践。比如，在教学场景中，通过人脸识别、语音识别等技术，可以
自动记录学生的出勤情况和课堂表现，为教学评估提供数据支持；在科研场景中，通过大模型服务器的算力支持，可以为科研团队提供一站式的算力服务和数据分析工具，加速科研成果的转化；在具体的行业应用中，通过配置如开发板、视觉、语音、机械臂、移动机器人等一系列的边缘设备，可以使得用户不仅仅是进行与大模型的文本交互，而是可以直接应用大模型技术解决行业实际问题，如产品质量检测、机器人轨迹规划等。
通过丰富的场景适配，该平台可以有效的推动高校教育智能化转型的落地实施，提升教育质量和管理水平。

二、平台概述
1.平台简介
在该平台中，以部署了大模型的昇腾服务器作为云端，利用其强大的计算能力、存储能力和多模态能力进行复杂的数据处理和模型推理；而配置的大模型边缘终端、人工智能套件（视觉、语音）、机械臂、移动机器人等则作为边缘设备，负责数据的采集和简单的预处理，并与云端的大模型服务器进行数据交互，提升对复杂场景的处理能力。通过该架构设计，大模型可以为人工智能、机器人等边缘设备提供更强大的语义理解和决策能力，而人工智能、机器人等边缘设备所获取的视觉、语音等数据又能为大模型的训练和优化提供更多样化的素材，从而提升整个系统的智能水平和应用价值。
2.主要功能和特点
该云边协同算力平台具有如下功能和特点：
（1）强大的国产算力。平台的核心为昇腾服务器，采用纯国产化的硬件和技术，凭借昇腾服务器强大的计算性能，可以为大模型的运行提供稳定、高效的计算环境，确保模型的快速响应和准确推理；
（2）云边一体化架构。平台不仅支持云计算，还集成了边缘计算能力，能够有效提升数据处理速度，降低延迟，并提高系统的响应效率，特别是在实时性要求高的应用场景中表现尤其突出；
（3）数据安全。私有化部署本地大模型。通过该大模型的部署，可以在自然语言处理、图像生成和代码生成等领域实现对教学和科研的有效赋能；
（4）多样化的边缘设备。作为本方案的特色，配置了如大模型边缘终端、人工智能套件（如视觉、语音等）、机械臂、移动机器人等边缘设备。该类边缘设备通过实时与环境交互和与云端协同工作，可以实现多模态数据的有效融合和应用；
（5）丰富的应用场景。该平台的设计架构着眼于如何利用大模型技术赋能行业，即如何解决行业问题。依托丰富的边缘设备，可以构建如工业、物流、商业等丰富的应用场景，加速高校的教学科研向应用实践的过渡，更加有效的提升学生的技能，助力高校培养创新型人才。

三、整体架构设计
在本方案中，云边协同架构基于昇腾服务器和边缘设备构建。昇腾服务器内部署了大模型，作为云端的核心，提供强大的计算能力和模型推理服务。边缘设
备包括昇腾开发板、人工智能套件、机械臂、移动机器人等，通过网络与云端相连，实现与云端的通信和协同工作。
1.云端
云端以昇腾服务器为硬件基础，部署DeepSeek、Qwen2.5、Llama等多种大模型。昇腾服务器具备高性能的计算芯片和强大的计算能力，能够满足多种大模型对算力的需求。大模型在云端运行，负责处理边缘设备上传的数据，进行深度的分析和推理，并将结果返回给边缘设备。
大模型在昇腾服务器上的部署可以实现多种功能。比如，可以对从边缘设备收集到的多模态数据进行深度分析和理解，并通过边缘设备与用户进行交互，或实现对边缘设备的控制。
2.边缘设备
边缘设备是云边协同架构的重要组成部分，包括大模型边缘终端、人工智能套件（视觉、语音）、机械臂、移动机器人等。这类设备与具体的应用场景结合，可以实时采集各种数据，进行初步的处理和分析。
比如，大模型边缘终端可以进行基础的数据处理，和简单的大模型推理；人工智能套件可以通过摄像头采集图像数据，进行图像识别、目标检测等任务；机械臂和移动机器人则可以通过传感器采集环境数据，实现自主运动和操作控制。
这类边缘设备，在各个环境中均可以独立工作，但如果通过网络与云端服务器相连，将采集到的数据上传至服务器，由大模型进行进一步的处理和分析，则可以大大的提高其处理能力，这也是该云边协同算力平台的价值。
3.云边协同方式
（1）数据交互
数据交互是云边协同最常规的方式。以人工智能套件为例，可以采集如用户语音指令、人脸信息等，在对这些数据进行简单的预处理后，将其传输到部署了大模型的昇腾服务器，大模型可以对数据进行深度分析和推理，比如理解用户的真实意图，具体需要完成什么样的任务？而后，将推理结果反馈给边缘设备，实现与用户的交互。
（2）任务分配
在具体的生产和生活场景中，任务的复杂度千差万别，必须考虑如何实现算力资源的有效调用和分配。在本架构中，对于一些简单的、对实时性要求较高的任务，如简单物体的识别、机器人的运动控制，可以由边缘设备直接完成；而对于复杂的、需要大量计算和数据支持的任务，如高精度的图像识别、复杂场景的语义理解等，则由边缘设备将数据传输到云端，由云端服务器和大模型进行处理。
（3）协同学习
视觉、语音、机械臂、移动机器人等边缘设备可以通过不断地与环境交互获取新的数据和经验，并将这些数据上传到云端。云端利用这些数据对大模型进行持续的训练和优化，然后将优化后的模型参数下发到边缘设备，从而使边缘设备不断的提升性能，完成对生产过程的持续优化。

四、多种配置组合
在教学、科研及各行业的实际应用中，并非所有的场景都需要该完整的云边协同算力平台，因此，本方案根据不同的需求，提供了以下三种配置组合：
1.面向算力需求场景
以计算机专业/大数据专业为例，课程以软件算法为主，此时，更多是需要提升对代码、数据的处理能力，而不是边缘端硬件设备的执行能力。因此，在这类专业，可以仅选择部署了DeepSeek、Qwen2.5、Llama等大模型的昇腾服务器。当然，还有其他如材料、化工、物理等专业，存在着需要处理大量实验数据的场景，均可以仅选择该服务器。
（1）大模型+算力对教学科研的价值
以大数据专业为例，大模型可以在数据管理和提出方面发挥突出作用。比如，可以将服务器外接麦克风，通过语音识别技术将用户的语音指令转化为文本，接着对转化后的文本进行语义分析，借助大模型理解用户的真实意图，解析出需要提取的数据特征，比如“帮我查查2023年的XX省的房价数据，按照从高到低的排列输出”。然后，根据这些解析出的特征（如年份、省份、类别等），在数据库中进行精准检索，最后将检索到的数据提取并返回给用户，完成语音指令提取存储数据的操作。
（2）大模型+算力对行业应用的价值
在各行业的实际场景中，部署了大模型的昇腾服务器同样具有重要的应用价值。
在智能制造领域，可以利用大模型对生产数据进行分析和预测，实现生产过程的优化和智能化管理。比如设备的使用寿命和磨损情况、生产工艺的分析，等等。
在智能交通领域，可以利用大模型对交通数据进行分析和预测，实现交通流量的优化和智能调度，提高交通效率和服务质量。
在智能医疗领域，可以利用大模型对医疗数据进行分析和诊断，实现疾病的早期预测和精准治疗。如华为公司近期发布的“瑞金医疗大模型”，便是这一应用的突出体现。
2.面向边缘应用场景
相比较而言，昇腾服务器虽然算力强大，但价格偏昂贵，如学院已经有服务器，或者预算受限，则可以选择预装了轻量级大模型（如DeepSeek1.5B）的大模型边缘终端（昇腾处理器），以满足人手一套开展教学实践的需要。该开发套件除预装大模型外，还内置完整的python、ROS开发环境和工业、交通等典型应用场景的算法框架，支持视觉（目标检测）、语音（指令识别）、文本（NLP）的端侧推理，可以满足常规的教学需求。
（1）大模型边缘终端对教学的促进作用
在教学实训中，学生可以通过该大模型边缘终端进行人工智能实验的设计和实现。利用套件中预装的DeepSeek、Qwen2.5、Llama等多种大模型，学生可以进行自然语言处理、计算机视觉等实验，深入理解人工智能算法的原理和应用，并实现编程技能的提升。
在课程设计中，学生可以将该大模型边缘终端与其他设备相结合，比如在智能机器人课程设计中，可以用该套件来作为与机械臂、移动机器人的主控系统，从而实现机器人的智能控制和应用。
（2）大模型边缘终端对学生就业的帮助
目前，就业形势相对比较严峻，但从企业的真实需求来看，具备人工智能技能和实践经验的学生仍然受到广泛的欢迎。通过使用大模型边缘终端进行学习和实践，学生可以掌握人工智能的核心技术和应用方法，尤其是能学习到如何利用大模型技术解决实际问题，真正为行业赋能，当学生具备了这个基础，在就业市场上的竞争力将显著提升。
3.面向云边协同场景
近年来，在智能制造、智慧物流、智慧交通等真实的场景中，随着环境的越来越复杂，数据量的不断加大，云边协同的应用需求开始不断涌现。
从高校的实际需求来看，如果是自动化、机器人、交通等专业开展大模型相关的应用实践，则往往需要采用1台服务器+N套大模型边缘终端/AI开发套件/机械臂/移动机器人的组合，通过服务器对现场数据进行标注、训练和大模型推理，利用边缘终端与现场进行交互，实时处置各类问题。对科研而言，采用以上组合，可以打造一个“边缘自主决策+云端群体智能”的科研平台。
（1）大模型+边缘终端/AI开发套件
在教学方面，通过大模型服务器与大模型边缘终端/AI开发套件的云边协同，可以为高校的实验教学和课程设计提供丰富的资源和工具。比如，在计算机视觉课程中，学生可以利用AI开发套件中的摄像头采集图像数据，在边缘端进行初步的图像预处理，然后上传至服务器进行深度的图像分析和识别。利用大模型的强大能力，实现对图像内容的理解和分类。在此过程中，还可以通过丰富的自然语言指令，与大模型进行交互。
（2）大模型+机械臂
随着人形机器人的大热，大模型+机械臂，可能成为未来大模型在生产领域的主要应用场景。人形机器人与生产场景的交互，本质上都必须通过双臂完成，而人形机器人控制单元内部署的大模型，则赋予了双臂真正的智能化能力。在教学方面，学生可以将机械臂采集到的力觉、位置等数据上传至服务器进行分析和处理，利用大模型的智能决策能力，实现更加精准和智能的操作。
在科研方面，用户可以采用人类的姿态数据训练特定的大模型，并通过其控制机械臂，使其在无需示教的情况下，也可以处理复杂的任务，该功能即为当前非常前沿的“视觉-语言-动作模型”。
（3）大模型+移动机器人
移动机器人的应用场景通常比机械臂更为复杂，比如车间、道路、园区、酒店等，采集到的数据也更为丰富，除了机器人的运动状态数据外，还包括视觉、雷达、传感器等数据。在物流行业，如京东、亚马逊的仓储中心，成千上万台移动机器人通过云端的调度算法，沿着特定的路线行进，完成包括分拣任务。但是，仓储中心的场景相对道路、园区而言仍比较单一。在复杂场景中，移动机器人的环境感知和路径规划，可以采用大模型进行高效的处理。比如，利用大模型的智能决策能力，可以有效的处理各类环境数据，如障碍物信息、地图信息等，从而实现移动机器人的自主导航、自主规划和实时避障。

五、学生技能提升与就业方向
在本方案设计的多模态大模型与云边协同算力平台中，根据配置组合的不同，学生分别可以在以下方向得到能力的提升：
1.大模型技术应用
掌握DeepSeek、Qwen2.5、Llama等多种大模型的模型部署、模型调优、多模态数据处理技术，理解云端模型训练与边缘端推理落地的全流程。
就业方向：AI应用工程师
2.个性化编程应用开发
基于大模型的代码生成能力，搭建支持自然语言编程的机械臂控制平台，学生可用口语指令生成机械臂控制代码或ROS节点代码。
就业方向：低代码平台工程师
3.多模态数据处理与模型部署
掌握图文、音视频等多模态数据的预处理方法，如使用Python的Pandas库进行数据筛选；学习如何利用TensorRT等工具实现模型的加速推理，满足边缘端低功耗需求；熟悉Kubernetes容器化技术，实现云端训练与边缘端推理的链路搭建。
就业方向：AI数据标注工程师、边缘计算工程师
4.轻量化模型开发与调优
掌握知识蒸馏、量化感知训练（QAT）方法，将百亿参数模型压缩至10B以下；学习NPU/GPU异构计算架构，掌握如何使用TVM框架优化端侧推理速度。
就业方向：AI应用开发工程师、模型优化工程师
5.智能终端应用开发与运维
学习端侧AI框架的开发，比如掌握TFLite、CoreML等工具，实现手机/嵌入式设备的本地化模型推理，以及硬件接口开发与故障排查。
就业方向：智能终端开发工程师
6.云边协同架构设计
学习分布式计算、边缘设备与云端的通信协议（如MQTT/HTTP3）、低延迟数据同步策略，培养工业级系统搭建能力。
就业方向：系统架构工程师

六、课程资源与应用案例
大模型基础及应用 
（1）大模型的定义与特点
（2）大模型在不同领域的应用现状
（3）神经网络架构在大模型中的应用
（4）注意力机制详解
（5）预训练与微调技术
（6）数据收集与预处理
（7）文本生成应用
（8）知识问答系统
（9）内容推荐应用
（10）智能客服与聊天机器人
（11）大模型在金融领域的应用

大模型+视觉应用案例 
（1）大模型在图像分类中的应用
（2）基于大模型的图像生成方法
（3）图像风格迁移案例
（4）视频内容理解与生成
（5）智能安防监控案例
（6）基于大模型的缺陷数据自主生成
（7）基于大模型的缺陷自主分析

大模型+语音应用案例 
（1）大模型在语音识别中的应用
（2）智能语音助手案例分析
（3）大模型与语音情感识别
（4）多语言语音处理应用
（5）语音控制智能家居系统
（6）大模型与语音信息检索
（7）会议录音记录与总结

大模型+机械臂应用案例 
（1）基于大模型的机械臂分拣实验
（2）基于大模型的机械臂代码生成
（3）基于大模型的智能制造实验
（4）基于大模型的农业采摘实验
（5）基于大模型的家居服务实验

大模型+移动机器人应用案例 
（1）多模态大模型在机器人中的应用
（2）基于大模型的巡检机器人实验
（3）基于大模型的配送机器人实验
（4）服务机器人的交互与任务执行

七、技术参数及说明
1.大模型服务器
1）KLG2280+30 0I Pro（24G）×1 
单机并发数：48人 
CPU：鲲鹏 S920S00
内存：32G×4
NPU：昇腾Atlas 300I PRO×1，140Tops INT8算力/单卡
显存：24G×1 本地存储：1T×2 
大模型：DeepSeek-R1-Distill-Qwen-1.5B 
业务场景：文本摘要、翻译、轻量级多轮对话
2）KLG2280+30 0I Pro（24G）×2 
单机并发数：48 
CPU：鲲鹏S920S00
内存：32G×8
NPU：昇腾Atlas 300I PRO×2，140Tops INT8 算力/单卡
显存：24G×2 
本地存储：1T×2 
大模型：DeepSeek-R1-Distill-Qwen-7B 
业务场景：智能客服、对话助手、编程辅助工具
3）KLG2280+30 0I DUO（96G）×3 
单机并发数：24 
CPU：鲲鹏S920S00
内存：32G×8
NPU：昇腾Atlas 300I DUO×3， 280Tops INT8算力/单卡
显存：96G×3
本地存储：1T×2 
大模型：Deepseek-R1-Distill-Qwen-14B 
业务场景：企业级复杂任务(合同分析、报告生成等知识问答、长文本内容分析与生成
4）KLG5580+30 0I DUO(96G)×4 
单机并发数：24 
CPU：鲲鹏S920X10
内存：64G×16
NPU：昇腾Atlas 300I DUO×4， 280Tops INT8算力/单卡
显存：96G×4
本地存储：2T×2 
大模型：DeepSeek-R1-Distil-Qwen-32B 
业务场景：高精度专业领域任务(如医疗问诊建议、法律条文解读)
5）KLG5680+30 0IDUO(96G)×8 
单机并发数：24 
CPU：鲲鹏S920X10
内存：64G×24
NPU：昇腾Atlas 300I DUO×8，280Tops INT8算力/单卡
显存：96G×8
本地存储：2T×2 
大模型：DeepSeek-R1-Distill-Llama-70B 
业务场景：高复杂度生成（创意写作、数学分析、算法设计、科研机构/大型企业（金融预测、用户像）
6）KL G5680 V2(800I A2 64G)×4（BF16） 
单机并发数：10 
CPU：鲲鹏920 48-Core
内存：64G×16
NPU：昇腾Atlas 800I A2×4，616Tops INT8 算力/单卡
显存：64G×4
本地存储：2T×2 
大模型：DeepSeek-R1-671B 
业务场景：满血版DeepSeek，支持任意复杂场景、复杂多模态任务支持

2.大模型边缘终端
1）算能eSVP-SE7-IV-D0002 
CPU:ARM A53 8核 2.3GHz
TPU:32TOPS INT8；
16TFLOPS FP16/BF16；
2.2TFLOPS FP32；支持混合精度计算
内存：16GB 
大模型：DeepSeek-R1 1.5B 
业务场景：文本摘要、代码生成、翻译、轻量级多轮对话

3.其他边缘设备
1）人工智能：
人工智能开发套件
机器视觉应用实验箱

2）机械臂：
六轴机械臂 
协作机械臂 
机器人视觉实验平台 
机器人视觉检测生产线

3）移动机器人： 
复合型移动协作机器人（室内版） 
复合型移动协作机器人（室外版） 
AI智能交互机器人

4）具身智能：
人形七轴手臂 
通用人形机器人 
智能服务机器人 
具身智能开发平台 
双臂协同柔性制造平台