1 大模型实验室建设背景
1.1 技术发展与突破
近年来,深度学习技术的迅猛发展推动了大规模预训练模型(简称“大模型”)的兴起。以Transformer架构为代表的模型不断迭代,从最初的GPT系列、BERT、T5,到通义千问(Qwen)、ChatGPT,再到最新的DeepSeek系列模型(如DeepSeek-V3、DeepSeek-R1),大模型在自然语言处理、计算机视觉、语音识别等领域均展现出卓越的泛化能力。海量数据的无监督或弱监督预训练使得这些模型能够捕捉多模态特征,其参数规模也从亿级扩展到万亿级,极大推动了各项应用的技术突破。同时,硬件算力(如GPU、TPU、NPU)和分布式训练框架(如TensorFlow、PyTorch)的不断成熟,显著提升了模型性能并降低了开发门槛,为大模型技术在各行业的广泛应用提供了坚实支撑。
1.2 行业应用与发展趋势
大模型强大的特征学习和生成能力,已迅速渗透到金融、医疗、教育、零售、智能制造、文化创意、法律咨询等众多领域。在金融行业,它被应用于智能客服、风险评估与舆情分析;在医疗领域,通过分析医学文献、病历与影像数据,辅助疾病诊断和药物研发;在教育行业,智能教育平台利用大模型实现个性化学习推荐和自动作业批改;在零售与电商领域,商品推荐和用户行为预测系统大幅提升用户体验。此外,大模型正朝向多模态融合、轻量化部署和定制化解决方案方向发展,并在隐私保护等方面不断增强应用能力,进一步拓展了其在各行业中的应用场景和技术边界。
1.3 人才培养与教学需求
随着大模型技术的广泛应用,相关专业人才的需求日益旺盛,但当前市场上熟悉大模型原理与应用的复合型人才依然短缺。大模型领域涉及的岗位包括大模型算法工程师、多模态学习工程师、AI终端部署工程师、数据科学家、AIGC系统开发工程师、深度学习工程师及产品经理等,这些岗位对跨学科能力和实际动手能力要求较高。传统教学方式存在理论与实践脱节、实验环境搭建复杂、项目实战机会不足等问题,亟需借助创新平台,实现课程内容更新、实验环境便捷化以及项目驱动的教学模式,培养学生从理论到实践的综合能力。
1.4 软件产品助力教学与科研
针对大模型技术的快速发展和教学中的诸多痛点,我公司研发的“大模型教学实验系统”提供了一整套从实验项目管理、独立沙箱环境构建、丰富组件化实验设计,到动态代码生成与实时结果展示的解决方案。
平台不仅适用于教学,还为科研人员提供灵活、高效的实验环境与数据采集、模型验证、迭代优化等工具,助力前沿技术研究与成果转化。
2 方案概述
本系统作为AI教育领域的突破性创新平台,该平台整合了前沿的大模型算法和最新的人工智能技术,深度融合认知负荷理论与大模型技术栈,构建行业首个全闭环教学实验矩阵。核心架构基于模块化分层算法解耦机制,能够全面支持理论教学、编程实践、实验仿真、成果展示及创新实验等多元化教学科研活动。实现以下6大实验范式革新:
1)复杂性简化与难度分层:平台通过对复杂大模型进行简化处理,将大模型算法抽象为逻辑层次,通过拓扑结构可视化及动态参数流映射,将Transformer等复杂模型拆解为可交互式逻辑单元链。巧妙地分解了整体学习难度,使得学生能够逐步、系统地掌握各模块的核心知识与技能,从而降低大模型教学的门槛。
2)多维实验与直观仿真:采用2D实验模块与3D软件仿真相结合的模式,平台可以直观、形象地展示算法流程和大模型运行逻辑。通过二维平面的实验操作与三维场景的动态仿真,学生可以在多维度、多角度上深入理解大模型的实际应用原理。
3)集成化编程与自动化代码生成:通过组件化IDE(拖拽式构建模块神经网络)+智能代码生成引擎(组件操作自动转化为Python/Torch代码并同步注释)。平台内置了组件化编程环境和Python代码自动生成工具,使得教学活动不仅涵盖大模型基础理论与算法教学,还延伸至大模型场景构建与实验成果展示。此举大幅度降低了技术门槛,简化了教学与实验的操作流程,并提升了教学效果的直观性与互动性。
4)广泛适用性与多层次教学支持:系统设计充分考虑了不同教育阶段和学科需求,适用于高校、高职、中职以及K12各级教育机构。无论是大模型基础教学还是大模型场景应用教学,该平台均能提供针对性强、覆盖面广的教学资源与实践平台,助力培养具备实际应用能力的专业人才。
5)项目测评功能:系统集成了项目测评功能,涵盖3D场景的控制、评测时长设置、算法设计及逻辑控制设计等关键内容。全面提升学生在大模型项目实践与产业化过程中的能力。此功能不仅契合大模型发展趋势,更显著增强了高校人才的创新能力与开发水平。
6)赋能科研,创新探索:平台不仅适用于教学,也为科研提供了一个灵活、高效的实验环境。可实现实验与开发融合,集成丰富的算法组件、动态代码生成及实时结果展示功能,支持定制化算法开发和大规模数据处理,为科研人员提供从理论验证到实验应用的全流程支持,软件提供的图形化组件和工作流编排功能,使得研究人员可以快速搭建和测试新的算法模型和应用方案,加速科研Idea的验证过程。
3 软件系统特色
3.1 支持实验项目管理
在实验项目管理界面,用户可便捷查看和管理基础实验、基础应用与综合项目。
基础实验包括机器学习、深度学习、经典神经网络、NLP-循环神经网络、CV-NLP-Transformer、机器视觉、CV-卷积神经网络的实验;
基础应用包括大模型工作流编排、基础视觉应用、基础语音应用;
综合项目包括智能分拣系统综合项目、智能垃圾分类系统、智能驾驶系统、智能对话系统综合项目,按顺序路线图由浅到深再到项目学习大模型,让教学更简单。
3.2 软件内置独立沙箱大模型教学环境
安装过程中自动配置Python环境、第三方库及主流开源框架(如 PyTorch-CPU、PyTorch-CUDA、TensorFlow、Paddle),免去用户自行搭建环境的繁琐操作。
内置大模型环境以独立沙箱形式存在,不会影响或占用计算机原有环境,也不会修改系统环境变量。
可在自带命令窗口内进行操作,方便熟悉 terminal 操作的用户使用。
避免了安装软件后还需自行搭建环境的复杂操作,同时避免了每个用户的环境不统一导致的结果不一的问题,降低学习难度。
3.3 丰富实验组件与智能验证
各实验提供丰富的教学组件,用户可通过拖拽方式将组件添加至操作画布,直观理解算法内部逻辑和流程。每个组件支持算法参数的自定义调整,让用户直观体会不同参数对算法结果的影响。系统自动校验组件连接后的逻辑错误,并实时反馈错误原因,帮助用户快速定位问题和调整操作。
3.4 内置配套实验文档
软件内置每个实验配套实验文档,可实时查看,点击查看实验文档,可以打开当前实验的实验文档,用户可以查看每一步的操作说明,可以在实验过程中对比实验文档操作步骤。
3.5 动态代码生成与结果展示
点击操作画布即可动态生成对应的 Python 代码,有效弥合理论与实践、代码之间的割裂。
实时显示 AI 学习过程和迭代结果,让用户直观掌握算法训练和优化的全过程。
3.6 支持大模型3D视觉场景项目实施
支持3D视觉场景的项目,具有多功能视觉采集台,实现颜色块、形状块、二维码、车牌、手势、数字块等内容的自由放置,用户可以通过算法以及逻辑对3D场景控制和功能实现。
3D场景留有相应的开放性接口,支持用户编写逻辑代码以及算法代码接入到3D场景中,以实现相应的开发。
3.7 支持大模型3D语音场景项目实施
支持3D语音场景的项目,具有多功能语音播放台,实现鸟叫声、人声等内容的,用户可以通过算法以及逻辑对3D场景控制和功能实现。
3D场景留有相应的开放性接口,支持用户编写逻辑代码以及算法代码接入到3D场景中,以实现相应的开发。
3.8 支持大模型3D项目场景项目实施
支持3D项目场景的项目,拥有分拣系统场景、垃圾分类场景、自动驾驶场景、大模型对话场景等,提供类硬件支撑,用户可以通过算法以及逻辑对3D场景控制和功能实现,3D场景还支持数据集的采集和存储,方便用户通过场景采集原始数据。
3D场景留有相应的开放性接口,支持用户编写逻辑代码以及算法代码接入到3D场景中,以实现相应的开发。
3.9 Scratch逻辑学习
通过拖拽积木的方式进行逻辑搭建和代码生成,帮助用户轻松学习系统逻辑构建。
3.10 大模型工作流编排
支持拖拽式大模型工作流编排,内置构建 LLM 应用所需的关键技术栈(支持多模型、多知识库操作、直观 Prompt 编排、高质量 RAG 引擎、稳健的 Agent 框架及灵活流程编排),让用户边学边练,实现快速大模型应用开发。可接入对话大模型、多模态大模型、embbeding模型、rerank模型等几十种。可自定义工作流,组件随意组合,完成大模型应用开发。
3.11 大模型知识库建设
用户可上传 TXT、Markdown、DOCX、PDF 等格式文档,系统自动解析、结构化处理并整合至知识库中,确保信息资源的时效性与准确性。
支持向量检索、全文检索及混合检索,并可一键部署知识库,利用 BGE、rerank 等模型进行 Embedding 与 rerank 操作,提升检索效率。
知识库可灵活应用于大模型翻译、多模态图像认知等各类场景,助力构建完整的 AI 解决方案。
3.12 支持数据标注/模型查看等工具
软件集成模型查看工具、数据标注工具等,可以直接使用软件进行AI开发的相关内容。支持支持多种深度学习模型文件格式ONNX、Keras、CoreML、Caffe2、MXNet、TensorFlowLite Caffe、PyTorch、PaddlePaddle、Darknet、scikit-learn、TensorFlow.js与TensorFlow等。
4 教学实验与课程资源
4.1 基础实验
4.1.1 机器学习
KNN决策边界、数学的方法实现KNN算法、前向传播与损失函数、反向传播的学习率与梯度下降、自求导的方法实现线性回归算法、基于框架的线性回归、数学的方法实现线性回归、曲线拟合、激活函数与其导数、极大似然估计与交叉熵损失函数、逻辑回归与二分类问题、基于框架的逻辑回归、支持向量机、贝叶斯分类、贝叶斯多分类、K均值聚类。
4.1.2 深度学习
全连接与链式求导法则、Softmax与交叉熵、优化器与优化方法、神经网络的可解释性与欠拟合、神经网络的过拟合、正则化、神经网络的过拟合解决方案、深度学习线性回归、深度学习曲线回归、深度学习散点簇分类、深度学习圆环分类、深度学习月牙分类。
4.1.3 NLP-循环神经网络
DNN的时序预测与缺陷、RNN为什么能做时序预测?、RNN的梯度消失和梯度爆炸、WordEmbedding词嵌入、Word2Vec、Word2Vec优化、LSTM:长-短期记忆网络、BiLSTM、门控循环单元。
4.1.4 CV-NLP-Transformer
Encoder-Decoder、注意力机制引入、注意力机制、点积注意力为什么要缩放、soft-attention、self-attention、multi-head-attention、绝对位置编码、相对位置编码、旋转位置编码、Layer-Normalization、Attention中的mask、Transformer。
4.1.5 机器视觉
计算机眼中的图像、灰度实验、二值化实验、自适应二值化实验、形态学变换、图片颜色识别、图片颜色替换、ROI切割、图像旋转、图片镜像旋转、图像缩放、图像矫正、图像添加水印、图像噪点消除、图像梯度处理、图像边缘检测、绘制图像轮廓、凸包特征检测、图像轮廓特征查找、直方图均衡化、模板匹配、霍夫变换、图像亮度变换。
4.1.6 CV-卷积神经网络
计算机眼中的图像、卷积为什么能识别图像、池化为什么能增强特征、多通道卷积与偏置过程、LeNet-5。
4.1.7 经典神经网络
AlexNet、VggNet、GoogLeNet、ResNet、MobileNetV1、MobileNetV2、MobileNetV3。
4.2 高级应用
4.2.1 大模型工作流编排
通过拖拽组件零代码实现大模型的工作流,可以快速学习和了解大模型开发中的相关知识与概念,实现快速的大模型学习与开发。可使用多模态大模型进行多模态开发,可自定义工作流,组件随意组合,完成大模型应用开发。
实验包括聊天助手、工具调用、天气预报智能体、文档提取、RAG知识检索、VL多模态、自定义
4.2.2 基础视觉应用
颜色识别、形状检测、二维码识别、车牌定位、车牌训练、车牌识别、数字定位、数字识别、手势识别关键点检测、AI手势PPT翻页
4.2.3 基础语音应用
认识模拟声音与数字声音、声音时域与频域转换、声音的mel特征提取
4.3 进阶实验
4.3.1 逻辑实验
4.3.2 算法实验
4.3.3 Python开发与应用
4.3.4 深度学习与神经网络-PyTorch2
4.3.5 深度学习与神经网络-TensorFlow
4.4 综合项目案例
4.4.1 智能分拣系统综合项目
在分拣系统3D场景中可以进行采集模式进行原始数据采集、分拣模式进入实例化场景。采集模式可以动态展示物体图像采集过程,自由切换采集的物体,保存采集的图像。分拣模式可以动态展示应用层通过采集图像,并通过识别算法以及逻辑控制,控制各个推杆推出来分拣不同类型的物体,实现分拣的任务。
4.4.2 智能垃圾分类系统综合项目
智能垃圾分类分为采集模式和垃圾分类模式。采集模式可以动态展示物体图像采集过程,自由切换采集的垃圾类型,保存采集的图像。垃圾分类模式可以动态展示应用层通过采集图像,识别图像的类型,传回数据到应用层,控制不同类型的垃圾投放到对应的垃圾桶当中,并且激光设备感应垃圾桶是否达到最大容量,继而控制设备的开启。
4.4.3 智能驾驶系统项目
具有OpenCV模式和AI模式两种,开发者可以控制车辆的方向盘的旋转角度以及油门的力度,实现车辆的控制,同时可以获取车辆前置行车记录仪的图像数据,进行道路判定、红绿灯判定、行人判定等,结合规控算法实现车辆的智能驾驶。
4.4.4 智能对话系统项目
通过接入自己搭建的对话平台(普通对话平台或者大模型平台),实现对话与问答功能。同时,经过微调的小元,可以适配各种场景,并且可以设置各种大模型常见的参数,例如temperature、top p等进行模型的回答能力的调整。
5 教学课程设置参考
5.1 专业课程
Python程序设计
深度学习与神经网络-pytorch
机器视觉
机器学习
深度学习
CV-卷积神经网络
经典神经网络
基础视觉应用
NLP-循环神经网络
CV-NLP-Transformer的实验
基础语音应用
大模型工作流编排
5.2 实践课程
分拣平台控制开发课程设计
大模型开发与实践课程设计
…fs…
6 产品形式
本地单机版
本地服务器版
元宇宙版