人工智能工程技术应用平台

4.6.1、系统介绍 实训台面向人工智能相关专业，集成了计算机视觉系统、语音处理系统，以及工业级温湿度传感器、光照传感器、电磁锁、风扇、报执行器等多种嵌入式应用模块，通过搭建边缘计算终端，配合17.3寸边缘计算显示单元、人工智能场景应用资源包、虚拟仿真系统、为人工智能专业相关的应用开发提供统一的通讯协议和、接口及AIOT场景。 系统预装Ubuntu18.04操作系统，所有环境代码库文件均已安装，开机即用。基于多维度学习实践平台，由浅入深循序渐进，采用Python语言进行课程资源的开发，适用于Python编程、OpenCV、机器学习、深度学习、数字图像处理、计算机视觉、语音识别、嵌入式系统及应用等课程的教学和实践。 4.6.2、主要设备介绍 系统由边缘计算网关、边缘显示屏幕、AI视觉摄像头、智能节点模块、温湿度传感器、PWM可控风扇、鼠标键盘、报等设备构成。 （1）边缘计算网关 技小空间占用：JETSON NANO 模组 70 X 45 毫米是体积非常小的JETSON设备。为多个行业(从智慧城市到机器人)以提供强大支持。 更大限度提高性能：JETSON NANO 提供 472 GFLOP。 它可以并行运行多个神经网络，同时外理多个高分辨率传感器，非常适合入门级网络硬盘录像机(NVR)家用机器人以及具备分析功能的智能网关等应用。 优化能效：JETSON NANO 为您节约时间和精力,助力您实现边缘创新。体验功能强大且的 AI、计算机视觉和高性能计算,功耗仅为 5至10 瓦。 （2）边缘显示屏幕 采用HDMI高清IPS屏，画面稳定颜色纯真显示，给你强烈的视觉震撼。 1）IP65级防尘防水。纯平面板正面防水，可有效阻止水滴及灰尘侵入机。 2）节能低耗 循环散热。24小时全天候运行不到1度电，支持通电开机，具365*24小时全天稳定运作能力，适用于工业场所。 3）1670万色色彩饱满真实。原装IPS面板 呈现真实色彩 4）十点电容触摸。高速传输、触控灵敏、稳定性高、触摸灵敏速度快，满足工作需求。 （3）麦克风阵列 麦克风阵列可以实现声源定位(分辨率是1)并对语义进行解析，结合扬声器可以进行语音播报。支持二次开发，提供详细开发教程资料和使用应用例程如TTS文字转语音、会议定向录音、实时翻译和语音机器人控制等。同时支持接入讯飞语音云服务，可实现发音纠正、声纹识别等丰富强大功能。可应用在语音智能家居、会议录音、实时翻译、机器人交互、口音矫正、交通工具智能座舱等领域。 （4）工业摄像机 深度体感摄像头是VR/AR、机器人和无人驾驶最核心的技术支撑之一，而深度摄像头就是这类硬件的眼睛。只有机器对“看到的”东西，定位定姿精度更高时，才能更好地识别和做出判断，从而提升机器的可用性和产品化速度。利用双目立体视觉成像原理实现三维定位，即可进行手势、肢体动作的综。 （5）异构网关 智能异构网无线网关与网络中间件为数据通讯的关键模块，核心MCU采用基于ARM Cortex-M4内核的32位微控制器STM32F429ZGT6。预留4个通用无线模块接口，支持Zigbee、Wifi、蓝牙、Lora、433等无线模块进行组合配置，配有1块3.2寸TFT触摸显示屏用于显示和交互，分辨率为320*240，并板载了TTL串口、232串口、USB转串口、以太网口等多种通信接口。 利用STM32F429其强大处理能力及其自适应实时存储器加速器功能，使得智能异构无线网关能实时处理应用层设置的联动信息，将不同联动内容分地址存储，互不干扰，从而实现多种异构网络数据的汇聚与转发。 另外板载了1个802.11 b/g/n的模组作为网络中间件，主频高达580MHz，输距离可达280米。它带有Wifi功能和以太网接口，支持透明传输、串口指令、HTTPd Client等多种工作模式，支持网页配置、串口AT指令、网路AT指令配置等，其Wifi支持AP、STA、AP+STA配网模式。网络中间件能实现UART、Wifi、以太网三者间的数据互传。 （6）智能节点 无线工业节点的核心MCU采用基于ARM Cortex-M3内核的32位微控制器STM32F103ZET6，M3位于屏幕下面；配有1块3.2寸TFT触摸显示屏用于显示和交互，分辨率为320*240。对外提供多种可编程的硬件接口，包括485、CAN、ADC、SPI、PWM、GPIO、UART、IIC等。预留了通用双排防反插接口，支持Zigbee、Wifi、Lora、433等无线模块的自由切换。此外，智能节点与AIOT虚拟仿真设备统一协议互联互通。 4.6.3、产品功能 （1）硬件设计采用立式台体结构，一体化设计，结合15.6寸边缘计算显示单元，方便教学 （2）边缘计算终端预装Ubuntu18.04操作系统及环境代码库文件。支持键盘、鼠标，并集成15.6寸边缘计算显示单元，上电即用，用户无需配置任何外设； （3）安装面板采用插接式设计，所有组件均需支持自由插拔，并预留USB、网口等接口，用户可根据需要自行拓展其他组件； （4）满足Python编程、机器学习、深度学习、数字图像处理、计算机视觉、语音识别、嵌入式系统及应用等课程或知识点的教学； （5）平台集成工业摄像机、麦克风阵列，配合提供的算法源代码，可完成包括人脸检测、车牌识别、垃圾分类、目标检测、语音唤醒、语音识别、语音合成、智慧交互音箱、语音控制等实验实训。兼容Caffe/TensorFlow/MXNet训练模型和API，可以让学生对机器视觉的流程、处理方式等有更好的了解，熟悉相关算法，了解实际应用场景，贴近工程化应用。 6.结合AIOT虚拟仿真系统，可完成AIOT工程应用实现。完成人脸识别门禁系统（真实人脸识别通过后，根据应用协议，虚拟仿真系统中，电磁锁3D动画打开）、语音交互控制系统等。 虚拟仿真系统中的每个实验过程均采用3D模型进行实验，通过更好的沉浸式体验，避免用户操作真实性的问题。使用户在实验、AIOT工程布线、开发应用等真实场景中，得心应手。传感器模型在发送虚拟数据或接收真实数据时，传感器模型根据虚拟数据的设定或真实数据的接收，产生对应的动画效果，从而使实验更加生动，形象。虚拟仿真系统中的每个场景应用均采用3D场景中拖拽控件，同时支持线路（电源、仿真器、传感器接线等）动态验证，轻松掌握工业级传感器接线技术。 4.6.4、课程配套 配套基础课程《传感与控制器原理与应用》、《无线传感网络》、《Python基础》、《机器视觉OpenCV》、《深度学习与Tensorlow》、《PyQt5 GUI应用开发》、《自然语言处理》等。 章节序号 章节名 课程小节 课程内容（知识点） 章 机器视觉 1.OpenCV 视频显示 画面绘图 图像变化 图像处理 边缘检测 图像变换 2.通用目标识别 颜色识别 手写字识别 目标检测 目标识别 运动检测 3.人脸识别 人脸检测 人脸识别 表情识别 4.人体识别 姿态识别 手势识别 第二章 自然语言 1.语音处理 语言唤醒 语音识别 语音合成 2.文本处理 中文分词 词性标注 文本摘要 情感分析 3.深度学习 智能问答 智能聊天 智能翻译 4.语音云服务 语音识别与合成 文本相似度 文本纠错 智能写诗 第四章 综合案例 1.垃圾分类系统 垃圾照片 分类提示 语音合成播报 2.人脸识别系统 人脸识别 识别真实硬件或虚拟仿真 安防报警真实硬件或虚拟仿真 3.语音交互音箱 唤醒词唤醒 语音识别命令 语音控制真实硬件或虚拟仿真 语音合成播报结果