LGWL-FT02型 人工智能物聯網實驗平臺
一、平臺概述
LGWL-FT02型 人工智能物聯網實驗平臺是一款人工智能教學、實驗、智能應用的開發平臺。平臺基于視覺、嗅覺、觸覺、聽覺等感知信息，利用計算機視覺、語音識別、計算機控制、網絡通信等技術，結合IOT傳感器及執行設備實現行業智慧化應用。
平臺架構如圖所示：
二、平臺組成
平臺主要由硬件、軟件、教學資源三部分組成。
1、硬件部分采用F-Table實驗臺體，具有八個尺寸不同的插槽、一個可拆卸網板、小型信號示波器、3V/5V/12V電源插孔。插槽處用于安裝原理級實驗模塊，磁吸固定，探針連接信號（RS232、TTL UART、5V、3.3V）。網板支持商用級模塊磁吸安裝，導線連接。平臺支持靈活組合，可與人工智能Python主板、人工智能Android主板、智能網關通信，進行IOT基礎教學實驗、人工智能應用實驗。外觀如下圖：
平臺人工智能主板、IOT傳感器、IOT執行器的布局圖如下所示：
2、軟件部分包含人工智能在線教學平臺、語音識別小智機器人監控系統兩部分。
（1）人工智能在線教學平臺提供WEB平臺，只需打開瀏覽器登錄到平臺，即可開始人工智能知識點的學習，從圖像處理基礎知識、到機器學習模式識別、深入到Tensorflow框架人工智能深度學習，最后提供典型行業應用案例，熟悉人工智能的開發過程；統計識別所需的時間、結果；提供在線實驗手冊、實驗代碼，及開發者模式，有助于用戶自主開發。
人工智能教學實驗平臺界面
（2）語音識別小智機器人監控系統采用第三方AI SDK，完成自然語言喚醒、語音合成、語義理解，實現聊天對話、百科問答等功能。同時，與云服務平臺通信，與人工智能平臺板載的網關進行綁定，即可實現語音遠程采集環境參數，語音控制設備。
語音識別小智機器人主界面
3、教學資源包含
（1）人工智能web教學平臺python語言在線實驗手冊、實驗代碼
（2）基于Android AI SDK的實驗手冊、實驗代碼。
三、功能特點
1. 支持多種人工智能和物聯網課程，如圖像處理、計算機視覺、機器學習、深度學習、嵌入式接口技術與傳感器、Android物聯網應用開發、計算機網絡通信技術等。
2. 支持C、Python、Android至少三種語言。感知層IOT傳感器及執行器的采集控制采用C語言開發，基于Cortex-M3內核。人工智能在線教學平臺（圖像處理、機器視覺、深度學習）采用Python語言，基于OpenCV機器視覺庫、TensorFlow深度學習框架、Caffe深度學習框架。語音識別小智機器人采用Android語音，調用第三方AI SDK，通過HTTP協議接入與云平臺，并與智能網關管理的IOT傳感器、執行器綁定，實現語音采集傳感器、語音控制執行器。
3. 支持python外設編程、通信編程、機器學習編程，如信號檢測與執行器控制、python的網絡編程、機器學習課程教學、實驗、實訓。
4. 支持在線實驗手冊、實驗代碼、在線實驗驗證。將一次人工智能實驗過程分解為實驗手冊瀏覽（熟悉實驗目的、實驗原理）、實驗代碼學習（實驗代碼關鍵語句講解）、在線實驗驗證等3個過程。
5. 支持離線圖片、實時視頻兩種處理方式。在線實驗驗證支持從電腦中任選圖片，進行識別；也可調用攝像頭，利用平臺AI核心算法，對視頻流進行識別。
6. 實驗過程、識別耗時、識別結果以LOG信息、目標矩形框標注、或語音播放的形式進行展示。
7. 能夠實現數字圖像處理功能，如灰度化、二值化、邊緣檢測、小波變換、形態學等。
8. 能夠實現多種識別，如顏色、形狀等識別功能。
9. 能夠實現人臉檢測、行人檢測、聚類分析等機器學習。如Adaboost人臉檢測、行人檢測、SVM人臉檢測、K-Means鳶尾花聚類等；
行人檢測 車牌識別
10. 能夠實現涂鴉猜游戲、文字識別、物體識別、垃圾分類等深度學習。基于caffe框架、tensorflow框架實現深度學習，如圖所示。
物體識別
11. 支持物聯網通信協議MQTT、HTTP實現人工智能與IOT感知設備的連接。
12. 支持第三方AI SDK實現智能語音識別技術，如智能對話，問天氣、講故事、百科問答等，如語音查詢環境參數，語音控制照明燈、語音控制風扇等。
13. 能實現人臉識別活體檢測，人臉識別門鎖控制功能。
14. 能夠嵌入式接口技術與傳感器、計算機通信，可通過上位機平臺查看傳感器采樣信息，如圖所示。
四、課程實驗
| 課程類別 | 課程要求 | |||
| 1.人工智能概論 | 課程內容 | 了解人工智能概念、發展歷史、 | ||
| 2.Python基礎編程 | 課程目標 | 掌握Python基本編程方法 | ||
| 課程內容 | 基于人工智能開發套件完成Python開發環境搭建，基本語法的入門，通信編程開發等。 | |||
| 課程實驗 | 實驗1：開發環境安裝 實驗2：數據類型 實驗3：程序控制 實驗4：函數類 |
實驗5：模塊和標準庫 實驗6：文件和流 實驗7：數據庫和網絡編程 實驗8：圖形用戶界面 |
||
| 3.數字圖像處理 實驗課程 |
課程目標 | 理解圖像處理算法的原理 掌握數字圖像處理的常用方法 |
||
| 課程內容 | 基于人工智能開發套件完成圖像處理視覺庫的安裝、圖像處理方法調用。 | |||
| 實驗硬件 | 人工智能應用開發套件 | |||
| 課程實驗 | 實驗1 Opencv視覺庫的安裝配置 實驗2 圖像灰度化 實驗3 歸一化 實驗4 二值化 實驗5 圖像濾波：高斯、中值 |
實驗6 邊緣檢測：Sobel/Canny/hog 實驗7 形態學 實驗8 灰度直方圖 實驗9 銳化 實驗10 鈍化 實驗11 圖像增強 |
||
| 課程實訓 | 實驗1 顏色識別 | 了解顏色組成和表示方法； 使用Opencv庫識別顏色，并播報。 |
||
| 實驗2 簡單圖形形狀識別 | 了解霍夫變換的原理； 涉及圖像灰度化、歸一化、濾波、邊緣檢測等知識點； 使用Opencv庫識別圓形、矩形，并播報。 |
|||
| 4.機器學習 應用實驗課 |
課程目標 | 1.了解機器學習的分類：無監督、有監督 2.了解數據集的原理、作用、存儲格式 3.了解至少一種聚類算法如K-Means的原理：歐式距離、余弦距離曼哈頓距離計算方法； 4.了解至少一種機器學習算法如Adaboost、SVM、決策樹等的原理：分類器的流程； 5.掌握聚類算法、分類器算法的調用方法 6.掌握分類器的檢測分類效果 7.掌握根據分類效果，進行智能控制 8.通過增減數據集，掌握算法訓練的全過程 |
||
| 課程內容 | 能夠使用機器學習的算法，實現聚類、分類、以及能夠結合聲、光、電設備實現關聯控制 | |||
| 課程實驗 | 實驗1 鳶尾花聚類播報 實驗2 臉部數據集分析顯示 |
實驗3 人臉檢測控制實驗 實驗4 行人檢測控制實驗 實驗5 車牌識別 |
||
| 5.深度學習 應用實驗課 |
課程目標 | 1.了解深度學習的定義，與機器學習的區別 2.了解數據集的原理、作用，以及格式 2.了解至少一種深度學習算法的理論：如CNN、RNN、BP神經網絡 3.掌握至少一種深度學習框架的使用方法：如Caffe、TensorFlow 4.掌握使用深度學習方法實現識別的方法 5.掌握根據識別結果，進行智能控制，如語音播報識別到的數字，語音播報識別到的物體名稱，控制聲、光、電執行部件。 6.通過增加數據集，掌握算法訓練的全過程。 |
||
| 課程內容 | 能夠使用深度學習的方法，實現數字、物體識別，使人工智能與物聯網感控設備聯動 | |||
| 課程實驗 | 實驗1 手寫數字識別 實驗2 涂鴉猜游戲 |
實驗3 物體識別 實驗4 垃圾分類 |
||
| 6.自然語言應用開發實驗課 | 課程目標 | 掌握使用人工智能平臺SDK完成語音識別技能 | ||
| 課程內容 | 1）通過輸入的語音進行識別，能夠支持整段音頻進行識別以及流式語音識別。 2）整段文字識別，在用戶錄入整段音頻后，能夠將返回語音的文字內容。 3）流式識別可以實現邊錄音邊識別，并能在錄入過程中將識別的內容同步顯示出來。 |
|||
| 課程實驗 | 實驗1 語音喚醒 實驗2 語音合成 |
實驗3 語義理解 實驗4 文字識別 |
||
| 7.嵌入式接口技術與傳感器系列 | 課程目標 | 掌握單片機傳感器原理開發 | ||
| 課程內容 | 1.溫濕度傳感器實驗 2.光敏傳感器實驗 3.pm2.5傳感器實驗 4.結露傳感器實驗 5.超聲波傳感器實驗 6.紅外反射傳感器實驗 7.霍爾傳感器實驗 8.稱重傳感器實驗 |
9.九軸傳感器實驗 10.熱釋紅外傳感器實驗 11.振動傳感器實驗 12.聲音傳感器實驗 13.紫外線傳感器實驗 14.環境光傳感器實驗 15.紅外對射傳感器實驗 16.顏色識別傳感器實驗 |
||
| 8.嵌入式Android系統應用開發 | 課程目標 | 掌握Android物聯網應用開發方法 | ||
| 課程內容 | 1.網關接入云平臺配置 2.ModbusRTU通信協議的解析 3.平臺JSON數據包重組 |
4.MQTT協議分析與測試 5.HTTP協議分析與測試 |
||
