Grove Vision AI V2 图像处理模块开箱测评

Grove Vision AI 模块会本地处理图像并执行模型推理，然后将结果通过 IIC 或 UART 发送到 XIAO。XIAO 需要接收并解析来自 Grove Vision AI 的数据，根据这些结果执行相应的操作，如控制 LED、驱动电机或触发其他外设。这使得 XIAO 成为系统的执行单元，响应 Grove Vision AI 传递的检测结果。

2.SenseCraft 部署模型

2.1 SenseCraft 平台简介

Seeed SenseCraft Model Assistant（或简称 SSCMA）是一个专注于嵌入式 AI 的开源项目。针对真实场景优化了 OpenMMLab 的优秀算法，使实现更加人性化，在嵌入式设备上实现更快、更准确的推理。

目前支持以下方向的算法：

SenseCraft AI 提供了无缝且用户友好的体验，可以帮助用户轻松地将大量公开可用的 AI 模型部署到他们的边缘设备上。

2.2 部署流程

使用 USB 链接模块和电脑，然后在 SenseCraft 网站上进行部署：

2.3 预览模型识别效果

2.4 SenseCraft 平台优势

降低 AI 入门门槛：SenseCraft 的平台设计简化了 AI 模型开发的复杂性，使得初学者也能快速上手
广泛的硬件兼容性：支持多种 Seeed 硬件产品，用户可以根据项目需求选择适合的设备
边缘计算：本地推理能力减少了对网络的依赖，提高了应用的实时性和安全性

2.5 石头剪刀布分类模型测试

上代码

#include <Seeed_Arduino_SSCMA.h>

SSCMA AI;

void setup()
{
    AI.begin();
    Serial.begin(9600);
}

void loop()
{
    if (!AI.invoke())
    {
        Serial.println("invoke success");
        Serial.print("perf: prepocess=");
        Serial.print(AI.perf().prepocess);
        Serial.print(", inference=");
        Serial.print(AI.perf().inference);
        Serial.print(", postpocess=");
        Serial.println(AI.perf().postprocess);

        for (int i = 0; i < AI.boxes().size(); i++)
        {
            Serial.print("Box[");
            Serial.print(i);
            Serial.print("] target=");
            Serial.print(AI.boxes()[i].target);
            Serial.print(", score=");
            Serial.print(AI.boxes()[i].score);
            Serial.print(", x=");
            Serial.print(AI.boxes()[i].x);
            Serial.print(", y=");
            Serial.print(AI.boxes()[i].y);
            Serial.print(", w=");
            Serial.print(AI.boxes()[i].w);
            Serial.print(", h=");
            Serial.println(AI.boxes()[i].h);
        }
        for (int i = 0; i < AI.classes().size(); i++)
        {
            Serial.print("Class[");
            Serial.print(i);
            Serial.print("] target=");
            Serial.print(AI.classes()[i].target);
            Serial.print(", score=");
            Serial.println(AI.classes()[i].score);
        }
        for (int i = 0; i < AI.points().size(); i++)
        {
            Serial.print("Point[");
            Serial.print(i);
            Serial.print("] target=");
            Serial.print(AI.points()[i].target);
            Serial.print(", score=");
            Serial.print(AI.points()[i].score);
            Serial.print(", x=");
            Serial.print(AI.points()[i].x);
            Serial.print(", y=");
            Serial.println(AI.points()[i].y);
        }
    }
}

接下来我们对代码进行简单分析：

先导入库函数 <Seeed_Arduino_SSCMA.h>
- SSCAM 库的主要目的是处理 Grove Vision AI 的数据流，而不涉及模型推理或图像处理。
初始化部分：
- SSCMA AI;：创建一个名为 AI 的 SSCMA 对象，用于与 Grove Vision AI 进行通信。
- void setup()：在 setup() 函数中，首先使用 AI.begin() 初始化 Grove Vision AI 模块。然后，通过 Serial.begin(9600) 初始化串口通信，以便将结果输出到串口监视器。
主循环：
- void loop()：loop() 函数会反复执行，主要用来不断调用 Grove Vision AI 进行推理，并输出结果。
- if (!AI.invoke())：调用 AI.invoke() 进行推理，如果推理成功（即 invoke() 返回 false），则开始处理推理结果。
- 性能信息输出：
  - AI.perf()：获取推理过程的性能信息，包括预处理（prepocess）、推理（inference）和后处理（postprocess）的时间。
- 检测框输出：
  - AI.boxes()：获取推理结果中的所有检测框，并循环输出每个检测框的信息，包括目标、得分、位置（x, y）和大小（w, h）。
- 分类结果输出：
  - AI.classes()：获取推理结果中的所有分类信息，并循环输出每个分类的信息，包括目标和得分。
- 关键点输出：
  - AI.points()：获取推理结果中的所有关键点信息，并循环输出每个关键点的信息，包括目标、得分和位置（x, y）。