行空板K10网络图传/监控摄像头——实现openCV/yoloV5算法

借由行空板K10的摄像头以及联网功能，我们可以将摄像头画面传输到局域网上，并且随时在局域网中任意一台电脑访问。在电脑端可以调用很多现成的计算机视觉库。进行图像识别。

该项目分成两个部分：
- 将行空板K10的摄像头映射到网络上
- 连入这个局域网的电脑本地运行openCV/yolo等算法

1. 行空板K10网络摄像头

用户库链接：
https://gitee.com/yeezb/k10web-cam


可以在Mind+的用户库中复制粘贴上述链接来加载用户库

编写代码：
上述链接中有示例程序的截图，对应修改WiFi名称和密码后上传。

打开串口监视器，可以看到K10的IP。


浏览器打开IP/stream可以看到摄像头画面，比如上图中的IP，浏览器就可以输入192.168.9.180/stream


2.本地运行openCV

电脑本地安装openCV库:
Mind+切换到Python模式->代码->库管理

在PIP模式下分别输入并运行
- numpy
- request
- opencv-python
- opencv-contrib-python
安装四个依赖库

在电脑中任意位置新建一个python文件并打开，文件名任意但是需要以.py结尾

运行下列Python代码

import cv2
import requests
import numpy as np

url = 'http://192.168.9.60/stream'  # UNIHIKER K10的IP地址

cv2.namedWindow("live transmission", cv2.WINDOW_AUTOSIZE)  # 创建一个窗口用于显示实时图像

# 启动 HTTP 请求获取视频流
try:
    response = requests.get(url, stream=True, timeout=10)
    print("Connected to stream")
    
    img_data = b''  # 用于存储接收到的图像数据
    
    # 按块读取数据
    for chunk in response.iter_content(chunk_size=1024):
        if chunk:
            img_data += chunk  # 将接收到的数据累加到 img_data 中

            # 判断是否接收到完整的 JPEG 数据
            start_idx = img_data.find(b'\xff\xd8')  # 查找 JPEG 开始标志
            end_idx = img_data.find(b'\xff\xd9')    # 查找 JPEG 结束标志

            if start_idx != -1 and end_idx != -1:
                jpg_data = img_data[start_idx:end_idx+2]  # 提取出完整的 JPEG 数据

                # 转换为 NumPy 数组
                img_np = np.frombuffer(jpg_data, dtype=np.uint8)
                img = cv2.imdecode(img_np, cv2.IMREAD_COLOR)  # 解码 JPEG 图像数据

                if img is not None:
                    gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)  # 将图像转换为灰度图像
                    canny = cv2.Canny(cv2.GaussianBlur(gray, (11, 11), 0), 30, 150, 3)  # 使用Canny算法进行边缘检测
                    dilated = cv2.dilate(canny, (1, 1), iterations=2)  # 对边缘图像进行膨胀操作
                    contours, _ = cv2.findContours(dilated.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_NONE)  # 查找轮廓
                    cv2.drawContours(img, contours, -1, (0, 255, 0), 2)  # 在原始图像上绘制轮廓

                    cv2.imshow("mit contour", canny)  # 显示边缘检测结果图像
                    cv2.imshow("live transmission", img)  # 显示实时图像

                    # 按下 'q' 键退出
                    if cv2.waitKey(1) & 0xFF == ord('q'):
                        break

                # 清除已处理的数据
                img_data = img_data[end_idx+2:]  # 移除已处理的图像数据部分
        else:
            print("No data received!")

except requests.exceptions.RequestException as e:
    print(f"Error: {e}")

cv2.destroyAllWindows()
复制代码

可以看到电脑上弹出两个对话框，openCV库正在对K10捕获的图像进行边缘检测。







3.本地运行Yolo V5

电脑本地安装yolo库:
Mind+切换到Python模式->代码->库管理
在PIP模式下分别输入并运行
- numpy
- yolov5
安装两个依赖库，yolo V5安装耗时较久。


在电脑中任意位置新建一个python文件并打开，文件名任意但是需要以.py结尾并且将文末网盘中的.pt模型放置在python文件的同级目录下。


运行下列Python代码

import cv2
import torch
import time
import requests
import numpy as np
from yolov5 import YOLOv5

url = '<span style="color: rgb(136, 0, 0); font-family: 微软雅黑; white-space: pre; background-color: rgb(240, 240, 240);">http://192.168.9.60/stream</span>'  # UNIHIKER K10的IP地址

# 加载YOLOv5模型
model_path = "yolov5s.pt"  # 模型路径
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
model = YOLOv5(model_path, device=device)

cv2.namedWindow("YOLOv5 Detection", cv2.WINDOW_AUTOSIZE)  # 创建窗口

# 启动HTTP请求，获取图像流
try:
    response = requests.get(url, stream=True, timeout=10)
    print("Connected to stream")

    img_data = b''  # 存储接收到的图像数据

    while True:
        # **1. 读取完整 JPEG 数据**
        while True:
            chunk = response.raw.read(1024)  # 直接读取数据
            if not chunk:
                break  # 连接断开
            img_data += chunk  # 累加数据

            start_idx = img_data.find(b'\xff\xd8')  # JPEG 开头
            end_idx = img_data.find(b'\xff\xd9')    # JPEG 结尾

            if start_idx != -1 and end_idx != -1:
                jpg_data = img_data[start_idx:end_idx + 2]  # 提取完整 JPEG
                img_data = img_data[end_idx + 2:]  # 删除已处理部分
                break  # 退出读取循环

        # **2. 解码 JPEG**
        img_np = np.frombuffer(jpg_data, dtype=np.uint8)
        frame = cv2.imdecode(img_np, cv2.IMREAD_COLOR)

        if frame is None:
            continue  # 跳过损坏帧

        # **3. YOLOv5 目标检测**
        start_time = time.time()
        results = model.predict(frame, size=640)  # 进行检测
        annotated_frame = results.render()[0].copy()  # 解除只读限制

        # **4. 计算 FPS**
        processing_time = time.time() - start_time
        fps = 1 / processing_time if processing_time > 0 else 0

        # **5. 显示检测结果**
        cv2.putText(annotated_frame, f"FPS: {fps:.2f}", (10, 30),
                    cv2.FONT_HERSHEY_SIMPLEX, 1, (0, 255, 0), 2, cv2.LINE_AA)

        cv2.imshow("YOLOv5 Detection", annotated_frame)
        print(f"Processed frame in {processing_time:.4f} seconds, FPS: {fps:.2f}")

        # 按 'q' 退出
        if cv2.waitKey(1) & 0xFF == ord('q'):
            break

except requests.exceptions.RequestException as e:
    print(f"Error: {e}")

cv2.destroyAllWindows()
复制代码

可以看到电脑上弹出一个对话框，yoloV5正在对K10捕获的图像进行识别。


Yolo V5模型：链接: https://pan.baidu.com/s/1d09IYfpdk-fP2GE8KIBngg?pwd=bvsx 提取码: bvsx

楼主头像很酷

666

嗨嗨嗨，不愧是YeezB！全是干货，都是好东西，太牛了！

老师 想问下为什么我的不行，之前是可以的，现在上传会报错

12345678909 发表于 2025-4-13 20:55
老师 想问下为什么我的不行，之前是可以的，现在上传会报错

重装一下mind+软件。你这个看起来像是测试版本软件会报的错，重装一下正式版mind+吧。可以在Mind+官网下载

老师，最后一步操作编译补通过，提示如图片的错误，请问是怎么回事？

清水江畔 发表于 2025-4-17 08:58
老师，最后一步操作编译补通过，提示如图片的错误，请问是怎么回事？

我改了下yolo代码，你再试试看。应该访问/stream。如果直接访问没有后缀的IP的话会访问到保存图片的界面

我有个想法：利用Mind+实时模式下的机器学期ML5模块和K10的网络摄像头结合进行图像分类。但是现有的ML5积木模块中，只能从电脑直连的摄像头采集画面，无法选择网络摄像头进行训练和识别。请问老师这个问题可以如何解决？

banabas 发表于 2025-4-28 10:43
我有个想法：利用Mind+实时模式下的机器学期ML5模块和K10的网络摄像头结合进行图像分类。但是现有的ML5积木 ...

找mind+渠道进行反馈，这是实时模式积木的限制

老师，最后一步有问题，通过不了，能帮忙看看是什么问题吗，怎么解决这些问题呢