设为首页收藏本站
首页 > 论坛 > ESP32

[ESP8266/ESP32]FireBeetle 2 ESP32-S3 自制监控并接入HomeAssistant

DFSkccpIWF8 | 学徒 | 创造力： | 帖子： | 发消息 | 串个门 | 加好友 | 打招呼
2023-8-31 18:36:05 [显示全部楼层]
4098浏览
0回复
0收藏
查看: 4098|回复: 0

[ESP8266/ESP32] FireBeetle 2 ESP32-S3 自制监控并接入HomeAssistant

[复制链接]
本例实现将Firebeetle CAM 接入到HomeAssistant中，并通过舵机控制摄像头角度，定时或按需求获取摄像头画面，并将照片保存在SD卡中。

1.HA简介
HomeAssistant简称HA，是用于家庭自动化的免费开源软件，旨在成为智能家居设备的中央控制系统，是控制物联网由模块化集成组件支持的连接技术设备、软件、应用程序和服务，包括用于蓝牙、Zigbee和Z-Wave等无线通信协议的本机集成组件，通关专用API或MQTT等方式提供公共访问，以便通过局域网或互联网进行第三方集成,互联互通各家智能设备，如小米，涂鸦，YeeLight等，更是支持DIY智能硬件接入，联动整个智能生态。
HA 的安装和部署链接https://www.home-assistant.io/installation/，想要体验的小伙伴自行解决。

FireBeetle 2 ESP32-S3 自制监控并接入HomeAssistant图1

2.硬件连接
SD卡：注意SD卡模块供电是5V
FireBeetle 2 ESP32-S3 自制监控并接入HomeAssistant图15
TFT屏幕：
FireBeetle 2 ESP32-S3 自制监控并接入HomeAssistant图16
舵机：注意舵机需要单独供电
FireBeetle 2 ESP32-S3 自制监控并接入HomeAssistant图17

3.本例用到ArduinoHA库，TFT_eSPI显示库，JPEGDecoder解码库,ESPServo舵机库
FireBeetle 2 ESP32-S3 自制监控并接入HomeAssistant图2
TFT_eSPI           链接https://github.com/Bodmer/TFT_eSPI

4.代码部分
  1. #include <Arduino.h>

  2. #include <Wire.h>

  3. #include <SPI.h>

  4. #include <WiFi.h>

  5. #include <ArduinoHA.h>

  6. #include <PubSubClient.h>

  7. #include <pins_arduino.h>

  8. #include <FFat.h>

  9. #include <LittleFS.h>

  10. #include <SPIFFS.h>

  11. #include <SD.h>

  12. #include <EEPROM.h>

  13. #include "esp_camera.h"

  14. #include "DFRobot_AXP313A.h"

  15. #include <ESP32Servo.h>

  16. #include <pins_arduino.h>

  17. #include <JPEGDecoder.h>

  18. #include <TFT_eSPI.h> 

  19. #define FIREBEETLE_S3_PSRAM

  20. #include "camera_pins.h"

  21. 

  22. // mtqq 服务器地址

  23. #define BROKER_ADDR IPAddress(192, 168, 123, 209)

  24. // 推送和保存的时间间隔

  25. #define INTERVAL 20000

  26. 

  27. DFRobot_AXP313A axp;

  28. WiFiClient client;

  29. HADevice device;

  30. HAMqtt mqtt(client, device);

  31. HACamera haCamera("myCamera");

  32. HAButton button("button");

  33. HANumber number1("NumberX", HANumber::PrecisionP0);

  34. HANumber number2("NumberY", HANumber::PrecisionP0);

  35. 

  36. SPIClass sdspi;

  37. TFT_eSPI tft = TFT_eSPI();

  38. 

  39. unsigned long lastPublishAt = 0;

  40. uint32_t pic_cnt;

  41. volatile bool takepic = false;

  42. 

  43. const int servoXPin = A4, servoYPin = A5;

  44. 

  45. Servo servoX;

  46. Servo servoY;

  47. 

  48. void startCameraServer();

  49. void setupCamera();

  50. void setupWiFi(const char *ssid, const char *password);

  51. void publishCameraImage();

  52. void setupHA();

  53. void callback(const char *topic, const uint8_t *payload, uint16_t length);

  54. void writeFile(fs::FS &fs, const char *path, uint8_t *data, size_t len);

  55. void showTime(uint32_t msTime);

  56. void jpegInfo();

  57. void jpegRender(int xpos, int ypos);

  58. void drawSdJpeg(camera_fb_t *fb, int xpos, int ypos);

  59. void showTime(uint32_t msTime);

  60. void setupSD();

  61. void setupServo();

  62. void onNumberCommand(HANumeric number, HANumber *sender);

  63. void onButtonCommand(HAButton *sender);

  64. 

  65. void setup()

  66. {

  67.     Serial.begin(115200);

  68.     while (!Serial)

  69.         ;

  70.     Serial.setDebugOutput(true);

  71.     // 初始化tft屏幕

  72.     tft.init();

  73.     tft.setRotation(3);

  74.     while (axp.begin() != 0)

  75.     {

  76.         Serial.println("init error");

  77.         delay(1000);

  78.     }

  79.     // 设置摄像头供电

  80.     axp.enableCameraPower(axp.eOV2640);

  81.     // 初始化 Camera

  82.     setupCamera();

  83.     // 连接到wifi

  84.     setupWiFi("ShuangYY", "334452000");

  85.     // 配置HA

  86.     setupHA();

  87.     setupSD();

  88.     EEPROM.begin(4);

  89.     pic_cnt = EEPROM.readUInt(0);

  90. }

  91. void loop()

  92. {

  93.     mqtt.loop();

  94.     // 返回摄像头照片

  95.     camera_fb_t *fb = esp_camera_fb_get();

  96.     // 读取失败

  97.     if (!fb)

  98.     {

  99.         return;

  100.     }

  101.     if (millis() - lastPublishAt > INTERVAL || takepic)

  102.     {

  103.         if (takepic == true)

  104.             takepic = false;

  105.         lastPublishAt = millis();

  106.         publishCameraImage_and_take_photo(pic_cnt, fb);

  107.         pic_cnt++;

  108.         EEPROM.writeUInt(0, pic_cnt);

  109.     }

  110.     // 解码 JEGP 图片

  111.     drawSdJpeg(fb, 0, 0);

  112.     // 释放缓存

  113.     esp_camera_fb_return(fb);

  114. }

  115. // 配置 摄像头

  116. void setupCamera()

  117. {

  118.     camera_config_t config;

  119.     config.ledc_channel = LEDC_CHANNEL_0;

  120.     config.ledc_timer = LEDC_TIMER_0;

  121.     config.pin_d0 = Y2_GPIO_NUM;

  122.     config.pin_d1 = Y3_GPIO_NUM;

  123.     config.pin_d2 = Y4_GPIO_NUM;

  124.     config.pin_d3 = Y5_GPIO_NUM;

  125.     config.pin_d4 = Y6_GPIO_NUM;

  126.     config.pin_d5 = Y7_GPIO_NUM;

  127.     config.pin_d6 = Y8_GPIO_NUM;

  128.     config.pin_d7 = Y9_GPIO_NUM;

  129.     config.pin_xclk = XCLK_GPIO_NUM;

  130.     config.pin_pclk = PCLK_GPIO_NUM;

  131.     config.pin_vsync = VSYNC_GPIO_NUM;

  132.     config.pin_href = HREF_GPIO_NUM;

  133.     config.pin_sccb_sda = SIOD_GPIO_NUM;

  134.     config.pin_sccb_scl = SIOC_GPIO_NUM;

  135.     config.pin_pwdn = PWDN_GPIO_NUM;

  136.     config.pin_reset = RESET_GPIO_NUM;

  137.     config.xclk_freq_hz = 20000000;

  138.     config.frame_size = FRAMESIZE_HVGA;

  139.     config.pixel_format = PIXFORMAT_JPEG; // for streaming

  140.     // config.pixel_format = PIXFORMAT_RGB565; // for face detection/recognition

  141.     config.grab_mode = CAMERA_GRAB_WHEN_EMPTY;

  142.     config.fb_location = CAMERA_FB_IN_PSRAM;

  143.     config.jpeg_quality = 12;

  144.     config.fb_count = 1;

  145. 

  146.     if (psramFound())

  147.     {

  148.         config.jpeg_quality = 10;

  149.         config.fb_count = 2;

  150.         config.grab_mode = CAMERA_GRAB_LATEST;

  151.         Serial.println("PSRAM 启用成功");

  152.     }

  153.     else

  154.     {

  155.         // Limit the frame size when PSRAM is not available

  156.         config.frame_size = FRAMESIZE_SVGA;

  157.         config.fb_location = CAMERA_FB_IN_DRAM;

  158.         Serial.println("PSRAM 启用失败");

  159.     }

  160.     // camera init

  161.     esp_err_t err = esp_camera_init(&config);

  162.     if (err != ESP_OK)

  163.     {

  164.         Serial.printf("Camera init failed with error 0x%x", err);

  165.         return;

  166.     }

  167. }

  168. // 接入WiFi

  169. void setupWiFi(const char *ssid = "ShuangYY", const char *password = "334452000")

  170. {

  171.     WiFi.begin(ssid, password);

  172.     WiFi.setSleep(false);

  173.     while (WiFi.status() != WL_CONNECTED)

  174.     {

  175.         delay(500);

  176.         Serial.print(".");

  177.     }

  178.     Serial.println("");

  179.     Serial.println("WiFi connected");

  180. 

  181.     startCameraServer();

  182. 

  183.     Serial.print("Camera Ready! Use 'http://");

  184.     Serial.print(WiFi.localIP());

  185.     Serial.println("' to connect");

  186. }

  187. // 推送数据到 mqtt 服务器,并保存到 SD 卡

  188. void publishCameraImage_and_take_photo(int n, camera_fb_t *fb)

  189. {

  190.     // 将照片推送到HA

  191.     haCamera.publishImage(fb->buf, fb->len);

  192.     char filename[32];

  193.     sprintf(filename, "/image%d.jpg", n);

  194.     // 将照片写入到SD卡

  195.     writeFile(SD, filename, fb->buf, fb->len);

  196. }

  197. // 配置HA的参数

  198. void setupHA()

  199. {

  200.     byte mac[6];

  201.     WiFi.macAddress(mac);

  202.     device.setUniqueId(mac, sizeof(mac));

  203.     // set device's details (optional)

  204.     device.setName("FireBettle2-CAM");

  205.     device.setSoftwareVersion("1.2.3");

  206.     device.setManufacturer("DIY");

  207.     // 摄像头

  208.     haCamera.setIcon("mdi:cctv");

  209.     haCamera.setName("FireBettle2");

  210. 

  211.     // 滑动条1

  212.     number1.setIcon("mdi:alpha-x");

  213.     number1.setName("X");

  214.     number1.setMin(0);   // can be float if precision is set via the constructor

  215.     number1.setMax(180); // can be float if precision is set via the constructor

  216.     number1.setStep(1);  // minimum step: 0.001f

  217.     number1.setMode(HANumber::ModeSlider);

  218.     number1.setCurrentState(90);

  219.     number1.onCommand(onNumberCommand);

  220.     // 滑动条2

  221.     number2.setIcon("mdi:alpha-y");

  222.     number2.setName("Y");

  223.     number2.setMin(0);   // can be float if precision is set via the constructor

  224.     number2.setMax(180); // can be float if precision is set via the constructor

  225.     number2.setStep(1);  // minimum step: 0.001f

  226.     number2.setMode(HANumber::ModeSlider);

  227.     number2.setCurrentState(90);

  228.     number2.onCommand(onNumberCommand);

  229.     // 拍照按钮

  230.     button.setIcon("mdi:camera-iris");

  231.     button.setName("拍照");

  232.     button.onCommand(onButtonCommand);

  233. 

  234.     mqtt.begin(BROKER_ADDR, 1883, "ESP_CAM");

  235. 

  236.     setupServo();

  237. }

  238. // 将图像保存到 SD 卡

  239. void writeFile(fs::FS &fs, const char *path, uint8_t *data, size_t len)

  240. {

  241.     File file = fs.open(path, FILE_WRITE);

  242.     if (!file)

  243.     {

  244.         return;

  245.     }

  246.     file.write(data, len);

  247.     file.close();

  248. }

  249. // 从 fb 绘制图片到 TFT 屏幕

  250. // xpos, ypos 是左上角位置

  251. void drawSdJpeg(camera_fb_t *fb, int xpos, int ypos)

  252. {

  253.     // 使用以下方法初始化解码器

  254.     bool decoded = JpegDec.decodeArray(fb->buf, fb->len);

  255.     // 解码成功

  256.     if (decoded)

  257.     {

  258.         // 将图片渲染到指定位置

  259.         jpegRender(xpos, ypos);

  260.     }

  261.     else

  262.     {

  263.         Serial.println("Jpeg file format not supported!");

  264.     }

  265. }

  266. // 在 TFT 上绘制 JPEG 图像，如果图像不适合，图像将在右侧/底部被裁剪

  267. void jpegRender(int xpos, int ypos)

  268. {

  269. 

  270.     uint16_t *pImg;

  271.     uint16_t mcu_w = JpegDec.MCUWidth;

  272.     uint16_t mcu_h = JpegDec.MCUHeight;

  273.     uint32_t max_x = JpegDec.width;

  274.     uint32_t max_y = JpegDec.height;

  275. 

  276.     bool swapBytes = tft.getSwapBytes();

  277.     tft.setSwapBytes(true);

  278. 

  279.     // Jpeg 图像被绘制为一组图块,称为最小编码单元,通常是 16x16 像素块

  280.     // 确定右边缘和下边缘图像块的宽度和高度

  281.     uint32_t min_w = jpg_min(mcu_w, max_x % mcu_w);

  282.     uint32_t min_h = jpg_min(mcu_h, max_y % mcu_h);

  283. 

  284.     // 保存当前图像块大小

  285.     uint32_t win_w = mcu_w;

  286.     uint32_t win_h = mcu_h;

  287. 

  288.     uint32_t drawTime = millis();

  289.     // 保存右侧和底部边缘的坐标，以帮助将图像裁剪为屏幕尺寸

  290.     max_x += xpos;

  291.     max_y += ypos;

  292. 

  293.     // 从文件中获取数据，解码并显示

  294.     while (JpegDec.read())

  295.     {                          // While there is more data in the file

  296.         pImg = JpegDec.pImage; // 解码 MCU（最小编码单元，通常是 8x8 或 16x16 像素块）

  297. 

  298.         // 计算当前MCU左上角坐标

  299.         int mcu_x = JpegDec.MCUx * mcu_w + xpos;

  300.         int mcu_y = JpegDec.MCUy * mcu_h + ypos;

  301. 

  302.         // 检查右边缘是否需要更改图像块大小

  303.         if (mcu_x + mcu_w <= max_x)

  304.             win_w = mcu_w;

  305.         else

  306.             win_w = min_w;

  307. 

  308.         // 检查底部边缘的图像块大小是否需要更改

  309.         if (mcu_y + mcu_h <= max_y)

  310.             win_h = mcu_h;

  311.         else

  312.             win_h = min_h;

  313. 

  314.         // 将像素复制到连续块中

  315.         if (win_w != mcu_w)

  316.         {

  317.             uint16_t *cImg;

  318.             int p = 0;

  319.             cImg = pImg + win_w;

  320.             for (int h = 1; h < win_h; h++)

  321.             {

  322.                 p += mcu_w;

  323.                 for (int w = 0; w < win_w; w++)

  324.                 {

  325.                     *cImg = *(pImg + w + p);

  326.                     cImg++;

  327.                 }

  328.             }

  329.         }

  330. 

  331.         // 计算必须绘制多少个像素

  332.         uint32_t mcu_pixels = win_w * win_h;

  333.         // 仅在适合屏幕的情况下绘制图像 MCU 块

  334.         if ((mcu_x + win_w) <= tft.width() && (mcu_y + win_h) <= tft.height())

  335.             tft.pushImage(mcu_x, mcu_y, win_w, win_h, pImg);

  336.         else if ((mcu_y + win_h) >= tft.height())

  337.             // 图像已超出屏幕底部，因此中止解码

  338.             JpegDec.abort(); //

  339.     }

  340. 

  341.     tft.setSwapBytes(swapBytes);

  342.     // showTime(millis() - drawTime);

  343. }

  344. // 打印图片信息

  345. // 在 JpegDec.decodeFile(...) 或 JpegDec.decodeArray(...) 之后调用

  346. void jpegInfo()

  347. {

  348.     // Print information extracted from the JPEG file

  349.     Serial.println("JPEG image info");

  350.     Serial.println("===============");

  351.     Serial.print("Width      :");

  352.     Serial.println(JpegDec.width);

  353.     Serial.print("Height     :");

  354.     Serial.println(JpegDec.height);

  355.     Serial.print("Components :");

  356.     Serial.println(JpegDec.comps);

  357.     Serial.print("MCU / row  :");

  358.     Serial.println(JpegDec.MCUSPerRow);

  359.     Serial.print("MCU / col  :");

  360.     Serial.println(JpegDec.MCUSPerCol);

  361.     Serial.print("Scan type  :");

  362.     Serial.println(JpegDec.scanType);

  363.     Serial.print("MCU width  :");

  364.     Serial.println(JpegDec.MCUWidth);

  365.     Serial.print("MCU height :");

  366.     Serial.println(JpegDec.MCUHeight);

  367.     Serial.println("===============");

  368.     Serial.println("");

  369. }

  370. void showTime(uint32_t msTime)

  371. {

  372.     // tft.setCursor(0, 0);

  373.     // tft.setTextFont(1);

  374.     // tft.setTextSize(2);

  375.     // tft.setTextColor(TFT_WHITE, TFT_BLACK);

  376.     // tft.print(F(" JPEG drawn in "));

  377.     // tft.print(msTime);

  378.     // tft.println(F(" ms "));

  379.     Serial.print(F(" JPEG drawn in "));

  380.     Serial.print(msTime);

  381.     Serial.println(F(" ms "));

  382. }

  383. void setupSD()

  384. {

  385.     // 初始化 SD 卡使用的SPI总线

  386.     sdspi.begin(12, 14, 13, 21);

  387.     // 初始化 SD 卡

  388.     if (!SD.begin(21, sdspi))

  389.     {

  390.         Serial.println("SD 卡初始化失败");

  391.         return;

  392.     }

  393.     Serial.println("SD 卡初始化成功");

  394. }

  395. // 设置舵机

  396. void setupServo()

  397. {

  398.     ESP32PWM::allocateTimer(0);

  399.     servoX.setPeriodHertz(50);

  400.     servoX.attach(servoXPin, 500, 2400);

  401.     servoY.setPeriodHertz(50);

  402.     servoY.attach(servoYPin, 500, 2400);

  403. }

  404. // 滑动条回调,控制舵机转动

  405. void onNumberCommand(HANumeric number, HANumber *sender)

  406. {

  407.     if (number.isSet())

  408.     {

  409.         if (sender == &number1)

  410.         {

  411.             char num[10] = {0};

  412.             number.toStr(num);

  413.             servoX.write(atoi(num));

  414.             Serial.print("X:");

  415.             Serial.println(atoi(num));

  416.         }

  417.         else if (sender == &number2)

  418.         {

  419.             char num[10] = {0};

  420.             number.toStr(num);

  421.             servoY.write(180 - atoi(num));

  422.             Serial.print("Y:");

  423.             Serial.println(180 - atoi(num));

  424.         }

  425.     }

  426. 

  427.     sender->setState(number); // report the selected option back to the HA panel

  428. }

  429. // 按钮回调

  430. void onButtonCommand(HAButton *sender)

  431. {

  432.     if (sender == &button)

  433.     {

  434.         takepic = true;

  435.     }

  436. }

复制代码
将ESP32接入HA的方式非常多，比如ESPhome,Tasmota,ESPEasy。本示例采用一个HA专用库文件ArduinoHA；为SD卡单独使用了一个SPI通道，避免与摄像头冲突；使用EERPOM记录图片的数量；添加TFT 屏幕显示，以便观察图像，由于HA需要接受JPEG图像格式，显示时需要对JPEG格式解码，但解码效率不理想，每个480×320的画面解码在800ms左右，画面卡顿严重。

5.HA效果展示
FireBeetle 2 ESP32-S3 自制监控并接入HomeAssistant图4
HA支持设备自动发现，程序上传后，概览中可以Firebeetle CAM 设备。
FireBeetle 2 ESP32-S3 自制监控并接入HomeAssistant图3
配置界面，可以简单测试
FireBeetle 2 ESP32-S3 自制监控并接入HomeAssistant图5
点击拍照可以立刻拍摄一张照片，刷新后显示在窗口，并保存照片在SD卡中；拖动X轴，Y轴滑动条可控制舵机转动，调整摄像头方向。

6.无HA的玩法
设备与HA交互的方式是MQTT协议，只需要订阅主题就能脱离HA查看和控制。
FireBeetle 2 ESP32-S3 自制监控并接入HomeAssistant图6
  1. aha/34851891d36c/myCamera/t
复制代码
Camera主题只需订阅即可
FireBeetle 2 ESP32-S3 自制监控并接入HomeAssistant图7
  1. aha/34851891d36c/NumberY/cmd_t

  2. aha/34851891d36c/NumberX/cmd_t

  3. aha/34851891d36c/button/cmd_t

复制代码
其他主题需要订阅和发布,其中的 34851891d36c 是生成的，每个设备不一样。
安装安卓端mqtt软件MQTT Dash，并作如下配置。
FireBeetle 2 ESP32-S3 自制监控并接入HomeAssistant图8         FireBeetle 2 ESP32-S3 自制监控并接入HomeAssistant图9
启动软件后，点击右上角加号，添加名称和mqtt服务器地址，保存。
FireBeetle 2 ESP32-S3 自制监控并接入HomeAssistant图10         FireBeetle 2 ESP32-S3 自制监控并接入HomeAssistant图11
进入创建的Firebeetle条目，点击右上角加号，创建组件，选择Image,订阅topic

         FireBeetle 2 ESP32-S3 自制监控并接入HomeAssistant图12
保存后退出，如此添加button用于拍照，slider用于控制舵机角度。
FireBeetle 2 ESP32-S3 自制监控并接入HomeAssistant图13         FireBeetle 2 ESP32-S3 自制监控并接入HomeAssistant图14
添加完成，连接到mqtt服务器即可查看照片和控制舵机。

13.jpg
回复

使用道具 举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

为本项目制作心愿单
购买心愿单
心愿单 编辑
[[wsData.name]]

硬件清单

  • [[d.name]]
btnicon
我也要做!
点击进入购买页面
撰写新帖
关于楼主

楼主的其它帖子

background 创造力兑换 background 心愿单 background 创客导航
上海智位机器人股份有限公司 沪ICP备09038501号-4 备案 沪公网安备31011502402448

© 2013-2025 Comsenz Inc. Powered by Discuz! X3.4 Licensed

mail