[开源] TrackDock 室内智能感知运载平台 — ESP32-S3 三节点协同

KongChar

本文是 shaojiec932-web/CCD 项目的开源分享帖,原 README 同步搬运过来,方便社群同学在 BakeHub 内直接讨论。仓库整理了 2026 嵌入式芯片应用赛道(乐鑫科技赛道)参赛过程中三个核心 ESP32-S3 节点工程:主控节点端、图传视觉端、门牌节点端。主控与图传端基于小智开源框架二次开发,门牌端用 Arduino 实现。致敬虾哥 xiaozhi。

TrackDock 室内智能感知运载平台

基于 ESP32-S3、小智开源框架、MQTT、RFID、UWB、图传视觉与本地运动控制构建的室内智能运载与感知系统。

本仓库整理了本项目中三个核心 ESP32-S3 节点工程,分别为:主控节点端、图传视觉端和可编辑门牌节点端。其中主控节点端与图传视觉端均基于小智开源代码框架进行二次开发,在原有语音交互、联网通信和设备框架基础上,扩展了面向室内运载场景的本地实时控制、MCP 工具服务、MQTT 数据同步、RFID 货物识别、UWB 区域定位、串口屏交互和摄像头图传等能力。门牌节点端采用 Arduino 框架实现,用于室内区域标识与 MQTT 配置同步。

项目背景

在医院、养老院、仓库、图书馆、教学楼和实验室等复杂室内环境中,药品、文件、器材、样本、工具和日常物资需要频繁流转。传统方式主要依赖人工搬运、人工登记和人工核对,容易出现效率低、定位难、状态不可追踪、错拿错送、远程感知不足等问题。

TrackDock 的目标是通过低成本嵌入式节点与多端协同系统,将"任务发起、语音理解、货物识别、区域定位、远程图传、运动执行、状态反馈"打通,形成一套面向室内场景的智能运载与感知原型平台。

工程目录

嵌入式大赛/
├─ ESP32-S3主控节点端/
│  ├─ application.cc
│  ├─ application.h
│  ├─ mcp_server.cc
│  ├─ mcp_server.h
│  └─ bread-compact-wifi-lcd/
│     ├─ compact_wifi_board_lcd.cc
│     ├─ config.h
│     ├─ mcp_rfid_cargo_manager.cc
│     ├─ mcp_serial_display.cc
│     ├─ mcp_stm32_motor_control.cc
│     ├─ mcp_storage_lid.cc
│     ├─ mcp_uwb_navigation.cc
│     ├─ trackdock_mqtt_client.cc
│     └─ trackdock_scene.cc
│
├─ ESP32-S3图传视觉端/
│  └─ lichuang-dev/
│     ├─ config.h
│     ├─ lichuang_dev_board.cc
│     ├─ mcp_uart_tools.cc
│     └─ mcp_uart_tools.h
│
└─ ESP32-S3门牌节点端/
   ├─ NumberIP.ino
   └─ 门牌.txt

1. ESP32-S3 主控节点端

主控节点端是系统的核心控制节点,基于小智开源框架进行二次开发,主要负责语音交互接入、本地 MCP 工具注册、外设数据解析、串口屏交互、货物识别、UWB 定位接口、MQTT 状态同步以及底盘控制指令转发。

主要功能

基于小智框架接入语音交互能力,支持语音触发任务。
扩展 MCP 本地工具服务,将大模型意图映射为本地硬件操作。
通过 RFID 模块完成货物标签识别与货物信息采集。
通过 UWB 模块接口实现室内定位与目标区域导航能力预留。
通过串口屏实现本地人机交互,包括状态显示、按钮控制、音量调节等。
通过 UART 与 STM32 底盘控制端通信,实现前进、后退、左转、右转、停止等运动控制。
通过 MQTT 与客户端进行数据同步,实现远程控制、运行状态反馈和场景切换。
支持收纳盖控制、场景模式管理和任务状态记录。

关键文件说明

文件	说明
`application.cc / application.h`	小智应用层逻辑扩展,承载语音状态、任务流程和系统初始化相关逻辑。
`mcp_server.cc / mcp_server.h`	MCP 工具服务核心文件,用于注册和管理本地可调用工具。
`compact_wifi_board_lcd.cc`	主控板级初始化与硬件资源配置。
`config.h`	主控端 IO、串口、SPI、I2C、外设参数配置。
`mcp_rfid_cargo_manager.cc`	RFID 货物扫描、标签读取、货物信息反馈。
`mcp_serial_display.cc`	串口屏数据解析、控件同步、指令接收与显示输出。
`mcp_stm32_motor_control.cc`	STM32 底盘运动指令封装与串口发送。
`mcp_uwb_navigation.cc`	UWB 定位、目标点、导航状态与路径指令接口。
`trackdock_mqtt_client.cc`	MQTT 客户端连接、订阅、发布与远程控制同步。
`trackdock_scene.cc`	多场景模式切换与场景语义管理。

2. ESP32-S3 图传视觉端

图传视觉端基于立创实战派 ESP32-S3 开发板方案和小智开源框架进行二次开发,主要用于摄像头图像采集、JPEG 编码、MQTT 图传发布和远程视觉控制台显示。该节点作为独立视觉感知节点,不承担主控运动决策,重点提供远程观察与辅助驾驶能力。

主要功能

基于 ESP32-S3 摄像头接口采集实时图像。
将图像压缩为 JPEG 数据并通过 MQTT 上传。
客户端可实时显示视觉画面,用于远程观察和辅助控制。
可配合主控端完成室内运行状态监控、路径观察和物品识别辅助展示。
保留小智框架的基础联网和设备初始化能力,并扩展图传任务循环。

关键文件说明

文件	说明
`lichuang_dev_board.cc`	图传视觉端核心实现,包含摄像头初始化、图像采集、MQTT 发布和任务循环。
`config.h`	摄像头、板级 IO 和基础参数配置。
`mcp_uart_tools.cc / mcp_uart_tools.h`	原框架中的 UART 工具能力,保留用于后续扩展。

3. ESP32-S3 门牌节点端

门牌节点端用于构建可编辑的室内区域标识系统。该节点采用 Arduino 框架实现,便于快速开发和部署。门牌节点通过 Wi-Fi 和 MQTT 与客户端同步,客户端可远程配置门牌名称,例如"仓库""收纳区""充电区""病房区"等,节点本地屏幕显示当前门牌信息。

主要功能

支持 Wi-Fi 连接与 MQTT 通信。
支持客户端远程修改门牌名称。
支持本地 TFT/OLED 屏幕显示区域名称。
可作为 UWB 室内定位系统中的空间语义节点。
可与主控端运动任务结合,实现"目标区域名称"和"定位参考点"的对应关系。

关键文件说明

文件	说明
`NumberIP.ino`	门牌节点主程序,包含 Wi-Fi、MQTT、屏幕显示和门牌配置逻辑。
`门牌.txt`	门牌端说明、配置记录或辅助资料。

系统总体链路

用户语音 / 客户端 / 串口屏
        ↓
ESP32-S3 主控节点
        ↓
小智语音交互 + MCP 本地工具调用
        ↓
RFID 货物识别 / UWB 区域定位 / STM32 底盘控制 / 收纳盖控制
        ↓
MQTT 状态同步
        ↓
电脑端、手机端、视觉控制端、门牌节点

图传视觉端作为独立感知节点持续上传摄像头画面,门牌节点作为空间语义节点提供区域标识,主控节点负责语音理解后的本地执行和多端状态同步。三个节点共同构成室内智能运载平台的基础闭环。

二次开发说明

本项目主控节点端和图传视觉端基于小智开源框架进行二次开发,主要扩展方向包括:

面向室内运载场景的 MCP 工具接口。
面向硬件外设的本地实时控制逻辑。
面向客户端的 MQTT 数据同步链路。
面向串口屏的人机交互协议。
面向 RFID、UWB、STM32、摄像头等模块的板级适配。
面向多场景应用的任务状态与场景语义管理。

开源时请保留原小智项目相关版权与许可证说明,并在仓库中注明本项目是在其基础上进行的场景化二次开发。

技术栈

主控框架:Espressif ESP-IDF、小智开源框架
主控芯片:ESP32-S3
图传节点:ESP32-S3 摄像头开发板
门牌节点:ESP32-S3 + Arduino 框架
通信方式:Wi-Fi、MQTT、UART、SPI、I2C、GPIO
识别模块:RFID RC522
定位模块:UWB / DW1000 系列模块接口
执行控制:STM32F103C8T6 底盘控制端
交互方式:语音、串口屏、电脑端客户端、手机端客户端

适用场景

医院药品、样本、护理用品转运
养老院照护用品配送
仓储货物转运与盘点辅助
实验室器材和样本流转
图书馆资料搬运与区域配送
教学楼、办公楼内的低成本智能配送

后续扩展方向

将主控、图传、门牌和底盘控制进一步集成化,减少分散模块数量。
优化机械结构,使车体更接近真实运载平台。
完善 UWB 多基站定位解算,提高室内定位精度。
增强视觉识别能力,支持货物外观识别和障碍检测。
完善客户端任务管理,实现多车、多门牌、多任务调度。
增加电源管理和安全保护,提高系统稳定性。

开源说明

本仓库为 TrackDock 室内智能感知运载平台的嵌入式端工程整理版本,包含主控节点端、图传视觉端和门牌节点端三个部分。项目用于嵌入式系统开发、物联网多节点协同、智能运载平台原型验证和比赛展示。

其中涉及小智开源框架的部分为基于原项目的二次开发与场景化扩展,建议开源时同步附带原项目许可证、二次开发说明和本项目新增功能说明。

仓库地址:https://github.com/shaojiec932-web/CCD

欢迎在评论区交流硬件选型、MCP 工具注册、UWB 定位解算、MQTT 图传带宽优化等细节问题。