使用 EMQX 开源版的 Webhook 机制处理消息并存储数据
大唐锦绣 2024-09-10 11:33:02 阅读 98
1、前言
EMQX 是一款强大的开源 MQTT 消息代理,它支持大量的连接和高吞吐量,适用于各种物联网应用。Webhook 是 EMQX 提供的扩展功能之一,用于将消息推送到外部的 HTTP 服务。在本文中,我们将介绍如何使用 EMQX 开源版的 Webhook 机制,并展示如何处理收到的 Webhook 请求,将其中的数据存储到数据库中。
2、Webhook 简介
Webhook 是一种常见的 HTTP 回调机制,用于将事件或数据推送到外部服务器。当 MQTT 客户端发布消息时,EMQX 可以通过 Webhook 将该消息发送给指定的 HTTP 端点,方便我们在接收到消息后进一步处理数据。
3、搭建 Webhook 服务
接下来,我们编写一个简单的 SpringBoot 2.7服务,用于接收 EMQX 的 Webhook 请求并将其中的数据存储到数据库中。
3.1、项目依赖
在 <code>pom.xml 中添加以下依赖:
<dependencies>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-web</artifactId>
</dependency>
<dependency>
<groupId>org.projectlombok</groupId>
<artifactId>lombok</artifactId>
<optional>true</optional>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-test</artifactId>
<scope>test</scope>
</dependency>
<dependency>
<groupId>com.fasterxml.jackson.core</groupId>
<artifactId>jackson-core</artifactId>
<version>2.13.5</version>
</dependency>
<!-- Jackson Databind -->
<dependency>
<groupId>com.fasterxml.jackson.core</groupId>
<artifactId>jackson-databind</artifactId>
<version>2.13.5}</version>
</dependency>
<!-- Jackson Annotations -->
<dependency>
<groupId>com.fasterxml.jackson.core</groupId>
<artifactId>jackson-annotations</artifactId>
<version>2.13.5</version>
</dependency>
<dependency>
<groupId>mysql</groupId>
<artifactId>mysql-connector-java</artifactId>
<version>8.0.33</version>
</dependency>
<dependency>
<groupId>com.baomidou</groupId>
<artifactId>mybatis-plus-boot-starter</artifactId>
<version>3.5.6</version>
</dependency>
</dependencies>
3.2、实现 Webhook 控制器
3.2.1、Controller
package ....这里填写你自己的
import com.fasterxml.jackson.core.type.TypeReference;
import com.fasterxml.jackson.databind.ObjectMapper;
import lombok.AllArgsConstructor;
import lombok.extern.slf4j.Slf4j;
import org.springframework.web.bind.annotation.*;
import java.io.IOException;
import java.util.Map;
@RestController
@RequestMapping("/emqx/test")
@AllArgsConstructor
@Slf4j
public class WebhookController {
private final EmqxTestService emqxTestService;
private final ObjectMapper objectMapper = new ObjectMapper();
@PostMapping("/webhook")
public String webhook(@RequestBody String payload) {
try {
// 解析主 JSON 字符串为 Map
Map<String, Object> payloadMap = objectMapper.readValue(payload, new TypeReference<Map<String, Object>>() {});
// 从主 Map 中提取 clientid 和 topic
String clientId = (String) payloadMap.get("clientid");
String topic = (String) payloadMap.get("topic");
log.info("Received clientid: {}", clientId);
log.info("Received topic: {}", topic);
// 提取 payload 字段的 JSON 字符串
String payloadString = (String) payloadMap.get("payload");
// 解析 payload 字段的 JSON 字符串为 Map
Map<String, Object> payloadDataMap = objectMapper.readValue(payloadString, new TypeReference<Map<String, Object>>() {});
// 从 payload 数据中提取 msg 参数
String msg = (String) payloadDataMap.get("msg");
log.info("Received msg: {}", msg);
// 创建 EmqxTest 实例并设置字段
EmqxTest testData = new EmqxTest();
testData.setData(payload);
testData.setClientId(clientId);
testData.setTopic(topic);
// 保存数据
emqxTestService.insertData(testData);
} catch (IOException e) {
log.error("解析JSON有效负载失败", e);
return "Error parsing payload";
}
return "Received";
}
}
3.2.2、Service
package ....这里填写你自己的
import com.baomidou.mybatisplus.core.conditions.query.QueryWrapper;
import com.ldb.tool.entity.EmqxTest;
import com.ldb.tool.mapper.EmqxTestMapper;
import lombok.AllArgsConstructor;
import lombok.extern.slf4j.Slf4j;
import org.springframework.stereotype.Service;
import java.util.Date;
import java.util.List;
@Service
@AllArgsConstructor
@Slf4j
public class EmqxTestService {
private final EmqxTestMapper emqxTestMapper;
public EmqxTest insertData(EmqxTest testData) {
EmqxTest emqxTest = new EmqxTest();
// 你可以手动设置其他需要的字段,如 clientId, topic, data 等
emqxTest.setClientId(testData.getClientId());
emqxTest.setTopic(testData.getTopic());
emqxTest.setData(testData.getData());
emqxTest.setCreateTime(new Date()); // 如果你有自动填充策略,可以忽略这行
this.emqxTestMapper.insert(emqxTest);
return emqxTest;
}
}
3.2.3、Mapper
package ...这里填写你自己的;
import com.baomidou.mybatisplus.core.mapper.BaseMapper;
import com.ldb.tool.entity.EmqxTest;
public interface EmqxTestMapper extends BaseMapper<EmqxTest> {
}
3.2.4、Entity
package ...这里填写你自己的;
import com.baomidou.mybatisplus.annotation.IdType;
import com.baomidou.mybatisplus.annotation.TableId;
import com.baomidou.mybatisplus.annotation.TableName;
import lombok.Data;
import java.io.Serializable;
import java.util.Date;
@TableName("emqx_test")
@Data
public class EmqxTest implements Serializable {
private static final long serialVersionUID = 1L;
@TableId(value = "id", type = IdType.ASSIGN_ID)
private Long id;
private String clientId;
private String topic;
private String data;
private Date createTime;
private Date updateTime;
}
4、配置 EMQX Webhook
4.1、运行
我们这里使用docker来运行EMQX。
通过 Docker 运行 EMQX | EMQX文档
4.1.1、获取镜像
docker pull emqx/emqx:5.8.0
4.1.2、启动容器
docker run -d --name emqx \
-p 1883:1883 -p 8083:8083 \
-p 8084:8084 -p 8883:8883 \
-p 18083:18083 \
-v $PWD/data:/opt/emqx/data \
-v $PWD/log:/opt/emqx/log \
emqx/emqx:5.8.0
4.2、配置EMQX-Webhook
4.2.1、创建Webhook
访问EMQX可视化后台(http://localhost:18083/)=>集成=>Webhook=>创建Webhook
在填写设置的时候,需要注意的是我们本地docke访问宿主机,在容器内部URL:127.0.0.1,指向的是容器本身,你可以获取宿主机IP作为URL,比如192.168.30.44。
我们通过URL选项的测试按钮可以点击测试是否正常请求。
5、测试 Webhook
在保证我们的Java-Webhook、EMQX服务运行的情况下,我们可以通过MQTTX(简介 - MQTTX 文档)软件去模拟一台直连的MQTT设备发起一个主题,因为我们在创建Webhook的时候触发者是消息发布。
5.1、MQTTX发送主题
首先我们需要新建一个MQTT连接,配置如下所以,未设置认证的话不需要用户名密码。
右下角,我们填写主题(Topic)的消息路由为listen/me,消息内容为{"msg": "send messgae","status":1},点击小飞机按钮发送。
5.2、查看Webhook触发情况
在EMQX后台,集成=>Webhook,查看送达情况。
在查看我们的Java服务的日志打印,也收到了。
查看sql表,也已经正常保存。
6、结论
Webhook 是一种强大的机制,MQTT 消息发布事件触发后,通过 HTTP 推送到 Spring Boot 服务,对接收到的数据进行解析和存储。这种机制能够让我们轻松地将消息从 EMQX 转发到其他服务,从而实现复杂的业务逻辑处理。
7、参考资料
EMQX官方文档
声明
本文内容仅代表作者观点,或转载于其他网站,本站不以此文作为商业用途
如有涉及侵权,请联系本站进行删除
转载本站原创文章,请注明来源及作者。