MQTT on Liangweidong's blog

消息队列镜像实战：RabbitMQ / EMQX / ActiveMQ 部署、集群、鉴权与坑点

Fri, 15 Dec 2023 00:00:00 +0800

消息队列（Message Queue）是分布式系统的"解耦器"——把同步调用改成异步消息，把"必须双方都在"改成"消息进来，订阅者啥时候消费都行"。RabbitMQ / ActiveMQ 是 AMQP 协议的"老牌双雄"；EMQX 严格说是 MQTT Broker（IoT 场景为主），但在国内实际项目里经常被混用——所以本文把它一起整理。

这篇文章把三款组件的 docker 部署、集群、鉴权、坑点整理成实战清单。和 0.4 批次的"CI 工具对比"不同，本文只聚焦"镜像实战"——拉哪个镜像、怎么配集群、客户端怎么连、鉴权怎么做。

阅读对象：需要从零搭一套消息队列、或正在做 IoT（MQTT）基础设施的开发者、运维
覆盖范围：三款组件的核心特性对比、RabbitMQ 3.x 部署 + 镜像集群、EMQX 5.x 部署 + 集群 + MySQL 鉴权、ActiveMQ 5.15 部署 + 控制台改密、常见排错

一、三款消息队列对比

维度	RabbitMQ	EMQX	ActiveMQ
协议	AMQP 0-9-1、STOMP、MQTT	MQTT 5.0/3.1.1、WebSocket、CoAP	OpenWire、STOMP、AMQP、MQTT
语言	Erlang	Erlang	Java
镜像大小	200 MB	80 MB	350 MB
内存占用	500 MB~	200 MB~	1 GB~
启动时间	30 秒	5 秒	60 秒
集群模式	内置（多节点镜像）	内置（静态种子 / DNS / etcd）	Master-Slave（已废弃）/ 第三方 ZK 选主
一致性	弱（最终一致）	强（Raft，企业版）	弱
客户端语言	多语言	多语言（IoT 设备为主）	多语言
核心场景	企业应用异步	IoT 设备接入	传统企业应用（JMS）

When to use：

企业应用异步解耦 → RabbitMQ（社区活跃、Erlang 高并发、AMQP 生态成熟）

IoT 设备 / 移动端长连接 → EMQX（百万级连接、MQTT 原生）

遗留 JMS 应用 → ActiveMQ（仅在 Java 老项目里使用）

二、RabbitMQ 部署

2.1 镜像

1

docker pull rabbitmq:3.12-management

3.12-management 自带 rabbitmq_management 插件（WebUI + API），生产推荐用这个。

2.2 最小启动

1
2
3
4
5
6


docker run -d \
 --name rabbitmq \
 --restart=always \
 -p 5672:5672 \  # AMQP
 -p 15672:15672 \  # WebUI
 rabbitmq:3.12-management

访问 http://<HOST>:15672/，默认账号 guest/guest（仅限 localhost 访问）。

坑 1：guest 用户默认只能从 localhost 登录——如果从远程访问 WebUI 报 “User can only log in via localhost”，需要在容器内改：

1
2
3
4
5
6


docker exec -it rabbitmq bash
rabbitmqctl set_permissions -p / guest ".*" ".*" ".*"
# 创建远程用户
rabbitmqctl add_user admin <REDACTED>
rabbitmqctl set_user_tags admin administrator
rabbitmqctl set_permissions -p / admin ".*" ".*" ".*"

2.3 持久化 + 主机名

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


docker run -d \
 --name rabbitmq \
 --restart=always \
 -p 5672:5672 \
 -p 15672:15672 \
 -e RABBITMQ_DEFAULT_USER=admin \
 -e RABBITMQ_DEFAULT_PASS=<REDACTED> \
 -v /data/rabbitmq:/var/lib/rabbitmq \
 --hostname rabbitmq-1 \
 rabbitmq:3.12-management

坑 2：--hostname 必须设——RabbitMQ 集群节点靠 hostname 通信，默认容器 hostname 是随机字符串，每次重启会变。用 --hostname 固定 hostname。

2.4 启用插件

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


docker exec -it rabbitmq bash

# 启用管理插件（已默认启用）
rabbitmq-plugins enable rabbitmq_management

# 启用延迟消息插件（社区）
rabbitmq-plugins enable rabbitmq_delayed_message_exchange

# 启用日志追踪（用于排查生产问题）
rabbitmq-plugins enable rabbitmq_tracing

坑 3：rabbitmq_tracing 插件会显著影响性能（写文件 IO）——只用于排错时临时开启，用完及时关。

2.5 集群部署

RabbitMQ 集群有 3 种模式：

模式	特点	适用
普通集群	队列只在创建它的节点上，其他节点转发请求	几乎不用
镜像队列（HA）	队列在多个节点复制，主从同步	生产推荐
联邦（Federation）	跨地域同步	多数据中心

2.5.1 启动 3 节点

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15


# 节点 1
docker run -d \
 --name rabbitmq-1 \
 --restart=always \
 -p 5672:5672 \
 -p 15672:15672 \
 -e RABBITMQ_DEFAULT_USER=admin \
 -e RABBITMQ_DEFAULT_PASS=<REDACTED> \
 -v /data/rabbitmq-1:/var/lib/rabbitmq \
 --hostname rabbitmq-1 \
 --link rabbitmq-2 \
 --link rabbitmq-3 \
 rabbitmq:3.12-management

# 节点 2 / 节点 3: 同上, hostname 改 rabbitmq-2 / rabbitmq-3

2.5.2 加入集群

1
2
3
4
5
6
7


# 节点 2
docker exec -it rabbitmq-2 bash
rabbitmqctl stop_app
rabbitmqctl join_cluster --ram rabbit@rabbitmq-1
rabbitmqctl start_app

# 节点 3: 同样

2.5.3 配置镜像队列策略

1
2


# 在任一节点执行
rabbitmqctl set_policy ha-all "^" '{"ha-mode":"all","ha-sync-mode":"automatic"}'

坑 4：ha-mode=all 表示所有队列在所有节点都有副本——最安全但磁盘 IO 最大。生产建议：ha-mode: exactly, ha-params: 2（每个队列在 2 个节点上同步）。

2.6 客户端使用

Java（Spring Boot）：

1
2
3
4


<dependency>
 <groupId>org.springframework.boot</groupId>
 <artifactId>spring-boot-starter-amqp</artifactId>
</dependency>

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14


spring:
 rabbitmq:
 host: <INTERNAL_HOST>
 port: 5672
 username: admin
 password: <REDACTED>
 virtual-host: /
 listener:
 simple:
 prefetch: 1 # 一次只处理一条（公平分发）
 acknowledge-mode: manual
 retry:
 enabled: true
 max-attempts: 3

Go：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12


import "github.com/rabbitmq/amqp091-go"

conn, _ := amqp.Dial("amqp://admin:<REDACTED>@<INTERNAL_HOST>:5672/")
defer conn.Close()

ch, _ := conn.Channel()
ch.QueueDeclare("my-queue", true, false, false, false, nil)

ch.Publish("", "my-queue", false, false, amqp.Publishing{
 ContentType: "application/json",
 Body: []byte(`{"hello":"world"}`),
})

三、EMQX 部署

EMQX 5.x 是国内最主流的 MQTT Broker——百万级连接、规则引擎、Kafka/数据库桥接都内置。IoT 项目首选。

3.1 镜像

1
2


docker pull emqx/emqx:5.0.24
# 升级到 5.5.x 或 5.7.x 也是同样方法

3.2 单机部署

1
2
3
4


docker run -d --name emqx -p 1883:1883 -p 8083:8083 -p 8084:8084 -p 8883:8883 -p 18083:18083 emqx/emqx:5.0.24

# 设置自动启动
docker update --restart=always emqx

端口说明：

端口	用途
1883	TCP（MQTT 主流）
8883	TCP + SSL
8083	WebSocket
8084	WebSocket + SSL
18083	后台管理 Web

访问 http://<HOST>:18083/，默认账号 admin/public（首次登录强制改密）。

3.3 关闭 api-docs（生产建议）

EMQX 默认开了 api-docs/index.html 暴露所有 API 文档——生产环境应该关。

1
2
3


# 复制配置
docker cp emqx:/opt/emqx/etc/emqx.conf .
vim emqx.conf

1
2
3
4
5
6


dashboard {
 listeners.http {
 bind = 18083
 }
 swagger_support = false # 关闭 api-docs
}

1
2


docker cp emqx.conf emqx:/opt/emqx/etc/emqx.conf
docker restart emqx

3.4 鉴权：MySQL 后端

真实场景：EMQX 用户成千上万，写在配置里不现实。MySQL 鉴权让所有设备凭据从数据库读取。

3.4.1 创建表

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


CREATE TABLE `mqtt_user` (
 `id` int(11) unsigned NOT NULL AUTO_INCREMENT,
 `username` varchar(100) DEFAULT NULL,
 `password_hash` varchar(100) DEFAULT NULL,
 `salt` varchar(35) DEFAULT NULL,
 `is_superuser` tinyint(1) DEFAULT 0,
 `created` datetime DEFAULT NULL,
 PRIMARY KEY (`id`),
 UNIQUE KEY `mqtt_username` (`username`)
);

3.4.2 EMQX 配置 MySQL 鉴权链

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22


# emqx.conf
authentication = [
 {
 mechanism = password_based
 backend = built_in_database
 user_id_type = username
 },
 {
 mechanism = password_based
 backend = mysql
 user_id_type = username
 password_hash_algorithm {
 name = sha256
 salt_position = prefix
 }
 server = "<INTERNAL_HOST>:3306"
 database = "emqx"
 username = "emqx"
 password = "<REDACTED>"
 query = "SELECT password_hash, salt FROM mqtt_user WHERE username = ${username} LIMIT 1"
 }
]

3.4.3 插入用户

1
2


INSERT INTO mqtt_user(username, password_hash, salt, is_superuser)
VALUES ('device-001', SHA2(CONCAT('slat_foo123', 'device-secret-001'), 256), 'slat_foo123', 1);

坑 5：EMQX 鉴权链的顺序很重要——built_in_database 排第一意味着先用内置数据库查，查不到再走 MySQL。如果只想用 MySQL，只保留 MySQL 那个 backend。

3.5 集群部署

3.5.1 静态种子集群（推荐）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23


# 节点 1 (10.8.33.6)
cat << "EOF" > /home/docker-compose-emqx.yml
version: '3'
services:
 emqx1:
 image: emqx:5.5.1
 container_name: emqx1
 restart: always
 environment:
 - EMQX_NAME=emqx
 - EMQX_HOST=10.8.33.6
 - EMQX_NODE_NAME=emqx@10.8.33.6
 - EMQX_CLUSTER__DISCOVERY_STRATEGY=static
 - EMQX_CLUSTER__STATIC__SEEDS=[emqx@10.8.33.6,emqx@10.8.33.7,emqx@10.8.33.8]
 network_mode: "host"
 healthcheck:
 test: ["CMD", "/opt/emqx/bin/emqx_ctl", "status"]
 interval: 5s
 timeout: 25s
 retries: 5
EOF

# 节点 2/3: 改 EMQX_HOST / EMQX_NODE_NAME 对应 IP

1
2
3
4
5


# 启动
docker-compose -f /home/docker-compose-emqx.yml up -d

# 查看集群状态
docker exec -it emqx1 emqx ctl cluster status

坑 6：EMQX 5.9.0 之后默认仅支持单节点集群——集群能力需要申请商业 License。生产用 5.5.x 或 5.7.x 即可。

3.5.2 Nginx 代理 MQTT

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


stream {
 upstream emqx-tcp {
 server 10.8.33.6:1883;
 server 10.8.33.7:1883;
 server 10.8.33.8:1883;
 }
 server {
 listen 1883;
 proxy_pass emqx_tcp;
 proxy_buffer_size 8k;
 tcp_nodelay on;
 }
}

坑 7：Nginx TCP 代理要 stream 块（不是 http 块）——加错地方 MQTT 设备就连不上。

3.6 客户端测试：MQTTX

MQTTX（https://mqttx.app/）是 EMQX 团队做的 MQTT 客户端工具，桌面版 + CLI 都好用。

1
2
3
4


Broker: mqtt://<YOUR_DOMAIN>:1883
Client ID: mqttx_<random>
Username: device-001
Password: <REDACTED>

订阅主题、发布消息、断线重连——MQTTX 全能搞定。

四、ActiveMQ 部署

ActiveMQ 是 JMS 的"老牌实现"——Java 时代遗留项目还在用。新项目不推荐（RabbitMQ / Kafka 几乎全面取代）。

4.1 镜像

1
2


docker search activemq
docker pull rmohr/activemq

坑 8：ActiveMQ 官方没提供 Docker 镜像——rmohr/activemq 是社区镜像，镜像里 OpenJDK 版本老。生产建议自己 build：

1
2
3
4
5
6
7


FROM openjdk:8-jdk
RUN wget https://archive.apache.org/dist/activemq/5.15.6/apache-activemq-5.15.6-bin.tar.gz && \
 tar -xzf apache-activemq-5.15.6-bin.tar.gz -C /opt && \
 rm apache-activemq-5.15.6-bin.tar.gz
EXPOSE 1883 61616 8161 61614
WORKDIR /opt/apache-activemq-5.15.6
CMD ["bin/activemq", "console"]

4.2 启动

1
2
3
4
5
6
7
8


docker run -d \
 -p 1883:1883 \  # MQTT
 -p 61616:61616 \  # OpenWire
 -p 8161:8161 \  # WebUI
 -p 61614:61614 \  # STOMP
 --restart=always \
 --name myactivemq \
 rmohr/activemq:latest

访问 http://<HOST>:8161/，默认账号 admin/admin。

4.3 改密码

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12


# 复制默认配置
docker cp myactivemq:/opt/apache-activemq-5.15.6/conf/jetty-realm.properties ~

# 编辑
vim jetty-realm.properties
# 改:
admin: <NEW_PASSWORD_HASH>,admin
user: <NEW_PASSWORD_HASH>,user

# 复制回去
docker cp jetty-realm.properties myactivemq:/opt/apache-activemq-5.15.6/conf/jetty-realm.properties
docker restart myactivemq

坑 9：ActiveMQ 5.15 之前的版本默认密码是 admin:admin——改密码必须重启容器才能生效（ActiveMQ 把配置加载到内存里）。

4.4 客户端使用

Java（JMS）：

1
2
3
4
5
6
7
8
9


import javax.jms.*;

ConnectionFactory connectionFactory = new ActiveMQConnectionFactory("tcp://<INTERNAL_HOST>:61616");
Connection connection = connectionFactory.createConnection("admin", "<REDACTED>");
connection.start();
Session session = connection.createSession(false, Session.AUTO_ACKNOWLEDGE);
Destination dest = session.createQueue("my-queue");
MessageProducer producer = session.createProducer(dest);
producer.send(session.createTextMessage("hello world"));

坑 10：ActiveMQ 默认匿名访问——必须显式传用户名密码；否则在生产环境被攻击者直接用。

五、客户端选型建议

5.1 Java

队列	客户端
RabbitMQ	`spring-boot-starter-amqp` / `rabbitmq-client`
EMQX	`org.eclipse.paho.client.mqttv3.MqttClient`（Paho）
ActiveMQ	`org.apache.activemq:activemq-client`

5.2 Go

队列	客户端
RabbitMQ	`github.com/rabbitmq/amqp091-go`
EMQX	`github.com/eclipse/paho.mqtt.golang`
ActiveMQ	`github.com/go-stomp/stomp`（STOMP）/ `github.com/Azure/go-amqp`

5.3 Python

队列	客户端
RabbitMQ	`pika` / `aio-pika`
EMQX	`paho-mqtt` / `asyncio-mqtt`
ActiveMQ	`stomp.py`

六、常见排错

6.1 RabbitMQ 启动报 “nodedown”

症状：rabbitmqctl join_cluster 报 nodedown

排查：

节点间网络可达（ping / telnet 5672 25672）
Erlang Cookie 一致（/var/lib/rabbitmq/.erlang.cookie）
hostname 解析正常（/etc/hosts 里加 hostname → IP）

6.2 EMQX 集群节点不同步

症状：emqx ctl cluster status 显示有节点没加入

排查：

EMQX_CLUSTER__STATIC__SEEDS 里的 hostname / IP 是否能互通
防火墙 5370/5371 端口是否开放（cluster 通信）
节点 EMQX_NAME 是否一致

6.3 ActiveMQ WebUI 502

症状：http://<HOST>:8161/ 报 502

解决：

1
2


docker logs myactivemq | tail -50
# 看启动是否完整, 等 "ActiveMQ WebConsole available at" 才算启动完

坑 11：ActiveMQ 启动慢（60 秒+）——K8s 部署时 readinessProbe 要设 initialDelaySeconds: 60。

6.4 RabbitMQ 队列消息堆积

症状：队列里几万条消息消费不动

排查：

消费者代码 bug？查 /api/queues 里的 messages_ready / messages_unacknowledged
消费者数量不够？加 prefetch 调小 + 多消费者
慢消费者？加监控告警

七、生产环境最佳实践

7.1 RabbitMQ

队列全部设为镜像队列（ha-mode: exactly, ha-params: 2）
禁用 guest 远程登录
WebUI 用 nginx 限制 IP
监控告警：Prometheus + rabbitmq-prometheus 插件

7.2 EMQX

3 节点集群起步（5 节点更稳）
生产用 5.5.x / 5.7.x（5.9+ 集群需商业 License）
关闭 api-docs
Dashboard 限 IP
SSL 双向认证（设备带证书）

7.3 ActiveMQ

尽量不用于新项目
老项目用 LevelDB 存储（比 KahaDB 快）
WebUI 限 IP
监控 JMX（com.sun.management.jmxremote）

八、写在最后

消息队列选型的核心问题不是"用哪个"，而是"用对地方"：

企业内部异步 → RabbitMQ
IoT 设备 / 移动端 → EMQX
遗留 JMS 系统 → ActiveMQ（暂时别动）

下一步建议：

RabbitMQ + 死信队列（DLX） 处理失败消息
EMQX 规则引擎 桥接 Kafka（设备消息转大数据）
ActiveMQ → RabbitMQ 迁移（用 rabbitmq-mqtt 插件兼容 MQTT 客户端）

参考资料

RabbitMQ 官方文档：https://www.rabbitmq.com/documentation.html
EMQX 官方文档：https://www.emqx.io/docs/zh/v5.0/
ActiveMQ 官方文档：https://activemq.apache.org/components/classic/documentation
MQTTX 客户端：https://mqttx.app/
EMQX 5.9 License 变化：https://www.emqx.com/zh/content/license-faq
EMQX MySQL 鉴权：https://www.emqx.io/docs/zh/v5/access-control/authn/mysql.html

MongoDB 与 Mosquitto：NoSQL 与 MQTT 消息中间件 Docker 部署实战

Sun, 15 Dec 2019 00:00:00 +0800

关系型数据库解决"业务核心数据"（订单、用户、账户），但物联网 / 实时消息 / 文档型数据这些场景，传统 RDBMS 反而显得笨重：JSON 文档要拆成多张表、消息上行要支持 publish/subscribe、时序数据要写一条立刻收一条。MongoDB（文档数据库）+ Mosquitto（MQTT broker）就是这个组合的"老搭档"——前者存灵活结构的数据，后者负责把设备/客户端消息实时收上来。这篇文章把这两个在 Docker 里的部署、配置、客户端连接一次性说清楚。

阅读对象：做 IoT 网关、需要落地 JSON 设备数据；做聊天/推送需要轻量消息中间件；想给应用加 publish/subscribe 能力的后端工程师。 覆盖范围：MongoDB 4.x 容器启动、admin 库认证、连接字符串、备份恢复；Eclipse Mosquitto 配置文件、密码文件、客户端工具（MQTTBox）。

一、为什么是 MongoDB + Mosquitto

场景	关系型数据库	MongoDB	MQTT
设备上报 JSON 文档	拆多张表，麻烦	直接存 BSON，灵活	上行通道
实时控制指令下发	轮询，延迟高	不擅长	pub/sub，毫秒级
设备状态变更通知	触发器 + 轮询	Change Stream	天然支持
一台服务器几万台设备	撑不住	水平分片	百万级连接
数据查询分析	强	中（聚合管道）	不存数据

典型组合：设备 → Mosquitto（MQTT broker）→ 业务后端消费 → 写入 MongoDB → 前端 / BI 查询。Mosquitto 是"水管"，MongoDB 是"水池"。

二、MongoDB 4.x 容器化

2.1 拉取与启动

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23


# 拉镜像
docker pull mongo:4.4.5-bionic

# 用 docker compose 启动（推荐）
cat << 'EOF' > docker-compose.yml
version: '3'
services:
 mongo:
 image: mongo:4.4.5-bionic
 container_name: mongo
 restart: always
 ports:
 - "27017:27017"
 volumes:
 - /home/docker/mongo/data:/data/db
 - /home/docker/mongo/conf:/data/configdb
 environment:
 MONGO_INITDB_ROOT_USERNAME: admin
 MONGO_INITDB_ROOT_PASSWORD: {{REDACTED}}
 command: ["--auth"]
EOF

docker-compose up -d

关键参数：

command: ["--auth"] 开启访问控制（不带 --auth 等于"裸奔"，任意客户端可读写）

MONGO_INITDB_ROOT_USERNAME/PASSWORD：初始化 root 账号（仅在首次启动未挂载数据时生效）

2.2 mongo.conf 配置示例

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21


# /home/docker/mongo/conf/mongo.conf
storage:
 dbPath: /data/db
 journal:
 enabled: true

systemLog:
 destination: file
 path: /var/log/mongodb/mongod.log
 logAppend: true

net:
 port: 27017
 bindIp: 0.0.0.0

processManagement:
 fork: true
 pidFilePath: /var/run/mongodb.pid

security:
 authorization: enabled

2.3 客户端连接字符串

1

mongodb://admin:{{REDACTED}}@internal.example.com:27017/?authSource=admin

元素	说明
`mongodb://`	协议
`admin:{{REDACTED}}`	账号:密码（脱敏占位）
`internal.example.com:27017`	宿主机 + 端口
`?authSource=admin`	认证库（root 账号必须在 admin 库认证）

2.4 常见坑

重启后 admin 密码失效：旧版 MongoDB 镜像在 data 卷有数据时不会重新执行 init 脚本。要重置密码：先不带 --auth 启动 → 进 mongo shell 改 admin.system.users → 重启。
时区：MongoDB 存的是 UTC，前端展示时按业务时区（Asia/Shanghai）+ 8 小时。
大文档 16MB 上限：单文档超过 16MB 会写入失败，IoT 大数据要拆成多条或改用 GridFS。

三、Eclipse Mosquitto（MQTT Broker）

Mosquitto 是 Eclipse 基金会维护的轻量级 MQTT broker，单机能撑百万级连接（取决于内存和 fd 上限），是 IoT 领域的"事实标准"。

3.1 拉取与启动

1

docker pull eclipse-mosquitto

3.2 目录结构

1
2
3


/mosquitto/data # 持久化数据
/mosquitto/log # 日志
/mosquitto/config # 配置 + 密码文件

宿主机创建这三个目录并赋权：

1
2
3


mkdir -p /mosquitto/{data,log,config}
chmod -R 755 /mosquitto
chmod -R 777 /mosquitto/log

3.3 配置文件 `mosquitto.conf`

1
2
3
4
5
6
7


persistence true
persistence_location /mosquitto/data/
log_dest file /mosquitto/log/mosquitto.log

# 关闭匿名模式（生产环境必开）
allow_anonymous false
password_file /mosquitto/config/pwfile.conf

3.4 创建密码文件

1
2
3
4
5
6
7


touch /mosquitto/config/pwfile.conf
chmod -R 755 /mosquitto/config/pwfile.conf

# 在容器内执行（不要在宿主机直接编辑，会被容器覆盖）
docker exec -it <container_id> bash
mosquitto_passwd -b /mosquitto/config/pwfile.conf hangge 123
# -b 表示非交互式（用户名 hangge 密码 123，生产请用强密码）

3.5 启动容器

1
2
3
4
5
6


docker run -it \
 -p 1883:1883 -p 9001:9001 \
 -v /mosquitto/config/mosquitto.conf:/mosquitto/config/mosquitto.conf \
 -v /mosquitto/data \
 -v /mosquitto/log \
 eclipse-mosquitto

端口说明：

1883：MQTT 默认 TCP 端口（明文）

9001：WebSocket 端口（前端订阅用）

8883：MQTT over TLS（加密）—— 启动时再加 -p 8883:8883 并配置证书

3.6 客户端连接

工具	平台	用途
MQTTBox	Chrome 扩展 / 桌面	测试用，支持 publish + subscribe + 多种协议
MQTTX	跨平台桌面（Mac/Win/Linux）	EMQ 出品，UI 现代，推荐
mosquitto_sub/pub	CLI	服务端调试，脚本化测试
Paho	Java/Python/JS 库	应用集成

MQTTBox 连接示例：

1
2
3
4
5
6
7
8


Protocol: mqtt://
Host: internal.example.com
Port: 1883
Username: hangge
Password: 123
Client ID: mqttbox_001
Topic: iot/sensor/temperature
QoS: 1

命令行测试：

1
2
3
4
5
6
7
8


# 订阅
mosquitto_sub -h internal.example.com -p 1883 \
 -u hangge -P 123 -t "iot/#" -v

# 发布
mosquitto_pub -h internal.example.com -p 1883 \
 -u hangge -P 123 -t "iot/sensor/temperature" \
 -m '{"value": 25.6, "ts": 1700000000}'

四、IoT 落地架构示例

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


[设备/传感器] [前端 / 业务系统]
 │ publish ▲ subscribe
 ▼ │
┌─────────────┐ consume ┌─────────┐ │ 写入
│ Mosquitto │ ────────► │ 后端服务 │ ──┘
│ (1883/8883) │ │ (Spring │ MongoDB
└─────────────┘ │ Boot) │ ┌──────────┐
 └─────────┘ │ Mongo │
 │ Cluster │
 └──────────┘

组件	作用	选型提示
设备端 SDK	paho / mqtt.js / NanoMQ	嵌入式选 C SDK
Broker	Mosquitto / EMQX / VerneMQ	单机 Mosquitto，集群 EMQX
消费后端	Spring Boot / Node.js	设备量大考虑 EMQX Rule Engine 直接落库
持久化	MongoDB / InfluxDB / TimescaleDB	文档型选 MongoDB，时序选时序库

五、扩展阅读

MongoDB 官方镜像：hub.docker.com/_/mongo
Eclipse Mosquitto 镜像：hub.docker.com/_/eclipse-mosquitto
MQTTBox 下载：workswithweb.com
EMQX 文档：emqx.io（百万级连接考虑）
Paho 客户端库：eclipse.org/paho

Windows 数据库客户端实战：MySQL / Redis / SQLite / MQTTX / Elasticsearch

Tue, 15 Nov 2016 00:00:00 +0800

一、2016 年数据库客户端格局

2016 年的数据库世界：MySQL 仍是事实 OLTP 之王、Redis 已经是缓存标配、SQLite 在移动端大杀四方、MQTT 协议在 IoT 崛起、Elasticsearch 2.x 到 5.x 跨大版本。本文整理 5 款数据库 / 消息客户端的实战用法。

阅读建议：本文面向全栈 / 后端开发者，重点在工具选型 + 性能调优。

二、MySQL 客户端

2.1 命令行

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18


# 连接
mysql -h <HOST> -P 3306 -u root -p<password> <DB>

# 常用命令
SHOW DATABASES;
USE mydb;
SHOW TABLES;
DESCRIBE users;
SELECT * FROM users LIMIT 10;

# 导出
mysqldump -h <HOST> -u root -p<password> mydb > backup.sql

# 导入
mysql -h <HOST> -u root -p<password> mydb < backup.sql

# 执行 SQL 文件
mysql -h <HOST> -u root -p<password> mydb < init.sql

2.2 GUI 工具对比

工具	优势	价格
Navicat	多数据库 / 完整	商业付费
DBeaver	免费开源 / 多数据库	开源（EE 收费）
MySQL Workbench	官方 / 建模	免费
HeidiSQL	轻量	免费
phpMyAdmin	Web	免费
DataGrip	JetBrains / 最强	商业付费
Sequel Ace	Mac 开源	免费

2.3 MySQL 8.0 新特性

窗口函数（ROW_NUMBER() OVER）
CTE 公共表表达式（WITH 子句）
JSON 增强（JSON_TABLE）
降序索引
caching_sha2_password（默认鉴权插件）

2.4 性能调优

慢查询日志：

1
2
3
4
5


# /etc/my.cnf
slow_query_log = 1
slow_query_log_file = /var/log/mysql/slow.log
long_query_time = 2
log_queries_not_using_indexes = 1

索引优化：

1
2
3
4
5
6
7


-- 查看执行计划
EXPLAIN SELECT * FROM users WHERE email = 'foo@bar.com';

-- 关键字段：type, key, rows, Extra
-- type = ALL: 全表扫描
-- type = ref: 索引扫描
-- type = const: 主键/唯一索引等值

连接数：

1
2
3
4
5


-- 当前连接
SHOW STATUS LIKE 'Threads_connected';

-- 最大连接
SHOW VARIABLES LIKE 'max_connections';

三、Redis 客户端

3.1 命令行

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28


# 连接
redis-cli -h <HOST> -p 6379 -a <password>

# 常用命令
SET user:1 "alice"
GET user:1
DEL user:1
EXISTS user:1
EXPIRE user:1 3600

# 哈希
HSET user:1 name "alice" age 30
HGETALL user:1

# 列表
LPUSH queue:msg "msg1"
RPOP queue:msg

# 集合
SADD tags "java" "redis"
SMEMBERS tags

# 有序集合
ZADD rank 100 "alice" 95 "bob"
ZRANGE rank 0 -1 WITHSCORES

# 管道
echo "PING\nSET k v\nGET k" | redis-cli

3.2 GUI 工具对比

工具	平台	价格
Redis Desktop Manager (RDM)	跨平台	现改名 RESP.app / 商业
Medis	Mac	开源
Another Redis Desktop Manager	跨平台	开源免费
RedisInsight	跨平台	官方 / 免费
FastoRedis	跨平台	开源 / 商业
Tiny RDM	新兴	国产 / 开源

3.3 实战：String 缓存

1
2
3
4
5
6
7
8


# 设置 5 分钟过期
SET session:user:1001 "<json>" EX 300

# 获取
GET session:user:1001

# 原子递增
INCR counter:views:article:123

3.4 实战：List 消息队列

1
2
3
4
5


# 生产者
LPUSH queue:email "{\"to\":\"a@x.com\",\"subject\":\"hi\"}"

# 消费者
BRPOP queue:email 0 # 阻塞 0 秒直到有数据

3.5 性能监控

1
2
3
4
5
6
7
8
9


# 实时命令
redis-cli MONITOR

# 慢查询
redis-cli SLOWLOG GET 10

# 内存分析
redis-cli MEMORY USAGE mykey
redis-cli INFO MEMORY

四、SQLite 客户端

4.1 命令行

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15


# 打开 / 创建数据库
sqlite3 mydb.db

# 常用命令
.tables
.schema users
.headers on
.mode column
SELECT * FROM users LIMIT 10;

# 备份
sqlite3 mydb.db ".dump" > backup.sql

# 恢复
sqlite3 newdb.db < backup.sql

4.2 GUI 工具

工具	平台	价格
DB Browser for SQLite	跨平台	免费开源
SQLiteStudio	跨平台	免费
Navicat for SQLite	跨平台	商业
DBeaver	跨平台	开源（EE 收费）

4.3 DB Browser for SQLite 实战

https://sqlitebrowser.org/：

打开 .db 文件
Browse Data → 看表数据
Execute SQL → 写 SQL
Database Structure → 改表结构
Export → CSV / JSON / SQL

4.4 实战：移动端加密数据库

1
2
3
4
5
6
7
8
9


# Python + SQLite 加密
import sqlite3
from pysqlcipher3 import dbapi2 as sqlcipher

conn = sqlcipher.connect("encrypted.db")
conn.execute("PRAGMA key = 'my-secret-password'")
cursor = conn.cursor()
cursor.execute("CREATE TABLE users (id INTEGER PRIMARY KEY, name TEXT)")
conn.commit()

实战：

密码管理器（如 1Password / Bitwarden）
本地缓存（Chrome 历史）
小工具数据（如 RSS 阅读器）

五、MQTTX 客户端

5.1 MQTT 协议背景

MQTT 1999 年由 IBM 发布，IoT 领域事实标准。核心概念：

Broker：消息代理（EMQX / Mosquitto）
Client：发布 / 订阅
Topic：主题（层级 / 通配符）
QoS：
- 0：最多一次
- 1：至少一次
- 2：恰好一次
Retain：保留消息

5.2 MQTTX 介绍

MQTTX 是 EMQX 团队开发的跨平台 MQTT 桌面客户端。优势：

跨平台（Win / Mac / Linux）
支持 MQTT 5.0
多连接 / 多主题
消息格式化（ JSON / Hex**）**
脚本化（自动测试）

5.3 安装与连接

https://mqttx.app/：

新建连接
- Host：broker.emqx.io（公共测试）
- Port：1883（TCP）/ 8883（TLS）
- Client ID：随机生成
订阅：test/topic
发布：同主题发 {"hello": "world"}

5.4 实战：本地 Mosquitto 调试

1
2
3
4
5
6
7
8


# 启动 Mosquitto
mosquitto -p 1883

# 订阅
mosquitto_sub -h 127.0.0.1 -t "test/#" -v

# 发布
mosquitto_pub -h 127.0.0.1 -t "test/foo" -m "hello"

MQTTX 中：

Host：127.0.0.1
订阅：test/#
发布：test/foo + hello

5.5 实战：TLS / 证书

1
2
3
4
5


MQTTX 高级设置：
- CA File: ca.crt
- Client Cert: client.crt
- Client Key: client.key
- Verify: true

5.6 脚本化（自动化测试）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16


// MQTTX 脚本：连接 + 订阅 + 验证
const mqtt = require('mqtt');
const client = mqtt.connect('mqtt://broker.emqx.io:1883');

client.on('connect', () => {
 client.subscribe('test/topic', (err) => {
 if (!err) {
 client.publish('test/topic', 'hello mqtt');
 }
 });
});

client.on('message', (topic, message) => {
 console.log(`收到: ${message.toString()}`);
 client.end();
});

六、Elasticsearch 客户端

6.1 协议背景

Elasticsearch 2010 年发布，基于 Lucene 的分布式搜索。2016 年发布 5.0（重大重构）。核心概念：

Index：索引（类比 MySQL 数据库）
Type（5.x）/Document（6.x 起弱化 Type）：文档
Mapping：字段类型定义
Shard / Replica：分片 / 副本

6.2 HTTP API

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24


# 创建索引
curl -X PUT "localhost:9200/my_index"

# 索引文档
curl -X PUT "localhost:9200/my_index/_doc/1" \
 -H "Content-Type: application/json" \
 -d '{"title": "Hello", "content": "World"}'

# 搜索
curl -X GET "localhost:9200/my_index/_search?q=hello"

# 复杂搜索（DSL）
curl -X GET "localhost:9200/my_index/_search" \
 -H "Content-Type: application/json" \
 -d '{
 "query": {
 "bool": {
 "must": [
 { "match": { "content": "hello" } },
 { "range": { "date": { "gte": "2020-01-01" } } }
 ]
 }
 }
 }'

6.3 GUI 工具

工具	优势
Kibana	官方 / 必备
ElasticHD	国产 / 轻量
Elasticsearch Head	老牌 / Chrome 插件
Dejavu	跨平台 / 现代
Cerebro	集群管理

6.4 Kibana Dev Tools

Kibana 装好后 → Dev Tools：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17


# 索引文档
POST /my_index/_doc
{
 "title": "Hello",
 "content": "World",
 "date": "2024-01-01"
}

# 搜索
GET /my_index/_search
{
 "query": {
 "match": {
 "content": "hello"
 }
 }
}

6.5 实战：日志搜索

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23


# 创建索引模板（自动 mapping）
PUT /_index_template/logs-template
{
 "index_patterns": ["logs-*"],
 "template": {
 "settings": {
 "number_of_shards": 1
 },
 "mappings": {
 "properties": {
 "@timestamp": { "type": "date" },
 "level": { "type": "keyword" },
 "message": { "type": "text" },
 "service": { "type": "keyword" }
 }
 }
 }
}

# 批量导入
POST /logs-2024.01/_bulk
{ "index": {} }
{ "@timestamp": "2024-01-01T10:00:00", "level": "INFO", "message": "started", "service": "api" }

6.6 性能调优

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12


# 索引设置
index.number_of_shards: 3
index.number_of_replicas: 1
index.refresh_interval: 30s  # 默认 1s → 30s 减少 IO

# 字段类型优化
"message": {
 "type": "text",
 "fields": {
 "keyword": { "type": "keyword", "ignore_above": 256 }
 }
}

七、组合实战

7.1 全栈后端开发环境

1
2
3
4
5


代码：IntelliJ IDEA + VSCode
本地 DB：MySQL / Redis / SQLite
消息：EMQX + MQTTX
搜索：Elasticsearch + Kibana
工具：Navicat / DBeaver / Redis Desktop

7.2 IoT 设备监控

1
2
3
4
5
6
7


设备：MQTT Publish（sensor/data）
 ↓ EMQX Broker
MQTTX 订阅
 ↓ 规则引擎
InfluxDB 时序存储
 ↓ Grafana 看板
 ↓ 告警 → 钉钉

7.3 日志分析系统

1
2
3
4
5


应用 → Filebeat → Kafka
 ↓ Logstash
Elasticsearch
 ↓ Kibana
可视化 / 告警

八、常见问题

8.1 MySQL 8.0 caching_sha2_password 鉴权

旧客户端连接失败。解决：

1

ALTER USER 'root'@'%' IDENTIFIED WITH mysql_native_password BY '<PASSWORD>';

8.2 Redis 公网暴露被攻击

bind 127.0.0.1：只本地访问
requirepass：开密码
rename-command CONFIG “”：禁 CONFIG 命令
防火墙规则

8.3 SQLite 锁库问题

SQLite 写操作会全库锁。解决：

WAL 模式：PRAGMA journal_mode=WAL;（读写并发）
超时设置：PRAGMA busy_timeout=5000;
多连接 + 短事务

8.4 MQTTX 连接失败

端口：1883（TCP）/ 8883（TLS）
Client ID 冲突：自动生成
认证：填 username / password
TLS 证书：自签名需要勾"允许自签名"

8.5 Elasticsearch 启动报错

JVM 堆不够：调 -Xms / -Xmx
root 用户：需要 -Ediscovery.type=single-node + 创建 elasticsearch 用户
max_map_count：sysctl -w vm.max_map_count=262144

九、下一步

想看消息队列：[2023-12-15 消息队列镜像实战：RabbitMQ / EMQX / ActiveMQ]
想看监控告警：[2025-03-15 Prometheus 监控告警体系]
想看时序数据库：[2023-09-15 时序数据库三剑客]

本文写于 2016 年，回看当时：MySQL 8.0 还未发布（2018-04）；Redis 4.0 时代，模块系统才刚上；MQTT 5.0 还在草案（2019 发布）；Elasticsearch 5.0 重构了 Type 概念——10 年后 5 款工具仍是同类最强。