调优 on Liangweidong's blog

MySQL Docker 实战：从 5.6 到 8.0 的全版本最佳实践

Mon, 15 Jun 2020 00:00:00 +0800

MySQL 5.6 / 5.7 / 8.0 三个版本在 Docker 里的差异比想象大：5.6 默认字符集 latin1、5.7 引入 caching_sha2_password、8.0 默认认证插件改了 native_password。配置文件模板、备份恢复命令、参数调优是日常最常碰到的三件事。这篇文章把 MySQL 在 Docker 里的实战（5.6/5.7/8.0、官方镜像 / bitnami 镜像、配置 / 备份 / 调优）一次性收齐。

阅读对象：日常用 MySQL 跑业务、需要在 Docker 里搭开发库、关心字符集和大小写敏感性、被 “Lost connection” / “group by” 报过错的后端 / DBA 同学。 覆盖范围：MySQL 5.6/5.7/8.0 官方镜像启动；bitnami/mysql:8.0 镜像（生产推荐）；my.cnf 模板（utf8mb4 / lower_case_table_names=1 / 慢日志）；备份/恢复/导入导出；only_full_group_by 解决；Lost connection 调优。

一、为什么要在 Docker 里跑 MySQL

场景	价值
CI/CD 测试库	每个 Pipeline 干净环境，跑完即弃
多版本并存	5.6 旧系统 + 8.0 新系统一台机器
快速 demo	一行 `docker run` 拉起完整 MySQL
跨平台开发	Mac/Win/Linux 容器化一致
生产	仍建议用云 RDS 或独立机器，Docker 化适合测试 / 演示

生产建议：核心业务用云厂商 RDS（高可用 / 备份 / 监控内置）。Docker 跑 MySQL 用于演示、CI、个人开发。

二、官方镜像启动

2.1 5.6 启动

1
2
3
4
5
6
7


docker run -d -p 3306:3306 --name mysql56 \
 -e MYSQL_ROOT_PASSWORD={{REDACTED}} \
 --restart=always \
 -v /etc/localtime:/etc/localtime:ro \
 --net mynetwork --ip 172.18.0.2 \
 --privileged=true \
 mysql:5.6.30

2.2 5.7 启动

1
2
3
4
5
6
7


docker run -d --name mysql57 \
 --restart=always \
 -p 3308:3306 \
 -e MYSQL_ROOT_PASSWORD=x5 \
 -v /home/old-<your-org>/mysql5.7/conf:/etc/mysql/conf.d \
 -v /home/old-<your-org>/mysql5.7/data:/var/lib/mysql \
 mysql:5.7.43

2.3 8.0 启动（推荐生产用 bitnami）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12


docker run -d \
 --name mysql \
 --restart=always \
 --privileged=true \
 -p 3309:3306 \
 -e MYSQL_ROOT_PASSWORD={{REDACTED}} \
 -e TZ=Asia/Shanghai \
 -v /data/docker/mysql/db:/var/lib/mysql \
 -v /data/docker/mysql/conf:/etc/mysql/conf.d \
 mysql:8.0.23 \
 --default-authentication-plugin=mysql_native_password \
 --lower-case-table-names=1

Why --default-authentication-plugin=mysql_native_password？ MySQL 8.0 默认用 caching_sha2_password，老版本客户端（包括 Java 老驱动）连不上。显式指定 native_password 兼容性好。 Why --lower-case-table-names=1？ Linux 默认 0（区分大小写），Windows 默认 1。开发环境跨平台会踩坑，统一设 1 更省事（注意：该参数不能在已有数据上改，需要初始就设）。

2.4 docker-compose 模板

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22


version: "3"
services:
 mysql:
 image: <your-public-ip>:13001/base/mysql:8.0.23
 container_name: mysql
 command: --default-authentication-plugin=mysql_native_password --lower-case-table-names=1
 restart: always
 environment:
 MYSQL_ROOT_PASSWORD: {{REDACTED}}
 TZ: Asia/Shanghai
 ports:
 - '3306:3306'
 security_opt:
 - seccomp:unconfined
 volumes:
 - "/data/mysql/db:/var/lib/mysql"
 - "/data/mysql/conf:/etc/mysql/conf.d"
 healthcheck:
 test: ["CMD", "mysqladmin", "ping", "-uroot", "-p{{REDACTED}}"]
 interval: 5s
 timeout: 10s
 retries: 10

三、bitnami/mysql 镜像（生产推荐）

bitnami/mysql 镜像比官方多了：非 root 进程运行、healthcheck、Tini init、健康检查脚本、Redis 风格的环境变量（MYSQL_ROOT_PASSWORD 等都大写）。生产环境推荐用。

3.1 拉取与重打 tag

1
2
3
4


docker pull bitnami/mysql:8.0.39-debian-12-r2
docker tag bitnami/mysql:8.0.39-debian-12-r2 \
 internal.example.com:13001/base/bitnami/mysql:8.0.39-debian-12-r2
docker push internal.example.com:13001/base/bitnami/mysql:8.0.39-debian-12-r2

3.2 my_custom.cnf（utf8mb4 + 大连接数）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26


[client]
default-character-set=utf8mb4
[mysql]
default-character-set=utf8mb4
[mysqld]
skip-name-resolve
port = 3307
lower_case_table_names = 1
character-set-server = utf8mb4
secure-file-priv = NULL
default-time-zone = '+08:00'
sql_mode = STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_ENGINE_SUBSTITUTION
group_concat_max_len = 4294967295
max_connections = 10000
max_user_connections = 5000
mysqlx_max_connections = 200
interactive_timeout = 28800
wait_timeout = 28800
thread_cache_size = 100
max_allowed_packet = 1G
net_buffer_length = 1M
log_bin_trust_function_creators = 1
binlog_rows_query_log_events = 1
slow_query_log = 1
long_query_time = 3
slow_query_log_file = slow.log

3.3 启动

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


docker run -d \
 --net=host \
 --name mysql8 \
 --restart=always \
 -e MYSQL_ROOT_PASSWORD={{REDACTED}} \
 -e MYSQL_AUTHENTICATION_PLUGIN=mysql_native_password \
 -v /home/docker/mysql8/data:/bitnami/mysql/data \
 -e TZ=Asia/Shanghai \
 -v /home/docker/mysql8/conf/my_custom.cnf:/opt/bitnami/mysql/conf/my_custom.cnf:ro \
 internal.example.com:13001/base/bitnami/mysql:8.0.39-debian-12-r2

关键差异：bitnami 镜像的 datadir 是 /bitnami/mysql/data，不是官方的 /var/lib/mysql。备份恢复命令的路径要对应调整。

3.4 bitnami 容器的 mysql 命令路径

1
2
3
4
5


docker exec -it -u root mysql8 bash

# bitnami 路径
/opt/bitnami/mysql/bin/mysql
/opt/bitnami/mysql/bin/mysqldump

四、备份、恢复、导入

4.1 备份

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


# 官方镜像
docker exec mysql /usr/bin/mysqldump \
 -u root -p{{REDACTED}} \
 --single-transaction --quick \
 safety_manhole_cover > /data/mysql/bak/safety_manhole_cover.sql

# bitnami 镜像
docker exec mysql8 /opt/bitnami/mysql/bin/mysqldump \
 -u root -p{{REDACTED}} \
 --single-transaction --quick \
 hxl_industry_iot_dev > /home/iot.sql

--single-transaction：InnoDB 的事务一致快照，不影响业务。 --quick：逐行取数据，避免大表 dump 时 OOM。

4.2 恢复（先建库再导入）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


# 1. 建库
cat << 'EOF' | docker exec -i mysql /usr/bin/mysql -u root --password={{REDACTED}}
DROP DATABASE IF EXISTS `safety_manhole_cover`;
CREATE DATABASE `safety_manhole_cover` DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;
EOF

# 2. 导入
cat /data/mysql/bak/safety_manhole_cover.sql | \
 docker exec -i mysql /usr/bin/mysql \
 -u root --password={{REDACTED}} \
 safety_manhole_cover

4.3 备份脚本（保留 7 天）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14


cat << 'EOF' > /data/mysql/bak.sh
#!/bin/bash
set -e
DATE=$(date +%Y%m%d%H%M%S)
BACK_DATA=iot-${DATE}.sql
BAK_PATH=/data/mysql/bak
mkdir -p ${BAK_PATH}
docker exec mysql /usr/bin/mysqldump \
 -u root -p{{REDACTED}} \
 --single-transaction --quick \
 hxl_chemistry_park_iot > ${BAK_PATH}/$BACK_DATA
find ${BAK_PATH} -name "*.sql" -mtime +7 -print0 | xargs -0 rm -rf
EOF
chmod +x /data/mysql/bak.sh

小坑：Windows 编辑的 .sh 脚本传到 Linux 报 /bin/bash^M: bad interpreter。vim 改文件类型：set ff=unix。

4.4 K8s 中备份

1
2
3


kubectl exec -i "$(kubectl get pods -n <ns> | grep mysql | awk '{print $1}')" \
 -n <ns> -- bash -c \
 "/usr/bin/mysqldump -u root -p'password' <db_name>" > backup.sql

五、常见调优

5.1 解决 `only_full_group_by` 报错

报错信息：

1
2


which is not functionally dependent on columns in GROUP BY clause;
this is incompatible with sql_mode=only_full_group_by

临时解决（重启失效）：

1
2


SELECT @@sql_mode;
SET GLOBAL sql_mode = 'STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_ENGINE_SUBSTITUTION';

永久解决：在 my.cnf 的 [mysqld] 下加：

1

sql_mode = STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_ENGINE_SUBSTITUTION

5.2 解决 `Lost connection to MySQL server during query`

通常是大表 dump / 慢查询超过 net_read_timeout：

1
2
3
4


show global variables like '%timeout%';

set global net_read_timeout = 120;
set global net_write_timeout = 900;

5.3 大小写不敏感

1
2
3


show global variables like '%lower_case%';
-- 0: 大小写敏感（Linux 默认）
-- 1: 大小写不敏感（Windows 默认）

在 my.cnf 加：

1

lower_case_table_names = 1

重要：该参数只能在初始化时设，已有数据后改会导致表找不到。

5.4 用户自定义函数 UDF

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15


# 1. 查询插件地址
docker exec -it mysql /bin/bash
mysql -uroot -p
show variables like 'plugin_dir';
-- /usr/lib/mysql/plugin

# 2. 复制 UDF 文件
docker cp ~/libHttpClient.so mysql:/usr/lib/mysql/plugin

# 3. 创建函数
create function http_get RETURNS string soname 'libHttpClient.so';
create function http_post RETURNS string soname 'libHttpClient.so';

# 4. 重启容器生效
docker restart mysql

六、MySQL 5.6 / 5.7 / 8.0 选型速查

维度	5.6	5.7	8.0
发布时间	2013	2015	2018
默认字符集	latin1	utf8mb4	utf8mb4
默认认证	mysql_native_password	mysql_native_password	caching_sha2_password
JSON 支持	弱（需用 TEXT）	原生 JSON 类型	强（JSON_TABLE 函数）
窗口函数	无	无	有
通用表表达式 (CTE)	无	无	有
推荐场景	遗留系统	中间状态（推荐升级到 8.0）	新项目默认
Docker 官方支持	是	是	是

经验法则：

新项目：MySQL 8.0（JSON、窗口函数、CTE 都要）
老系统：先看能不能升级到 8.0；不能的话 5.7（5.6 已 EOL）
测试/演示：用 bitnami/mysql:8.0，省事

七、扩展阅读

MySQL 官方镜像：hub.docker.com/_/mysql
bitnami/mysql：hub.docker.com/r/bitnami/mysql
MySQL 8.0 Release Notes：dev.mysql.com
mysqldump 文档：dev.mysql.com/doc

Java 面试合集：JVM 内存模型与调优

Tue, 15 Dec 2015 00:00:00 +0800

本文写于 2015 年 12 月——JDK 8 普及一年，JDK 9 即将发布（2017-09），G1 正式成为默认 GC。

一、JVM 运行时数据区

1.1 整体架构

1
2
3
4
5
6
7
8


┌──────────────────────────────────────┐
│ PC Register（程序计数器） │ 线程私有
│ Native Method Stack（本地方法栈） │ 线程私有
│ VM Stack（虚拟机栈） │ 线程私有
│ ─────────────────────────────────── │
│ Heap（堆） │ 线程共享
│ Method Area（方法区 / Metaspace） │ 线程共享
└──────────────────────────────────────┘

1.2 各区域作用

区域	作用	线程	异常
PC 寄存器	当前线程执行的字节码行号	私有	无
VM 栈	Java 方法调用栈（栈帧：局部变量表 + 操作数栈 + 动态链接 + 方法出口）	私有	StackOverflowError / OOM
本地方法栈	Native 方法调用栈	私有	StackOverflowError / OOM
堆	对象实例 + 数组	共享	OOM
方法区	类信息 + 常量 + 静态变量 + JIT 代码	共享	OOM（PermGen / Metaspace）
运行时常量池	字面量 + 符号引用	共享	OOM
直接内存	NIO DirectByteBuffer	共享	OOM

1.3 面试高频追问

Q1：堆和栈的区别？

维度	堆	栈
存储	对象实例	局部变量 + 方法调用
线程	共享	私有
GC	有	无
异常	OOM	StackOverflow
速度	慢	快

Q2：方法区在 JDK 8 的变化？

JDK 7：方法区 = PermGen（永久代）
JDK 8+：方法区 = Metaspace（元空间，使用本地内存）
字符串常量池：JDK 7 移出 PermGen，JDK 8 仍在堆

二、堆内存分代

2.1 分代模型

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


┌──────────────────────────────────────┐
│ Young（年轻代） │
│ ┌────────────┬─────────────┐ │
│ │ Eden │ Survivor │ │
│ │ (8/10) │ (1/10 × 2) │ │
│ └────────────┴─────────────┘ │
├──────────────────────────────────────┤
│ Old（老年代） │
│ (2/3) │
├──────────────────────────────────────┤
│ Metaspace（元空间） │
│ (本地内存) │
└──────────────────────────────────────┘

2.2 对象生命周期

graph LR
 A[New] --> B[Eden]
 B --> C{Minor GC}
 C -->|存活| D[Survivor 0]
 D -->|15 次后| E[Old]
 C -->|死亡| F[回收]
 E --> G{Major GC}
 G -->|存活| E
 G -->|死亡| F

关键参数：

1
2
3
4
5
6
7
8


# 年轻代大小
-Xmn2g

# Eden : Survivor
-XX:SurvivorRatio=8

# 对象进入老年代的年龄阈值
-XX:MaxTenuringThreshold=15

2.3 大对象直接进入老年代

避免大对象在 Eden 和 Survivor 之间频繁复制。

1
2


# 大对象阈值
-XX:PretenureSizeThreshold=1m # 1MB 以上的对象直接进老年代

三、GC 算法

3.1 三大经典算法

算法	原理	优点	缺点
标记-清除	标记存活对象，清除未标记	简单	内存碎片
标记-整理	标记存活对象，移到一端	无碎片	移动成本
复制	分两区，存活对象复制到另一区	无碎片 + 高效	内存利用率 50%

3.2 分代 GC 组合

分代	算法	原因
年轻代	复制	对象 90% 死亡，复制量少
老年代	标记-整理	存活率高，无内存碎片

3.3 主流垃圾收集器

收集器	算法	目标	适用
Serial	复制	客户端	单核 + 小堆
ParNew	复制	多核	配合 CMS
Parallel Scavenge	复制	吞吐量优先	后台计算
CMS	标记-清除	停顿时间	互联网应用（已废弃）
G1	分区 + 标记-整理	可预测停顿	JDK 9+ 默认
ZGC	读屏障 + 染色指针	亚毫秒停顿	JDK 11+ 实验，JDK 15+ 生产
Shenandoah	读屏障 + 并发整理	亚毫秒停顿	OpenJDK

3.4 G1 GC 详解

设计目标：可预测的停顿时间（默认 200ms）

核心思想：

堆划分为多个 Region（1MB-32MB）
每个 Region 独立回收
优先回收价值最大的 Region（回收性价比）

关键参数：

1
2
3
4
5
6
7
8


# 启用 G1
-XX:+UseG1GC

# 最大停顿时间
-XX:MaxGCPauseMillis=200

# Region 大小
-XX:G1HeapRegionSize=4m

回收阶段：

初始标记（STW）：标记 GC Roots
并发标记：遍历对象图
最终标记（STW）：处理 SATB 记录
筛选回收（STW）：选择 Region 回收集

3.5 ZGC 详解

设计目标：亚毫秒级停顿（< 10ms），支持 TB 级堆

核心技术：

读屏障：并发转移对象
染色指针：64 位指针中存储元数据
内存多重映射：将多个虚拟地址映射到同一物理地址

关键参数：

1
2
3
4
5


# 启用 ZGC
-XX:+UseZGC

# 并发线程数
-XX:ConcGCThreads=4

四、类加载机制

4.1 类加载 5 阶段

1

加载 → 验证 → 准备 → 解析 → 初始化

阶段	动作
加载	读字节码到内存，生成 Class 对象
验证	文件格式、元数据、字节码、符号引用验证
准备	静态变量分配内存 + 默认值（`public static int v = 1` → 准备阶段后 v = 0）
解析	符号引用替换为直接引用
初始化	执行 `<clinit>` 静态代码块 + 静态变量赋值

4.2 类加载器

四种类加载器：

加载器	加载路径	父加载器
Bootstrap	`<JAVA_HOME>/lib/rt.jar`	无
Extension	`<JAVA_HOME>/lib/ext/*.jar`	Bootstrap
Application	`classpath`	Extension
Custom	自定义路径	Application

4.3 双亲委派模型

1
2
3
4
5


ClassLoader.loadClass("java.lang.String")
 → AppClassLoader
 → ExtClassLoader
 → BootstrapClassLoader // 找到 rt.jar 中的 String
 → 返回 Class 对象

为什么需要双亲委派：

避免类重复加载
保证 JDK 核心类的安全（防止伪造 java.lang.String）

破坏双亲委派的场景：

Tomcat WebAppClassLoader（不同 WebApp 隔离）
OSGi 模块化
JDBC SPI 加载（线程上下文类加载器）

五、OOM 排查

5.1 常见 OOM 类型

OOM 类型	原因	解决
Java heap space	内存泄漏 / 堆太小	加内存 / 排查泄漏
GC overhead limit exceeded	98% 时间 GC，回收 < 2%	加内存 / 优化代码
PermGen space	类太多 / 静态变量	升级 JDK 8+ 用 Metaspace
Metaspace	动态生成类过多	调 `-XX:MaxMetaspaceSize`
Direct buffer memory	NIO DirectByteBuffer	`-XX:MaxDirectMemorySize`
unable to create new native thread	线程过多	减少线程 / 调 `-Xss`

5.2 排查步骤

1. 生成堆转储：

1
2
3
4
5
6


# OOM 时自动生成
-XX:+HeapDumpOnOutOfMemoryError
-XX:HeapDumpPath=/tmp/heapdump.hprof

# 主动生成
jmap -dump:format=b,file=heapdump.hprof <pid>

2. 分析工具：

Eclipse MAT：分析内存泄漏（dominator tree / leak suspects）
VisualVM：实时监控堆 / 线程 / GC
JProfiler：商业级分析工具
async-profiler：火焰图 + 内存分配

5.3 实战案例：内存泄漏

现象：应用运行 3 天后 OOM，重启后恢复

排查：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


# 1. 看 GC 情况
jstat -gcutil <pid> 1000

# 2. 看堆内存占用
jmap -heap <pid>

# 3. 找最大对象
jmap -histo:live <pid> | head -20

# 4. 生成 heapdump
jmap -dump:format=b,file=heap.hprof <pid>

MAT 分析：

Open Heap Dump → Leak Suspects Report
Dominator Tree → 找到占用最大的对象
GC Roots → 找到谁在持有

常见内存泄漏：

ThreadLocal 没 remove
静态集合不断 add
未关闭的连接（数据库 / HTTP / Socket）
监听器没解注册

六、JVM 调优实战

6.1 调优步骤

graph TD
 A[业务量/性能目标] --> B[初始参数]
 B --> C[压测]
 C --> D{是否达标?}
 D -->|否| E[GC 日志分析]
 E --> F[定位瓶颈]
 F --> G[调参]
 G --> C
 D -->|是| H[生产部署]

6.2 推荐配置（2020+ 生产环境）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14


# 8G 堆典型配置
JAVA_OPTS="
-Xms8g
-Xmx8g
-XX:MetaspaceSize=512m
-XX:MaxMetaspaceSize=512m
-XX:+UseG1GC
-XX:MaxGCPauseMillis=200
-XX:+HeapDumpOnOutOfMemoryError
-XX:HeapDumpPath=/var/log/heapdump.hprof
-XX:+PrintGCDetails
-XX:+PrintGCDateStamps
-Xloggc:/var/log/gc-%t.log
"

6.3 调优目标

指标	目标
GC 频率	Young GC 每分钟 < 5 次，Full GC 0 次
GC 停顿	Young GC < 50ms，Full GC < 200ms
吞吐量	> 95%
延迟 P99	< 200ms

七、写在最后

JVM 面试要点：

基础：运行时数据区、堆分代、GC 算法

进阶：G1 / ZGC 原理、类加载机制、OOM 排查

实战：JVM 参数调优、MAT 分析 dump 文件

前沿：ZGC / Shenandoah / GraalVM

调优 on Liangweidong's blog

MySQL Docker 实战：从 5.6 到 8.0 的全版本最佳实践

一、为什么要在 Docker 里跑 MySQL

二、官方镜像启动

2.1 5.6 启动

2.2 5.7 启动

2.3 8.0 启动（推荐生产用 bitnami）

2.4 docker-compose 模板

三、bitnami/mysql 镜像（生产推荐）

3.1 拉取与重打 tag

3.2 my_custom.cnf（utf8mb4 + 大连接数）

3.3 启动

3.4 bitnami 容器的 mysql 命令路径

四、备份、恢复、导入

4.1 备份

4.2 恢复（先建库再导入）

4.3 备份脚本（保留 7 天）

4.4 K8s 中备份

五、常见调优

5.1 解决 only_full_group_by 报错

5.2 解决 Lost connection to MySQL server during query

5.3 大小写不敏感

5.4 用户自定义函数 UDF

六、MySQL 5.6 / 5.7 / 8.0 选型速查

七、扩展阅读

Java 面试合集：JVM 内存模型与调优

一、JVM 运行时数据区

1.1 整体架构

1.2 各区域作用

1.3 面试高频追问

二、堆内存分代

2.1 分代模型

2.2 对象生命周期

2.3 大对象直接进入老年代

三、GC 算法

3.1 三大经典算法

3.2 分代 GC 组合

3.3 主流垃圾收集器

3.4 G1 GC 详解

3.5 ZGC 详解

四、类加载机制

4.1 类加载 5 阶段

4.2 类加载器

4.3 双亲委派模型

五、OOM 排查

5.1 常见 OOM 类型

5.2 排查步骤

5.3 实战案例：内存泄漏

六、JVM 调优实战

6.1 调优步骤

6.2 推荐配置（2020+ 生产环境）

6.3 调优目标

七、写在最后

参考资料

5.1 解决 `only_full_group_by` 报错

5.2 解决 `Lost connection to MySQL server during query`