【零停机】一次400万用户数据的双写迁移技术详解
【零停机】400万用户数据的双写迁移技术详解问题背景与挑战我们的项目是一个上门按摩服务平台，目前面临的情况是：用户和技师数据冗余存储在同一张表中用户数据量：400万+（增长迅速）技师数据量：10万+技师表字段非常多，用户字段相对较少生产环境是集群部署，支持灰度发布迁移方案设计1. 新建用户表首先，我们需要创建一个专门的用户表，只包含用户相关的字段。sql - 原始表结构（混合用户和技师）CREATE TABLE t_user_technician ( id bigint(20) NOT NULL AUTO_INCREMENT COMMENT 'ID', username varchar(64) NOT NULL COMMENT '用户名', phone varchar(16) NOT NULL COMMENT '手机号', avatar varchar(255) DEFAULT NULL COMMENT '头像', gender tinyint(1) DEFAULT '0' COMMENT '性别：0-未知，1-男，2-女', user_type tinyint(1) NOT NULL DEFAULT '0' COMMENT '用户类型：0-普通用户，1-技师', create_time datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间', update_time datetime NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '更新时间', status tinyint(1) NOT NULL DEFAULT '1' COMMENT '状态：0-禁用，1-启用', - 以下是技师特有字段，普通用户为null skill_level tinyint(2) DEFAULT NULL COMMENT '技师等级：1-初级，2-中级，3-高级', - 其他技师字段省略. PRIMARY KEY (id), UNIQUE KEY idx_phone (phone), KEY idx_user_type (user_type), KEY idx_create_time (create_time) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COMMENT='用户与技师表'- 新建用户表CREATE TABLE t_user ( id bigint(20) NOT NULL COMMENT '用户ID，与原表保持一致', username varchar(64) NOT NULL COMMENT '用户名', phone varchar(16) NOT NULL COMMENT '手机号', avatar varchar(255) DEFAULT NULL COMMENT '头像', gender tinyint(1) DEFAULT '0' COMMENT '性别：0-未知，1-男，2-女', create_time datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间', update_time datetime NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '更新时间', status tinyint(1) NOT NULL DEFAULT '1' COMMENT '状态：0-禁用，1-启用', - 其他用户字段. PRIMARY KEY (id), UNIQUE KEY idx_phone (phone), KEY idx_create_time (create_time) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COMMENT='用户表'2. 实体类定义/ 旧表实体DataTableName("t_user_technician")public class UserTechnicianEntity TableId(type = IdType.AUTO) private Long id; private String username; private String phone; private String avatar; private Integer gender; TableField("user_type") private Integer userType; / 0: 普通用户, 1: 技师 TableField("create_time") private Date createTime; TableField("update_time") private Date updateTime; private Integer status; / 技师特有字段省略./ 新表实体DataTableName("t_user")public class UserEntity TableId(type = IdType.INPUT) / 注意这里使用INPUT类型，与旧表ID保持一致 private Long id; private String username; private String phone; private String avatar; private Integer gender; TableField("create_time") private Date createTime; TableField("update_time") private Date updateTime; private Integer status; / 其他字段省略.3. Mapper接口定义java/ 旧表MapperMapperpublic interface UserTechnicianMapper extends BaseMapper<UserTechnicianEntity> /* * 批量查询用户数据（仅查询普通用户） */ Select("SELECT * FROM t_user_technician WHERE user_type = 0 AND id > #startId AND id < #endId ORDER BY id LIMIT #limit") List<UserTechnicianEntity> selectBatchUsers(Param("startId") Long startId, Param("endId") Long endId, Param("limit") Integer limit); /* * 获取普通用户数量 */ Select("SELECT COUNT(*) FROM t_user_technician WHERE user_type = 0") Integer countUsers();/ 新表MapperMapperpublic interface UserMapper extends BaseMapper<UserEntity> /* * 获取最小用户ID */ Select("SELECT MIN(id) FROM t_user") Long selectMinUserId(); /* * 批量插入用户数据 */ Insert("<script>" + "INSERT INTO t_user (id, username, phone, avatar, gender, create_time, update_time, status) VALUES " + "<foreach collection='list' item='user' separator=','>" + "(#user.id, #user.username, #user.phone, #user.avatar, #user.gender, #user.createTime, #user.updateTime, #user.status)" + "</foreach>" + "</script>") int batchInsert(Param("list") List<UserEntity> userList);4. 配置双写开关javaConfigurationDataConfigurationProperties(prefix = "app.migration")public class MigrationProperties /* * 是否开启双写 */ private boolean enableDualWrite = false; /* * 灰度读取新表的比例 (0-100) */ private int readFromNewTableRate = 0; /* * 数据迁移批次大小 */ private int batchSize = 1000;5. 双写逻辑实现Slf4jServicepublic class UserServiceImpl implements UserService Autowired private MigrationProperties migrationProperties; Autowired private UserTechnicianMapper userTechnicianMapper; Autowired private UserMapper userMapper; Autowired private IdGeneratorService idGene
