是时候该对你的数据库做一次全面体检啦_光环大数据培训

光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cn是时候该对你的数据库做一次全面体检啦是时候该对你的数据库做一次全面体检啦_ _光环大数据培训光环大数据培训光环大数据培训机构，数据库作为一个大型的并发存储系统，其内部设计极其 复杂，开发者在使用数据库时，面临着可用性、可靠性、性能、安全、扩展性 等多重挑战，这就使得数据库的使用具有较高的技术门槛。一般大型团队都会 雇佣专职的 DBA 来维护数据库的日常运行，指导开发者建立正确的使用姿势， 但是对于一般的中小型团队，受限于人力成本，这种模式难以实现。随着 DevOps 理念的流行，开发者开始更多的参与和承担数据库的运维工作，其中就 包括对数据库的定期巡检。对数据库定期进行健康检查是数据库日常维护的重要环节，通过检查数据库的 各项运行指标，评估系统的运行风险，提前将风险消灭在摇篮中，能够有效提 高数据库服务的质量，今天我们就来聊聊开发者如何对数据库进行健康检查。数据库的健康检查涉及索引设计、容量规划、服务安全、参数配置、用户访问、 集群复制 6 个方面。索引设计索引设计合理的索引设计能够有效加速数据库的访问，提高查询的执行效率，减少用户 查询对服务端的资源消耗。但是不合理的、低效的、冗余的甚至无效的索引不 仅无法起到加速查询的效果，反而会影响数据库的插入、更新性能，甚至是数 据库的高可用方案能否生效。主键索引缺失主键索引缺失 ： 由于 MySQL 默认存储引擎 InnoDB（MySQL 5.6 版本 以上）使 用的是聚簇索引表设计，这就要求所有的表必须包含一个主键，所有的数据记光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cn录按照主键次序构建 B+树。如果用户在创建表时显式指定主键，则数据库会使用用户指定的主键构建 B+树，但是如果用户没有显式指定主键，同时也没有创 建任何唯一键索引，InnoDB 为了确保每张表至少包含一个主键，则默认会为用 户生成一个“隐含主键”，该主键对用户不可见，甚至对于 MySQL Server 层的 binlog 也不可见。binlog 是连接 MySQL 主从复制节点的纽带，所有主节点的更新都是通过 binlog 传递给从节点的，一旦 binlog 中没有更新记录的主键 ID，这就会导致基于 Row 格式的 binlog 在从节点执行时，无法唯一确定一条记录，只能通过全表扫描来 进行匹配，大幅降低了从机的执行效率，造成复制延迟。如果是高可用故障切 换的从节点，会导致切换的时间大幅增加，甚至会导致高可用机制失效。如果 是实现读写分离的只读从节点，则会导致应用读到的数据可能是很久以前的旧 数据。所以我们建议使用 InnoDB 存储引擎的 MySQL 用户在创建表时，必须显式 指定主键。主键索引与业务相关主键索引与业务相关 ：如果用户在创建表时指定的主键与业务相关，可能会被 频繁的更新，这样会引起 MySQL 数据库的 InnoDB 存储引擎进行频繁的节点合并 和分裂，造成大量额外的系统 IO 开销，影响数据库的插入和更新性能。我们推 荐开发者在创建表时指定与业务无关的自增字段作为主键，这样不仅会提高按 时间序插入的性能（顺序写入硬盘），同时也可以提高按插入时间范围检索的 查询效率。光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cn冗余索引冗余索引 ：如果一个索引涉及的字段属性包含另外一个索引涉及的字段属性，同时两个索引字段顺序一致，且两个索引的首字段属性相同，则可以认为涉及 字段少的索引为冗余索引。在 MySQL 5.7 推出 sys 库之前，我们可以通过 percona 的工具 pt-duplicate-key-checker 来完成对冗余索引的检查，在 MySQL 5.7 中，我们可以通过 sys 库 schema_redundant_indexes 表来完成。低效索引低效索引 ：索引的作用在于通过索引，查询能够扫描更少的记录。数据库中的 记录在索引字段区分度越高，扫描的记录数就越少，执行的效率就越高。如果 数据库表中的记录在索引字段区分度不大，索引对记录的筛选结果就不明显， 索引就无法起到加速查询的作用。通过数据库记录在索引字段的区分度，我们 可以衡量索引的执行效率。MySQL 系统库 mysql 库下，innodb_index_stats 表的 stat_value 字段，记录了 某张表在某个索引的不同取值的记录个数，innodb_table_stats 表的 n_rows光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cn字段记录了某张表的总记录数，二者相除，即可得到数据库记录在某个索引的区分度，越接近 1，表示区分度越高，低于 0.1，则说明区分度较差，开发者应 该重新评估 SQL 语句涉及的字段，选择区分度高的多个字段创建索引，通过运 行下面的 SQL 语句，就可以计算每张表的索引区分度。无效索引无效索引 ：如果一个索引始终无法被查询使用，它的存在只能增加数据库的维 护开销，开发者应该及时删除这些索引。通过 MySQL 5.7 sys 库 schema_unused_indexes 视图，可以查看当前实例哪些索引从没有被使用。容量规划容量规划数据库的运行依赖计算、存储、网络等多种资源，通过对各种资源的使用情况 分析，对资源进行合理的规划配置，是数据库稳定运行的必要条件。CPUCPU ： 通常使用 CPU 利用率衡量 CPU 的繁忙程度，通过 top 命令，开发者可以 查看 CPU 利用率实时变化。CPU 利用率持续超过 80%，预示计算资源已经接近 饱和，如果开发者已经做过 SQL 优化，则需要使用更高配置的 CPU。通过查看 7 天内 CPU 利用率超过 80%的时间占整体时间的百分比，以及单次持续时间超过 一定阈值，则可视为 CPU 扩容的触发条件。IOIO ：大部分数据库应用都是的 IO Bound 类型，IO 处理能力直接决定了数据库 的性能。IO 利用率统计了一秒内 IO 请求队列非空的时间比例，IO 利用率越高 就表示硬盘越繁忙。但是 IO 利用率 100%并不表示系统已经无法处理更多的 IO 请求。IOPS 和每秒 IO 字节数可以从存储设备的层次更准确的描述 IO 负载。每 一个存储设备都有 IOPS 和每秒 IO 字节数的上限，任意一个达到上限，就会成光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cn为 IO 处理能力的瓶颈，在传统机械硬盘中，随机 IO 主要受到 IOPS 的限制，顺序 IO 主要受带宽限制。除此之外，我们还可以从应用的角度，使用一次 IO 请求的响应时间来描述 IO负载，一次 IO 请求的响应时间包括其在队列中的等待时间和实际 IO 处理时间 之和。通过 iostats 开发者可以很方便的收集这些数据。如果这些指标在一段 时间内持续接近设定上限，则可以认为 IO 过载，通过扩大内存，让更多的读 写请求命中缓存可以缓解硬盘 IO。另外，使用更高配置的存储设备，例如固态 硬盘，也可以大幅提高系统的 IO 处理能力。存储空间存储空间 ：存储空间不足会导致严重的系统故障，数据库可能会宕机，更为严 重的是数据库进程存活，但是无法响应服务，从而造成基于进程的宕机监控失 效。根据 7 天内数据库中存储数据的变化，我们可以按照一定的拟合算法，估 算出未来 3 天内数据的增长情况，来判断实例是否存在存储空间不足的风险。内存内存 ：使用 InnoDB 存储引擎的 MySQL 数据库在实例启动时，就会预分配一块 固定大小的内存空间，所有读写请求都会在该空间中完成，如果内存中缓存了 用户读写的数据，则直接读取内存，如果内存中没有用户读写的数据，则需要将数据先从硬盘中 load 进内存中，由于内存的读写速度远远快于硬盘，这就使 得读写请求是否命中内存决定了读写请求的处理速度。内存空间越大，缓存数 据越多，命中的几率也就越大。所以我们可以使用缓存命中率来衡量内存空间 大小是否满足应用的需求。在 MySQL 中，show engine innodb status 命令的 Buffer pool hit rate 可以度量近一段时间范围内 Buffer pool 的命中情况。光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cn网络网络 ：网络带宽在数据库返回记录较多的情况下，也可能会成为系统的瓶颈。 一般我们使用每秒网络流入和流出字节数来衡量网络流量是否达到带宽限制。 在云环境下，每台虚拟机或者容器都是有一定的网络带宽配额，私有网络的配 额相对比较大，公网配额与用户付费相关；使用 iftop 可以查看当前系统的网 络流量；服务安全服务安全弱密码弱密码 ：MySQL 的登陆认证使用的是 IP 和账户密码的方式，很多开发者为了 方便记忆，习惯将数据库密码设置为弱密码，这实际是非常危险的。数据库中 的数据很多涉及敏感业务，弱密码非常容易被破解，对数据库中的数据是一个 严重安全隐患。MySQL 系统库 mysql 库下的 user 表的 password 字段保存了所 有用户的密码，MySQL 使用的是两次 sha-1 的不可逆加密算法，所以我们无法 通过 password 字段获取用户的密码内容，但是我们可以通过将常见弱密码制成光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cn彩虹表，模拟 MySQL 的加密算法，匹配 password 字段，即可发现数据库中的弱密码账号。网络安全网络安全 ：在一般的业务架构中，数据库都不会直接服务于终端用户，而是服务于运行业务逻辑的应用程序。所以数据库和业务程序之间出于安全的考虑， 会选择使用私有网络。即便如此，为了避免数据库连错，也需要在设置数据库 账号时，增加 IP 来源限制。在一些特定的场景下，如果数据访问必须借助公网 来实现，就会将数据库暴漏在公网上。使用公网数据库实例，必须要配置防火 墙，否则存在被攻击的隐患。通过 iptables 我们可以控制访问数据库的来源 IP。权限检查权限检查 ：MySQL 提供了多种权限配置，为了方便管理以及避免误操作，一般 会将管理权限和访问权限配置成两个不同的账号，禁止使用管理权限作为业务 程序访问数据库的账号。通过系统库 mysql 库的 user 表可以确认各个账号