Mysql查找优化-1

x33g5p2x  于2021-03-14 发布在 Mysql  
字(6.6k)|赞(0)|评价(0)|浏览(522)

前言

接下来是查询优化,用户80%的操作基本都在查询,我们有什么理由不去优化他呢??所以我们将会讲解大量的查询优化(索引以及库表结构优化等高级用法后面再讲),先讲单表查优化,再讲多表查优化。

明确搜索优化的整体思路以及查询优化的因素

搜索优化的整体思路

索引优化,查询优化,查询缓存,服务器设置优化,操作系统和硬件优化,应用层面优化(web服务器,缓存)等等。对于一个整体项目而言只有这些齐头并进,才能实现mysql高性能。

查询优化的因素思路

是否向数据库请求了不需要的数据。

也就是说不要轻易使用select * from ,能明确多少数据就查多少个

mysql是否扫描额外的纪录

查询是否扫描了过多的数据。
最简单的衡量查询开销三个指标如下:

  • 响应时间;
  • 扫描的行数;
  • 返回的行数。

没有哪个指标能够完美地衡量查询的开销,但它们大致反映了mysql在内部执行查询时需要多少数据,并可以推算出查询运行的时间。

这三个指标都会记录到mysql的慢日志中,所以检查慢日志记录是找出扫描行数过多的查询的好办法。

响应时间是两个部分之和:服务时间和排队时间。
服务时间是指数据库处理这个查询真正花了多长时间。
排队时间是指服务器因为等待某些资源而没有真正执行查询的时间。
—可能是等io操作完成,也可能是等待行锁,等等。

扫描的行数和返回的行数:分析查询时,查看该查询扫描的行数是非常有帮助的。这在一定程度上能够说明该查询找到需要的数据的效率高不高。

扫描的行数和访问类型: 在expain语句中的type列反应了访问类型。
访问类型有很多种,从全表扫描(ALL)到索引扫描(index)到范围扫描(INDEX RANGE SCAN)到唯一索引查询到常数引用等。这里列的这些,速度由慢到快,扫描的行数也是从小到大。
如果发现查询需要扫描大量的数据但只返回少数的行,那么通常可以尝试下面的技巧去优化它:

  1. 使用索引覆盖扫描。
  2. 改变库表结构。例如使用单独的汇总表。
  3. 重写这个复杂的查询。让mysql优化器能够以更优化的方式执行这个查询。
查询方式
  1. 一个复杂查询 or 多个简单查询
    设计查询的时候一个需要考虑的重要问题是,是否需要将一个复杂的查询分成多个简单的查询。

  2. 切分查询
    有时候对于一个大查询我们需要“分而治之”,将大查询切分为小查询,每个查询功能完全一样,只完成一小部分,每次只返回一小部分查询结果。

  3. 分解关联查询

    select * from tag 

       join tag_post on tag_post.tag_id = tag.id

       join post on tag_post.post_id = post.id

    where tag.tag = 'mysql'

    可以分解成下面这些查询来代替:

    > select * from tag where tag = 'mysql'

    > select * from tag_post where tag_id = 1234

    > select * from post where post_id in (123, 456, 567, 9098, 8904) 

分解关联查询让缓存的效率更高。
将查询分解后,执行单个查询可以减少锁的竞争。
在应用层做关联,可以更容易对数据库进行拆分,更容易做到高性能和可扩展。
查询本身效率也可能会有所提升。
可以减少冗余记录的查询,
更进一步,这样做相当于在应用中实现了哈希关联,而不是使用mysql的嵌套循环关联。

  1. 设计查询的流程(后端)
    客户端发送一条查询给服务器
    服务器先检查查询缓存,如果命中了缓存,则立刻返回存储在缓存中的结果,否则进入下一阶段。
    服务器进行SQL解析,预处理,再由优化器生成对应的执行计划,
    mysql根据优化器生成的执行计划,调用存储引擎的API来执行查询。
    将结果返回给客户端。

优化查询前的说明

查看MySQL整体状态:

show status; ——显示状态信息(扩展show status like ‘XXX’)
show variables ——显示系统变量(扩展show variables like ‘XXX’)
show ENGINE INNODB status;   ——显示InnoDB存储引擎的状态
show processlist ——查看当前SQL执行,包括执行状态、是否锁表等
mysqladmin variables -u username -p password——显示系统变量
mysqladmin extended-status -u username -p password——显示状态信息
mysqld –verbose –help [|more #逐行显示] 查看状态变量及帮助

开启慢查询日志

  1. 在配置文件my.cnf或my.ini中在[mysqld]一行下面加入两个配置参数
    log-slow-queries={自己想存放的日志路径}/slow-query.log
    long_query_time=2
    :log-slow-queries参数为慢查询日志存放的位置,一般这个目录要有mysql的运行帐号的可写权限,一般都将这个目录设置为mysql的数据存放目录;
    long_query_time=2中的2表示查询超过两秒才记录;
    在my.cnf或者my.ini中添加log-queries-not-using-indexes参数,表示记录下没有使用索引的查询。
    log-slow-queries=/data/mysqldata/slow-query.log
    long_query_time=10
    log-queries-not-using-indexes

  2. 查看日志启动状态:show variables like “slow%”;

  3. 设置慢日志开启: set global slow_query_log = ON;

  4. 查询long_query_time 的值 : show variables like “long%”;

  5. 为了方便测试,可以将修改慢查询时间为1秒。(小点容易比较,毕竟mysql处理那么快)

  6. 以后就往我们设置的日志路径去访问日志即可

explain查询分析

使用 EXPLAIN 关键字可以模拟优化器执行SQL查询语句,从而知道MySQL是如何处理你的SQL语句的。这可以帮你分析你的查询语句或是表结构的性能瓶颈。通过explain命令可以得到:

  • 表的读取顺序
  • 数据读取操作的操作类型
  • 哪些索引可以使用
  • 哪些索引被实际使用
  • 表之间的引用
  • 每张表有多少行被优化器查询
EXPLAIN查询出来的字段解析:

1)Table:显示这一行的数据是关于哪张表的
2)possible_keys:显示可能应用在这张表中的索引。如果为空,没有可能的索引。可以为相关的域从WHERE语句中选择一个合适的语句。
指出MySQL能使用哪个索引在表中找到记录,查询涉及到的字段上若存在索引,则该索引将被列出,但不一定被查询使用,因为MySQL内部优化器有自己的抉择。
该列完全独立于EXPLAIN输出所示的表的次序。这意味着在possible_keys中的某些键实际上不能按生成的表次序使用。
如果该列是NULL,则没有相关的索引。在这种情况下,可以通过检查WHERE子句看是否它引用某些列或适合索引的列来提高你的查询性能。如果是这样,创造一个适当的索引并且再次用EXPLAIN检查查询
3)key:实际使用的索引。如果为NULL,则没有使用索引。MYSQL很少会选择优化不足的索引,此时可以在SELECT语句中使用USE INDEX(index)来强制使用一个索引或者用IGNORE INDEX(index)来强制忽略索引
4)key_len:使用的索引的长度。在不损失精确性的情况下,长度越短越好
表示索引中使用的字节数,可通过该列计算查询中使用的索引的长度(key_len显示的值为索引字段的最大可能长度,并非实际使用长度,即key_len是根据表定义计算而得,不是通过表内检索出的)
不损失精确性的情况下,长度越短越好
5)ref:显示索引的哪一列被使用了,如果可能的话,是一个常数。
6)rows:MySQL认为必须检索的用来返回请求数据的行数
表示MySQL根据表统计信息及索引选用情况,估算的找到所需的记录所需要读取的行数
7)select_type:查询中每个select子句的类型
(1) SIMPLE(简单SELECT,不使用UNION或子查询等)
(2) PRIMARY(查询中若包含任何复杂的子部分,最外层的select被标记为PRIMARY)
(3) UNION(UNION中的第二个或后面的SELECT语句)
(4) DEPENDENT UNION(UNION中的第二个或后面的SELECT语句,取决于外面的查询)
(5) UNION RESULT(UNION的结果)
(6) SUBQUERY(子查询中的第一个SELECT)
(7) DEPENDENT SUBQUERY(子查询中的第一个SELECT,取决于外面的查询)
(8) DERIVED(派生表的SELECT, FROM子句的子查询)
(9) UNCACHEABLE SUBQUERY(一个子查询的结果不能被缓存,必须重新评估外链接的第一行)
8)type:这是最重要的字段之一,显示查询使用了何种类型。从最好到最差的连接类型为NULL、system、const、eq_ref、ref、range、index和ALL
NULL: MySQL在优化过程中分解语句,执行时甚至不用访问表或索引,例如从一个索引列里选取最小值可以通过单独索引查找完成。
system、const:可以将查询的变量转为常量. 如id=1; id为 主键或唯一键。当MySQL对查询某部分进行优化,并转换为一个常量时,使用这些类型访问。如将主键置于where列表中,MySQL就能将该查询转换为一个常量,system是const类型的特例,当查询的表只有一行的情况下,使用system
eq_ref:访问索引,返回某单一行的数据.(通常在联接时出现,查询使用的索引为主键或惟一键)。类似ref,区别就在使用的索引是唯一索引,对于每个索引键值,表中只有一条记录匹配,简单来说,就是多表连接中使用primary key或者 unique key作为关联条件
ref:访问索引,返回某个值的数据.(可以返回多行) 通常使用=时发生。表示上述表的连接匹配条件,即哪些列或常量被用于查找索引列上的值
range:这个连接类型使用索引返回一个范围中的行,比如使用>或<查找东西,并且该字段上建有索引时发生的情况(注:不一定好于index)。只检索给定范围的行,使用一个索引来选择行。
index:以索引的顺序进行全表扫描,优点是不用排序,缺点是还要全表扫描。index与ALL区别为index类型只遍历索引树
ALL:全表扫描,应该尽量避免。 MySQL将遍历全表以找到匹配的行。
9)Extra:关于MYSQL如何解析查询的额外信息,主要有以下几种
using index:只用到索引,可以避免访问表.。表示查询在索引树中就可查找所需数据, 不用扫描表数据文件, 往往说明性能不错
using where:使用到where来过虑数据. 不是所有的where clause都要显示using where. 如以=方式访问索引.
using tmporary:查询有使用临时表, 一般出现于排序, 分组和多表 join 的情况, 查询效率不高, 建议优化.
using filesort:用到额外的排序. (当使用order by v1,而没用到索引时,就会使用额外的排序)。MySQL中无法利用索引完成的排序操作称为“文件排序”
range checked for eache record(index map:N):没有好的索引.
Using join buffer:改值强调了在获取连接条件时没有使用索引,并且需要连接缓冲区来存储中间结果。如果出现了这个值,那应该注意,根据查询的具体情况可能需要添加索引来改进能。
Impossible where:这个值强调了where语句会导致没有符合条件的行。

profiling查询分析

通过慢日志查询可以知道哪些SQL语句执行效率低下,通过explain我们可以得知SQL语句的具体执行情况,索引使用等,还可以结合show命令查看执行状态。
如果觉得explain的信息不够详细,可以同通过profiling命令得到更准确的SQL执行消耗系统资源的信息。
profiling默认是关闭的。可以通过以下语句查看: select @@profiling;

打开profiling查询分析:set profiling = 1;
然后我们随便写几条select语句,再查看:show profiles\G;

show profiles\G; 可以得到被执行的SQL语句的时间和ID
show profile for query 1; 得到对应SQL语句执行的详细信息

 Show Profile命令格式:

SHOW PROFILE [type [, type] … ]                                    

    [FOR QUERY n]                                                            

    [LIMIT row_count [OFFSET offset]]        



type参数:                                                                                 

  |ALL                                                                               

  | BLOCK IO                                                                      

  | CONTEXT SWITCHES                                                   

  | CPU                                                                              

  | IPC                                                                                

  | MEMORY                                                                            

  | PAGE FAULTS                                                               

  | SOURCE                                                                        

  | SWAPS   

测试完毕以后 ,关闭参数:mysql> set profiling=0

单表查询步步优化

//最傻的查询方式
select * from tables

明确需要的字段,要多少就写多少字段:

select  d.Good_ID ,
        d.Classify_ID,
        d.Good_Name,
        d.Monthsale_Num,
        d.Store_Name,
        d.Comment_Num,
        d.Good_Brand,
        d.Ishas_License,
        ifnull(d.Good_Hot,0),
        d.Good_Price,
        d.Store_Add,
        d.Store_Age,
        d.Seller_Credit,
        d.Classify_Description
        from
        Commodity_list d;

使用分页语句:limit start , count 或者条件 where子句

有什么可限制的条件尽量加上,查一条就limit一条。做到不多拿不乱拿。
明确子句的执行顺序先:

SELECT select_list   
FROM table_name  
[ WHERE search_condition ]  
[ GROUP BY group_by_expression ]  
[ HAVING search_condition ]  
[ ORDER BY order_expression [ ASC | DESC ] ]
[limit m,n]

例子:

select
        d.Good_ID ,
        d.Classify_ID,
        d.Good_Name,
        d.Monthsale_Num,
        d.Store_Name,
        d.Comment_Num,
        d.Good_Brand,
        d.Ishas_License,
        ifnull(d.Good_Hot,0),
        d.Good_Price,
        d.Store_Add,
        d.Store_Age,
        d.Seller_Credit,
        d.Classify_Description
        from
        Commodity_list d
        where Classify_ID=23
        limit 1,1000  ;

补充:
1)limit语句的查询时间与起始记录的位置成正比
2)mysql的limit语句是很方便,但是对记录很多的表并不适合直接使用。
对limit分页性能优化分析:
偏移量越大,查询越费时。

原因:

  • 每条数据的实际存储长度不一样(所以必须要依次遍历,不能直接跳过前面的一部分)
  • 哪怕是每条数据存储长度一样,如果之前有过delete操作,那索引上的排列就有gap
  • 所以数据不是定长存储,不能像数组那样用index来访问,只能依次遍历,就导致偏移量越大查询越费时

对limit的使用再优化 :
利用自增主键,避免offset的使用(演示在积分表score,商品表设计得不太好),约是上面方法的1/3时间。

select *
        from
        score 
        WHERE id>0 LIMIT 10000
        ;
select *
        from
        score 
        WHERE id>10000 LIMIT 10000
        ;
select *
        from
        score 
        WHERE id>20000 LIMIT 10000
        ;

如果是有序的查询,可使用ORDER BY

select *
        from
        score 
        WHERE id>0
        ORDER BY score ASC
        LIMIT 10000
        ;

相关文章