太神奇的 SQL 查询经历，group by 慢查询优化~

迷南。 2022-12-25 07:54 28阅读 0赞

关注微信公众号“java大数据修炼之道”,选择“设为星标” 优质文章和精品资源, 第一时间送达

![format_png][]

关注公众号后台回复**资源**获取实战教学资料+视频

> 作者：dijia478
> 
> 来源：https://www.cnblogs.com/dijia478/p/11550902.html

哈喽，各位新来的小伙伴们，大家好！由于公众号做了改版，为了保证公众号的资源能准时推送到你手里，大家记得将咱们的公众号 **加星标置顶** ，在此真诚的表示感谢~

![format_png 1][]正文如下：

**\# 问题背景**

现网出现慢查询，在500万数量级的情况下，单表查询速度在30多秒，需要对sql进行优化，sql如下：

[![format_png 2][]][format_png 2 1]

我在测试环境构造了500万条数据，模拟了这个慢查询。

简单来说，就是查询一定条件下，都有哪些用户的。很简单的sql，可以看到，查询耗时为37秒。

[说一下app\_account字段的分布情况，随机生成了5000个不同的随机数，然后分布到了这500万条数据里，平均来说，每个app\_account都会有1000个是重复的值，种类共有5000个。][format_png 2 1]

**\# 看执行计划**

[![format_png 3][]][format_png 3 1]

可以看到，group by字段上我是加了索引的，也用到了。

**\# 优化**

说实话，我是不知道该怎么优化的，这玩意还能怎么优化啊！先说下，下面的思路都是没用的。

### 思路一： ###

后面应该加上 order by null；避免无用排序，但其实对结果耗时影响不大，还是很慢。

[![format_png 4][]][format_png 3 1]

### 思路二： ###

where条件太复杂，没索引，导致查询慢，但我给where条件的所有字段加上了组合索引，也还是没用。

[![format_png 5][]][format_png 3 1]

[![format_png 6][]][format_png 2 1]

## ##

### 思路三： ###

既然group by慢，换distinct试试？？（这里就是本篇博客里说的神奇的地方了）

[![format_png 7][]][format_png 3 1]

卧槽？？？！！！这是什么情况，瞬间这么快了？？！！！

虽然知道group by和distinct有很小的性能差距，但是真没想到，差距居然这么大！！！大发现啊！！

**\# 你以为这就结束了吗**

我是真的希望就这么结束了，那这个问题就很简单的解决了，顺便还自以为是的发现了一个新知识。

但是！

这个bug转给测试后，测试一测，居然还是30多秒！？这是什么情况！！？？？

我当然是不信了，去测试电脑上执行sql，还真是30多秒。。。

我又回我的电脑上，连接同一个数据库，一执行sql，0.8秒！？

什么情况，同一个库，同一个sql，怎么在两台电脑执行的差距这么大！

后来直接在服务器上执行：

[![format_png 8][]][format_png 2 1]

醉了，居然还是30多秒。。。。

那看来就是我电脑的问题了。

后来我用多个同事的电脑实验，最后得出的结论是：

是因为我用的SQLyog！

哎，现在发现了，只有用sqlyog执行这个“优化后”的sql会是0.8秒，在navcat和服务器上直接执行，都是30多秒。

那就是sqlyog的问题了，现在也不清楚sqlyog是不是做什么优化了，这个慢查询的问题还在解决中（我觉得问题可能是出在mysql自身的参数上吧）。

这里只是记录下这个坑，sqlyog执行sql速度，和服务器执行sql速度，在有的sql中差异巨大，并不可靠。

**\# 后续（还未解决）**

感谢大家出谋划策，我来回复下问题进展：

1.所谓的sqlyog查询快，命令行查询慢的现象，已经找到原因了。是因为sqlyog会在查询语句后默认加上limit 1000，所以导致很快。这个问题不再纠结。

2.我已经试验过的方法（都没有用）：

①给app\_account字段加索引。

②给sql语句后面加order by null。

③调整where条件里字段的查询顺序，有索引的放前面。

④给所有where条件的字段加组合索引。

⑤用子查询的方式，先查where条件里的内容，再去重。

测试环境和现网环境数据还是有点不一样的，我贴一张现网执行sql的图（1分钟。。。）：

[![format_png 9][]][format_png 2 1]

**\# 最终解决方案**

感谢评论里42楼的@言枫大佬！

经过你的提醒，我确实发现，explain执行计划里，索引好像并没有用到我创建的idx\_end\_time。

然后果断在现网试了下，强制指定使用idx\_end\_time索引，结果只要0.19秒！

[![format_png 10][]][format_png 2 1]

至此问题解决，其实同事昨天也在怀疑，是不是这个表索引建的太多了，导致用的不对，原本用的是idx\_org\_id和idx\_mvno\_id。

现在强制指定idx\_end\_time就ok了！

最后再对比下改前后的执行计划

改之前（查询要1分钟左右）：

[![format_png 11][]][format_png 2 1]

改之后（查询只要几百毫秒）：

[![format_png 12][]][format_png 2 1]

![06db1ba5ea516dc14d91e9e942677c0e.gif][]

**推荐阅读：**

1、[SQL 优化极简法则][SQL]

[2][][、][2][项目中常用的19条MySQL优化][2]

3、[最新SQL数据库面试题以及答案！][SQL 1]

[4、][4][Redis的 8大数据类型，写得非常好！][Redis_ 8]

5、[面试官：来说说单点登录的三种实现方式][Link 1]

[6、][6][这5个能挣钱的 SpringBoot 项目，真TMD香！][5_ SpringBoot _TMD]

7、[单怼60道][60][多线程][60][面试题，你能答上几个?(附答案)][60]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1NjYxMTcx_size_16_color_FFFFFF_t_70][]

[format_png]: /images/20221120/4478f200828942ff979d1976b800ba14.png
[format_png 1]: /images/20221120/eb5129acb04040898f37974230a311d9.png
[format_png 2]: /images/20221120/51fdeac54f63420f99c8550ed6fbf20b.png
[format_png 2 1]: http://mp.weixin.qq.com/s?__biz=MzIzMzgxOTQ5NA%3D%3D&chksm=e8fd2da1df8aa4b79c2e9bfa8d84fdfa6768472a70bd9303a4024814741eeda1d08a3b9328f9&idx=1&mid=2247512488&scene=21&sn=a178c30104195f65768759eb9f75bdc3#wechat_redirect
[format_png 3]: /images/20221120/eb19b5d08a704e63b8453b012e268306.png
[format_png 3 1]: http://mp.weixin.qq.com/s?__biz=MzIzMzgxOTQ5NA%3D%3D&chksm=e8fd2d47df8aa4515fd0b6f7e0adbc382f90c2c5332049125f25a41cbaf657079c2fd9046200&idx=2&mid=2247512398&scene=21&sn=6d069ad9284e01cc2ad1453250aabfe8#wechat_redirect
[format_png 4]: /images/20221120/fae8ce1ceff645fd8f2d52f92e964847.png
[format_png 5]: /images/20221120/c31b85a0e94240eda234a84fdc6d33f8.png
[format_png 6]: /images/20221120/77883391c35c4ce49649725e80266757.png
[format_png 7]: /images/20221120/c8586def2abe4537850a486d07078198.png
[format_png 8]: /images/20221120/a29b0820dddc44779c38537e1152816c.png
[format_png 9]: /images/20221120/bea7a67ab91a4a20a1158b3fb1ba7d89.png
[format_png 10]: /images/20221120/1e3ac9d4263c492eb8842caf2eca6358.png
[format_png 11]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9SNWljMWljeU5CTmQ2S2lhTUp3eUdMaDhDSTVMSlNFc1BTM1B4UlU4TExZZXg2ZXhxd1h5RG5xaWF5TG85VWRLMTJ2UEhiemljVnZKOW5pY01zanVhVDNYT2dqQS82NDA?x-oss-process=image/format,png
[format_png 12]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9SNWljMWljeU5CTmQ2S2lhTUp3eUdMaDhDSTVMSlNFc1BTM3RpYWc2aHlpYWFpYmpzNGlicldUMzk2MTBrbXJzRDJTN2xTV3d6ckJoOGlhYXUzQ3RNbXcxYVhtTk53LzY0MA?x-oss-process=image/format,png
[06db1ba5ea516dc14d91e9e942677c0e.gif]: https://img-blog.csdnimg.cn/img_convert/06db1ba5ea516dc14d91e9e942677c0e.gif
[SQL]: http://mp.weixin.qq.com/s?__biz=MzU1NjczNTM5NQ==&mid=2247494475&idx=1&sn=7e646baf02607ca5bcdbbba811e5d1f1&chksm=fbc22587ccb5ac91516740577ab3387127c9b083285055c0fdbe7f54b4fbbcb9cd86ec1ec4dc&scene=21#wechat_redirect
[2]: http://mp.weixin.qq.com/s?__biz=MzU1NjczNTM5NQ==&mid=2247492315&idx=1&sn=37c6888e30892c7fae56d0769c35a571&chksm=fbc22c17ccb5a501df41ddeaecf0f7e85e292b45d6c7522e4d6a4d9c4a93a389338ee175eae8&scene=21#wechat_redirect
[SQL 1]: http://mp.weixin.qq.com/s?__biz=MzU1NjczNTM5NQ==&mid=2247493386&idx=1&sn=6014e7fb6c2a43ca8df3b011754fa4e1&chksm=fbc229c6ccb5a0d068fdce76d8e457510c9c43e866952a917ae63ee0f1da8c5c25bd5d3879a2&scene=21#wechat_redirect
[4]: http://mp.weixin.qq.com/s?__biz=MzU1NjczNTM5NQ==&mid=2247492363&idx=1&sn=6975a1a5de92dc49d04654f21ffa7c21&chksm=fbc22dc7ccb5a4d1b94f2a9bbce26082c9f845fbbf7d588a5540d072bcef39b2281d0b705f91&scene=21#wechat_redirect
[Redis_ 8]: http://mp.weixin.qq.com/s?__biz=MzU1NjczNTM5NQ==&mid=2247494511&idx=1&sn=bddc2a964cc7ecc77201f6fe19ac53ed&chksm=fbc225a3ccb5acb5d67e4ac6f7e5be3ab32de92a9521a08696020d01a324a3a016568ff6158f&scene=21#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU1NjczNTM5NQ==&mid=2247493492&idx=1&sn=cd0a9b65387d5107fe9d0e1ded268d22&chksm=fbc229b8ccb5a0ae5f433e40aeb031d462bc825b837ca9e09720b6b58439dada694eeb54bbaf&scene=21#wechat_redirect
[6]: http://mp.weixin.qq.com/s?__biz=MzU1NjczNTM5NQ==&mid=2247492809&idx=1&sn=47c50b227f8063129ed09edc91449100&chksm=fbc22a05ccb5a31383ee13bb6c58f8c12dada691c16624e028f23f24c32d1e4201b4ebd1a354&scene=21#wechat_redirect
[5_ SpringBoot _TMD]: http://mp.weixin.qq.com/s?__biz=MzU1NjczNTM5NQ==&mid=2247494522&idx=1&sn=98eb0cfc5d325f7f06582ad4cdf844cd&chksm=fbc225b6ccb5aca0a42bc26c5b7a9cecc3222a5e1e8517b243a8882c1baf2b24a9cfb449bfc8&scene=21#wechat_redirect
[60]: http://mp.weixin.qq.com/s?__biz=MzU1NjczNTM5NQ==&mid=2247490459&idx=1&sn=66bc23ae41a8abcb9a6f00be754b2e47&chksm=fbc1d557ccb65c41ec5d3b7dedd6c7a22949ddcb5de1406de482c3b702a1a4768c66b730b219&scene=21#wechat_redirect
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1NjYxMTcx_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20201201100332848.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1NjYxMTcx,size_16,color_FFFFFF,t_70