Mycat数据库中间件 _数据库中间件

作者:拥之则安
出处:https://segmentfault.com/a/1190000037545458
1.非分片字段查询Mycat中的路由结果是通过分片字段和分片方法来确定的。例如下图中的一个Mycat分库方案：

根据 tt_waybill 表的 id 字段来进行分片
分片方法为 id 值取 3 的模，根据模值确定在DB1，DB2，DB3中的某个分片

文章插图

如果查询条件中有 id 字段的情况还好，查询将会落到某个具体的分片。例如：
MySQL>select * from tt_waybill where id = 12330;
此时Mycat会计算路由结果
12330 % 3 = 0 –> DB1
并将该请求路由到DB1上去执行。
如果查询条件中没有分片字段条件，例如：
mysql>select * from tt_waybill where waybill_no =88661;
此时Mycat无法计算路由，便发送到所有节点上执行：
DB1 –> select * from tt_waybill where waybill_no =88661;
DB2 –> select * from tt_waybill where waybill_no =88661;
DB3 –> select * from tt_waybill where waybill_no =88661;
如果该分片字段选择度高，也是业务常用的查询维度，一般只有一个或极少数个DB节点命中（返回结果集）。示例中只有3个DB节点，而实际应用中的DB节点数远超过这个，假如有50个，那么前端的一个查询，落到MySQL数据库上则变成50个查询，会极大消耗Mycat和MySQL数据库资源。
如果设计使用Mycat时有非分片字段查询，请考虑放弃！
2.分页排序先看一下Mycat是如何处理分页操作的，假如有如下Mycat分库方案：
一张表有30份数据分布在3个分片DB上，具体数据分布如下
DB1：[0,1,2,3,4,10,11,12,13,14]
DB2：[5,6,7,8,9,16,17,18,19]
DB3：[20,21,22,23,24,25,26,27,28,29]
（这个示例的场景中没有查询条件，所以都是全分片查询，也就没有假定该表的分片字段和分片方法）

文章插图

当应用执行如下分页查询时
mysql>select * from table limit 2;
Mycat将该SQL请求分发到各个DB节点去执行，并接收各个DB节点的返回结果
DB1: [0,1]
DB2: [5,6]
DB3: [20,21]
但Mycat向应用返回的结果集取决于哪个DB节点最先返回结果给Mycat 。如果Mycat最先收到DB1节点的结果集，那么Mycat返回给应用端的结果集为 [0,1] ，如果Mycat最先收到DB2节点的结果集，那么返回给应用端的结果集为 [5,6] 。也就是说，相同情况下，同一个SQL，在Mycat上执行时会有不同的返回结果。
在Mycat中执行分页操作时必须显示加上排序条件才能保证结果的正确性，下面看一下Mycat对排序分页的处理逻辑。
假如在前面的分页查询中加上了排序条件（假如表数据的列名为 id ）
mysql>select * from table order by id limit 2;
Mycat的处理逻辑如下图：

文章插图

在有排序呢条件的情况下，Mycat接收到各个DB节点的返回结果后，对其进行最小堆运算，计算出所有结果集中最小的两条记录 [0,1] 返回给应用。
但是，当排序分页中有偏移量（offset）时，处理逻辑又有不同。假如应用的查询SQL如下：
mysql>select * from table order by id limit 5,2 ;
如果按照上述排序分页逻辑来处理，那么处理结果如下图：

文章插图

【Mycat数据库中间件】Mycat将各个DB节点返回的数据 [10,11], [16,17], [20,21] 经过最小堆计算后返回给应用的结果集是 [10,11] 。可是，对于应用而言，该表的所有数据明明是 0-29 这30个数据的集合， limit 5,2 操作返回的结果集应该是 [5,6] ，如果返回 [10,11] 则是错误的处理逻辑。
所以Mycat在处理有偏移量的排序分页时是另外一套逻辑—— 改写SQL 。如下图：

文章插图

Mycat在下发有 limit m,n 的SQL语句时会对其进行改写，改写成 limit 0, m+n 来保证查询结果的逻辑正确性。所以，Mycat发送到后端DB上的SQL语句是
mysql>select * from table order by id limit 0,7;
各个DB返回给Mycat的结果集是
DB1: [0,1,2,3,4,10,11]