分库分表之初识Vitess

　　Vitess，作为海外最为知名的分库分表产品，一直以来在国内声音不多。近期抽空了解下这个产品，特分享出来。本文部分内容取自Vitess官网https：vitess。io。
　　1。Vitess概述
　　人生基本上就是两件事，选题和解题。最好的人生是在每个关键点上，既选对题，又解好题。人生最大的痛苦在于解对了题，但选错了题，而且还不知道自己选错了题。正如人生最大的遗憾就是，不是你不行，而是你本可以。
　　Vitess是一个用于部署、扩展和管理大型开源数据库实例集群的数据库解决方案。它目前支持MySQL、Percona和MariaDB。它的架构设计使其在公共或私有云架构中运行时与在专用硬件上运行时一样有效。它结合并扩展了许多重要的SQL功能和NoSQL数据库的可扩展性。
　　1）。使用场景数据分片
　　通过允许分片来缩放SQL数据库，同时将应用程序更改保持在最低限度。数据迁移
　　从裸金属迁移到私有云或公共云。管理实例
　　部署和管理大量SQL数据库实例。
　　2）。技术特点
　　性能优化连接池
　　数据库连接池能力，满足支持大量前端应用连接。查询结果重用
　　正在运行的查询，对于后续完全相同的请求将重用同一查询的结果。事务管理器
　　限制并发事务的数量并管理超时，以优化整体吞吐量。行缓存
　　对于需根据主键随机访问的字段查询，维护一个基于行的缓存（使用memcached），可优化OLTP工作负载非常有用。
　　运行防护查询重写和净化
　　添加限制并防止不确定性的更新。查询黑名单
　　自定义规则，防止潜在有问题的查询提交到数据库。杀掉查询
　　终止运行需要很长时间才能返回数据的查询。表级别ACLs
　　根据连接用户为表定义访问控制列表（ACLs）。
　　监控诊断性能分析
　　提供对数据库性能进行监控、诊断和分析的工具。
　　系统运维集群拓扑管理工具
　　提供基于Web的的集群管理工具，可显示整体拓扑。上述能力支持面向多个数据中心区域的场合。
　　海量存储分片能力
　　支持垂直、水平分片能力，支持自定义分片策略，支持在线重分片能力。
　　3）。核心优势分片管理
　　MySQL本身并不提供拆分分片功能，但是您的业务数据量增大到一定程度是您是需要增加集群的。Vitess提供在线拆分功能，只需要很少的时间就完成新集群的切换，无需您在应用程序中添加任何拆分逻辑。连接池
　　Vitess避免了MySQL连接的高内存开销。Vitess服务器轻松地一次处理数千个连接。工作流
　　Vitess会跟踪有关集群配置的所有元数据，以便集群拓扑始终是最新的，对不同的客户端保持一致。性能
　　Vitess自动重写对数据库性能有损害的查询。它还使用缓存机制来调节查询，并防止重复查询同时到达您的数据库扩展性
　　Vitess集Mysql数据库的很多重要特性和NoSQL数据库的可扩展性于一体。其内建拆分分片功能使您能够对您的MySQL数据库集群无限水平扩展，同时无需为应用添加分片逻辑管理
　　Vitess可以支持自动处理主故障转移和备份等功能。它使用分布式元数据服务来跟踪和管理服务器，使您的应用程序无需关心数据库拓扑变化。
　　4）。方案对比
　　与MySQL对比
　　与NoSQL对比
　　2。Vitess基本架构
　　人生基本上就是两件事，选题和解题。最好的人生是在每个关键点上，既选对题，又解好题。人生最大的痛苦在于解对了题，但选错了题，而且还不知道自己选错了题。正如人生最大的遗憾就是，不是你不行，而是你本可以。
　　Vitess平台由若干服务器进程、命令行工具和基于web的工具组成，具备一致性元数据存储支持。根据用户应用程序的现状，可以选择不同的方式接入Vitess。如果正在从头构建一个服务，应该起始于定义数据库拓扑；如果需要对现有数据库进行扩展，那首先需要部署一个连接代理。无论数据库集群规模大小，Vitess工具和服务器都旨在提供帮助。对于较小的实现，VTTablet的一些特性诸如连接池和行缓存可以帮助更充分利用现有硬件。Vitess的自动化工具则为大型实现提供额外的好处。
　　Cell
　　Cell是放置一组服务器和网络基础设施的区域，并且与其他Cell做到故障隔离。它通常是一个完整的数据中心或数据中心子集，有时称为Zone或AvailabilityZone。Vitess可以优雅地处理Cell级故障，例如当一个Cell断开网络时。Vitess在每个Cell中托管本地拓扑服务。这一服务在Cell中包含Tablet的大部分信息，这使得Cell能够被拆除并重建。Vitess限制数据和元数据的跨Cell的流量。虽然其具有将读取流量路由到单个Cell的能力，但Vitess目前仅提供来自本地Cell的读取。如有必要，Vitess可跨Cell写入。
　　ExecutionPlans
　　Vitess在VTGate和VTablet层解析查询，评估执行查询的最佳方法，进而生成查询执行计划。Vitess优化策略之一是将尽可能多的工作下推到底层MySQL实例。当这不可能时，Vitess将使用从多个MySQL收集输入并合并结果以生成正确查询结果。评估模式
　　一个执行计划由操作符组成，每个操作符执行一个特定的工作。整个执行计划是由一组树形结构的操作符组成，每个操作符为树中的一个节点。每个操作符将零或多行作为输入，并产生零或多行作为输出。这意味着一个操作的输出成为下一个操作的输入。连接树中两个分支的操作符组合来自两个传入流的输入并产生单个输出。执行计划的评估从树的叶子节点开始。叶子节点从VTablet中提取数据，并且在某些情况下还能够在本地评估表达式值。每个叶子节点不会有来自其他操作符的输入，并且将它们产生的任何节点通过管道传输到其父节点。然后，父节点将通过管道将节点传送到它们的父节点，一直到根节点。根节点产生查询的最终结果并将结果传递给用户。查看计划
　　可通过浏览queryz端点，在VTGate级别观察缓存的执行计划。从Vitess6开始，也可通过下面命令来查看：EXPLAINFORMATvitess。
　　Keyspace
　　Keyspace是一个逻辑数据库。如果使用分片技术，则keyspace映射到多个MySQL数据库；如果没使用分片，则keyspace直接映射到MySQL数据库名称。无论那种情况，从应用侧来看，keyspace都显示为单个数据库。从keyspace读取数据就像从MySQL数据库读取数据一样。但是根据读取操作的一致性要求，Vitess可能会选择从主数据库或备数据库中读取。Keyspaceid
　　KeyspaceID，就是通常讲的分片键。基于范围的分片，是指创建时指定覆盖特定范围的keyspaceID。使用此方式，可通过用两个或更多新分片，替换原有分片来拆分。而新分片组合在一起以覆盖keyspaceID的范围，而无需移动其他分片中的任何记录。KeyspaceID本身，是通过对数据中某些列的函数计算所得。Vitess允许从各种函数（vindexes）中进行选择来执行此映射。这使你可以选择正确的方法来实现数据在分片之间的最佳分布。
　　MoveTables
　　MoveTables是一种基于VReplication的新工作流。它使您能够在Keyspace之间重新定位表，从而在不停机的情况下重新定位物理MySQL实例。识别候选表
　　建议将需要相互关联的表保留在同一Keyspace中，因此MoveTables操作的典型候选对象是一组逻辑上组合在一起或以其他方式隔离的表。如果有多组表作为候选，移动最有意义可能取决于环境的具体情况。例如，一个更大的表将需要更多的时间来移动，但这样做你可能能够利用额外的或更新的硬件，这些硬件在需要执行额外的操作（如分片）之前有更多的空间。同样，以更频繁的速率更新的表可能会增加移动时间。对生产流量影响
　　在内部，MoveTables操作由表副本和对表所做的所有更改的订阅组成。Vitess使用批处理来提高表复制和应用订阅更改的性能，但应该期望修改率较低的表移动得更快。在主动移动过程中，数据是从副本而不是主服务器复制的。这有助于确保最小的生产流量影响。在MoveTables中SwitchWrites操作阶段，Vitess可能会暂时不可用。这种不可用性通常是几秒钟，但如果系统从主副本到副本的复制延迟很高，则会更高。
　　QueryRewrite
　　Vitess努力营造一种用户与单个数据库连接的错觉。实际上，单个查询可能与多个数据库交互，并且可能使用多个连接到同一数据库。查询分解
　　具有跨分片连接的复杂查询，可能需要先从保持VIndex查找表的Tablet中获取信息，然后使用此信息查询两个不同的分片以获取更多数据，并将传入的结果连接到用户接收的单个结果中。MySQL获取的查询通常只是原始查询的一部分，最终结果将在VTGate级别组装。连接池
　　当Tablet与MySQL对话以代表用户执行查询时，它不会为每个用户使用专用连接，而是会在用户之间共享底层连接。这意味着在会话中存储任何状态都是不安全的，因为无法确定它是否会继续在同一连接上执行查询，并且无法确定此连接稍后是否会被其他用户使用。
　　ReplicationMap
　　Vitess通过复制图来识别主数据库和它们各自的副本之间的关系。在故障转移期间，复制图使Vitess能够将所有现有副本指向新指定的主数据库，以便继续复制。
　　Shard
　　分片是一个Keyspace的子集。一个Keyspace将包含一个或多个分片。一个分片通常包含一个MySQL主副本和许多MySQL副本。分片中的每个MySQL实例都具有相同的数据。副本可以提供只读流量（具有最终的一致性保证）、执行长时间运行的数据分析查询或执行管理任务（备份、恢复、差异等）。Reshard
　　Vitess支持重新分片，其中在实时集群上更改分片的数量。这可以是将一个或多个分片拆分为更小的部分，或者将相邻的分片合并为更大的部分。在重新分片期间，源分片中的数据被复制到目标分片中，然后与原始分片进行比较以确保数据完整性，最后将实时服务基础设施转移到目标分片，并删除源分片。
　　Tablet
　　Tablet是mysqld过程和相应的vttablet过程的组合，通常运行在同一机器上。每个Tablet都具备对应的角色。查询通过VTGate服务器路由到Tablet。Tablet划分角色如下：primary
　　Tablet对应的MySQL角色是主库。replica
　　Tablet对应的MySQL角色是从库，且该从库有资格提升为主。这一角色一般服务面向实时只读查询的访问。rdonly
　　Tablet对应的MySQL角色是从库，且该从库无法提升为主。这一角色通常用于后台处理作业，例如备份、将数据转储到其他系统、大量分析查询、MapReduce和重新分片。backup
　　Tablet对应的MySQL角色是从库，且因一致性快照而停止复制，可将其分片上传备份。完成后，它将恢复复制并返回到以前的类型。restore
　　启动时Tablet对应MySQL没有数据，正在从最新备份中恢复。完成后，它将进入复制状态，并且角色变为replica或rdonly。drained
　　为Vitess后台进程保留的Tablet，例如用于重分片等需求。
　　TopologyService
　　该拓扑服务是一组在不同服务器上运行的后端进程组成。这些服务器存储全局拓扑数据，并提供分布式锁定服务。Vitess使用插件系统来支持存储拓扑数据的各种实现，默认的拓扑服务存储插件是etcd2。拓扑服务的存在有几个原因：
　　协调集群内Tablets，发现Tablet，并感知将查询路由到哪里。
　　存储集群中不同服务器上的Vitess配置，并且必须在服务器重新启动之间保持不变。
　　一个Vitess集群有一个全局拓扑服务，每个单元有一个本地拓扑服务。GlobalTopology
　　全局拓扑服务存储不经常更改的Vitess数据。具体来说，它包含有Keyspace和Shard的数据以及每个Shard的主要Tablet。全局拓扑用于一些操作，包括重新选主、重新分片。为了在任何单个单元发生故障时幸免于难，全局拓扑服务应该在多个单元中具有节点，以便在单元发生故障时维持仲裁。LocalTopology
　　每个本地拓扑都包含与其自身Cell相关的信息。具体来说，它包含有关Cell中Tablet的数据、该Cell的Keyspace以及该Cell的复制图。本地拓扑服务必须可供Vitess使用以发现Tablet并在Tablet变化时调整路由。但是，在稳定状态下提供查询服务的关键路径中不会调用拓扑服务。这意味着在拓扑暂时不可用期间仍会提供查询服务。
　　VSchema
　　一个VSchema用来描述数据是如何Keyspace和Shard内组织。此信息用于路由查询，也用于重新分片操作。对于Keyspace，可以指定它是否被分片。对于分片的Keyspace，可以为每个表指定vindexes列表。序列
　　Vitess支持序列生成器，可用于生成新的id，其工作方式类似于MySQL自动增量列。VSchema允许将表列关联到序列表。如果没有为这样的列指定值，那么VTGate将知道使用序列表为它生成一个新值。
　　VStream
　　VStream是一种可通过VTGate访问的更改通知服务。VStream的目的是从Vitess集群的底层MySQL分片提供与MySQL二进制日志等效的信息。gRPC客户端，包括Vitess组件，如VTablets，可以订阅VStream以接收来自其他分片的更改事件。VStream从VTTablet实例上的一个或多个VStreamer实例拉取事件，后者又从底层MySQL实例的二进制日志拉取事件。这允许有效执行诸如VReplication之类的功能，其中订阅者可以从一个或多个MySQL实例分片的二进制日志中间接接收事件，然后将其应用于目标实例。用户可以利用VStream获取有关给定VitessKeyspace、Shard和位置的数据更改事件的深入信息。工作原理可参考如下：
　　vtctl
　　vtctl是一个命令行工具，用于管理Vitess集群。它既可用作独立工具（vtctl），也可用作客户端服务器（vtctlclient与结合使用vtctld）。建议使用客户端服务器，因为它在远程使用客户端时提供了额外的安全层。使用vtctl，可以识别主数据库和副本数据库、创建表、启动故障转移、执行重新分片操作等。随着vtctl执行操作，拓扑服务会根据需要进行更新。其他Vitess服务器会观察这些变化并做出相应的反应。例如，如果您使用vtctl故障转移到新的主数据库，vtgate会看到更改并将未来的写入操作定向到新的主数据库。
　　vtctld
　　vtctld是一个HTTP服务器，可浏览存储在拓扑服务中的信息。它对于故障排除或获取服务器及其当前状态的高级概述很有用。vtctld还充当vtctlclient连接的服务器。
　　VTGate
　　VTGate是一个轻量级的代理服务器，它可以将流量路由到正确的VTTablet服务器并将合并的结果返回给客户端。它同时使用MySQL协议和VitessgRPC协议。因此，应用程序可以像连接MySQL服务器一样连接到VTGate。在将查询路由到适当的VTablet服务器时，VTGate会考虑分片方案、所需的延迟以及表及其底层MySQL实例的可用性。
　　3。Vitess产品理念
　　人生基本上就是两件事，选题和解题。最好的人生是在每个关键点上，既选对题，又解好题。人生最大的痛苦在于解对了题，但选错了题，而且还不知道自己选错了题。正如人生最大的遗憾就是，不是你不行，而是你本可以。
　　1）。可扩展理念
　　Vitess的产品理念，是将数据库分片，将其分解成很小的部分，很容易将它们分解到足以容纳一台机器的程度。在行业中，每个主机只运行一个MySQL实例是很常见的。Vitess建议将实例分解成可管理的块（每个MySQL服务器250GB），并且不要回避每个主机运行多个实例。净资源使用量将大致相同。但是当MySQL实例很小时，可管理性会大大提高。跟踪端口和分离MySQL实例的路径会很复杂。然而，一旦越过这个障碍，其他一切都变得简单了。拆分为更小粒度后，需要担心的锁争用更少，复制更快，停机对生产的影响变得更小，备份和恢复运行更快，并改善资源使用。
　　2）。复制代替持久性
　　传统意义上，数据被刷新到磁盘时就将其视为持久的。Vitess更为推荐的耐久性方法是通过将数据复制到多台机器甚至多个地理位置来实现的。这种形式的耐久性解决了对设备故障和灾难的担忧。Vitess中的许多工作流都是根据这种方法构建的。例如，强烈建议打开半同步复制。这允许Vitess在主数据库崩溃时故障转移到新副本，而不会丢失数据。依赖复制还允许放松一些基于磁盘的耐久性设置。例如，可以关闭syncbinlog，这大大减少了磁盘的IOPS数量，从而提高了有效吞吐量。
　　3）。有取舍一致性
　　非一致性读
　　在Vitess中跨分片读取可能彼此不一致。在制定分片决策中，应该试图尽量减少这种情况，因为跨分片读取更昂贵。如果存在可以容忍稍显陈旧的数据，则可将查询发送到replica角色的Tablet处理；对于OLAP工作负载，则可发送到rdonly角色的Tablet处理。这一方式可提供更为灵活的缩放读取流量，并可按地理位置分布它们。这种权衡允许以陈旧或可能不一致的读取为代价获得更好的吞吐量，因为随着数据的变化（可能在不同的分片上有不同的滞后），读取可能会落后于主分片。为了缓解这种情况，VTGate服务器能够监控副本滞后，并且可以配置为避免来自滞后超过X秒的实例的数据。REPLICARDONLYread
　　服务器可以按地理位置缩放。本地读取速度很快，但可能会因副本延迟而失效。PRIMARYread
　　每个分片只有一个全局主要读取。来自远程位置的读取将受制于网络延迟和可靠性，但数据将是最新的（写入后读取一致性）。隔离级别READCOMMITTED。PRIMARYtransaction
　　它们显示与主读取相同的属性。但是，可以为单个分片获得REPEATABLEREAD一致性和ACID写入。跨分片原子事务的支持正在进行中。
　　快照级读
　　对于真正的快照，查询必须在事务中发送到主服务器。为了写入后读取的一致性，从主服务器读取而不使用事务就足够了。
　　分布式事务
　　在尽最大努力模式中，跨分片事务可能会在中间失败，并导致部分提交。可以改为使用2PC模式事务，为提供分布式原子保证。然而，选择此选项会增加大约50的写入成本。单个分片事务继续保持ACID，就像MySQL支持它一样。事务支持原子性，支持以下级别：
　　SINGLE：禁止多db事务。
　　MULTI：尽最大努力提交的多数据库事务。
　　TWOPC：具有2PC提交的多数据库事务
　　4）。高可用性
　　Vitess与Orchestrator集成，Orchestrator能够在故障检测后几秒钟内执行到新主服务器的故障转移。这对于大多数应用程序来说通常已经足够了。
　　韩锋频道：
　　关注技术、管理、随想。