[译]Elasticsearch自定义文档路由
原文发表于2013年。配置与搜索部分改写为较新的API;父/子/孙示例仍保留旧版的type和parent参数,用于说明路由关系。
原文地址:https://www.elastic.co/cn/blog/customizing-your-document-routing
本文将介绍 Elasticsearch 的 Routing(路由)特性:什么是路由,以及为什么你可能会考虑使用非默认的路由方案。
什么是路由
您的所有数据都存在于集群中某个位置的主分片中。您可能有五个分片或五百个,但任何特定的文档都只位于其中一个。路由是确定文档将保存到哪个分片中的过程。
Elasticsearch 努力让默认配置对 90% 的用户够用,因此路由是自动处理的。对于大多数用户来说,文档存储在哪里并不重要。
默认路由对文档ID进行hash,以此确定分片。这包括用户提供的ID和Elasticsearch生成的ID。它通常能让文档较均匀地分布,但不保证各分片的数据量和请求负载完全相同。
为什么需要自定义路由
随机路由在大多数情况下都运行良好,但在某些场景下,结合你对自身数据的领域知识,自定义路由能带来更好的性能。想象一个包含 20 个分片的索引(过度分配以支持未来的增长)。
当在集群上执行搜索请求时会发生什么?
- 搜索请求命中节点
- 节点将此请求广播到索引中的每个分片(主分片或副本分片)
- 每个分片执行搜索查询并返回结果
- 结果在网关节点上合并、排序并返回给用户
Elasticsearch 不知道在哪里查找您的文档。所有文档都随机分布在您的集群中……因此 Elasticsearch 别无选择,只能将请求广播到所有 20 个分片。这是不可忽略的开销,并且可能会影响性能。
如果我们能够告诉 Elasticsearch 该文档位于哪个分片中,岂不是很好? 然后您只需搜索一个分片即可找到您需要的文档。
这正是自定义路由的作用。
您不需要盲目地向所有分片广播,而是告诉 Elasticsearch“嘿! 搜索这个分片上的数据! 一切都在那里,我保证!” 例如,您可以根据文档的 user_id 路由文档。或者他们的邮政编码。或者您的应用程序中经常搜索/过滤的任何内容。
路由确保具有相同路由值的所有文档都将定位到同一个分片,从而无需广播搜索。
这一设计模式常被称为“用户数据流”(User Data Flow),由 Shay 在 Berlin Buzzwords 大会上的演讲推广开来。
自定义路由速度很快
在本文默认的路由模型下,指定一个路由值可把搜索限制到一个分片。
如果您的问题适合自定义路由,那么这有可能显着提高性能。
无论索引中有 20 个还是 100 个分片,自定义路由都可以确保只查询保存数据的分片。
配置自定义路由
使用自定义路由时,每当索引、获取、删除或更新文档时提供路由值非常重要。
忘记路由值可能让文档写入非预期的分片,后续获取、更新或删除也可能找不到它。作为保护措施,可将 _routing 字段设为 required,要求按ID操作文档时提供路由值:
1 | PUT my-index-000002 |
上面的写入没有携带routing,会报错。正确写法是在请求中提供路由值,例如PUT my-index-000002/_doc/1?routing=user1。
本节配置示例改写自官方文档:https://www.elastic.co/guide/en/elasticsearch/reference/current/mapping-routing-field.html
另外注意:从文档中提取路由值的功能已在 Elasticsearch v2.0 中移除;即使在旧版本中,它也比在 URI 中直接指定路由更慢——网关节点必须先加载文档、提取路由值,再序列化到目标分片。
自定义路由搜索
自定义路由可以减少搜索的影响。不必将搜索请求发送到索引中的所有分片,而是将请求仅发送到与特定路由值(或多个值)匹配的分片:
1 | GET my-index-000001/_search?routing=user1,user2 |
此例假定文档按user_id路由,且user_id映射为keyword。搜索只访问user1和user2对应的分片,再由filter限定用户范围。
注意:仅限定路由还不够,查询里也要加上限定用户范围的过滤条件,如上面的terms过滤。
如果我们只是使用 match_all:
1 | GET my-index-000001/_search?routing=user123 |
你实际上是在要求 Elasticsearch:”匹配路由到 user123 的那个分片上的所有文档”。该分片上几乎肯定还存有不属于 user123 的文档——路由只保证相同路由值的文档都去同一个分片,并不意味着没有其他文档也被路由到该分片。所以请务必在适当的地方加上过滤条件。:)
搜索多个路由值
索引文档时只能指定一个路由值,搜索时则可以指定多个。假设文档按UserGroup路由,而一个用户属于多个组,就可以搜索这些组对应的分片。不过不同组可能落到同一个分片,仍要通过过滤条件限定组别。下面假定user_group是keyword字段:
1 | GET forum/_search?routing=Admin,Moderator |
这样会搜索Admin和Moderator两个路由值对应的分片;它们也可能是同一个分片。原文用“沙盒”描述组隔离并不准确:routing只减少搜索范围,不能代替ACL。服务端还需要验证用户是否有权访问这些组,并施加相应的过滤条件。
注意事项
在使用自定义路由时,您应该注意以下几个问题。
父/子/孙 三层结构
出于性能原因,父/子映射可确保所有子文档都路由到与父文档相同的分片。在内部,Elasticsearch 将子级的路由值设置为等于父级的 ID,确保每个人都位于同一个分片。
但是,如果您添加第三层(孙子),父/子映射就会失败。查看这些示例文档:
1 | curl -XPUT localhost:9200/parentchild/product/Product001 -d '{...}' |
相当简单的嵌套关系。产品的子代被称为“供应商”,而这些供应商又有自己的子代,称为“VendorDetails”。那么,为什么这不起作用呢?让我们看看派生的路由值:
| Doc ID | Parent | Routing Value |
|---|---|---|
| Product001 | - | Product001 |
| VendorABC | Product001 | Product001 |
| LocationXYZ | VendorABC | VendorABC |
正如您所看到的,文档将自动使用其父级的ID进行路由。VendorABC使用Product001(到目前为止很好),但LocationXYZ使用VendorABC(坏)。这意味着数据没有被正确地并置。
解决方案很简单:告诉孙子(以及任何后续的曾孙)它的路由值应该是祖父母的ID。在内部,Elasticsearch将优先选择路由参数而不是父参数:
1 | curl -XPUT localhost:9200/parentchild/product/Product001 -d '{...}' |
| Doc ID | Parent | Routing Value |
|---|---|---|
| Product001 | - | Product001 |
| VendorABC | Product001 | Product001 |
| LocationXYZ | VendorABC | Product001 |
热点
当Elasticsearch管理路由时,它可以确保所有分片的分布相当均匀。然而,一旦您开始实现自己的自定义方案,就完全有可能失去这种一致性。假设您正在按userID进行路由。你的大多数用户都很小,只有少量的文档……但偶尔你会遇到一个拥有数百万的怪物用户。
自定义路由将确保MonsterUser的所有文档都指向同一个分片,而不是在集群中均匀分布。这对性能有好处——搜索会很快执行。
但是,如果MonsterUser2和MonsterUser3也被分配到同一个分片,会发生什么?现在,在一个分片上有三个大用户,而其余的分片只加载了少量。
情况不太好。这些类型的场景可以而且确实会发生。针对这些“数据热点”的最佳防御措施是手动识别大用户(或其他急需性能的用户),并将其拆分为自己的索引。然后,您可以设置一个别名,使分离对应用程序透明。
这样,大多数用户的数据仍集中在各自路由值对应的分片中,大用户则使用独立索引和一组分片。前者可能与其他用户共用分片,并不是安全隔离。
You can check-out any time you like, but you can never leave!
一旦在索引文档时指定了自定义路由,无论何时更新或删除文档,都必须继续指定。您已经从Elasticsearch获得了一些控制权,如果您决定在某个时候停止使用自定义路由,就没有简单办法把这部分控制权交还回去了。唯一的办法是重建索引(不指定自定义路由)。
结论
自定义路由是一个强大的功能,可以在特定情况下提高性能。虽然默认路由对大多数人来说已经足够了,但有时您只需要对文档的放置进行更多的控制。