[译]Elasticsearch自定义文档路由

原文发表于2013年。配置与搜索部分改写为较新的API;父/子/孙示例仍保留旧版的type和parent参数,用于说明路由关系。
原文地址:https://www.elastic.co/cn/blog/customizing-your-document-routing

本文将介绍 Elasticsearch 的 Routing(路由)特性:什么是路由,以及为什么你可能会考虑使用非默认的路由方案。

什么是路由

您的所有数据都存在于集群中某个位置的主分片中。您可能有五个分片或五百个,但任何特定的文档都只位于其中一个。路由是确定文档将保存到哪个分片中的过程。

Elasticsearch 努力让默认配置对 90% 的用户够用,因此路由是自动处理的。对于大多数用户来说,文档存储在哪里并不重要。

默认路由对文档ID进行hash,以此确定分片。这包括用户提供的ID和Elasticsearch生成的ID。它通常能让文档较均匀地分布,但不保证各分片的数据量和请求负载完全相同。

为什么需要自定义路由

随机路由在大多数情况下都运行良好,但在某些场景下,结合你对自身数据的领域知识,自定义路由能带来更好的性能。想象一个包含 20 个分片的索引(过度分配以支持未来的增长)。

当在集群上执行搜索请求时会发生什么?

  • 搜索请求命中节点
  • 节点将此请求广播到索引中的每个分片(主分片或副本分片)
  • 每个分片执行搜索查询并返回结果
  • 结果在网关节点上合并、排序并返回给用户

Elasticsearch 不知道在哪里查找您的文档。所有文档都随机分布在您的集群中……因此 Elasticsearch 别无选择,只能将请求广播到所有 20 个分片。这是不可忽略的开销,并且可能会影响性能。

如果我们能够告诉 Elasticsearch 该文档位于哪个分片中,岂不是很好? 然后您只需搜索一个分片即可找到您需要的文档。

这正是自定义路由的作用。

您不需要盲目地向所有分片广播,而是告诉 Elasticsearch“嘿! 搜索这个分片上的数据! 一切都在那里,我保证!” 例如,您可以根据文档的 user_id 路由文档。或者他们的邮政编码。或者您的应用程序中经常搜索/过滤的任何内容。

路由确保具有相同路由值的所有文档都将定位到同一个分片,从而无需广播搜索。

这一设计模式常被称为“用户数据流”(User Data Flow),由 Shay 在 Berlin Buzzwords 大会上的演讲推广开来。

自定义路由速度很快

在本文默认的路由模型下,指定一个路由值可把搜索限制到一个分片。

如果您的问题适合自定义路由,那么这有可能显着提高性能。

无论索引中有 20 个还是 100 个分片,自定义路由都可以确保只查询保存数据的分片。

配置自定义路由

使用自定义路由时,每当索引、获取、删除或更新文档时提供路由值非常重要。

忘记路由值可能让文档写入非预期的分片,后续获取、更新或删除也可能找不到它。作为保护措施,可将 _routing 字段设为 required,要求按ID操作文档时提供路由值:

1
2
3
4
5
6
7
8
9
10
11
12
13
PUT my-index-000002
{
"mappings": {
"_routing": {
"required": true
}
}
}

PUT my-index-000002/_doc/1
{
"text": "No routing value provided"
}

上面的写入没有携带routing,会报错。正确写法是在请求中提供路由值,例如PUT my-index-000002/_doc/1?routing=user1。

本节配置示例改写自官方文档:https://www.elastic.co/guide/en/elasticsearch/reference/current/mapping-routing-field.html
另外注意:从文档中提取路由值的功能已在 Elasticsearch v2.0 中移除;即使在旧版本中,它也比在 URI 中直接指定路由更慢——网关节点必须先加载文档、提取路由值,再序列化到目标分片。

自定义路由搜索

自定义路由可以减少搜索的影响。不必将搜索请求发送到索引中的所有分片,而是将请求仅发送到与特定路由值(或多个值)匹配的分片:

1
2
3
4
5
6
7
8
9
10
11
12
13
GET my-index-000001/_search?routing=user1,user2
{
"query": {
"bool": {
"must": {
"match": { "title": "document" }
},
"filter": {
"terms": { "user_id": ["user1", "user2"] }
}
}
}
}

此例假定文档按user_id路由,且user_id映射为keyword。搜索只访问user1和user2对应的分片,再由filter限定用户范围。

注意:仅限定路由还不够,查询里也要加上限定用户范围的过滤条件,如上面的terms过滤。

如果我们只是使用 match_all:

1
2
3
4
5
6
GET my-index-000001/_search?routing=user123
{
"query": {
"match_all": {}
}
}

你实际上是在要求 Elasticsearch:”匹配路由到 user123 的那个分片上的所有文档”。该分片上几乎肯定还存有不属于 user123 的文档——路由只保证相同路由值的文档都去同一个分片,并不意味着没有其他文档也被路由到该分片。所以请务必在适当的地方加上过滤条件。:)

搜索多个路由值

索引文档时只能指定一个路由值,搜索时则可以指定多个。假设文档按UserGroup路由,而一个用户属于多个组,就可以搜索这些组对应的分片。不过不同组可能落到同一个分片,仍要通过过滤条件限定组别。下面假定user_group是keyword字段:

1
2
3
4
5
6
7
8
9
10
GET forum/_search?routing=Admin,Moderator
{
"query": {
"bool": {
"filter": {
"terms": { "user_group": ["Admin", "Moderator"] }
}
}
}
}

这样会搜索Admin和Moderator两个路由值对应的分片;它们也可能是同一个分片。原文用“沙盒”描述组隔离并不准确:routing只减少搜索范围,不能代替ACL。服务端还需要验证用户是否有权访问这些组,并施加相应的过滤条件。

注意事项

在使用自定义路由时,您应该注意以下几个问题。

父/子/孙 三层结构

出于性能原因,父/子映射可确保所有子文档都路由到与父文档相同的分片。在内部,Elasticsearch 将子级的路由值设置为等于父级的 ID,确保每个人都位于同一个分片。

但是,如果您添加第三层(孙子),父/子映射就会失败。查看这些示例文档:

1
2
3
curl -XPUT localhost:9200/parentchild/product/Product001 -d '{...}'
curl -XPUT localhost:9200/parentchild/vendors/VendorABC?parent=Product001 -d '{...}'
curl -XPUT localhost:9200/parentchild/vendordetails/LocationXYZ?parent=VendorABC -d '{...}'

相当简单的嵌套关系。产品的子代被称为“供应商”,而这些供应商又有自己的子代,称为“VendorDetails”。那么,为什么这不起作用呢?让我们看看派生的路由值:

Doc ID Parent Routing Value
Product001 - Product001
VendorABC Product001 Product001
LocationXYZ VendorABC VendorABC

正如您所看到的,文档将自动使用其父级的ID进行路由。VendorABC使用Product001(到目前为止很好),但LocationXYZ使用VendorABC(坏)。这意味着数据没有被正确地并置。

解决方案很简单:告诉孙子(以及任何后续的曾孙)它的路由值应该是祖父母的ID。在内部,Elasticsearch将优先选择路由参数而不是父参数:

1
2
3
curl -XPUT localhost:9200/parentchild/product/Product001 -d '{...}'
curl -XPUT localhost:9200/parentchild/vendors/VendorABC?parent=Product001 -d '{...}'
curl -XPUT localhost:9200/parentchild/vendordetails/LocationXYZ?parent=VendorABC&routing=Product001 -d '{...}'
Doc ID Parent Routing Value
Product001 - Product001
VendorABC Product001 Product001
LocationXYZ VendorABC Product001

热点

当Elasticsearch管理路由时,它可以确保所有分片的分布相当均匀。然而,一旦您开始实现自己的自定义方案,就完全有可能失去这种一致性。假设您正在按userID进行路由。你的大多数用户都很小,只有少量的文档……但偶尔你会遇到一个拥有数百万的怪物用户。

自定义路由将确保MonsterUser的所有文档都指向同一个分片,而不是在集群中均匀分布。这对性能有好处——搜索会很快执行。

但是,如果MonsterUser2和MonsterUser3也被分配到同一个分片,会发生什么?现在,在一个分片上有三个大用户,而其余的分片只加载了少量。

情况不太好。这些类型的场景可以而且确实会发生。针对这些“数据热点”的最佳防御措施是手动识别大用户(或其他急需性能的用户),并将其拆分为自己的索引。然后,您可以设置一个别名,使分离对应用程序透明。

这样,大多数用户的数据仍集中在各自路由值对应的分片中,大用户则使用独立索引和一组分片。前者可能与其他用户共用分片,并不是安全隔离。

You can check-out any time you like, but you can never leave!

一旦在索引文档时指定了自定义路由,无论何时更新或删除文档,都必须继续指定。您已经从Elasticsearch获得了一些控制权,如果您决定在某个时候停止使用自定义路由,就没有简单办法把这部分控制权交还回去了。唯一的办法是重建索引(不指定自定义路由)。

结论

自定义路由是一个强大的功能,可以在特定情况下提高性能。虽然默认路由对大多数人来说已经足够了,但有时您只需要对文档的放置进行更多的控制。