elasticsearch - 返回字段的标记

java search token elasticsearch lucene

2022-09-02 01:11:11

如何在结果中返回特定字段的令牌

例如，GET 请求

curl -XGET 'http://localhost:9200/twitter/tweet/1'

返回

{
    "_index" : "twitter",
    "_type" : "tweet",
    "_id" : "1", 
    "_source" : {
        "user" : "kimchy",
        "postDate" : "2009-11-15T14:12:12",
        "message" : "trying out Elastic Search"
    } 
}

我希望在结果中包含“_source.message”字段的标记

答案 1

还有另一种方法可以使用以下script_fields脚本执行此操作：

curl -H 'Content-Type: application/json' -XPOST 'http://localhost:9200/test-idx/_search?pretty=true' -d '{
    "query" : {
        "match_all" : { }
    },
    "script_fields": {
        "terms" : {
            "script": "doc[field].values",
            "params": {
                "field": "message"
            }
        }

    }
}'

请务必注意，虽然此脚本返回已编制索引的实际术语，但它也会缓存所有字段值，并且在大型索引上可能会占用大量内存。因此，在大型索引上，从存储的字段或源中检索字段值并使用以下 MVEL 脚本动态重新分析它们可能更有用：

import org.apache.lucene.analysis.tokenattributes.CharTermAttribute;
import java.io.StringReader;

// Cache analyzer for further use
cachedAnalyzer=(isdef cachedAnalyzer)?cachedAnalyzer:doc.mapperService().documentMapper(doc._type.value).mappers().indexAnalyzer();

terms=[];
// Get value from Fields Lookup
//val=_fields[field].values;

// Get value from Source Lookup
val=_source[field];

if(val != null) {
  tokenStream=cachedAnalyzer.tokenStream(field, new StringReader(val)); 
  CharTermAttribute termAttribute = tokenStream.addAttribute(CharTermAttribute); 
  while(tokenStream.incrementToken()) { 
    terms.add(termAttribute.toString())
  }; 
  tokenStream.close(); 
} 
terms

此 MVEL 脚本可以存储为以下查询并与之一起使用：config/scripts/analyze.mvel

curl 'http://localhost:9200/test-idx/_search?pretty=true' -d '{
    "query" : {
        "match_all" : { }
    },
    "script_fields": {
        "terms" : {
            "script": "analyze",
            "params": {
                "field": "message"
            }
        }
    
    }
}'

答案 2

如果您指的是已编制索引的令牌，则可以在消息字段上创建一个术语分面。增加该值以取回更多条目，或设置为获取所有术语。size0

Lucene提供了存储术语向量的能力，但是现在没有办法通过elasticsearch访问它（据我所知）。

你为什么需要它？如果您只想检查正在编制索引的内容，可以查看分析 API。