SpringData ES中一些底层原理的分析

时间 2019-11-08

原文原文链接

以前写过一篇SpringData ES 关于字段名和索引中的列名字不一致致使的查询问题，顺便深刻学习下Spring Data Elasticsearch。

Spring Data Elasticsearch是Spring Data针对Elasticsearch的实现。

它跟Spring Data同样，提供了Repository接口，咱们只须要定义一个新的接口并继承这个Repository接口，而后就能够注入这个新的接口使用了。

定义接口：
javascript

@Repository public interface TaskRepository extends ElasticsearchRepository<Task, String> { }

注入接口进行使用：
php

@Autowired private TaskRepository taskRepository; .... taskRepository.save(task);

Repository接口的代理生成

上面的例子中TaskRepository是个接口，而咱们却直接注入了这个接口并调用方法；很明显，这是错误的。

其实SpringData ES内部基于这个TaskRepository接口构造一个SimpleElasticsearchRepository，真正被注入的是这个SimpleElasticsearchRepository。

这个过程是如何实现的呢？来分析一下。

ElasticsearchRepositoriesAutoConfiguration自动化配置类会导入ElasticsearchRepositoriesRegistrar这个ImportBeanDefinitionRegistrar。

ElasticsearchRepositoriesRegistrar继承自AbstractRepositoryConfigurationSourceSupport，是个ImportBeanDefinitionRegistrar接口的实现类，会被Spring容器调用registerBeanDefinitions进行自定义bean的注册。

ElasticsearchRepositoriesRegistrar委托给RepositoryConfigurationDelegate完成bean的解析。

整个解析过程能够分3个步骤：
css

找出模块中的org.springframework.data.repository.Repository接口的实现类或者org.springframework.data.repository.RepositoryDefinition注解的修饰类，并会过滤掉org.springframework.data.repository.NoRepositoryBean注解的修饰类。找出后封装到RepositoryConfiguration中
遍历这些RepositoryConfiguration，而后构形成BeanDefinition并注册到Spring容器中。须要注意的是这些RepositoryConfiguration会以beanClass为ElasticsearchRepositoryFactoryBean这个类的方式被注册，并把对应的Repository接口当作构造参数传递给ElasticsearchRepositoryFactoryBean，还会设置相应的属性好比elasticsearchOperations、evaluationContextProvider、namedQueries、repositoryBaseClass、lazyInitqueryLookupStrategyKey
ElasticsearchRepositoryFactoryBean被实例化的时候设置对应的构造参数和属性。设置完毕之后调用afterPropertiesSet方法(实现了InitializingBean接口)。在afterPropertiesSet方法内部会去建立RepositoryFactorySupport类，并进行一些初始化，好比namedQueries、repositoryBaseClass等。而后经过这个RepositoryFactorySupport的getRepository方法基于Repository接口建立出代理类，并使用AOP添加了几个MethodInterceptor

// 遍历基于第1步条件获得的RepositoryConfiguration集合 for (RepositoryConfiguration<? extends RepositoryConfigurationSource> configuration : extension .getRepositoryConfigurations(configurationSource, resourceLoader, inMultiStoreMode)) { // 构造出BeanDefinitionBuilder BeanDefinitionBuilder definitionBuilder = builder.build(configuration); extension.postProcess(definitionBuilder, configurationSource); if (isXml) { // 设置elasticsearchOperations属性 extension.postProcess(definitionBuilder, (XmlRepositoryConfigurationSource) configurationSource); } else { // 设置elasticsearchOperations属性 extension.postProcess(definitionBuilder, (AnnotationRepositoryConfigurationSource) configurationSource); } // 使用命名策略生成bean的名字 AbstractBeanDefinition beanDefinition = definitionBuilder.getBeanDefinition(); String beanName = beanNameGenerator.generateBeanName(beanDefinition, registry); if (LOGGER.isDebugEnabled()) { LOGGER.debug(REPOSITORY_REGISTRATION, extension.getModuleName(), beanName, configuration.getRepositoryInterface(), extension.getRepositoryFactoryClassName()); } beanDefinition.setAttribute(FACTORY_BEAN_OBJECT_TYPE, configuration.getRepositoryInterface()); // 注册到Spring容器中 registry.registerBeanDefinition(beanName, beanDefinition); definitions.add(new BeanComponentDefinition(beanDefinition, beanName)); } // build方法 public BeanDefinitionBuilder build(RepositoryConfiguration<?> configuration) { Assert.notNull(registry, "BeanDefinitionRegistry must not be null!"); Assert.notNull(resourceLoader, "ResourceLoader must not be null!"); // 获得factoryBeanName，这里会使用extension.getRepositoryFactoryClassName()去得到 // extension.getRepositoryFactoryClassName()返回的正是ElasticsearchRepositoryFactoryBean String factoryBeanName = configuration.getRepositoryFactoryBeanName(); factoryBeanName = StringUtils.hasText(factoryBeanName) ? factoryBeanName : extension.getRepositoryFactoryClassName(); // 基于factoryBeanName构造BeanDefinitionBuilder BeanDefinitionBuilder builder = BeanDefinitionBuilder.rootBeanDefinition(factoryBeanName); builder.getRawBeanDefinition().setSource(configuration.getSource()); // 设置ElasticsearchRepositoryFactoryBean的构造参数，这里是对应的Repository接口 // 设置一些的属性值 builder.addConstructorArgValue(configuration.getRepositoryInterface()); builder.addPropertyValue("queryLookupStrategyKey", configuration.getQueryLookupStrategyKey()); builder.addPropertyValue("lazyInit", configuration.isLazyInit()); builder.addPropertyValue("repositoryBaseClass", configuration.getRepositoryBaseClassName()); NamedQueriesBeanDefinitionBuilder definitionBuilder = new NamedQueriesBeanDefinitionBuilder( extension.getDefaultNamedQueryLocation()); if (StringUtils.hasText(configuration.getNamedQueriesLocation())) { definitionBuilder.setLocations(configuration.getNamedQueriesLocation()); } builder.addPropertyValue("namedQueries", definitionBuilder.build(configuration.getSource())); // 查找是否有对应Repository接口的自定义实现类 String customImplementationBeanName = registerCustomImplementation(configuration); // 存在自定义实现类的话，设置到属性中 if (customImplementationBeanName != null) { builder.addPropertyReference("customImplementation", customImplementationBeanName); builder.addDependsOn(customImplementationBeanName); } RootBeanDefinition evaluationContextProviderDefinition = new RootBeanDefinition( ExtensionAwareEvaluationContextProvider.class); evaluationContextProviderDefinition.setSource(configuration.getSource()); // 设置一些的属性值 builder.addPropertyValue("evaluationContextProvider", evaluationContextProviderDefinition); return builder; } // RepositoryFactorySupport的getRepository方法，得到Repository接口的代理类 public <T> T getRepository(Class<T> repositoryInterface, Object customImplementation) { // 获取Repository的元数据 RepositoryMetadata metadata = getRepositoryMetadata(repositoryInterface); // 获取Repository的自定义实现类 Class<?> customImplementationClass = null == customImplementation ? null : customImplementation.getClass(); // 根据元数据和自定义实现类获得Repository的RepositoryInformation信息类 // 获取信息类的时候若是发现repositoryBaseClass是空的话会根据meta中的信息去自动匹配 // 具体匹配过程在下面的getRepositoryBaseClass方法中说明 RepositoryInformation information = getRepositoryInformation(metadata, customImplementationClass); // 验证 validate(information, customImplementation); // 获得最终的目标类实例，会经过repositoryBaseClass去查找 Object target = getTargetRepository(information); // 建立代理工厂 ProxyFactory result = new ProxyFactory(); result.setTarget(target); result.setInterfaces(new Class[] { repositoryInterface, Repository.class }); // 进行aop相关的设置 result.addAdvice(SurroundingTransactionDetectorMethodInterceptor.INSTANCE); result.addAdvisor(ExposeInvocationInterceptor.ADVISOR); if (TRANSACTION_PROXY_TYPE != null) { result.addInterface(TRANSACTION_PROXY_TYPE); } // 使用RepositoryProxyPostProcessor处理 for (RepositoryProxyPostProcessor processor : postProcessors) { processor.postProcess(result, information); } if (IS_JAVA_8) { // 若是是JDK8的话，添加DefaultMethodInvokingMethodInterceptor result.addAdvice(new DefaultMethodInvokingMethodInterceptor()); } // 添加QueryExecutorMethodInterceptor result.addAdvice(new QueryExecutorMethodInterceptor(information, customImplementation, target)); // 使用代理工厂建立出代理类，这里是使用jdk内置的代理模式 return (T) result.getProxy(classLoader); } // 目标类的获取 protected Class<?> getRepositoryBaseClass(RepositoryMetadata metadata) { // 若是Repository接口属于QueryDsl，抛出异常。目前还不支持 if (isQueryDslRepository(metadata.getRepositoryInterface())) { throw new IllegalArgumentException("QueryDsl Support has not been implemented yet."); } // 若是主键是数值类型的话，repositoryBaseClass为NumberKeyedRepository if (Integer.class.isAssignableFrom(metadata.getIdType()) || Long.class.isAssignableFrom(metadata.getIdType()) || Double.class.isAssignableFrom(metadata.getIdType())) { return NumberKeyedRepository.class; } else if (metadata.getIdType() == String.class) { // 若是主键是String类型的话，repositoryBaseClass为SimpleElasticsearchRepository return SimpleElasticsearchRepository.class; } else if (metadata.getIdType() == UUID.class) { // 若是主键是UUID类型的话，repositoryBaseClass为UUIDElasticsearchRepository return UUIDElasticsearchRepository.class; } else { // 不然报错 throw new IllegalArgumentException("Unsupported ID type " + metadata.getIdType()); } }

ElasticsearchRepositoryFactoryBean是一个FactoryBean接口的实现类，getObject方法返回的上面提到的getRepository方法返回的代理对象；getObjectType方法返回的是对应Repository接口类型。

咱们文章一开始提到的注入TaskRepository的时候，实际上这个对象是ElasticsearchRepositoryFactoryBean类型的实例，只不过ElasticsearchRepositoryFactoryBean实现了FactoryBean接口，因此注入的时候会获得一个代理对象，这个代理对象是由jdk内置的代理生成的，而且它的target对象是SimpleElasticsearchRepository(主键是String类型)。

SpringData ES中ElasticsearchOperations的介绍

ElasticsearchTemplate实现了ElasticsearchOperations接口。

ElasticsearchOperations接口是SpringData对Elasticsearch操做的一层封装，好比有建立索引createIndex方法、获取索引的设置信息getSetting方法、查询对象queryForObject方法、分页查询方法queryForPage、删除文档delete方法、更新文档update方法等等。

ElasticsearchTemplate是具体的实现类，它有这些属性：
java

// elasticsearch提供的基于java的客户端链接接口。java对es集群的操做使用这个接口完成 private Client client; // 一个转换器接口，定义了2个方法，分别能够得到MappingContext和ConversionService // MappingContext接口用于获取全部的持久化实体和这些实体的属性 // ConversionService目前在SpringData ES中没有被使用 private ElasticsearchConverter elasticsearchConverter; // 内部使用EntityMapper完成对象到json字符串和json字符串到对象的映射。默认使用jackson完成映射，可自定义 private ResultsMapper resultsMapper; // 查询超时时间 private String searchTimeout;

Client接口在ElasticsearchAutoConfiguration自动化配置类里被构造：
git

@Bean @ConditionalOnMissingBean public Client elasticsearchClient() { try { return createClient(); } catch (Exception ex) { throw new IllegalStateException(ex); } }

ElasticsearchTemplate、ElasticsearchConverter以及SimpleElasticsearchMappingContext在ElasticsearchDataAutoConfiguration自动化配置类里被构造：
github

@Bean @ConditionalOnMissingBean public ElasticsearchTemplate elasticsearchTemplate(Client client, ElasticsearchConverter converter) { try { return new ElasticsearchTemplate(client, converter); } catch (Exception ex) { throw new IllegalStateException(ex); } } @Bean @ConditionalOnMissingBean public ElasticsearchConverter elasticsearchConverter( SimpleElasticsearchMappingContext mappingContext) { return new MappingElasticsearchConverter(mappingContext); } @Bean @ConditionalOnMissingBean public SimpleElasticsearchMappingContext mappingContext() { return new SimpleElasticsearchMappingContext(); }

须要注意的是这个bean被自动化配置类构造的前提是它们在Spring容器中并不存在。

Repository的调用过程

以自定义的TaskRepository的save方法为例，大体的执行流程以下所示：

SimpleElasticsearchRepository的save方法具体的分析在SpringData ES 关于字段名和索引中的列名字不一致致使的查询问题中分析过。

像自定义的Repository查询方法，或者Repository接口的自定义实现类的操做这些底层，能够去QueryExecutorMethodInterceptor中查看，你们有兴趣的能够自行查看源码。spring

http://spring4all.com/article/17json

最近工做中使用了Spring Data Elasticsearch。发生它存在一个问题：app

Document对应的POJO的属性跟es里面文档的字段名字不同，这样Repository里面编写自定义的查询方法就会查询不出结果。elasticsearch

好比有个Person类，它有2个属性goodFace和goodAt。这2个属性在es的索引里对应的字段表为good_face和good_at：

11

 
     @Document(replicas = 1, shards = 1, type = "person", indexName = "person") 
    
     @Getter 
    
     @Setter 
    
     @JsonNaming(PropertyNamingStrategy.SnakeCaseStrategy.class) 
    
     public class Person { 
    
     @Id 
    
     private String id; 
    
     private String name; 
    
     private boolean goodFace; 
    
     private String goodAt; 
    
      }

Repository中的自定义查询：

5

 
     @Repository 
    
     public interface PersonRepository extends ElasticsearchRepository<Person, String> { 
    
     List<Person> findByGoodFace(boolean isGoodFace); 
    
     List<Person> findByName(String name); 
    
      }

方法findByGoodFace是查询不出结果的，而findByName是ok的。

为何findByGoodFace不行而findByName能够呢，来探究一下。

Person类的name属性跟ES中的字段名是如出一辙的，而goodFace字段在ES中的字段是good_face(由于咱们使用了SnakeCaseStrategy策略)。

因此产生这个问题的缘由在于ES中文档的字段名跟POJO中的字段名不统一形成的。

可是咱们使用PersonRepository的save方法保存文档的时候属性和字段是能够对上的。

那为何使用repository的save方法能对应上文档和字段，而自定义的find方法却不行呢？

ES是使用jackson来完成POJO到json的映射关系的。

在Person类上使用@JsonNaming注解完成POJO和json的映射，咱们使用了SnakeCaseStrategy策略，这个策略会把属性从驼峰方式改为小写带下划线的方式。

好比goodAt属性映射的时候就会变成good_at，good_face变成good_face，name变成name。

Spring Data Elasticsearch把对ES的操做封装成了一个ElasticsearchOperations接口。好比queryForObject、queryForPage、count、queryForList方法。

ElasticsearchOperations接口目前有一个实现类ElasticsearchTemplate。

ElasticsearchTemplate内部有个ResultsMapper属性，这个ResultsMapper目前只有一个实现类DefaultResultMapper，DefaultResultMapper内部使用DefaultEntityMapper完成映射。DefaultEntityMapper是个EntityMapper接口的实现类，它的定义以下：

4

 
     public interface EntityMapper { 
    
     public String mapToString(Object object) throws IOException; 
    
     public <T> T mapToObject(String source, Class<T> clazz) throws IOException; 
    
      }

方法很明白：对象到json字符串的转换和json字符串倒对象的转换。

DefaultEntityMapper内部使用jackson的ObjectMapper完成。

自定义的Repository继承自ElasticsearchRepository，最后会使用代理映射成SimpleElasticsearchRepository。

SimpleElasticsearchRepository内部有个属性ElasticsearchOperations用于完成与ES的交互。

咱们看下SimpleElasticsearchRepository的save方法：

61

 
     @Override 
    
     public <S extends T> S save(S entity) { 
    
      Assert.notNull(entity, 
     "Cannot save 'null' entity."); 
    
     // createIndexQuery方法会构造一个IndexQuery，而后调用ElasticsearchOperations的index方法 
    
      elasticsearchOperations.index(createIndexQuery(entity)); 
    
      elasticsearchOperations.refresh(entityInformation.getIndexName()); 
    
     return entity; 
    
      } 
    
     // ElasticsearchTemplate的index方法 
    
     @Override 
    
     public String index(IndexQuery query) { 
    
     // 调用prepareIndex方法构造一个IndexRequestBuilder 
    
      String documentId = prepareIndex(query).execute().actionGet().getId(); 
    
     // 设置保存文档的id 
    
     if (query.getObject() != null) { 
    
      setPersistentEntityId(query.getObject(), documentId); 
    
      } 
    
     return documentId; 
    
      } 
    
     private IndexRequestBuilder prepareIndex(IndexQuery query) { 
    
     try { 
    
     // 从@Document注解中获得索引的名字 
    
      String indexName = isBlank(query.getIndexName()) ? retrieveIndexNameFromPersistentEntity(query.getObject() 
    
      .getClass())[ 
     0] : query.getIndexName(); 
    
     // 从@Document注解中获得索引的类型 
    
      String type = isBlank(query.getType()) ? retrieveTypeFromPersistentEntity(query.getObject().getClass())[ 
     0] 
    
      : query.getType(); 
    
      IndexRequestBuilder indexRequestBuilder = 
     null; 
    
     if (query.getObject() != null) { // save方法这里保存的object就是POJO 
    
     // 获得id字段 
    
      String id = isBlank(query.getId()) ? getPersistentEntityId(query.getObject()) : query.getId(); 
    
     if (id != null) { // 若是设置了id字段 
    
      indexRequestBuilder = client.prepareIndex(indexName, type, id); 
    
      } 
     else { // 若是没有设置id字段 
    
      indexRequestBuilder = client.prepareIndex(indexName, type); 
    
      } 
    
     // 使用ResultsMapper映射POJO到json字符串 
    
      indexRequestBuilder.setSource(resultsMapper.getEntityMapper().mapToString(query.getObject())); 
    
      } 
     else if (query.getSource() != null) { // 若是自定义了source属性，直接赋值 
    
      indexRequestBuilder = client.prepareIndex(indexName, type, query.getId()).setSource(query.getSource()); 
    
      } 
     else { // 没有设置object属性或者source属性，抛出ElasticsearchException异常 
    
     throw new ElasticsearchException("object or source is null, failed to index the document [id: " + query.getId() + "]"); 
    
      } 
    
     if (query.getVersion() != null) { // 设置版本 
    
      indexRequestBuilder.setVersion(query.getVersion()); 
    
      indexRequestBuilder.setVersionType(EXTERNAL); 
    
      } 
    
     if (query.getParentId() != null) { // 设置parentId 
    
      indexRequestBuilder.setParent(query.getParentId()); 
    
      } 
    
     return indexRequestBuilder; 
    
      } 
     catch (IOException e) { 
    
     throw new ElasticsearchException("failed to index the document [id: " + query.getId() + "]", e); 
    
      } 
    
      }

save方法使用ResultsMapper完成了POJO到json的转换，因此save方法保存成功对应的文档数据：

1	indexRequestBuilder.setSource(resultsMapper.getEntityMapper().mapToString(query.getObject()));

自定义的findByGoodFace方法：

因为是Repository中的自定义方法，会被Spring Data经过代理进行构造，内部仍是用了AOP，最终在QueryExecutorMethodInterceptor中并解析成ElasticsearchPartQuery这个RepositoryQuery接口的实现类，而后调用execute方法：

33

 
     @Override 
    
     public Object execute(Object[] parameters) { 
    
      ParametersParameterAccessor accessor = 
     new ParametersParameterAccessor(queryMethod.getParameters(), parameters); 
    
      CriteriaQuery query = createQuery(accessor); 
    
     if(tree.isDelete()) { // 若是是删除方法 
    
      Object result = countOrGetDocumentsForDelete(query, accessor); 
    
      elasticsearchOperations.delete(query, queryMethod.getEntityInformation().getJavaType()); 
    
     return result; 
    
      } 
     else if (queryMethod.isPageQuery()) { // 若是是分页查询 
    
      query.setPageable(accessor.getPageable()); 
    
     return elasticsearchOperations.queryForPage(query, queryMethod.getEntityInformation().getJavaType()); 
    
      } 
     else if (queryMethod.isStreamQuery()) { // 若是是流式查询 
    
      Class<?> entityType = queryMethod.getEntityInformation().getJavaType(); 
    
     if (query.getPageable() == null) { 
    
      query.setPageable( 
     new PageRequest(0, 20)); 
    
      } 
    
     return StreamUtils.createStreamFromIterator((CloseableIterator<Object>) elasticsearchOperations.stream(query, entityType)); 
    
      } 
     else if (queryMethod.isCollectionQuery()) { // 若是是集合查询 
    
     if (accessor.getPageable() == null) { 
    
     int itemCount = (int) elasticsearchOperations.count(query, queryMethod.getEntityInformation().getJavaType()); 
    
      query.setPageable( 
     new PageRequest(0, Math.max(1, itemCount))); 
    
      } 
     else { 
    
      query.setPageable(accessor.getPageable()); 
    
      } 
    
     return elasticsearchOperations.queryForList(query, queryMethod.getEntityInformation().getJavaType()); 
    
      } 
     else if (tree.isCountProjection()) { // 若是是count查询 
    
     return elasticsearchOperations.count(query, queryMethod.getEntityInformation().getJavaType()); 
    
      } 
    
     // 单个查询 
    
     return elasticsearchOperations.queryForObject(query, queryMethod.getEntityInformation().getJavaType()); 
    
      }

findByGoodFace方法是个集合查询，最终会调用ElasticsearchOperations的queryForList方法：

34

 
     @Override 
    
     public <T> List<T> queryForList(CriteriaQuery query, Class<T> clazz) { 
    
     // 调用queryForPage方法 
    
     return queryForPage(query, clazz).getContent(); 
    
      } 
    
     @Override 
    
     public <T> Page<T> queryForPage(CriteriaQuery criteriaQuery, Class<T> clazz) { 
    
     // 查询解析器进行语法的解析 
    
      QueryBuilder elasticsearchQuery = 
     new CriteriaQueryProcessor().createQueryFromCriteria(criteriaQuery.getCriteria()); 
    
      QueryBuilder elasticsearchFilter = 
     new CriteriaFilterProcessor().createFilterFromCriteria(criteriaQuery.getCriteria()); 
    
      SearchRequestBuilder searchRequestBuilder = prepareSearch(criteriaQuery, clazz); 
    
     if (elasticsearchQuery != null) { 
    
      searchRequestBuilder.setQuery(elasticsearchQuery); 
    
      } 
     else { 
    
      searchRequestBuilder.setQuery(QueryBuilders.matchAllQuery()); 
    
      } 
    
     if (criteriaQuery.getMinScore() > 0) { 
    
      searchRequestBuilder.setMinScore(criteriaQuery.getMinScore()); 
    
      } 
    
     if (elasticsearchFilter != null) 
    
      searchRequestBuilder.setPostFilter(elasticsearchFilter); 
    
     if (logger.isDebugEnabled()) { 
    
      logger.debug( 
     "doSearch query:\n" + searchRequestBuilder.toString()); 
    
      } 
    
      SearchResponse response = getSearchResponse(searchRequestBuilder 
    
      .execute()); 
    
     // 最终的结果是用ResultsMapper进行映射 
    
     return resultsMapper.mapResults(response, clazz, criteriaQuery.getPageable()); 
    
      }

自定义的方法使用ElasticsearchQueryCreator去建立CriteriaQuery，内部作一些词法的分析，有了CriteriaQuery以后，使用CriteriaQueryProcessor基于Criteria构造了QueryBuilder，最后使用QueryBuilder去作rest请求获得es的查询结果。这些过程当中是没有用到ResultsMapper，而只是用反射获得POJO的属性，只有在获得查询结果后才会用ResultsMapper去作映射。

若是出现了这种状况，解决方案目前有两种：

1.使用repository的search方法，参数能够是QueryBuilder或者SearchQuery

4

      personRepository.search( 
    
      QueryBuilders.boolQuery() 
    
      .must(QueryBuilders.termQuery( 
     "good_face", true)) 
    
      )

2.使用@Query注解

1 2	@Query("{\"bool\" : {\"must\" : {\"term\" : {\"good_face\" : \"?0\"}}}}") List<Person> findByGoodFace(boolean isGoodFace);

暂时发现这两种解决方法，不知还有否更好的解决方案。http://fangjian0423.github.io/2017/05/24/spring-data-es-query-problem/