搜索引擎solr系列---不同数据库下的定时增量索引的配置

淡淡的烟草味﹌ 2023-10-17 16:02 35阅读 0赞

####   **上一篇仅仅只是全量索引建立的配置，我们还有对数据库中新增数据的定时导入，以及定时导入索引的功能。** ####

##### 1.首先增量索引需要引入一个定时导入的jar包，该jar包网上说有很多bug，因此修改的版本也很多，这里我用的是[solr-dataimportscheduler-1.1.1.zip][]，大家可以下载这个。 #####

将里边的jar包下载后放入D:\\Tomcat9Solr\\webapps\\solr\\WEB-INF\\lib即可。  
  将里边的dataimport.properties文件放到solrHome文件夹下的conf文件夹中，如果没有conf文件夹，则新建一个，具体如下：  
![这里写图片描述][SouthEast]

##### 2.打开D:\\Tomcat9Solr\\webapps\\solr\\WEB-INF\\web.xml文件，在标签内，添加如下监听内容 #####

<listener>
         <listener-class>       org.apache.solr.handler.dataimport.scheduler.ApplicationListener
         </listener-class>
       </listener>

##### 3.打开solrHome/conf/dataimport.properties,指定配置增量导入的core。 #####

将下边的syncCores修改成要进行定时增量的core名字  
  webapp的值一定是你放在tomcat中webapp下的solr项目的名称。  
  除了这个配置还有定时导入的时间间隔等等都在这个文件里配置。  
![这里写图片描述][SouthEast 1]

##### 4.找到你的solrHome下的将要添加定时增量的core，比如我要给testSolr这个core加一个定时增量索引，首先修改上边文件中的syncCores=testSolr,然后在testSolr/conf文件夹下打开data-config.xml文件。然后修改下配置如下： #####

<dataConfig>  
      <dataSource type="JdbcDataSource"                driver="oracle.jdbc.driver.OracleDriver"                url="jdbc:oracle:thin:@//127.0.0.1:1021/fpzjdb"   
                  user="znxd_test"   
                  password="znxd_test@2017.com"/>  
      <document>  
        <entity name="testSolr"  PK="id"  
       query="select id,username,bz,createtime from test_solr"
       deltaImportQuery="SELECT id,username,bz,createtime  FROM test_solr where id = '${dih.delta.ID}'"   
       deltaQuery="SELECT ID FROM test_solr where createtime  > to_date('${dataimporter.last_index_time}','yyyy-mm-dd hh24:mi:ss')">  
                 
        <field column="ID"      name="id"  /> 
        <field column="username"   name="username" /> 
        <field column="bz"      name="bz" /> 
        <field column="createtime" name="createtime" />                 
        </entity>  
      </document>  
    </dataConfig>

**注意事项：**

（1）关于oracle数据库和mysql数据配置增量sql的写法有些不同，此处的坑，因为网上几乎都是mysql的配置，我们用的是oracle，坑的我怀疑人生。

**oracle中的写法如下**（数据库可为date类型，定义为timestamp类型会报错，solr的manage-schema定义为date类型即可）：

deltaImportQuery="SELECT *  FROM test_solr where id = '${dih.delta.ID}'" 
    
    deltaQuery="SELECT ID FROM test_solr where createtime  > to_date('${dataimporter.last_index_time}','yyyy-mm-dd hh24:mi:ss')">
               
        <field column="ID"      name="id"  />

**mysql中的写法如下**（我没测试过，看别人写的吧）：

deltaImportQuery="SELECT *  FROM test_solr where id = '${dih.delta.id}'" 
    
    deltaQuery="SELECT id FROM test_solr where createtime  > '${dataimporter.last_index_time}'>
    <field column="id"      name="id"  />

**sqlServer中的配置如下：**（数据库可为datetime2类型，solr的manage-schema定义为string类型即可）

deltaImportQuery="SELECT *  FROM test_solr where id = '${dih.delta.id}'"
    
    deltaQuery="SELECT id FROM test_solr where createtime  > '${dataimporter.last_index_time}'">
    <field column="id"      name="id"  />

也就是说oracle认为dataimporter.last\_index\_time值，是个字符串，而mysql可能是直接认为timestamp类型吧，这一个问题还是挺好找的，因为导入失败后，日志会有明显的提示sql错误。另外就是id的写法在oracle为大写，在mysql里可以写成小写，这个问题真是坑到家了，希望这里大家如果有用oracle的，千万注意oracle要将$\{dih.delta.ID\}写为大写才可以。

##### 5.不要忘了，配置完data-config.xml文件后，在同目录下，找到manage-schema文件里配置上边的要同步的字段： #####

##### 6.这里说明一下createtime字段的作用和对应数据库字段类型。 #####

**createtime字段的作用：**  
  solr实现增量导入的依据，就是需要一个时间字段，也就是你在数据库导入数据的时候有一个等于当前时间的字段.  
  solr每次导入数据后都会记录下最后的时间点，下次执行增量的时候，首先拿着这个时间点到数据库里匹配，如果发现有大于该时间点的，那就说明是新数据，则进行增量导入。  
  如果要实现增量导入，必须表中有这么一个字段，没有的只能是加上了。  
**对应数据库字段类型：**  
  oracle数据库可定义为date类型，定义为timestamp类型会报错，另外，oracle数据库的date类型会少8个小时，导入时可将时间加8小时再导入，就是定时导入时需要注意下这个时间差。  
  mysql我没有测试。不过我觉得它应该跟sqlserver是一致的，数据库定义为datetime2即可。solr的那边定义为string类型即可。  
  sqlServer数据库定义为datetime2类型，solr的那边定义为string类型即可。

##### 7.这样就完成了solr定时增量导入的配置。可以首先进行一遍全量导入，然后在数据库里新添一条数据，并在createtime字段上赋予当前时间，然后等待，看看solr里是否有新添的数据。 #####

**全量导入时，solr客户端的状态：**

![这里写图片描述][SouthEast 2]

**等待定时增量后，我设置的是1分钟，**（别忘了，是在solrHome/conf/dataimport.properties文件中配置的）**，1分钟后，变为如下图：**

![这里写图片描述][SouthEast 3]

[solr-dataimportscheduler-1.1.1.zip]: http://pan.baidu.com/s/1skCjyqx
[SouthEast]: https://img-blog.csdn.net/20170924205540239?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvd29oYXFpeWk=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast
[SouthEast 1]: https://img-blog.csdn.net/20171013151855768?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvd29oYXFpeWk=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast
[SouthEast 2]: https://img-blog.csdn.net/20171016093909494?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvd29oYXFpeWk=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast
[SouthEast 3]: https://img-blog.csdn.net/20171016094050887?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvd29oYXFpeWk=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast