图文精华

About云-梭伦科技»专题 › 技术学习(版主发帖区) › 大数据学习 › Solr|Nutch|Lucene|ES › 介绍解说› 关于Lucene 3.0升级到Lucene 4.x 记录
分享

关于Lucene 3.0升级到Lucene 4.x 记录

howtodown 2015-4-2 21:53:32 发表于 介绍解说 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 0 15973
About云VIP帮助找工作和提升

问题导读

1.如何实现构建RAMDirectory，将索引放入内存中?
2.自定义分词：3.0 ,4.x有什么不同？
3. 4.x 如何实现构建多索引目录？





　最近，需要对项目进行lucene版本升级。而原来项目时基于lucene 3.0的，很古老的一个版本的了。在老版本中中，我们主要用了几个lucene的东西：

　　1、查询lucene多目录索引。

　　2、构建RAMDirectory，把索引放到内存中，以提高检索效率。

　　3、构建Lucene自定义分词。

　　4、修改Lucene默认的打分算法。

　  下面，将代码改造前和改造后做一对比：

    1. 搜索多索引目录

　　 3.0 构建多索引目录：　


  1. // 初始化全国索引

  2.     private boolean InitGlobal(String strRootPath) {

  3.         try {

  4. 

  5.             IndexSearcher[] searchers = new IndexSearcher[2];

  6.             

  7.             MultiSearcher globalSearcher = null;

  8.             if (Configution.IsMMap.equalsIgnoreCase("true")) {

  9. 

  10.                 searchers[0] = new IndexSearcher(new RAMDirectory(FSDirectory

  11.                         .open(new File(strRootPath + "/" + GLABOL_INDEX))));

  12.                 searchers[1] = new IndexSearcher(new RAMDirectory(FSDirectory

  13.                         .open(new File(strRootPath + "/" + BUS_INDEX))));

  14. //                searchers[2] = new IndexSearcher(new RAMDirectory(FSDirectory

  15. //                        .open(new File(strRootPath + "/" + LU_INDEX))));

  16.                 globalSearcher =  new MultiSearcher(searchers);

  17.             } else {

  18.                 searchers[0] = new IndexSearcher(FSDirectory.open(new File(

  19.                         strRootPath + "/" + GLABOL_INDEX)));

  20.                 searchers[1] = new IndexSearcher(FSDirectory.open(new File(

  21.                         strRootPath + "/" + BUS_INDEX)));

  22. //                searchers[2] = new IndexSearcher(FSDirectory.open(new File(

  23. //                        strRootPath + "/" + LU_INDEX)));

  24.                 

  25.                 globalSearcher =  new MultiSearcher(searchers);

  26.             }

  27.             System.out.println("finish Global");

  28. 

  29.             m_mapIndexName2Searcher.put("0", globalSearcher);

  30.             m_mapAdmin2IndexName.put("0", "0");

  31. 

  32.             return true;

  33. 

  34.         } catch (Exception e) {

  35.             e.printStackTrace();

  36.             SearchLog.SearchLog.error("全国索引初始化异常");

  37.             return false;

  38.         }

  39.     }
复制代码


Ok，使用MultiSearcher，这是lucene低版本搜索多索引的解决方案。但是在高版本，MutiSearcher这个类本身都删除了，折腾我很长时间。可见以版本帝著称的Lucene代码设计不是太好。整个lucene代码，接口使用很少，大多是类和抽象类。

       4.x 构建多索引目录：　


  1. // 初始化全国索引

  2. private boolean InitGlobal(String strRootPath) {

  3.     try {

  4.          

  5.         IndexSearcher globalSearcher = null;

  6.         if (Configution.IsMMap.equalsIgnoreCase("true")) {

  7.              

  8.             IndexReader irGlobal = DirectoryReader.open(new RAMDirectory(FSDirectory

  9.                     .open(new File(strRootPath + "/" + GLABOL_INDEX)),new IOContext()));

  10.              

  11.             IndexReader irBus = DirectoryReader.open(new RAMDirectory(FSDirectory

  12.                     .open(new File(strRootPath + "/" + BUS_INDEX)),new IOContext()));

  13.              

  14.             MultiReader mr = new MultiReader(irGlobal,irBus);

  15.              

  16.  

  17.             globalSearcher =  new IndexSearcher(mr);//new MultiSearcher(searchers);

  18.         } else {

  19.  

  20.             IndexReader irGlobal = DirectoryReader.open(FSDirectory

  21.                     .open(new File(strRootPath + "/" + GLABOL_INDEX)));

  22.              

  23.             IndexReader irBus = DirectoryReader.open(FSDirectory

  24.                     .open(new File(strRootPath + "/" + BUS_INDEX)));

  25.              

  26.             MultiReader mr = new MultiReader(irGlobal,irBus);

  27.             globalSearcher =   new IndexSearcher(mr);//new MultiSearcher(searchers);

  28.         }

  29.         System.out.println("finish Global");

  30.  

  31.         m_mapIndexName2Searcher.put("0", globalSearcher);

  32.         m_mapAdmin2IndexName.put("0", "0");

  33.  

  34.         return true;

  35.  

  36.     } catch (Exception e) {

  37.         e.printStackTrace();

  38.         SearchLog.SearchLog.error("全国索引初始化异常");

  39.         return false;

  40.     }

  41. }
复制代码


　ok 改造后，直接用IndexSearcher替代MultiSearcher，通过传入MultiReader来检索多个索引目录。

　　2、构建RAMDirectory，将索引放入内存中。

　　　　3.0 构建内存索引目录：


  1.   searchers[0] = new IndexSearcher(new RAMDirectory(FSDirectory

  2.                         .open(new File(strRootPath + "/" + GLABOL_INDEX))));

  3.                 searchers[1] = new IndexSearcher(new RAMDirectory(FSDirectory

  4.                         .open(new File(strRootPath + "/" + BUS_INDEX))));
复制代码


　直接将Diretory作为RAMDirectory的构造函数，注意这个动作有坑，如果数据量大，你要等很久的！

　　　　4.x 构建内存索引目录：

  1. IndexReader irGlobal = DirectoryReader.open(new RAMDirectory(FSDirectory

  2.                         .open(new File(strRootPath + "/" + GLABOL_INDEX)),new IOContext()));

  3.                 

  4.                 IndexReader irBus = DirectoryReader.open(new RAMDirectory(FSDirectory

  5.                         .open(new File(strRootPath + "/" + BUS_INDEX)),new IOContext()));

  6.                 

  7.                 MultiReader mr = new MultiReader(irGlobal,irBus);
复制代码


在4.x中，安装3.0构造方法是不行的，还需要传入一个IOContext对象，汗~~~~~~~~~~~~~~~~

　3、自定义分词：

　　　　3.0 自定义分词：

  1. public class SingleAnalyzer extends Analyzer {

  2. 

  3.     /**

  4.      * @param args

  5.      */

  6.     

  7. 

  8.         public TokenStream tokenStream(String fieldName, Reader reader){

  9.             TokenStream result = null;

  10.             if(fieldName.equals("name"))

  11.             {

  12.                 result = new SingleTokenizer(reader);

  13.             }

  14.             if(fieldName.equals("totalcity"))

  15.             {

  16.                 result = new IKTokenizer(reader, false);

  17.             }

  18.         

  19. //        result = new StandardFilter(result);

  20. //        result = new LowerCaseFilter(result);

  21.     //    result = new StopFilter(result, stopSet);

  22.         return result;

  23.         }

  24. 

  25.     

  26.     public static void main(String[] args) {

  27.         // TODO Auto-generated method stub

  28. 

  29.     }

  30. 

  31. }
复制代码


　重写tokenStream方法即可，很简单。

　　　　4.x自定义分词：


  1. public class SingleAnalyzer extends Analyzer {

  2. 

  3.     /**

  4.      * @param args

  5.      */

  6.     

  7. 

  8. //        public TokenStream tokenStream(String fieldName, Reader reader){

  9. //            TokenStream result = null;

  10. //            if(fieldName.equals("name"))

  11. //            {

  12. //                result = new SingleTokenizer(reader);

  13. //            }

  14. //            if(fieldName.equals("totalcity"))

  15. //            {

  16. //                result = new IKTokenizer(reader, false);

  17. //            }

  18. //        

  19. ////        result = new StandardFilter(result);

  20. ////        result = new LowerCaseFilter(result);

  21. //    //    result = new StopFilter(result, stopSet);

  22. //        return result;

  23. //        }

  24. 

  25.     @Override

  26.     protected TokenStreamComponents createComponents(String fieldName,

  27.             Reader reader) {

  28.         // TODO Auto-generated method stub

  29. //         final Tokenizer source = new ChineseTokenizer(reader);

  30. //          return new TokenStreamComponents(source, new ChineseFilter(source));

  31.         Tokenizer source = null;

  32.         if(fieldName.equals("name")){

  33.             source = new SingleTokenizer(reader);

  34.         }else if(fieldName.equals("totalcity")){

  35.             source = new IKTokenizer(reader, false);

  36.         }

  37.         return new TokenStreamComponents(source, source);

  38.     }

  39. 

  40. }
复制代码


OK，在4.x中你需要重写createComponents方法。

　　4、打分算法：

　　　　3.x和4.x打分算法变化不大，但是命名空间发生了变化，汗~~~~~~~~~~~~

           3.x 命名空间：引入：import org.apache.lucene.search.DefaultSimilarity，命名空间在：org.apache.lucene.search

           4.x命名空间：引入：import org.apache.lucene.search.similarities.*，命名空间在：org.apache.lucene.search.similarities。

　　5、查询表达式：主要体现在TermRangeQuery上，3.x版本的一个参数是string类型，但是在4.x版本变成了包了string一层的BytesRef，还有其他很多细节变化

　　　　3.x TermRangerQuery：　


  1. String left = Long

  2.                     .toString((long) (rcBound.m_dLeft * COORDINATE_SCALE_FACTOR));

  3.             String right = Long

  4.                     .toString((long) (rcBound.m_dRight * COORDINATE_SCALE_FACTOR));

  5.             String top = Long

  6.                     .toString((long) (rcBound.m_dTop * COORDINATE_SCALE_FACTOR));

  7.             String bottom = Long

  8.                     .toString((long) (rcBound.m_dBottom * COORDINATE_SCALE_FACTOR));

  9.             

  10.             

  11. 

  12.             TermRangeQuery query1 = new TermRangeQuery("lon", left, right,

  13.                     true, true);

  14.             TermRangeQuery query2 = new TermRangeQuery("lat", bottom, top,

  15.                     true, true);

  16.             searchQuery.add(query1, BooleanClause.Occur.MUST);

  17.             searchQuery.add(query2, BooleanClause.Occur.MUST);
复制代码


　  4.x TermRangerQuery：　　

  1. String left = Long

  2.                     .toString((long) (rcBound.m_dLeft * COORDINATE_SCALE_FACTOR));

  3.             String right = Long

  4.                     .toString((long) (rcBound.m_dRight * COORDINATE_SCALE_FACTOR));

  5.             String top = Long

  6.                     .toString((long) (rcBound.m_dTop * COORDINATE_SCALE_FACTOR));

  7.             String bottom = Long

  8.                     .toString((long) (rcBound.m_dBottom * COORDINATE_SCALE_FACTOR));

  9.             

  10.             

  11.             BytesRef brLeft = new BytesRef(left);

  12.             BytesRef brRight = new BytesRef(right);

  13.             BytesRef brBottom = new BytesRef(bottom);

  14.             BytesRef brTop = new BytesRef(top);

  15. 

  16.             TermRangeQuery query1 = new TermRangeQuery("lon",

  17.                     brLeft, brRight, true, true);

  18.             TermRangeQuery query2 = new TermRangeQuery("lat",

  19.                     brBottom, brTop, true, true);

  20.             searchQuery.add(query1, BooleanClause.Occur.MUST);

  21.             searchQuery.add(query2, BooleanClause.Occur.MUST);
复制代码
　6、关闭IndexSearcher

　　　　3.x 关闭IndexSearcher直接调用close方法即可：

  1. public void UnInit() {

  2.         if (!m_bIsInit)

  3.             return;

  4. 

  5.         Iterator iter = m_mapIndexName2Searcher.keySet().iterator();

  6. 

  7.         while (iter.hasNext()) {

  8. 

  9.             String key = (String) iter.next();

  10. 

  11.             MultiSearcher val = (MultiSearcher) m_mapIndexName2Searcher

  12.                     .get(key);

  13. 

  14.             try {

  15.     

  16.                 val.close();//关闭IndexSearcher

  17.             } catch (IOException e) {

  18.                 e.printStackTrace();

  19.                 SearchLog.SearchLog.error("分级索引关闭异常");

  20.             }

  21.         }

  22. 

  23.         m_mapIndexName2Searcher.clear();

  24.         m_mapAdmin2IndexName.clear();

  25.         m_mapIndexName2Searcher = null;

  26.         m_mapAdmin2IndexName = null;

  27.         m_bIsInit = false;

  28.     }
复制代码
　4.x 关闭IndexSearcher 没有直接close的方法，需要getIndexReader 然后调用IndexReader的close方法：
  1. public void UnInit() {

  2.         if (!m_bIsInit)

  3.             return;

  4. 

  5.         Iterator iter = m_mapIndexName2Searcher.keySet().iterator();

  6. 

  7.         while (iter.hasNext()) {

  8. 

  9.             String key = (String) iter.next();

  10. 

  11.             IndexSearcher val = (IndexSearcher) m_mapIndexName2Searcher

  12.                     .get(key);

  13. 

  14.             try {

  15.                 val.getIndexReader().close();//关闭IndexSearcher

  16.             } catch (IOException e) {

  17.                 e.printStackTrace();

  18.                 SearchLog.SearchLog.error("分级索引关闭异常");

  19.             }

  20.         }

  21. 

  22.         m_mapIndexName2Searcher.clear();

  23.         m_mapAdmin2IndexName.clear();

  24.         m_mapIndexName2Searcher = null;

  25.         m_mapAdmin2IndexName = null;

  26.         m_bIsInit = false;

  27.     }
复制代码


　总之，lucene版本变化很大，如果升级很多方法发送变化，您需要细致观察，多试试，才能升级。升级完成后，最好进行一次功能测试，有些功能可能发生变化甚至错误。升级Lucene不是一件好差事~~~~~~~~~



文章转载请注明出处：http://www.cnblogs.com/likehua/p/4387700.html


关注公众号，获取大数据、人工智能20套、区块链资源5阶段等资源，随时更新，获取最新技术资源
回复

使用道具 举报

自定义广告语

没找到任何评论，期待你打破沉寂

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

发表新帖
howtodown

版主

关注

  • 666

    主题

  • 1249

    帖子

  • 321

    粉丝

TA的主题
关闭

推荐上一条 /2 下一条

关于我们· 联系我们· 加入我们· 小黑屋· 合作伙伴   

Copyright © 2001-2024 About云-梭伦科技 Powered by Discuz! X3.4 Licensed Discuz Team.

简书 / Smrz 京ICP备2020039040号 Wxb 简书网举报电话：021-34700000