當前位置:成語大全網 - 新華字典 - lily+Solr 原理與配置

lily+Solr 原理與配置

概述

在Hbase中,表的RowKey 按照字典排序, 單壹的通過RowKey檢索數據的方式,不再滿足更多的需求,查詢成為Hbase的瓶頸,希望像Sql壹樣快速檢索數據,Hbase之前定位的是大表的存儲,要進行這樣的查詢,往往是要通過類似Hive、Pig等系統進行全表的MapReduce計算,這種方式既浪費了機器的計算資源,又因高延遲使得應用黯然失色,於是HBase Secondary Indexing的方案出現了。

這個組件非常關鍵,是Hbase到Solr生成索引的中間工具,在CDH5.3.2中的Key-Value Indexer使用的是Lily HBase Indexer 服務,Lily HBase Indexer是壹款靈活的、可擴展的、高容錯的、事務性的,並且近實時的處理HBase列索引數據的分布式服務軟件。它是NGDATA公司開發的Lily系統的壹部分,已開放源代碼,Lily HBase Indexer使用SolrCloud來存儲HBase的索引數據,當HBase執行寫入、更新或刪除操作時,Indexer通過HBase的replication功能來把這些操作抽象成壹系列的Event事件,並用來保證寫入Solr中的HBase索引數據的壹致性,並且Indexer支持用戶自定義的抽取,轉換規則來索引HBase列數據。Solr搜索結果會包含用戶自定義的columnfamily:qualifier字段結果,這樣應用程序就可以直接訪問HBase的列數據。

服務配置

hbase配置文件搜索index,啟用編制索引。

啟用復制

solr

使用postman或者curl命令操作solr api創建字段

方式壹postman:

方式二curl:

lily hbase indexer

正式配置文件

創建jaas.conf文件,填寫如下內容