Solr 学习笔记（五）-Solr扩展之分布式索引实例

准备：

      当你的所有数据非常多，一台服务器无法承担，这时Sharding是一种常见的扩展解决策略，即将这些索引数据分散到不同的服务器上，而查询时Solr具备将单一的查询请求分发到多个Solr shards上，并聚集结果到一个单一的result里返回调用者。

建立分布式索引需遵循以下条件：

       索引的文档必须有一个唯一键； 当拥有相同的id的文档被查询到时，solr将选择第一个文档。其他的结果将被丢弃；在处理的过程中，也即是 stage过程中，索引是有可能发生变化的。这样在索引更新的时刻，可能会发现搜索的结果跟索引不匹配的现象。

实例描述：

操作系统：WindowsXP

Web容器：Tomcat

同时启动三个Tomcat模拟三台服务器，分配端口号分别为：8080，8888，8983

Solr配置：

注意：分布式索引不需要额外配置，已经被绑定在原有的Request Handlers上，

开始：

Step one： 向8888端口号服务器添加索引数据，原始数据见附件索引中kobe.xml

kobe.xml明细：

<add>
 <doc>
   <field name="id">107</field>
   <field name="name">LBJ is a basketball player</field>
 </doc> 
 <doc>
   <field name="id">108</field>
   <field name="name">taylor is a singer</field>
 </doc>  
 <doc>
   <field name="id">109</field>
   <field name="name">kaku is a actor</field>
 </doc> 
 <doc>
   <field name="id">110</field>
   <field name="name">tracy is a basketball player</field>
 </doc>
 <doc>
   <field name="id">111</field>
   <field name="name">Yao is a basketball player</field>
 </doc>
 <doc>
   <field name="id">112</field>
   <field name="name">me is a actor</field>
 </doc>
</add>

  

Step two： 向8983端口号服务器添加索引数据，原始数据见附件索引中jane.xml

jane.xml代码明细：

<add>
	<doc>
	  <field name="id">107</field>
	  <field name="name">LBJ is a basketball player</field>
	</doc>	
	<doc>
	  <field name="id">108</field>
	  <field name="name">taylor is a singer</field>
	</doc>		
	<doc>
	  <field name="id">109</field>
	  <field name="name">kaku is a actor</field>
	</doc>	
	<doc>
	  <field name="id">110</field>
	  <field name="name">tracy is a basketball player</field>
	</doc>
	<doc>
	  <field name="id">111</field>
	  <field name="name">Yao is a basketball player</field>
	</doc>
	<doc>
	  <field name="id">112</field>
	  <field name="name">me is a actor</field>
	</doc>
</add>

 

 

 

 

 

Step three： 测试，用浏览器作为客户端测试：

测试1： http://localhost:8888/solr/select/?q=id:102 测试结果如下：

 

 <?xml version="1.0" encoding="UTF-8" ?> 
- <response>
- <lst name="responseHeader">
  <int name="status">0</int> 
  <int name="QTime">0</int> 
- <lst name="params">
  <str name="q">id:102</str> 
  </lst>
  </lst>
- <result name="response" numFound="1" start="0">
- <doc>
  <str name="id">102</str> 
  <str name="name">kobe bryant is a basketball player</str> 
  </doc>
  </result>
  </response>

 

 

 

测试2： http://localhost:8983/solr/select/?q=id:112测试结果

 

<?xml version="1.0" encoding="UTF-8" ?> 
- <response>
- <lst name="responseHeader">
  <int name="status">0</int> 
  <int name="QTime">15</int> 
- <lst name="params">
  <str name="q">id:112</str> 
  </lst>
  </lst>
- <result name="response" numFound="1" start="0">
- <doc>
  <str name="id">112</str> 
  <str name="name">me is a actor</str> 
  </doc>
  </result>
  </response>

 

 

测试3： http://localhost:8080/solr/select/?shards=localhost:8888/solr,localhost:8983/solr&q=singer测试结果：

  <?xml version="1.0" encoding="UTF-8" ?> 
- <response>
- <lst name="responseHeader">
  <int name="status">0</int> 
  <int name="QTime">16</int> 
- <lst name="params">
  <str name="shards">localhost:8888/solr,localhost:8983/solr</str> 
  <str name="q">singer</str> 
  </lst>
  </lst>
- <result name="response" numFound="4" start="0">
- <doc>
  <str name="id">108</str> 
  <str name="name">taylor is a singer</str> 
  </doc>
- <doc>
  <str name="id">103</str> 
  <str name="name">jay chou is a singer</str> 
  </doc>
- <doc>
  <str name="id">104</str> 
  <str name="name">jane zhang is a singer</str> 
  </doc>
- <doc>
  <str name="id">105</str> 
  <str name="name">coco lee is a singer</str> 
  </doc>
  </result>
  </response>

 

 

 

测试4： http://localhost:8080/solr/select/?shards=localhost:8888/solr,localhost:8983/solr&q=player 测试结果

 <?xml version="1.0" encoding="UTF-8" ?> 
- <response>
- <lst name="responseHeader">
  <int name="status">0</int> 
  <int name="QTime">16</int> 
- <lst name="params">
  <str name="shards">localhost:8888/solr,localhost:8983/solr</str> 
  <str name="q">player</str> 
  </lst>
  </lst>
- <result name="response" numFound="4" start="0">
- <doc>
  <str name="id">102</str> 
  <str name="name">kobe bryant is a basketball player</str> 
  </doc>
- <doc>
  <str name="id">107</str> 
  <str name="name">LBJ is a basketball player</str> 
  </doc>
- <doc>
  <str name="id">110</str> 
  <str name="name">tracy is a basketball player</str> 
  </doc>
- <doc>
  <str name="id">111</str> 
  <str name="name">Yao is a basketball player</str> 
  </doc>
  </result>
  </response>

 

 

 Step four ：分析 

测试１和测试２返回的结果都是从本机上索引文件获得的，而测试３和测试４是分布式查询，它所对应主机为8080，该服务武器上没有数据，这就是分布式查询（向8888和8983），将所有结果从不同Ｔｏｍｃａｔ上聚合后返回

 

也可以根据前面学习笔记（三）中提供的SolrjClient来测试分布式索引。下面在三的基础上，开启三个Tomcat，模拟三台服务器，端口布置如上所示，开启三台服务器后，利用SolrjClient提供的接口分别向三台服务器提供索引数据如下：

向8080服务器：

List<SolrInputDocument> docs = new ArrayList<SolrInputDocument>();
		for (int i = 0; i < 10; i++) {
			SolrInputDocument doc = new SolrInputDocument();
			doc.addField("id", i);
			doc.addField("severity",i);
			doc.addField("sLocation","Beijing_" + i);
			doc.addField("msg", "kobe bryant" + i);
			doc.addField("name", "kylin soong" + i);
			docs.add(doc);
		}
		client.addDocs(docs);

 

 

向8888服务器添加：

List<SolrInputDocument> docs = new ArrayList<SolrInputDocument>();
		for (int i = 10; i < 20; i++) {
			SolrInputDocument doc = new SolrInputDocument();
			doc.addField("id", i);
			doc.addField("severity",i);
			doc.addField("sLocation","Beijing_" + i);
			doc.addField("msg", "kobe bryant" + i);
			doc.addField("name", "kylin soong" + i);
			docs.add(doc);
		}
		client.addDocs(docs);

 

 

向8983服务器添加：

List<SolrInputDocument> docs = new ArrayList<SolrInputDocument>();
		for (int i = 20; i < 30; i++) {
			SolrInputDocument doc = new SolrInputDocument();
			doc.addField("id", i);
			doc.addField("severity",i);
			doc.addField("sLocation","Beijing_" + i);
			doc.addField("msg", "kobe bryant" + i);
			doc.addField("name", "kylin soong" + i);
			docs.add(doc);
		}
		client.addDocs(docs);
 

 

然后在利用SolrjClient提供接口进行查询验证（在8080服务器上查询）：

 

String[] shards = new String[]{"localhost:8080/solr","localhost:8888/solr","localhost:8983/solr"};
		String[] fields = new String[]{"id", "name", "msg"};
		List<SolrDocument> lists = client.query("kobe", 30, fields, shards);
		System.out.println(lists.size());
		show(lists);
 

 

结果如下：

 

30
id=0 msg=kobe bryant0 name=kylin soong0 
id=1 msg=kobe bryant1 name=kylin soong1 
id=2 msg=kobe bryant2 name=kylin soong2 
id=3 msg=kobe bryant3 name=kylin soong3 
id=4 msg=kobe bryant4 name=kylin soong4 
id=5 msg=kobe bryant5 name=kylin soong5 
id=6 msg=kobe bryant6 name=kylin soong6 
id=7 msg=kobe bryant7 name=kylin soong7 
id=8 msg=kobe bryant8 name=kylin soong8 
id=9 msg=kobe bryant9 name=kylin soong9 
id=10 msg=kobe bryant10 name=kylin soong10 
id=11 msg=kobe bryant11 name=kylin soong11 
id=12 msg=kobe bryant12 name=kylin soong12 
id=13 msg=kobe bryant13 name=kylin soong13 
id=14 msg=kobe bryant14 name=kylin soong14 
id=15 msg=kobe bryant15 name=kylin soong15 
id=16 msg=kobe bryant16 name=kylin soong16 
id=17 msg=kobe bryant17 name=kylin soong17 
id=18 msg=kobe bryant18 name=kylin soong18 
id=19 msg=kobe bryant19 name=kylin soong19 
id=20 msg=kobe bryant20 name=kylin soong20 
id=21 msg=kobe bryant21 name=kylin soong21 
id=22 msg=kobe bryant22 name=kylin soong22 
id=23 msg=kobe bryant23 name=kylin soong23 
id=24 msg=kobe bryant24 name=kylin soong24 
id=25 msg=kobe bryant25 name=kylin soong25 
id=26 msg=kobe bryant26 name=kylin soong26 
id=27 msg=kobe bryant27 name=kylin soong27 
id=28 msg=kobe bryant28 name=kylin soong28 
id=29 msg=kobe bryant29 name=kylin soong29 

 

 

如上结果把符合查询字符串“Kobe”的所有字符串都返回，

 

PS：上述相关代码见学习笔记（三）附件

       附件上XML文件与本文示例有些许差别……

 

结束