使用solr搭建solrcloud

bigdataway 提交于 周二, 04/17/2018 - 12:17

一、搭建zookeeper集群

1、下载zookeeper压缩包到自己的目录并解压(本例中的目录在/opt下),zookeeper的根目录我们在这里用${ZK_HOME}表示。

2、在${ZK_HOME}/conf下创建zoo.cfg文件,可以复制zoo_sample.cfg文件:

1

cp zoo_sample.cfg zoo.cfg

修改zoo.cfg的内容如下:

                  vim zoo.cfg
                
                  tickTime=2000initLimit=10syncLimit=5#zookeeper的data目录配置如下,可根据个人喜好更改dataDir=/opt/zookeeper-3.4.9/dataDirclientPort=2181#由于zookeeper搭建集群时,具体的zookeeper服务应为奇数个,所以我们这里使用3台机器server.1=192.168.2.233:2888:3888server.2=192.168.2.234:2888:3888server.3=192.168.2.235:2888:3888
                

3、在dataDir的目录中,创建myid文件,文件内容为server.X中的X。

在192.168.2.233这台机器上,我们进入到dataDir目录,创建myid文件,内容为"1";

同理,在192.168.2.234和192.168.2.235上创建myid文件,内容为“2”和“3”。

4、启动3台zookeeper,命令:

                  ./bin/zkServer.sh start
                

5、查看zookeeper状态,命令:

                  ./bin/zkServer.sh status
                

二、solr_cloud搭建

1、从官网下载solr6.0的压缩包到安装目录,并解压,本例中目录为/opt,solr根目录为/opt/solr-6.1.0,我们这里用${SOLR_HOME}表示。

2、由于solr_cloud是分布式集群,有shard,有replica,我们这里使用两台机器做例子,solr分别安装在192.168.2.233和192.168.2.234上。

3、在两台机器上,使用solr_cloud的方式启动solr,命令如下:

                  #-c:以solr_cloud的方式启动#-z:指定zookeeper集群的地址和端口,上面搭建zookeeper集群时的3台机器./bin/solr start -c -z zk1:port,zk2:port,zk3:port
                

这样,solr_cloud就搭建成功了。但是里边并没有core和collection。在solr_cloud下,我们都是创建collection。

4、创建collection时,是需要在一台机器上执行,命令如下:

                  #-c collection名称,例如这里我们要创建商品的索引#-s shard数量,我们这里分片为2#-rf 副本数量,我们这里副本设置为2./bin/solr create -c product -s 2 -rf 2
                

这样,商品的索引就创建完成了。

5、solr的管理后台

solr启动时,我们并没有指定端口,solr的默认端口是8983。

我们只需要在浏览器中访问192.168.2.233:8983或192.168.2.234:8983,就可以访问管理页面。

使用solr搭建solrcloud

solr管理页面

我们点击左侧菜单中的cloud,就可以看到整个集群的图,如下:

使用solr搭建solrcloud

solrcloud架构

三、solr的基本概念

大家可以把solr搜索引擎看成一个数据库,不过是基于内存的。它可以存储信息,并且根据你的查询条件返回你想要的信息。

1、collection和core的概念

collection和core其实可以看成功一个概念,都是同一种数据格式的集合,可以对照数据库中的一张表。

在solr集群的情况下,我们称这张表叫collection,在单机的情况下,我们叫它core。

在solr集群的情况下,每一个shard分片下的副本replica也称为core。

2、filed概念

filed从字面就能看出它的含义,就是字段,或者称为域,可理解为数据库中的一张表中的字段。

我们在存储数据时,为每个filed赋值,可对照数据库insert时,为每个字段插入值。

我们在检索时,会查询某个filed “等于” 或者 “like” 你的查询条件,可理解为sql语句中的where条件。

每个collection或core的filed配置都在managed-schema中进行配置,filed的格式如下:

<field name="id" type="string" indexed="true" stored="true" required="true" multiValued="false"/> type:类型,分为:string,strings,int,ints,long,longs等name:字段名称;

indexed:是否构建索引,true:可通过该字段查询到相应的结果;false:该字段不能进行查询。

stored:是否存储,true:查询到数据时可以返回此字段;false:该字段不进行存储,即便查询到了结果,也不会返回这个字段。

required:是否必填,对应数据库中的not null。

multiValued:solr中的一个重要概念,在数据库中没有与之对应的。是否多指存储,该字段能否存储一个list或者数组。

例如:一个filed的名字是interest(爱好),一个人的爱好有很多,足球、篮球、游泳等。在solr中,我们可以将爱好组成一个list放到这一个字段中。

如果在数据库中,我们没有相应的概念,只能新建一张表,做一对多的关系。

3、index、query、分词

index和query很好理解,对应的就是存储数据和查询数据的过程,可对照上面的解释。

分词,就是将你输入的内容,按照一定的规则分成不同的词,以便于查询。

举个简单的例子,比如:“我爱北京天安门”,通过分词器过滤后分解成:“我”、“爱”、“北京”、“天安门”。

当我们查询任意一个词时,都会检索出“我爱被北京天安门”这句话。

分词的动作在两个过程中触发,分别是:index和query。

在index构建索引时,触发分词,会将每一个filed中的内容进行分词并构建索引。

在query查询时,会将你的查询条件进行分词,并在索引中找到你的分词,进而找到你要搜索的数据。

4、filed中的一些公用字段。

使用solr搭建solrcloud


如果我们要进行全文检索,就可以查询“_text_”字段。前面4个是每个collection或filed中都含有的字段,我们注意到最后一行,<copyField source="*" dest="_text_"/>,含义是将所有的字段都复制到“_text_”字段中去,并进行分词。

我们在managed-schema中,还注意到很多类型<dynamicField name="*_i" type="int" indexed="true" stored="true"/>的配置,

这些就是动态字段,这个概念在数据库中也没有,我们在构建索引,只要字段符合上面name的格式,就会动态的创建这个字段,无需像上面那样显示的声明这个字段。

在solr中,已经默认给我们创建好了一些常用的动态字段,方便了我们的使用。我们在编写java通用类时也正是运用了这一特性。

至此,solr的一些基本概念已经讲解完了,大家还需多在实践中理解,这样才能更加透彻。

使用solr搭建solrcloud

分类