Elasticsearch环境搭建|ES单机|ES单节点模式启动|ES集群搭建|ES集群环境搭建

浣花御劍 2024-08-13 17:37:02 阅读 88

文章目录

版本选择单机ES安装与配置创建非root用户导入安装包安装包解压配置JDK环境变量配置single-node配置JVM参数后台启动|启动日志查看启动成功,访问终端访问浏览器访问

Kibana安装修改配置后台启动|启动日志查看浏览器访问

ES三节点集群搭建停止es服务域名配置配置修改集群配置配置说明配置节点1配置节点2配置节点3分别启动验证集群搭建成功

Kibana配置修改重启Kibana查看进程停止Kibana服务启动Kibana验证

ES开启认证

版本选择

在[ElasticSearch]分析京东商城商品搜索实现|聚合|全文查找|搜索引擎|ES Java High Level Rest Client|ES Java API Client这篇文章里进行了说明,使用的7.17.3版本,不再赘述。

Elasticsearch 7.17.3下载地址Kibana 7.17.3下载地址环境CentOS 7.6.1

单机ES安装与配置

创建非root用户

ES不允许root用户运行,使用root用户为其创建一个用户es,为用户es配置密码,并切换到es用户。

<code>adduser es

passwd es

su es

导入安装包

将下载好的Elasticsearch,Kibana导入到es用户home目录

[es@polaris ~]$ cd ~

[es@polaris ~]$ pwd

/home/es

[es@polaris ~]$ ls

kibana-7.17.3-linux-x86_64.tar.gz

elasticsearch-7.17.3-linux-x86_64.tar.gz

安装包解压

tar -zxvf elasticsearch-7.17.3-linux-x86_64.tar.gz

tar -zxvf kibana-7.17.3-linux-x86_64.tar.gz

配置JDK环境变量

当前还在用户home目录下,

添加两行(ES7.x及以后版本内置了jdk)

export ES_JAVA_HOME=/home/es/elasticsearch-7.17.3/jdk

export ES_HOME=/home/es/elasticsearch-7.17.3

[es@polaris ~]$ vim .bash_profile

# .bash_profile

# Get the aliases and functions

if [ -f ~/.bashrc ]; then

. ~/.bashrc

fi

# User specific environment and startup programs

export ES_JAVA_HOME=/home/es/elasticsearch-7.17.3/jdk

export ES_HOME=/home/es/elasticsearch-7.17.3

PATH=$PATH:$HOME/.local/bin:$HOME/bin

export PATH

执行以下命令,使之生效。(之后使用es用户开启一个终端会话(参考:ES环境变量设置的问题,分析用户级环境变量设置与读取,报错分析与解决⚠️ usage of JAVA_HOME is deprecated, use ES_JAVA_HOME),该环境变量配置就会是生效的)

source .bash_profile

配置single-node

切换到es目录

cd elasticsearch-7.17.3/

# 0. 备份一下原配置文件

cp config/elasticsearch.yml config/elasticsearch.yml.origin

# 修改配置

vim config/elasticsearch.yml

# 1. 开启远程访问,监听所有网卡,可以在虚拟机外部如win主机上访问

network.host: 0.0.0.0

# 2. 单节点模式

discovery.type: single-node

配置JVM参数

官方建议:将 Xms 和 Xmx 设置为不超过总内存的 50%。 Elasticsearch 需要内存用于 JVM堆以外的用途。例如,Elasticsearch 使用堆外缓冲区来实现高效的网络通信,并依赖操作系统的文件系统缓存来高效地访问文件。 JVM本身也需要一些内存。Elasticsearch 使用的内存多于 Xmx 设置配置的限制是正常的。

机器情况:CPU 4核8线程,内存16GB,打算搭三节点集群演示,主机上还会运行一些东西,因此为每个虚拟机分配了2GB的内存,处理器数量2个,单个处理器内核数量设置为了2个,处理器内核总数为4

虚拟机内存2GB,堆内存设置不超过50%,这里设置1GB

# 0. 备份一下原配置文件

cp config/jvm.options config/jvm.options.origin

# 修改堆内存

vim config/jvm.option

-Xms1g

-Xmx1g

后台启动|启动日志查看

后台启动可以保证启动成功后,当前会话断开,es还是在运行,不会随着终端会话关闭而终止。

bin/elasticsearch -d

如果启动有问题可以查看es启动日志

tail -f logs/elasticsearch.log

启动成功,访问

终端访问

在这里插入图片描述

浏览器访问

如果浏览器访问不通,那么可以关闭防火墙简化操作,

云服务器的话可以通过配置安全组规则,进行端口映射,开放端口(参考:添加安全组规则)

在这里插入图片描述

这样单节点的es就可以正常工作,之后通过修改配置把他加入到集群。

Kibana安装

Kibana是官方提供的ES一个客户端连接工具。

只在一台虚拟机上安装即可(或者win主机上安装一个都行),注意修改配置,使之能够访问到es(单机或集群),以及可以对外提供服务(Kibana对外能够被访问)。

这里是在虚拟机上安装。

修改配置

<code>cd ~/kibana-7.17.3-linux-x86_64/

#备份一个源文件

cp config/kibana.yml config/kibana.yml.origin

#修改配置

vim config/kibana.yml

#指定Kibana服务器监听的端口号

server.port: 5601

#开启远程访问,监听所有网卡,可以在虚拟机外部如win主机上访问

server.host: "0.0.0.0"

#指定Kibana连接到的ES实例的访问地址,

#如果访问本地的ES(Kibana与ES安装在同一台服务器上)就是localhost,访问其他的换成ip

#集群的话就配上所有的节点elasticsearch.hosts: ["http://192.168.43.69:9200", "http://192.168.43.133:9200", "http://192.168.43.225:9200"]

elasticsearch.hosts: ["http://localhost:9200"]

#将 Kibana 的界面语言设置为简体中文。默认en

i18n.locale: "zh-CN"

后台启动|启动日志查看

后台启动可以保证启动成功后,当前会话断开,kibana还是在运行,不会随着终端会话关闭而终止。

nohup bin/kibana &

如果启动有问题可以查看Kibana启动日志

tail -f nohup.out

浏览器访问

win主机浏览器访问机器ip+“:”+port(5601),

http://192.168.43.69:5601/

到此,Elasticsearch环境及客户端Kibana就安装配置完成。

在这里插入图片描述

这里查看到的节点ip是192.168.25.74而不是我们访问的机器ip 192.168.43.69,是有问题的(正常情况是不会有这个问题的)。这个问题的原因参考:[ES] ElasticSearch节点加入集群失败经历分析主节点选举、ES网络配置 [publish_address不是当前机器ip]

下面说明ES集群搭建方法。

ES三节点集群搭建

可以把刚才的虚拟机克隆出额外的两个,也可以在额外的两个虚拟机上重复上面es的安装过程(Kibana不需要再装了,它只是个es连接工具,装一个就行了)

停止es服务

<code>#查看es进程

ps -ef|grep elasticsearch

#停止es运行

kill pid #pid是上面命令查出来的进程号

域名配置

三台机器都切换root用户,配置机器ip与域名对应关系,用于在服务发现时,集群内的各节点通过这个域名彼此可以找到彼此。

su

vim /etc/hosts

192.168.43.69 es-node1

192.168.43.133 es-node2

192.168.43.225 es-node3

之后再切换回es用户

su es

配置修改

注释掉单节点

#注释掉单节点

#discovery.type: single-node

集群配置

注意:数据目录日志目录单独指定,要和之前单机启动区别开

配置说明

cluster.name:集群名称,指定一个(避免因未指定,启动一个es就会加入到集群中),配置好其他属性,然后集群同名才可加入到这个集群中。node.name:节点名字,集群内唯一node.master:是否有资格为master节点,默认为true,表示这个节点有资格成为主节点(master node)。主节点主要负责集群级别的操作,如创建或删除索引、跟踪集群中哪些节点是活动的等。node.data:是否为data数据节点,默认为true,表示这个节点也是一个数据节点(data node),它会存储索引数据并处理搜索请求。http.cors.enabled: true:允许跨源资源共享(CORS)。当你想从另一个域的网页或应用访问这个Elasticsearch节点时,CORS允许这样的请求http.cors.allow-origin: “*” : 允许来自任何域的CORS请求。但出于安全考虑,通常不建议在生产环境中使用*,而是指定特定的域名。path.data:定义了Elasticsearch用于存储索引数据的路径。path.logs:定义了Elasticsearch存储其日志文件的路径。network.host: 0.0.0.0:告诉Elasticsearch监听所有可用的网络接口。但在生产环境中,为了安全起见,通常会指定特定的IP地址或范围。discovery.seed_hosts:定义了Elasticsearch在启动时用于发现其他集群成员的初始主机列表。可以通过es-node1、es-node2和es-node3这些主机域名或IP地址来访问其他节点。(上面配置了域名与机器ip的映射关系,因此可以使用机器域名)cluster.initial_master_nodes:在Elasticsearch第一次启动时,需要指定哪些节点应该成为主节点(指定node.name指定的节点名字列表)。

配置节点1

vim config/elasticsearch.yml

# node-1

cluster.name: es-cluster

node.name: node-1

node.master: true

node.data: true

http.cors.enabled: true

http.cors.allow-origin: "*"

path.data: /home/es/elasticsearch-7.17.3/data-cluster

path.logs: /home/es/elasticsearch-7.17.3/logs-cluster

network.host: 0.0.0.0

discovery.seed_hosts: ["es-node1","es-node2","es-node3"]

cluster.initial_master_nodes: ["node-1", "node-2","node-3"]

配置节点2

vim config/elasticsearch.yml

# node-2

cluster.name: es-cluster

node.name: node-2

node.master: true

node.data: true

http.cors.enabled: true

http.cors.allow-origin: "*"

path.data: /home/es/elasticsearch-7.17.3/data-cluster

path.logs: /home/es/elasticsearch-7.17.3/logs-cluster

network.host: 0.0.0.0

discovery.seed_hosts: ["es-node1","es-node2","es-node3"]

cluster.initial_master_nodes: ["node-1", "node-2","node-3"]

配置节点3

vim config/elasticsearch.yml

# node-3

cluster.name: es-cluster

node.name: node-3

node.master: true

node.data: true

http.cors.enabled: true

http.cors.allow-origin: "*"

path.data: /home/es/elasticsearch-7.17.3/data-cluster

path.logs: /home/es/elasticsearch-7.17.3/logs-cluster

network.host: 0.0.0.0

discovery.seed_hosts: ["es-node1","es-node2","es-node3"]

cluster.initial_master_nodes: ["node-1", "node-2","node-3"]

分别启动

bin/elasticsearch -d

验证集群搭建成功

在这里插入图片描述

Kibana配置修改

集群搭建成功,更改kibana的配置中的ES instances地址

<code>elasticsearch.hosts: ["http://192.168.43.6:9200", "http://192.168.43.133:9200", "http://192.168.43.225:9200"]

重启Kibana

查看进程

netstat -tunlp|grep 5601

[es@polaris kibana-7.17.3-linux-x86_64]$ netstat -tunlp|grep 5601

(Not all processes could be identified, non-owned process info

will not be shown, you would have to be root to see it all.)

tcp 0 0 0.0.0.0:5601 0.0.0.0:* LISTEN 7379/bin/../node/bi

停止Kibana服务

kill 7379

启动Kibana

nohup bin/kibana &

验证

在这里插入图片描述

ES开启认证

参考:Elasticsearch开启认证|为ES设置账号密码|ES账号密码设置|ES单机开启认证|ES集群开启认证



声明

本文内容仅代表作者观点,或转载于其他网站,本站不以此文作为商业用途
如有涉及侵权,请联系本站进行删除
转载本站原创文章,请注明来源及作者。