您好,欢迎来到站长目录(28sn.com)!


rpm包部署elk7.3

来源:网络整理 浏览:333次 时间:2020-11-21
ELK-7.3本地部署一、简介1、logstash

   logstash是一个数据分析软件,主要目的是分析log日志。整一套软件可以当作一个MVC模型,logstash是controller层,Elasticsearch是一个model层,kibana是view层。首先将数据传给logstash,它将数据进行过滤和格式化(转成JSON格式),然后传给Elasticsearch进行存储、建搜索的索引,kibana提供前端的页面再进行搜索和图表可视化,它是调用Elasticsearch的接口返回的数据进行可视化。logstash和Elasticsearch是用Java写的,kibana使用node.js框架。

   logstash架构

二、logstash原理和使用

  ogstash工作时,主要设置3个部分的工作属性。
  input:设置数据来源
  filter:可以对数据进行一定的加工处理过滤,但是不建议做复杂的处理逻辑。这个步骤不是必须的
  output:设置输出目标

2、elasticsearch

  Elasticsearch 是一个分布式、高扩展、高实时的搜索与数据分析引擎。它能很方便的使大量数据具有搜索、分析和探索的能力。充分利用Elasticsearch的水平伸缩性,能使数据在生产环境变得更有价值。Elasticsearch 的实现原理主要分为以下几个步骤,首先用户将数据提交到Elasticsearch 数据库中,再通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据,当用户搜索数据时候,再根据权重将结果排名,打分,再将返回结果呈现给用户。

3、kibana

  Kibana是一个针对Elasticsearch的开源分析及可视化平台,用来搜索、查看交互存储在Elasticsearch索引中的数据。使用Kibana,可以通过各种图表进行高级数据分析及展示。

  Kibana让海量数据更容易理解。它操作简单,基于浏览器的用户界面可以快速创建仪表板(dashboard)实时显示Elasticsearch查询动态。

二、环境部署1、部署规划应用版本节点logstash7.3192.168.11.11elasticsearch7.3192.168.11.11、192.168.11.12、192.168.11.13kibana7.3192.168.11.13

安装包下载地址:链接:https://pan.baidu.com/s/17BeXEOIAWCTcr-qCI_1cpA 提取码:9uk4

2、环境准备(1)修改文件限制
vi /etc/security/limits.conf增加的内容root soft nofile 65535root hard nofile 65535* soft nofile 65535* hard nofile 65535* soft nproc 65535* hard nproc 65535* soft memlock unlimited* hard memlock unlimited
(2)调整进程数
vi /etc/security/limits.d/20-nproc.conf调整成以下配置*          soft    nproc     65535root       soft    nproc     unlimited
(3)调整虚拟内存&最大并发连接
vi /etc/sysctl.conf增加的内容vm.max_map_count=655360fs.file-max=655360
(4)重启系统后生效
reboot
(5)开放端口
firewall-cmd --add-port=9200/tcp --permanentfirewall-cmd --add-port=9300/tcp --permanent重新加载防火墙规则firewall-cmd --reload或systemctl stop firewalldsystemctl enable firewalld
(6)开放创建存储目录
mkdir /data01/elk/
3、java环境部署
yum -y install  jdk-8u162-linux-x64.rpm#查看java版本java -version
4、logstash部署
#1、rpm包安装yum -y install logstash-7.3.0.rpm#2、修改配置文件cp logstash.yml{,.bak}#改后 logstash.ymlpath.data: /data01/elk/logstash/datapipeline.workers: 4pipeline.batch.size: 1024path.config: /data01/elk/logstash/config/conf.dpath.logs: /data01/elk/logstash/logshttp.host: "0.0.0.0"http.port: 9600#改后 startup.options文件  可选择不改LS_PIDFILE=/data01/elk/logstash/logstash.pidLS_GC_LOG_FILE=/data01/elk/logstash/logs/gc.log#、可根据主机内存大小,适当调整一下参数vim   jvm.options-Xms1g-Xmx1g

  创建对应的路径

mkidr  -pv /data01/elk/logstash/{data,logs,config}chown -R 1000:1000 /data01/elk/logstash

  启动logstash

systemctl start logstashsystemctl enable logstash
5、elasticsearch部署

  本次是3master3节点的部署

安装elasticsearch

yum -y install elasticsearch

配置elasticsearch

#elasticsearch.ymlcluster.name: elknode.name: elk02# 自定义属性添加到节点上node.attr.rack: r1node.master: true#node.voting_only: truenode.data: true#node.ingest: true#node.ml: false#开启监控xpackxpack.monitoring.enabled: true#机器学习关闭xpack.ml.enabled: false# 是否使用http协议对外提供服务,默认为true,开启#http.enabled: truecluster.remote.connect: falsepath.data: /data01/elasticsearch/lib,/data02/elasticsearch/libpath.logs: /data01/elasticsearch/logs#锁定物理内存地址,防止es内存被交换出去,也就是避免es使用swap交换分区,频繁的交换,会导致IOPS变高bootstrap.memory_lock: truenetwork.host: 192.168.11.12http.port: 9200##discovery.zen.ping.unicast.hosts旧版配置discovery.seed_hosts: ["192.168.11.11","192.168.11.12","192.168.11.13"]#Elasticsearch7新增参数,写入候选主节点的设备地址,来开启服务时就可以被选为主节点cluster.initial_master_nodes: ["192.168.11.11","192.168.11.12","192.168.11.13"]# 设置集群中N个节点启动时进行数据恢复,默认为1。gateway.recover_after_nodes: 2#设置是否可以通过正则或者_all删除或者关闭索引action.destructive_requires_name: truenetwork.tcp.no_delay: truenetwork.tcp.keep_alive: truenetwork.tcp.reuse_address: truenetwork.tcp.send_buffer_size: 128mbnetwork.tcp.receive_buffer_size: 128mb#transport.tcp.port: 9301transport.tcp.compress: truehttp.max_content_length: 200mb#开启跨域访问http.cors.enabled: truehttp.cors.allow-origin: "*"cluster.fault_detection.leader_check.interval: 15sdiscovery.cluster_formation_warning_timeout: 30scluster.join.timeout: 120scluster.publish.timeout: 90scluster.routing.allocation.cluster_concurrent_rebalance: 16cluster.routing.allocation.node_concurrent_recoveries: 16cluster.routing.allocation.node_initial_primaries_recoveries: 16

  另外两个只需要修改node.name ,network.host为相应的节点

让init启动的程序解除限制,和系统limit一致

sed -i  39c\LimitMEMLOCK=infinity   /usr/lib/systemd/system/elasticsearch.service

创建相应目录

mkdir -pv /data01/elk/elasticsearch/{lib,logs}chown -R elasticsearch:elasticsearch /data01/elk/elasticsearch

启动elasticsearch服务

#重载系统服务systemctl daemon-reloadsystemctl start elasticsearchsystemctl enable elasticsearch
6、kibana部署

安装kibana

yum -y install  kibana-7.3.0-x86_64.rpm

配置kibana

  注:修改配置最好先备份后修改

#vim kibana.ymlserver.port: 5601server.host: "192.168.11.13"elasticsearch.hosts: ["http://192.168.11.12:9200"]i18n.locale: "zh-CN"

启动kibana

systemctl start kibanasystemctl enable kibana

排错可通过以下方式排查

journalctl -u elasticsearch -ftail -500f /data01/elk/elasticsearch/logs/elk.log

推荐站点

  • 我爱发烧音乐我爱发烧音乐

    我爱发烧音乐囊括了从流行音乐到古典音乐多个类型的音乐作品,专栏推荐最新的音乐,提供音乐排名榜单!可供免费线上收听音乐,歌曲流畅,音效极佳! 网站提供的钢琴以及二胡专栏,可供收听者,陶冶情操,改善心情,是难得的轻音乐典藏!

    www.520fs.com
  • 世纪音乐网世纪音乐网

    世纪音乐网是专业的在线音乐试听MP3下载网站。歌曲总计30余万首,收录了网上最新歌曲和流行音乐,DJ舞曲,非主流音乐,经典老歌,劲舞团歌曲,搞笑歌曲,儿童歌曲,英文歌曲等。是您上网听歌的最佳网站。

    www.ssjj.com
  • 怒江大峡谷网怒江大峡谷网

    怒江大峡谷网内容包括:新闻、要闻、怒江报、视频、文化、民俗、人文、音乐、政务、公告、政策等地方信息。

    www.nujiang.cn
  • 杭州网杭州网

      杭州网是杭州地区唯一的新闻门户网站,由中共杭州市委宣传部、杭州日报报业集团和杭州广播电视集团共同组建的杭州网络传媒有限公司运营。

    www.hangzhou.com.cn
  • 深圳在线深圳在线

      深圳在线 www.szol.net是深圳本地最大、最早的地方生活资讯网站之一,网站名“深圳在线www.szol.net”由南方报业传媒集团编辑委员会总编辑、南方日报社总编辑、南方都市报总编辑、南方书画院名誉院长王春芙亲笔题名,深圳在线www.szol.net团队与深圳热线www.szonline.net、奥一网www.oeeee.com都源于全国最早成立于1996年的知名网络公司——深圳万用网。

    www.szol.net

鄂公网安备 42062502000001号