点一下关注吧！！！非常感谢！！持续更新！！！

目前已经更新到了：

Hadoop（已更完）HDFS（已更完）MapReduce（已更完）Hive（已更完）Flume（已更完）Sqoop（已更完）Zookeeper（已更完）HBase（已更完）Redis （已更完）Kafka（正在更新…）

章节内容

上节我们完成了如下的内容：

Kafka 集群模式搭建Kafka 集群模式的应用场景实机云服务器搭建

监控度量指标

Kafka使用Yammer Metrics在服务器和Scala客户端中报告指标，Java客户端使用Kafka Metrics，它是一种内置的度量标准注册表，可最大程度的减少拉入客户端应用程序的传递依赖项。

两者都通过JMX公开指标，并且可以配置为使用可插拔的统计报告器报告统计信息，以连接到你的监控系统中。

JMX

<code>export KAFKA_JMX_OPTS="-Dcom.sun.management.jmxremote \

-Dcom.sun.management.jmxremote.port=9999 \

-Dcom.sun.management.jmxremote.authenticate=false \

-Dcom.sun.management.jmxremote.ssl=false \

-Djava.rmi.server.hostname=${服务器的IP,尽量写IP,不要hostname或者域名}"code>

接着我们启动Kafka：

kafka-server-start.sh /opt/servers/kafka_2.12-2.7.2/config/server.properties

JConsole

<code>package icu.wzk.kafka;

import javax.management.MBeanServerConnection;

import javax.management.ObjectInstance;

import javax.management.ObjectName;

import javax.management.remote.JMXConnector;

import javax.management.remote.JMXConnectorFactory;

import javax.management.remote.JMXServiceURL;

import java.util.Iterator;

import java.util.Set;

public class JMXMonitorDemo {

public static void main(String[] args) throws Exception {

String jmxServiceUrl = "service:jmx:rmi:///jndi/rmi://h121.wzk.icu:9999/jmxrmi";

JMXServiceURL jmxUrl = null;

JMXConnector jmxc = null;

MBeanServerConnection jmxs = null;

ObjectName mbeanObjectName = null;

Iterator sampleIter = null;

Set sampleSet = null;

// 创建JMXServiceURL 对象

jmxUrl = new JMXServiceURL(jmxServiceUrl);

// 建立指定的URL服务器的连接

jmxc = JMXConnectorFactory.connect(jmxUrl);

// 返回代表远程MBean服务器的MBeanServiceConnection对象

jmxs = jmxc.getMBeanServerConnection();

// 根据传入的字符串，创建ObjectName对象

mbeanObjectName = new ObjectName("kafka.server:type=BrokerTopicMetrics,name=BytesInPerSec");

// 指定ObjectName对应的MBeans

sampleSet = jmxs.queryMBeans(null, mbeanObjectName);

// 迭代器

sampleIter = sampleSet.iterator();

if (!sampleSet.isEmpty()) {

// 如果返回了 则打印信息

while (sampleIter.hasNext()) {

ObjectInstance sampleObject = (ObjectInstance) sampleIter.next();

ObjectName objectName = sampleObject.getObjectName();

// 查看指定MBean指定属性的值

String count = jmxs.getAttribute(objectName, "Count").toString();

System.out.println("count: " + count);

}

}

// 关闭

jmxc.close();

}

}

运行测试

控制台输出结果如下：

Kafka Eagle

我们可以使用 kafka-eagle 管理 Kafka集群。

核心模块

面板可视化主题管理，包含创建主题、删除主题、主题列举、主题配置、主题查询消费者应用：对不同消费者应用进行监控，包含KafkaAPI、FlinkAPI、SparkAPI、StormAPI、FlumeAPI、LogStashAPI等等集群管理：包含对Kafka集群和ZooKeeper集群的详情展示，其内容包含Kafka启动时间、Kafka端口号、ZooKeeperLeader角色等。同时，还有多集群切换管理，ZooKeeperClient操作入口集群监控：包含对Broker、Kafka核心指标、ZooKeeper核心指标进行监控，并绘制历史趋势图告警功能：对消费者应用数据积压情况进行告警，以及对Kafka和ZooKeeper监控度进行告警，同时，支持邮件、微信、钉钉告警通知系统管理：包含用户创建、用户角色分配、资源访问进行管理

整体架构

可视化：负责展示主题列表、集群健康、消费应用等采集器：数据采集的来源包含ZooKeeper、Kafka JMX & 内部Topic、KafkaAPI（2.x以后版本）数据存储：目前Kafka Eagle存储采用MySQL或SQLite，数据库和表的创建均是自动完成的，按照官方文档配置好即可，启动Kafka Eagle就会自动创建，用来存储元数据和监控数据监控：负责见消费者应用消费情况，集群健康状态告警：对监控到的异常进行告警通知，支持邮件、微信、钉钉等方式权限管理：对访问用户进行权限管理，对于管理员、开发者、访问者等不同角色的用户，分配不用的访问权限

下载项目

<code># Github 地址

# https://github.com/smartloli/EFAK

wget https://github.com/smartloli/kafka-eagle-bin/archive/v3.0.1.tar.gz

mv v3.0.1.tar.gz kafka-eagle-v3.0.1.tar.gz

tar -zxvf kafka-eagle-v3.0.1.tar.gz

cd kafka-eagle-bin-3.0.1/

tar -zxvf efak-web-3.0.1-bin.tar.gz

mv efak-web-3.0.1/ /opt/servers/

下载过程如下图所示：

整理好的项目如下所示：

配置项目

<code>cd /opt/servers/efak-web-3.0.1

修改配置文件

vim conf/system-config.properties

文件按照自己的需要修改，我这里修改了部分：

efak.zk.cluster.alias=cluster1

cluster1.zk.list=h121.wzk.icu:2181,h122.wzk.icu:2181,h123.wzk.icu:2181

######################################

# kafka sqlite jdbc driver address

######################################

efak.driver=org.sqlite.JDBC

efak.url=jdbc:sqlite:/hadoop/kafka-eagle/db/ke.db

efak.username=root

efak.password=www.kafka-eagle.org

# 我注释掉了MySQL

此时我们需要新建一个文件夹：

mkdir -p /hadoop/kafka-eagle/db/

环境变量

vim /etc/profile

# efak

export KE_HOME=/opt/servers/efak-web-3.0.1

export PATH=$PATH:$KE_HOME/bin

启动服务

<code>./bin/ke.sh start

启动我们的服务，如下图所示：

访问服务

<code>http://h121.wzk.icu:8048

admin

123456

运行结果如下图所示：

打开之后，填写账号密码：