上节完成了SparkWordCount的学习，并用Scala和Java分别编写了WordCount的计算程序。本节研究Spark的案例，手写计算圆周率和寻找计算共同好友。main方法是Scala应...

浏览 72 次 标签： 大数据-87 Spark 集群 案例学习 Spark Scala 案例 手写计算圆周率、计算共同好友   

上节研究了SparkSQL的核心操作，Action详细解释+测试案例，与Transformation详细解释+测试案例。本节研究SparkSQL的数据源操作，输入与输出数据。df.write.format(“jd...

浏览 94 次 标签： 大数据-96 Spark 集群 SparkSQL Scala编写SQL操作SparkSQL的数据源：JSON、CSV、JDBC、Hive   

因为k8s默认containerd作为容器运行时，所以想要使用cri-dockerd，需要把containerd先停掉，否则，在node节点加入master节点时会报错，提示你有两个容器运行时，要使用哪一个为什么...

浏览 61 次 标签： K8S集群搭建——cri-dockerd版（包含问题解决方案）   

上节研究了Kafka的延时队列、重试队列。本节进入Kafka最后的环节，Kafka集群模式的搭建。多节点的Kafka集群搭建。Kafka的需要用户在由多个阶段组成的处理管道中处理数据，其中原始输入数据从Kafka主题...

浏览 90 次 标签： 大数据-78 Kafka 集群模式 集群的应用场景与Kafka集群的搭建 三台云服务器   

（12）kubelet是在Node上面运行的进程，它也通过List-Watch的方式监听（Watch，通过https的6443端口）APIServer发送的Pod更新的事件。由于指定Pod所在的...

浏览 92 次 标签： 【kubernetes】关于k8s集群如何将pod调度到指定node节点(亲和与反亲和等)   

NFS（NetworkFileSystem）高可用集群的实现，是为了确保NFS服务在单点故障时能够持续提供服务，从而提高系统的稳定性和数据的可靠性。_nfs集群...

浏览 59 次 标签： Centos搭建nfs高可用集群(详细教程)   

随着容器化和微服务架构的普及，Kubernetes（简称K8s）已成为云原生应用部署和管理的首选平台。然而，对于复杂的Kubernetes应用，直接通过kubectl管理大量的YAML配置文件变得非常繁琐和容易出...

浏览 93 次 标签： 【云原生】Helm来管理Kubernetes集群的详细使用方法与综合应用实战   

EMQX是一款大规模可弹性伸缩的云原生分布式物联网MQTT消息服务器。作为全球最具扩展性的MQTT消息服务器，EMQX提供了高效可靠海量物联网设备连接，能够高性能实时移动与处理消息和事件流数据，帮助您...

浏览 82 次 标签： EMQX物联网MQTT消息服务器集群搭建   

MinIO是一个高性能、兼容AWSS3的开源对象存储解决方案。它适用于存储大量非结构化数据，比如照片、视频、日志文件等。MinIO可以在单机模式下运行，也可以配置为高可用的分布式模式。在本教程中，我们将使用...

浏览 69 次 标签： MinIO 实战：使用 Docker Compose 部署 MinIO 集群   

ES单节点模式|ES集群环境搭建_elasticsearch单机部署...

浏览 88 次 标签： Elasticsearch环境搭建|ES单机|ES单节点模式启动|ES集群搭建|ES集群环境搭建