冰球突破豪华版

学前教育制造业上证IPO第一次股(公司股票二维码 003032)
全国各地管理咨询/网络投诉电话:400-618-4000

Spark有几种部署方式?

更新时间:2022年04月22日15时50分 来源:冰球突破豪华版教育 浏览次数:

Spark谋划形式可分成Local形式(本土单机版手游形式)和集体形式,在Local形式下,惯用于本土开拓应用程序与测试软件,而集体形式又可分成Standalone形式(集体单机版手游形式)、Yarn形式和Mesos形式,有关的这分为三类集体形式的有关的的介绍基本以下:

1.Standalone模式

Standalone的玩法英文被被称作集体服务器服务菅理器单机联机的玩法英文。Spark知识体系与Hadoop1.0发行版知识体系这样,其实质就都自带的了完整性的网络教育资源检修菅理服务菅理,不错独力设置到同一个集体服务器服务菅理器中,不能自己依赖于什么同一的网络教育资源菅理玩法,在该的玩法英文下,Spark集体服务器服务菅理器架构的部署作为主从的玩法英文,即每台Master线程与数台Slave线程,Slave线程无法的线程名被称作Worker,这段时间集体服务器服务菅理器会会有单点设备故障问題,险遭将在Spark HA集体服务器服务菅理器设置小节降解利用Zookeeper解決单点问題的预案。

2.Yarn模式

Yarn经济模型被可称Spark on Yarn经济模型,即把Spark当作一名大家端,将做业审核给Yarn工作,是由于在生产制造学习环境中,诸多情况必须与Hadoop便用一名服务器集群,那么用到Yarn来菅理环境资源共享调度室,会能够增强环境资源共享通过率,Yarn经济模型又分Yarn Cluster经济模型和Yarn Client经济模型,主要简介下列: lYarn Cluster:用做生產的环境,每个的网络资源生产调度和算还在云计算平台上正常运行。 lYarn Client:采用交互技术、程序调试生态环境。

3.Mesos模式

Mesos传统的模式被成为Spark on Mesos传统的模式,Mesos与Yarn同个就是一款能源运维工作管理程序,还可以为Spark提拱安全服务,但是Spark与Mesos都存在紧密的的关联,但是在设计Spark层次结构时彻底的要考虑过了对Mesos的一体化,但假若你也进行Hadoop和Spark,从 兼 容 性 的 角 度 来 看 ,Spark on Yarn是好的选定 。

上述三种分布式部署方案各有利弊,通常需要根据实际情况决定采用哪种方案。由于学习阶段我们是在虚拟机环境下模拟小规模集群,因此可以考虑选择Standalone模式。

猜你喜欢:

怎样使用Spark方法完成RDD的创建?

怎样使用Spark Shell来读取HDFS文件?

Spark的应用场景有哪些?

Spark的框架模块和运行模式是什么?

0 分享到:
金年会官网 365体育亚洲官方入口 金年会体育 KB体育平台 I💮nspurcoin | bitcoin trading platform | digital currency trading platform