2022
10-01
10-01
疯狂Hadoop之高可用集群搭建（二）
Hadoop3集群高可用搭建HDFS-HA概述1）所谓HA（high available），即高可用（7*24小时不中断服务）。2）实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的 HA机制：HDFS的HA和YARN的HA。3）Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。4）NameN...阅读全文>>... 阅 读 全 部 >
分类目录归档：
Hadoop3集群高可用搭建HDFS-HA概述1）所谓HA（high available），即高可用（7*24小时不中断服务）。2）实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的 HA机制：HDFS的HA和YARN的HA。3）Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。4）NameN...阅读全文>>... 阅 读 全 部 >
2022
01-26
01-26
大数据平台 Hadoop 的分布式集群环境搭建
1 概述本文章介绍大数据平台Hadoop的分布式环境搭建、以下为Hadoop节点的部署图，将NameNode部署在master1，SecondaryNameNode部署在master2，slave1、slave2、slave3中分别部署一个DataNode节点NN=NameNode（名称节点）SND=SecondaryNameNode（NameNode的辅助节点）DN=DataNode（数据节点）... 阅 读 全 部 >
2022
01-25
01-25
小白科普：分布式和集群
来自：码农翻身（微信号：coderising）1分布式小明的公司有3个系统： 系统A、系统B和系统C ，这三个系统所做的业务不同，被部署在3个独立的机器上运行， 他们之间互相调用（当然是跨域网络的）， 通力合作完成公司的业务流程。将不同的业务分布在不同的地方， 这就构成了一个分布式的系统，现在问题来了， 系统A是整个分布式系统的“脸面”， 用户直接访问，用户量访问大的时候要么是速度巨慢，...阅读... 阅 读 全 部 >
2021
12-22
12-22
PBS 作业管理系统使用总结
前面我们所给出的各个例程一般都是在单台计算机上直接使用 mpiexec 或 mpirun 执行的，但是在实际应用中，对规模比较大的高性能计算任务，一般会提交到集群或超级计算机平台上进行计算。集群系统具有低成本、高性能的特性，提供了强大的批处理和并行计算能力，代表了高性能计算机发展的新方向。在集群或者超级计算机平台上，一般不能随意地直接以 mpiexec 或 mpirun 运行我们的并行计...阅读... 阅 读 全 部 >
2021
12-18
12-18
EHPC通过断点续算和自动伸缩在抢占式实例上实现低成本HPC计算
E-HPC 低成本计算方案E-HPC作为阿里云上的云超算产品将HPCaaS公共云服务提供给客户，将公共云上资源弹性优势，高性能的优势，计算资源的多样性等优势提供给HPC用户，如果HPC用户追求极致性能的HPC集群，我们可以提供SCC，裸金属服务器，EGS异构计算资源。对于成本相对比较敏感的客户， E-HPC提供自动伸缩+抢占式实例+断点续算低成本计算方案，从而可以将云上普惠的高性能计算服...阅读... 阅 读 全 部 >