Hadoop高可用技术综述

摘要随着大数据时代的到来Hadoop作为开源的分布式系统基础架构已成为处理海量数据的核心平台。然而传统Hadoop 1.x版本中存在单点故障问题特别是NameNode的失效会导致整个HDFS集群不可用。本文基于Hadoop高可用HA技术系统介绍了Hadoop分布式系统的基本概念、版本演进、HDFS高可用解决方案以及Hadoop 2高可用分布式部署实践旨在为大数据运维人员提供全面的技术参考。一、Hadoop分布式系统概述1.1 Hadoop简介Hadoop是由Apache基金会所开发的开源分布式系统基础架构。用户可以在不了解分布式底层细节的情况下开发分布式程序充分利用集群的威力进行高速运算和存储。Hadoop解决了大数据大到一台计算机无法进行存储一台计算机无法在要求的时间内进行处理的可靠存储和处理问题适合处理非结构化数据主要包括HDFS、MapReduce等基本组件。1.2 Hadoop的发展与应用Hadoop自诞生以来得到了众多互联网巨头的大力支持。Yahoo是Hadoop的最大支持者截至2012年其Hadoop机器总节点数目超过42,000个总集群存储容量大于350PB每月提交的作业数目超过1,000万个。Yahoo的Hadoop应用主要包括广告系统、用户行为分析、Web搜索、反垃圾邮件系统等。Facebook使用Hadoop存储内部日志与多维数据集群机器节点超过1,400台原始存储容量超过15PB并在Hadoop基础上建立了Hive数据仓库框架。百度自2006年开始使用Hadoop集群规模达到上万台机器总存储容量超过100PB应用于数据挖掘、日志分析、推荐引擎等场景。阿里巴巴、腾讯等国内公司也广泛采用Hadoop支撑其核心业务。二、Hadoop版本对比与演进2.1 Hadoop版本介绍Hadoop经历了从1.x到2.x再到3.x的多个版本迭代。Hadoop 1.x版本的核心组件包括HDFS和MapReduce其中HDFS采用单一的NameNode节点管理元数据MapReduce采用JobTracker/TaskTracker架构。Hadoop 2.x引入了YARN资源管理框架并对HDFS进行了高可用HA和联邦Federation增强。2.2 Hadoop 1.x存在的问题Hadoop 1.x版本暴露出以下主要问题单点故障NameNode是整个HDFS的唯一管理节点一旦发生故障整个文件系统将无法访问导致集群服务中断。扩展性限制单个NameNode的内存容量限制了集群的规模无法支持超大规模的文件系统。恢复时间长NameNode重启需要加载整个文件系统元数据恢复时间与文件系统规模成正比在大规模集群中可能长达数小时。MapReduce资源管理效率低JobTracker同时承担资源管理和作业调度容易成为性能瓶颈。2.3 Hadoop 2.x改进策略Hadoop 2.x通过以下策略解决了上述问题HDFS高可用HA引入Active/Standby NameNode架构通过共享存储如NFS、Quorum Journal Manager实现元数据同步当Active节点故障时Standby节点快速接管。HDFS Federation通过多个独立的NameNode管理不同的命名空间提升系统扩展性和隔离性。YARN资源管理将资源管理ResourceManager和作业调度ApplicationMaster分离提高了资源利用率和集群吞吐量。三、HDFS高可用解决方案3.1 高可用集群的定义高可用集群High Availability Cluster是指一组计算机作为一个整体向用户提供网络资源当某个节点失效时其备援节点能够在几秒钟内接管职责从而实现服务的持续可用。只有两个节点的高可用集群又称为“双机热备”。高可用性通常用平均无故障时间MTTF和平均维修时间MTTR来度量可用性公式为HA MTTF / (MTTF MTTR) × 100%。例如99.99%的可用性意味着一年宕机时间不超过1小时。3.2 HDFS HA的多种解决方案为了提高HDFS中NameNode的可靠性减少服务恢复时间业界提出了多种HA解决方案3.2.1 Hadoop元数据备份利用Hadoop自身机制将NameNode的元数据保存到多个目录如本地目录和远程NFS共享目录。当NameNode故障时可启动备用机器加载远程元数据。优点成熟可靠配置简单元数据有多个备份。缺点同步写入降低效率恢复时间与文件系统规模成正比NFS阻塞会影响服务。3.2.2 SecondaryNameNode方案启动一个SecondaryNameNode节点定期从NameNode下载元数据镜像fsimage和操作日志edits合并后推送给NameNode。优点减少NameNode启动时间防止edits文件过大。缺点没有热备恢复时间长可能丢失部分操作数据。3.2.3 Checkpoint Node方案原理与SecondaryNameNode类似但实现方式不同。Checkpoint Node定期合并元数据并上传到Primary NameNode。优点使用方便元数据多备份。缺点无热备切换时间长恢复的元数据可能不是最新的。3.2.4 Backup Node方案配置一个Backup Node在内存和本地保存HDFS最新的命名空间元数据。一旦NameNode宕掉可使用Backup Node中的最新元数据。优点内存中保留最新元数据避免NFS风险CheckPoint效率高。缺点方案不成熟Backup Node不能直接接替NameNode提供服务未保存Block位置信息当前版本只允许一个Backup Node连接。3.2.5 DRDB方案利用DRDBDistributed Replicated Block Device机制进行元数据备份故障时启动备用机器的NameNode读取DRDB备份的元数据。优点成熟备份机制元数据保持最新状态效率优于普通元数据备份。缺点无热备切换时间长元数据可靠性需额外机制保障。3.2.6 Facebook AvatarNode方案一种热备机制Primary NameNode对外提供服务Standby Node在内存中保存最新的元数据信息两者依靠NFS交互。DataNode同时向两个Node发送Block位置信息。当Primary宕掉Standby Node直接接替成为新的Primary。优点提供热备切换时间大大缩短已部署于Facebook生产环境。缺点修改了部分源码增加了维护复杂性参考资料较少。3.3 发展方向随着企业需求的变化高可用集群软件呈现出系统多样化、用途多样化如远程容灾以及对虚拟化支持等发展方向。虚拟化技术的普及使得物理服务器的单点故障问题更加突出高可用性对虚拟平台的支持成为一种必然。四、Hadoop 2高可用分布式部署实践4.1 集群环境规划以4台机器的集群为例规划如下IP地址主机名角色192.168.168.116master第一名称节点Active NameNode192.168.168.117masterback第二名称节点Standby NameNode192.168.168.118slaver1DataNode NodeManager192.168.168.119slaver2DataNode NodeManager操作系统采用LinuxHadoop版本为2.6.4使用root用户进行操作。4.2 Hadoop安装与配置4.2.1 安装步骤在master机器上执行bash# 解压Hadoop安装包 tar -zxf hadoop-2.6.4.tar.gz -C /usr/local # 重命名文件夹 mv /usr/local/hadoop-2.6.4 /usr/local/hadoop4.2.2 修改环境变量编辑/usr/local/hadoop/etc/hadoop/hadoop-env.sh设置JAVA_HOME等环境变量。4.2.3 核心配置文件Hadoop HA部署需要配置多个核心文件位于$HADOOP_HOME/etc/hadoop/目录下core-site.xml配置HDFS的默认文件系统地址使用nameservice名称和ZooKeeper相关参数。hdfs-site.xml配置NameNode的HA模式指定两个NameNode的RPC地址和HTTP地址以及JournalNode的地址和共享编辑日志目录。yarn-site.xml配置ResourceManager的HA以及NodeManager的参数。mapred-site.xml配置MapReduce运行框架为yarn。4.3 节点进程详解在Hadoop分布式集群中主要运行以下五种后台进程deamon进程名称所在节点主要职责NameNodeMaster节点管理文件系统的命名空间和元数据处理客户端请求DataNodeSlave节点存储实际的数据块定期向NameNode汇报块列表Secondary NameNode辅助节点定期合并fsimage和edits防止edits过大非热备ResourceManagerMaster节点资源管理和作业调度YARNNodeManagerSlave节点管理单个节点上的容器和任务执行在Hadoop HA架构中Active NameNode和Standby NameNode共同运行在两个不同的Master节点上通过JournalNode实现元数据同步。NameNode容错机制Hadoop提供了两种NameNode容错机制持久化备份将元数据同时写入本地磁盘和远程网络文件系统如NFS。辅助NameNode定期合并命名空间镜像和操作日志但辅助NameNode总是落后于主NameNode数据丢失不可避免通常需结合NFS使用。JobTracker与TaskTrackerHadoop 1.x概念在Hadoop 1.x中JobTracker运行在Master节点负责作业调度和任务监控TaskTracker运行在每个Slave节点负责执行具体的map/reduce任务。Hadoop 2.x中这些功能由YARN的ResourceManager和NodeManager取代。4.4 Web UI监控部署完成后可以通过Web界面监控集群状态HDFS界面http://hadoop001:50070可以查看文件系统目录结构、Active和Standby NameNode的状态、DataNode的注册情况等。YARN界面http://hadoop001:8088查看资源使用情况、作业运行状态等。通过文件浏览器可以查看HDFS上的数据文件及详细信息。五、总结Hadoop高可用技术是保障大数据平台稳定运行的关键。本文从Hadoop分布式系统的基本概念出发分析了Hadoop版本的演进历程和Hadoop 1.x存在的单点故障问题详细介绍了HDFS高可用的多种解决方案及其优缺点最后以Hadoop 2高可用分布式部署为例给出了具体的集群规划、安装配置、进程解析和监控方法。在实际生产环境中建议采用成熟的HA方案如基于Quorum Journal Manager的HDFS HA并结合ZooKeeper实现自动故障转移。同时运维人员应熟悉各进程的工作原理和容错机制以便在故障发生时快速定位和恢复服务。随着虚拟化和容器化技术的普及Hadoop高可用架构也在不断演进未来将更加智能化和自动化。3.2.6 Facebook AvatarNode方案3.3 发展方向高可用集群软件呈现出系统多样化、用途多样化如远程容灾以及对虚拟化支持等发展方向。四、Hadoop 2高可用分布式部署实践4.1 集群环境规划以4台机器的集群为例规划如下IP地址主机名角色192.168.168.116master第一名称节点Active NameNode192.168.168.117masterback第二名称节点Standby NameNode192.168.168.118slaver1DataNode NodeManager192.168.168.119slaver2DataNode NodeManager4.2 Hadoop安装与配置4.2.1 安装步骤在master机器上执行解压和重命名命令。4.2.2 修改环境变量编辑hadoop-env.sh设置JAVA_HOME。4.2.3 核心配置文件HA部署需要配置core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml。4.3 节点进程详解在Hadoop分布式集群中主要运行以下五种后台进程进程名称所在节点主要职责NameNodeMaster节点管理文件系统的命名空间和元数据DataNodeSlave节点存储实际的数据块Secondary NameNode辅助节点定期合并fsimage和editsResourceManagerMaster节点资源管理和作业调度YARNNodeManagerSlave节点管理单个节点上的容器和任务执行NameNode容错机制Hadoop提供了两种NameNode容错机制持久化备份和辅助NameNode。JobTracker与TaskTrackerHadoop 1.x概念4.4 Web UI监控部署完成后可以通过Web界面监控集群状态HDFS界面http://hadoop001:50070YARN界面http://hadoop001:8088五、总结Hadoop高可用技术是保障大数据平台稳定运行的关键。本文从Hadoop分布式系统的基本概念出发分析了Hadoop版本的演进历程和Hadoop 1.x存在的单点故障问题详细介绍了HDFS高可用的多种解决方案及其优缺点最后以Hadoop 2高可用分布式部署为例给出了具体的集群规划、安装配置、进程解析和监控方法。在实际生产环境中建议采用成熟的HA方案如基于Quorum Journal Manager的HDFS HA并结合ZooKeeper实现自动故障转移。随着虚拟化和容器化技术的普及Hadoop高可用架构也在不断演进。