Hadoop常见错误总结.docx

Hadoop常见错误总结

第一篇：Hadoop常见错误总结Hadoop常见错误总结2010-12-3013:55错误1：bin/hadoopdfs不能正常启动，持续提示：INFOipc.Client:Retryingconnecttoserver:localhost/127.0.0.1:9000.Alreadytried0time(s).原因：由于dfs的部分文件默认保存在tmp文件夹，在系统重启时被删除。解决：修改core-site.xml的hadoop.tmp.dir配置文件路径：/home/hadoop/tmp。错误2：hadoop出现了一些问题。用$bin/hadoopdfsadmin-report测试的时候，发现dfs没有加载。显示如下：ConfiguredCapacity:0(0KB)PresentCapacity:0(0KB)DFSRemaining:0(0KB)DFSUsed:0(0KB)DFSUsed%:?%Underreplicatedblocks:0Blockswithcorruptreplicas:0Missingblocks:0查看日志：ERRORorg.apache.hadoop.hdfs.server.datanode.DataNode:java.io.IOException:IncompatiblenamespaceIDsin/home/hadoop/data:namenodenamespaceID=2033006627;datanodenamespaceID=1589898341经分析，是由于namenodenamespaceID=2033006627;和datanodenamespaceID=1589898341不一致造成原因。修改了namenodenamespaceID=1589898341可以使用，但是重启之后，又不可以用了。最后解决方案：删除hadoop用户下的name文件夹，data文件夹，tmp文件夹，temp文件里的内容，然后重新执行namenode命令。重启电脑之后，正常。错误3：File/home/hadoop/tmp/mapred/system/jobtracker.infocouldonlybereplicatedto0nodes,insteadof1出现此错误，一般发生在datanode与namenode还没有进行连接，就开始往hdfs系统上put数据了。稍等待一会，就可以了。也可以使用：hadoopdfsadmin–report命令查看集群的状态。错误4：每次启动总有部分datanade不能去全部启动，查看日志文件，显示为：ERRORorg.apache.hadoop.hdfs.server.datanode.DataNode:java.net.UnknownHostException:zgchen-ubutun:zgchen-ubutunatjava.net.InetAddress.getLocalHost(InetAddress.java:1426)。分析：这是由于datanode找不到服务host引起的。解决：通过查找/etc/hostname找到hostname；比如：ubuntu。然后找到/etc/hosts，添加：127.0.1.1ubuntu错误5：java.lang.OutOfMemoryError:GCoverheadlimitexceeded分析：这个是JDK6新添的错误类型。是发生在GC占用大量时间为释放很小空间的时候发生的，是一种保护机制。解决方案是，关闭该功能，可以添加JVM的启动参数来限制使用内存：-XX:-UseGCOverheadLimit添加位置是：mapred-site.xml里新增项：mapred.child.java.opts内容：-XX:-UseGCOverheadLimitjava.lang.OutOfMemoryError:Javaheapspace出现这种异常，明显是jvm内存不够得原因，要修改所有的datanode的jvm内存大小。Java-Xms1024m-Xmx4096m一般jvm的最大内存使用应该为总内存大小的一半，我们使用的8G内存，所以设置为4096m，这一值可能依旧不是最优的值。（其实对于最好设置为真实物理内存大小的0.8）错误6：Toomanyfetch-failuresAnswer:出现这个问题主要是结点间的连通不够全面。1)检查、/etc/hosts要求本机ip对应服务器名要求要包含所有的服务器ip+服务器名2)检查.ssh/authorized_keys要求包含所有服务器（包括其自身）的publickey错误7：处理速度特别的慢出现map很快但是reduce很慢而且反复出现reduce=0%Ans