Hadoop映射程序运行缓慢
我试图用映射器和还原器运行一个作业，但映射器运行得很慢…
如果对于相同的输入，我禁用精简器，映射器在3分钟内完成，而对于映射器-精简器作业，即使在30分钟结束时，映射器仍未完成。
此外，Jobtracker日志还填充有：
2012-10-03 10:26:20,138 INFO org.apache.hadoop.ipc.Server: IPC Server listener on 54311: readAndProcess threw exception java.lang.RuntimeException: readObject can't find class . Count of bytes read: 0
java.lang.RuntimeException: readObject can't find class
at org.apache.hadoop.io.ObjectWritable.readObject(ObjectWritable.java:185)
at org.apache.hadoop.ipc.RPC$Invocation.readFields(RPC.java:102)
at org.apache.hadoop.ipc.Server$Connection.processData(Server.java:1303)
at org.apache.hadoop.ipc.Server$Connection.processOneRpc(Server.java:1282)
at org.apache.hadoop.ipc.Server$Connection.readAndProcess(Server.java:1182)
at org.apache.hadoop.ipc.Server$Listener.doRead(Server.java:537)
at org.apache.hadoop.ipc.Server$Listener$Reader.run(Server.java:344)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1110)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:603)
at java.lang.Thread.run(Thread.java:679)
Caused by: java.lang.ClassNotFoundException:
at java.lang.Class.forName0(Native Method)
at java.lang.Class.forName(Class.java:264)
at org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:820)
at org.apache.hadoop.io.ObjectWritable.readObject(ObjectWritable.java:183)
有人能说出哪里可能出了问题吗
共有1个答案
如果你的映射器在3分钟内完成。然后它不慢与批处理性质。是的，对于您使用的mapreduce版本，您需要确保您使用的是正确的reducer no。如果集群大小为X，则尝试使用减缩器的数量为X-1。看看这有没有帮助
-
我只是重新运行了以下命令：、、。但现在我得到以下错误： 13/11/10 20:52:12 ERROR Security.usergroupInformation：PriviledgedActionException as：hduser case：org.apache.hadoop.ipc.remoteException：org.apache.hadoop.mapred.safemodeExcep
-
前缀映射，后缀映射和缓存映射 通过 names.NewPrefixMapper(names.SnakeMapper{}, "prefix") 可以创建一个在 SnakeMapper 的基础上在命名中添加统一的前缀，当然也可以把 SnakeMapper{} 换成 SameMapper 或者你自定义的 Mapper。 例如，如果希望所有的表名都在结构体自动命名的基础上加一个前缀而字段名不加前缀，则可以
-
我在pyplay上做了一个Tamagotchi项目，在这个早期阶段，程序运行非常缓慢。你对原因有什么提示吗？还有，有没有办法加快速度？ 到目前为止，这是我的代码：
-
null 映射器读取每一行（作为键）后，必须复制从hdfs输入名称的视频并存储在从机上，然后程序在视频上运行opencv和ffmpeg然后切换到视频2做同样的事情 hadoop jar/usr/local/lib/hadoop-2.7.3/share/hadoop/tools/lib/hadoop-streaming-2.7.3.jar-input/user/root/input-output/u
-
我正在构建自己的android应用程序，当我把它放在我的Nexus 5和Xperia Neo上时效果很好，但在Nexus 4或Galaxy S3上效果很慢。我不知道发生了什么。你能帮我吗？我正在使用android:minSdkVersion=“14”和android:targetSdkVersion=“17”，片段和一个抽屉布局。 包装测试。Droidlogin； 导入android.conten
-
如何在映射器中获取输入文件的名称？我有多个输入文件存储在输入目录中，每个映射器可能读取不同的文件，我需要知道映射器读取了哪个文件。