RELATEED CONSULTING
相关咨询
选择下列产品马上在线沟通
服务时间:8:30-17:00
你可能遇到了下面的问题
关闭右侧工具栏

新闻中心

这里有您想知道的互联网营销解决方案
eclipse远程调试mapreduce-创新互联

使用环境:centos6.5+eclipse(4.4.2)+hadoop2.7.0

在馆陶等地区,都构建了全面的区域性战略布局,加强发展的系统性、市场前瞻性、产品创新能力,以专注、极致的服务理念,为客户提供成都网站建设、网站设计 网站设计制作按需定制设计,公司网站建设,企业网站建设,品牌网站制作,成都营销网站建设,成都外贸网站建设,馆陶网站建设费用合理。

1、下载eclipse hadoop 插件  hadoop-eclipse-plugin-2.7.0.jar 粘贴到eclipse 目录下的plugins下重新启动eclipse

2、选择eclipse里面的windows-->showview-->other-->mapreduce tool -->map/reduce locations

3、选择上一步后eclipse右下角会多出一个map/reduce locations 选项卡,在里面点击右键-->new hadoop locations -->配置如下图所示:

4、配置hadoop/etc/hadoop/mapred-site.xml,在追加如下信息

  
    mapred.map.child.java.opts   
    -Xmx1024m -Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8883  
  
  
    mapred.tasktracker.map.tasks.maximum  
    1  

追加后的mapred-site.xml完整信息









        mapreduce.framework.name

        yarn

    
      
        mapred.map.child.java.opts   
            -Xmx1024m -Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8883  
       
        
          mapred.tasktracker.map.tasks.maximum  
          1  
       
      

追加后的mapred-site.xml完整信息








   mapreduce.framework.name yarn
mapred.map.child.java.opts -Xmx1024m -Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8883
mapred.tasktracker.map.tasks.maximum 1 mapred.reduce.child.java.opts -Xmx1024m -Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8884
mapred.tasktracker.reduce.tasks.maximum 1

执行:hadoop jar xxx.jar words.txt /wordsout

 提交上面之后job就会在map 0% reduce 0%的时刻停下来等待远程调试的debugger。

这时在eclipse -->Debug as -->Remote Java Appplicetion :Contention Proteties IP:127.0.0.1[根据情况填写实际IP],Port:8883[上面配置的端口] apply debug

这时就可以进入map函数里面了。

5、调试Reduce 任务

配置hadoop/etc/hadoop/mapred-site.xml,在追加如下信息

  
    mapred.reduce.child.java.opts  
    -Xmx1024m -Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8884  
  
  
    mapred.tasktracker.reduce.tasks.maximum  
    1  

执行:hadoop jar xxx.jar words.txt /wordsout

之后提交job,job就会在map 100% reduce 0%的时刻停下来等待远程调试的debugger。

这时在eclipse -->Debug as -->Remote Java Appplicetion :Contention Proteties IP:127.0.0.1[根据情况填写实际IP],Port:8884[上面配置的端口] apply debug

这时就可以进入reduce函数里面了。

本篇文章是基于hadoop 伪部署的基本上配置 的

参考文章:http://blog.csdn.net/gjt19910817/article/details/30384685


文章名称:eclipse远程调试mapreduce-创新互联
当前URL:http://lswzjz.com/article/dhcsio.html