对于Spark而言,如果大家只是想摸一下、熟悉熟悉而已,可以搭建单机的Spark,大致步骤如下(我使用VMWare下的Ubuntu 14.04,暂不考虑安全问题,在root下运行):
创新互联公司一直在为企业提供服务,多年的磨炼,使我们在创意设计,成都全网营销到技术研发拥有了开发经验。我们擅长倾听企业需求,挖掘用户对产品需求服务价值,为企业制作有用的创意设计体验。核心团队拥有超过十多年以上行业经验,涵盖创意,策化,开发等专业领域,公司涉及领域有基础互联网服务成都温江机房、App定制开发、手机移动建站、网页设计、网络整合营销。1、安装Ubuntu 14.04,注意装好后需要禁用防火墙(ufw disable),安装SSH 服务器,启用root用户
2、下载安装JDK-1.8、scala 2.11.8(需要和spark的jar版本配合下,这个其实不是很必要,练习用)、spark、maven(build用,这里的scala版本需要和spark的一致,否则可能出现ClassNotDef异常)
3、在.profile中配置环境变量,如:
export SPARK_HOME=/root/spark-2.2.0-bin-hadoop2.7
export SPARK_LOCAL_HOST=192.168.162.132
export SPARK_MASTER_HOST=192.168.162.132
4、启动spark:
$SPARK_HOME/sbin/start-master.sh
# 在单机情况下也必须启动,否则没有worker
$SPARK_HOME/sbin/start-slave.sh
5、使用maven编译一个示例程序(当然sbt也可以)
6、提交你的测试程序,如下:
$SPARK_HOME/spark-submit --class "类名" --master spark://IP:Port 打包文件名
另外,注意的一点是需要在/etc/hosts和/etc/hostname中正确配置主机名,否则可能出现IOException
另外有需要云服务器可以了解下创新互联scvps.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。
文章题目:Ubuntu系统搭建单机Spark注意事项-创新互联
链接地址:http://lswzjz.com/article/ggedj.html