ubuntu安装spark(Ubuntu安装ssh)

本文目录：

• 1、spark在ubuntu12.10上能直接安装吗
• 2、怎么在ubuntu中安装spark
• 3、如何安装spark&tensorflowonspark
• 4、如何在Ubuntu下搭建Spark集群
• 5、ubuntu 安装spark时，运行命令pyspark报错
• 6、ubuntu卸载spark命令

spark在ubuntu12.10上能直接安装吗

完全可以安装，所谓大家都先装hadoop是想要使用hadoop的HDFS分布式存储文件系统，如果你先不装hadoop，那你就直接用本地文件系统就成了，然后在spark-shell下进行使用spark命令，亲测可用。

怎么在ubuntu中安装spark

我自己已经解决了，通过看了几篇BLOG，这里贴上地址，参考BLOG ： 一、Ubuntu14.04下安装Hadoop2.4.0 （单机模式）；Ubuntu 12.04下Hadoop 2.2.0 集群搭建（原创）；ubuntu 中ssh无密码配置 ，hadoop节点之间无密码登录；我是在Ubuntu14.04LTS下搭建的1.1.0Spark集群，已经搭建成功，目前只用了3台电脑。方法差不多。

如何安装spark&tensorflowonspark

1. 安装Scala最好选择一个2.10.X，这样对spark支持比较好，不会出现一些幺蛾子。这有个教程，应该是可以的

2. 安装spark大概是这里面最简单的事了吧点这里下载spark。鉴于我们已经安装好了hadoop，所以我们就下载一个不需要hadoop的spark包，就是这个with user-provided Hadoop这个

我用的是1.6.0好像大家用这个的比较多，最新的已经到2.1.x了。

解压到你想安装的目录

sudo tar -zxf ~/下载/spark-1.6.0-bin-without-hadoop.tgz -C /usr/local/

cd /usr/local

sudo mv ./spark-1.6.0-bin-without-hadoop/ ./spark

sudo chown -R hadoop:hadoop ./spark # 此处的 hadoop 为你的用户名

之后很重点的一步是修改spark-env.sh的内容，好像要改好多好多。。。

cd /usr/local/spark

cp ./conf/spark-env.sh.template ./conf/spark-env.sh

vim conf/spark-enf.sh

这里是我的spark-env.sh的一些配置

export HADOOP_HOME=/home/ubuntu/workspace/hadoop

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

export HADOOP_HDFS_HOME=/home/ubuntu/workspace/hadoop

export SPARK_DIST_CLASSPATH=$(/home/ubuntu/workspace/hadoop/bin/hadoop classpath)

export JAVA_HOME=/home/ubuntu/workspace/jdk/

export SCALA_HOME=/home/ubuntu/workspace/scala

export SPARK_MASTER_IP=192.168.1.129

export SPARK_WORKER_MEMORY=1G

export SPARK_MASTER_PORT=7077

export SPARK_WORKER_CORES=1

export SPARK_WORDER_INSTANCES=2

export SPARK_EXECUTOR_INSTANCES=2118

属性不明白的可以打开spark-env.sh，里面前面又好多注释，讲各种属性的意思。（ps:这里有个SPARK_DIST_CLASSPATH一定要照着改对，否则会运行不起来）

这是给力星大大的教程写得很好。

3. 分布式spark部署

重点来了，当然，教程在这里

这里好像没什么坑，但是好像我记得刚开始的时候别的机器上的worker老是启动不起来，但是忘记是什么原因了，可能是免密登录没设置还是怎么的。

照着教程完成了之后，你就获得了spark的集群辣，撒花~(≧▽≦)/~

ps:这里还有个搭建standalone集群的简单介绍，Spark的Standalone模式安装部署

如何在Ubuntu下搭建Spark集群

这里是结合Hadoop2.0使用的 1，download :选择prebuilt:中hadoop2的下载，hadoop安装就不介绍了，spark节点可以不是hadoop节点，可以是一个hadoop客户端。 2，download scala，…

ubuntu 安装spark时，运行命令pyspark报错

方法： 1。 改表法。可能是你的帐号不允许从远程登陆，只能在localhost。这个时候只要在localhost的那台电脑，登入mysql后，更改 “mysql” 数据库里的 “user” 表里的 “host” 项，从”localhost”改称”%” mysql -u root -pvmwaremysqluse mysql;mysqlupdate user set host = ‘%’ where user = ‘root’;mysqlselect host, user from user; 2. 授权法。例如，你想myuser使用mypassword从任何主机连接到mysql服务器的话。

ubuntu卸载spark命令

ubuntu卸载spark命令

最佳卸载命令(最好是切换到root)

apt-get remove packagename –purge apt-get autoremove –purge apt-get clean 

卸载程序(包括配置文件)、卸载依赖、删除/var/cache/apt/archives下所有安装包

最佳升级软件命令

apt-get update apt-get upgrade

apt常用命令

apt-cache show packagename 获取包的相关信息，如说明、大小、版本等

apt-cache depends packagename 了解使用依赖

apt-cache rdepends packagename 是查看该包被哪些包依赖

apt-get install packagename 安装包

apt-get install package=version 指定安装版本

apt-get install packagename –reinstall 重新安装包

apt-get remove packagename –purge 卸载程序，包括删除配置文件等

apt-get update 更新源,更新 /etc/apt/sources.list里的链接地址

apt-get upgrade -u 升级程序(不包括依赖关系改变的) -u 完整显示列表

apt-get dist-upgrade 升级程序(包括依赖关系改变的并且重新组织依赖关系)

apt-get clean 删除安装包(节约硬盘空间,下次安装需要重新下载包，软件包位置：/var/cache/apt/archives/)

apt-get autoclean 删除已卸载的安装包(Ubuntu14.04测试发现没起作用)

apt-get autoremove 卸载依赖的程序

【ubuntu安装spark】的内容来源于互联网，如引用不当，请联系我们修改。