1. spark 安装目录问题
ambari 安装的spark 版本号和社区下载的不一样,semver.sh脚本执行正则的时候验证spark版本是否合格,会失败。
重新安装 spark 指定路径
2. 链接数据库须带端口
3.spark路径
/data/Software/spark-2.3.3
4.postgresql数据库:
数据地址:
库名:pio
用户名:pio
密码:
链接
psql -U pio -h ip -p 5432 -d pio
所有数据库:
select * from pg_database;
选择数据库:
\c pio
查询指定库所有表:
\dt
退出:
\q
5.PredictionIO安装目录:
/usr/local/PredictionIO/PredictionIO-0.14.0
unset -f pathmunge
export JAVA_HOME=/usr/jdk64/jdk1.8.0_112
export HADOOP_HOME=/usr/hdp/2.6.4.0-91/hadoop
export SPARK_HOME=/usr/hdp/2.6.4.0-91/spark2
export PGD_HOME=/usr/local/postgresql
export PIO_HOME=/usr/local/Pred