在EMR上使用Spark上的Jupyter笔记本
连接到Spark:pyspark_driver_python=/usr/local/bin/jupyter pyspark_driver_python_opts=“notebook--no-browser--port=7777”pyspark--packages com.databricks:spark-csv2.10:1.1.0--master spark://127.0.0.1:7077--executor-memory 6400m--driver-memory 6400m
建立到浏览器的隧道:ssh-l 0.0.0.0:8080:127.0.0.1:7777 ip-172-31-34-209-i publickey.pem
在浏览器上打开Jupyter：
http：//EMR群集主机名：8080
我可以运行前5个步骤，但不能在我的浏览器上打开Jupyter笔记本。
共有1个答案
没有测试它，因为它涉及到设置一个测试EMR服务器，但以下是应该工作的：
第5步：
ssh -i publickkey.pem -L 8080:127.0.0.1:7777 HOSTNAME
6.步骤6：
-
我想添加一个永久的使用能够访问特定目录或文件夹中的数据。我读到我们可以使用。 有人能告诉我如何做的分步指导吗？我是新来的，文档不是很清楚。 例如，假设我的路径如下：
-
我有一台安装了Hadoop和Spark的机器。下面是我目前的环境。 Python3.6 /root/.ipython/profile_pyspark/startup/00-pyspark-setup.py /root/anaconda3/share/jupyter/kernels/pyspark/kernel.json kernel.json 所以，由于sc无法初始化，如果我想运行以下操作，它失败
-
我正在使用macOS，试图在Jupyter笔记本的标记单元格中添加一个图像（png）文件，但它不断生成一条错误消息，表示他们找不到png文件。我不确定我的以下两个代码有什么问题：
-
我已经花了几天的时间试图用我的Jupyter笔记本和Anaconda让Spark工作。这是我的想法。bash_配置文件看起来像： 当我键入，我可以在命令行shell中很好地启动spark。并且输出不是空的。它似乎工作得很好。 当我键入，它启动我的Jupyter笔记本罚款。当我创建一个新的Python3笔记本时，会出现以下错误： 和在我的Jupyter笔记本是空的。 有人能帮助解决这个问题吗？ 只是
-
我已经从Kaggle（视频游戏与评级）下载了一个数据库，但我不能用我的木星笔记本打开它。 我从这两行代码开始，但它给了我一个错误。。。 （）1中的UnicodeDecodeError回溯（最后一次调用）作为pd导入---- ~\Anaconda3\lib\site-包\熊猫\io\parsers.pyparser_f（filepath_or_buffer，sep，分隔符，标头，名称，index_c
-
我正在使用Google Colaboratory 现在，我的github项目中有一个Jupyter笔记本，需要在Google Colab上运行。我该怎么做？