当前位置: 首页 > 面试题库 >

如何使用Python连接HBase和Spark?

莘康裕
2023-03-14
问题内容

我有一个令人尴尬的并行任务,我使用Spark来分配计算。这些计算是在Python中进行的,我使用PySpark读取和预处理数据。我任务的输入数据存储在HBase中。不幸的是,我还没有找到一种令人满意的(即易于使用且可扩展)的方式,可以使用Python从/向Spark读取/写入HBase数据。

我之前探讨过的内容:

  • 使用从我的Python进程内部进行连接happybase。该软件包允许使用HBase的Thrift API从Python连接到HBase。这样,我基本上跳过Spark进行数据读取/写入,并且错过了潜在的HBase-Spark优化。读取速度似乎相当快,但是写入速度却很慢。这是目前我最好的解决方案。

  • 使用SparkContextnewAPIHadoopRDDsaveAsNewAPIHadoopDataset使用HBase的MapReduce接口。此示例曾经包含在Spark代码库中(请参阅此处)。但是,现在认为这些已经过时了,而不再支持HBase的Spark绑定(请参阅此处)。我还发现这种方法很慢且麻烦(对于阅读,编写效果很好),例如,newAPIHadoopRDD必须对返回的字符串进行各种解析和转换,以最终得到所需的Python对象。它还一次仅支持一列。

我知道的替代方法:

  • 我目前正在使用Cloudera的CDH和5.7.0版提供的内容hbase-spark(CDH发行说明,以及详细的博客文章)。该模块(以前称为SparkOnHBase)将正式成为HBase 2.0的一部分。不幸的是,这个奇妙的解决方案似乎仅适用于Scala / Java。

  • 华为的HBase Spark-SQL / Astro(我看不出两者之间的区别…)。它看起来不像我希望的解决方案那样强大和得到很好的支持。


问题答案:

我发现是由的制造商之一发表的hbase-spark,这似乎暗示着有一种方法可以使用Spark
SQL使用PySpark查询HBase。

实际上,可以将此处描述的模式应用于使用PySpark使用SparkSQL查询HBase,如以下示例所示:

from pyspark import SparkContext
from pyspark.sql import SQLContext

sc = SparkContext()
sqlc = SQLContext(sc)

data_source_format = 'org.apache.hadoop.hbase.spark'

df = sc.parallelize([('a', '1.0'), ('b', '2.0')]).toDF(schema=['col0', 'col1'])

# ''.join(string.split()) in order to write a multi-line JSON string here.
catalog = ''.join("""{
    "table":{"namespace":"default", "name":"testtable"},
    "rowkey":"key",
    "columns":{
        "col0":{"cf":"rowkey", "col":"key", "type":"string"},
        "col1":{"cf":"cf", "col":"col1", "type":"string"}
    }
}""".split())


# Writing
df.write\
.options(catalog=catalog)\  # alternatively: .option('catalog', catalog)
.format(data_source_format)\
.save()

# Reading
df = sqlc.read\
.options(catalog=catalog)\
.format(data_source_format)\
.load()

我已经尝试过hbase- spark-1.2.0-cdh5.7.0.jar(由Cloudera分发),但是遇到了麻烦(org.apache.hadoop.hbase.spark.DefaultSource does not allow create table as selectjava.util.NoSuchElementException: None.get时,读时)。事实证明,当前版本的CDH不包括hbase-spark允许Spark SQL-HBase集成的更改。

什么
的工作对我来说是shc星火包,发现在这里。我必须对以上脚本进行的唯一更改是更改:

data_source_format = 'org.apache.spark.sql.execution.datasources.hbase'

按照shc自述文件中的示例,这是我在CDH群集上提交上述脚本的方式:

spark-submit --packages com.hortonworks:shc:1.0.0-1.6-s_2.10 --repositories http://repo.hortonworks.com/content/groups/public/ --files /opt/cloudera/parcels/CDH/lib/hbase/conf/hbase-site.xml example.py

大部分工作shc似乎已经合并到hbase-sparkHBase模块中,以在2.0版中发布。这样,可以使用上述模式对HBase进行Spark
SQL查询(有关详细信息,请参见:https:
//hbase.apache.org/book.html#_sparksql_dataframes)。上面的示例显示了PySpark用户的外观。

最后,请注意:我上面的示例数据仅包含字符串。不支持Python数据转换shc,因此我遇到了整数和浮点数未在HBase中显示或出现奇怪值的问题。



 类似资料:
  • 问题内容: 谁能推荐一些在python中建立ssh连接的东西?我需要它与任何操作系统兼容。 我已经尝试使用pyssh来获取SIGCHLD的错误,我读过这是因为Windows缺少此错误。我尝试过使paramiko正常工作,但是在paramiko和Crypto之间存在错误,以至于每个版本的最新版本都无法协同工作。 Windows计算机上当前使用Python 2.6.1。 问题答案: 请注意,这在Win

  • 问题内容: 我有一个基于python的程序,该程序从连接到rs232电缆的端口读取串行数据。我想将此处获得的数据传递给C程序,该程序将处理计算密集型方面。我一直在检查网络,发现的所有内容都是基于Linux的。 问题答案: 使用管道并弹出 解决此问题的最简单方法可能就是使用。该函数在Python和C中都可用,并且将使用管道将任何一种语言的程序与另一种语言连接。 有了管道后,您可能应该通过它发送yam

  • 我在伪分布式设置中使用Hbase 1.2.6、Phoenix-4.13.1-Hbase 1.2、hadoop 2.9.0。我可以在hbase shell中创建表,我想使用phoenix来读取那些表。运行'sqlline.py localhost:2181:/hbase-unsecure'时出现以下错误: hbase-site.xml文件:

  • 本文向大家介绍Python如何使用paramiko模块连接linux,包括了Python如何使用paramiko模块连接linux的使用技巧和注意事项,需要的朋友参考一下 python程序需要连接linux时,需要使用密码或者秘钥验证以登录os进行命令操作或者文件传输,python中实现此功能的模块为paramiko;下面是该模块的基础用法 下面是通过密码进行linux登录执行命令和文件传输示例

  • 问题内容: 如何使用python程序连接到MySQL数据库? 问题答案: 分三步使用Python 2连接到MYSQL 1-设定 在执行任何操作之前,必须安装MySQL驱动程序。与PHP不同,默认情况下,Python仅安装SQLite驱动程序。最常用的软件包是MySQLdb,但很难使用进行安装。请注意,MySQLdb仅支持Python 2。 对于Windows用户,你可以获取MySQLdb的exe。