我已经将Hadoop1.0.3配置为3台具有完全分布式模式的计算机。在下面的第一台计算机上,正在运行作业:
2)2794 TaskTracker 2672 DataNode
3)3338 DataNode 3447 TaskTracker
现在当我在上面运行简单的map reduce作业时,执行map ReduceJob需要更长的时间。所以我在Hadoop上安装了HBASE层。现在我在3个集群上有以下的HBASE进程。
1)5115 HQuorumPeer 5198 HMaster 5408 HRegionServer
2)3719 HregionServer
3)2719 hregionserver
./psql.sh master(zookeeper名称).../examples/web_stat.sql.../examples/web_stat.csv.../examples/web_stat_queries.sql
它给出了以下错误:
com.salesforce.phoenix.exception.PhoenixIOException: Retried 10 times
at com.salesforce.phoenix.util.ServerUtil.parseRemoteException(ServerUtil.java:123)
at com.salesforce.phoenix.util.ServerUtil.parseServerException(ServerUtil.java:106)
at com.salesforce.phoenix.query.ConnectionQueryServicesImpl.ensureTableCreated(ConnectionQueryServicesImpl.java:599)
at com.salesforce.phoenix.query.ConnectionQueryServicesImpl.createTable(ConnectionQueryServicesImpl.java:777)
at com.salesforce.phoenix.schema.MetaDataClient.createTable(MetaDataClient.java:365)
at com.salesforce.phoenix.compile.CreateTableCompiler$1.execute(CreateTableCompiler.java:81)
at com.salesforce.phoenix.jdbc.PhoenixStatement$ExecutableCreateTableStatement.executeUpdate(PhoenixStatement.java:278)
at com.salesforce.phoenix.jdbc.PhoenixStatement.executeUpdate(PhoenixStatement.java:741)
at com.salesforce.phoenix.util.SchemaUtil.initMetaData(SchemaUtil.java:332)
at com.salesforce.phoenix.query.ConnectionQueryServicesImpl.init(ConnectionQueryServicesImpl.java:861)
at com.salesforce.phoenix.jdbc.PhoenixDriver.getConnectionQueryServices(PhoenixDriver.java:151)
at com.salesforce.phoenix.jdbc.PhoenixEmbeddedDriver.connect(PhoenixEmbeddedDriver.java:157)
at java.sql.DriverManager.getConnection(DriverManager.java:620)
at java.sql.DriverManager.getConnection(DriverManager.java:222)
at com.salesforce.phoenix.util.PhoenixRuntime.main(PhoenixRuntime.java:168)
Caused by: org.apache.hadoop.hbase.MasterNotRunningException: Retried 10 times
at org.apache.hadoop.hbase.client.HBaseAdmin.<init>(HBaseAdmin.java:138)
at com.salesforce.phoenix.query.ConnectionQueryServicesImpl.ensureTableCreated(ConnectionQueryServicesImpl.java:517)
您的HMaster没有运行,或者客户端由于某些原因无法联系它。重新运行JPS以确保它仍在运行。要进行交叉检查,可以访问HBase webUI(hmaster_machine:60010)。
还要确保您已经将Phoenix-[version].jar添加到RegionServer的类路径中,或者将其复制到hbase_home/lib目录中。
插件更新到Spark2.0了吗?我不能使用插件 错误: 只要jdbc连接凤凰就可以了!
我需要多次调用服务(>50次)并聚合响应。因此,我决定使用,使用Async和CustomExecuter(它自己的线程池)来提高速度,而不是等待服务响应。 我在类路径上使用带有ApacheHTTP和Hystrix的feign客户机。我可以看到它有时是工作的,有时我得到例外,因为电路是开放的。
我应该创建phoenix视图还是表来映射hbase表?如果hbase表被hbase api更新,那么phoenix视图或表会更新吗?
请指引我。
公司位于太古汇顶楼,环境还是不错的。有程序分析笔试,和cpp相关,端午前线下一面,端午后线下二面。一面主要就简历进行简单的询问,问了笔试题,问了动态规划,问了神经网络的relu层,还问了些有的没的。二面是主管面,问了快排,问了个人经历,问了多态,问了A*搜索。基本等于点击就送,目前已OC。
我正在尝试将我的应用程序从apache http组件客户端切换到异步版本。目标是能够处理更多的出站连接(在不久的将来)。请求的负载非常小( 与同步版本的apache超文本传输协议客户端,通过把大约200请求/秒。平均响应时间约为100ms/请求。我在最大180ms后中止请求。 切换到异步后,响应时间增加了20ms/请求。吞吐量也降低到160/秒。中止的请求数量增加了一倍。 这是在对应用程序进行了很