当前位置: 首页 > 软件库 > 大数据 > 数据处理 >

Hadoop-PDL

基于组合设计工具 PBD 的数据布局 PDL
授权协议 Apache
开发语言 Java
所属分类 大数据、 数据处理
软件类型 开源软件
地区 国产
投 递 者 阳宾实
操作系统 跨平台
开源组织
适用人群 未知
 软件概览

该项目提出了一种有效的基于组合设计工具 PBD (Pairwise Block Design) 的数据布局 PDL,以加快混合 EC 分布式存储系统中单节点故障的数据修复。

由于减少了机架间的通信量,并在修复过程中实现了读写 I/O 的负载平衡,因此它实现了几乎均匀的数据分布以及更高的修复性能。我们设计了数据的放置策略以及相应的故障恢复方案,并且在 Hadoop 3.1.1 中实现了它们。

  • 好久没有部署集群了,需要测试性能,本次部署记录如下: HBase-0,94.5+Hadoop-1.0.4,已经安装好了java,3台机器,1台namenode/master,2台datanode/regionserver 用户名可以用hadoop这样隔离起来挺好,不过我直接使用了当前用户名 先设置/etc/hosts 10.92.2.75  c1.N2.Domino.narwhal.pdl.cmu

  • 2010 IEEEInternational Conference on Services Computing A Novel Approach to Improvingthe Efficiency of Storing and Accessing Small Files on Hadoop: a Case Study by PowerPoint File Abstract      Hadoop

 相关资料
  • 在项目中,我们通常都会有布局组件的概念,常见的场景是整个项目通用的头尾,侧边栏,以及整体布局结构等,这些布局内容被抽象成组件,包含一些布局样式,用于组合其它组件搭建成页面。 说白了,其实它本质上还是一种组件,将布局样式抽象成组件,能够保持子组件和父组件的独立性,不用在其中关联到布局信息。 如我们的样例项目中的 MainLayout.jsx: // ./components/MainLayout/M

  • 输入的dput() 结构(列表(Varname=structure(1:6,.标签=c(“A”,“B”,“c”,“D”,“E”,“F”),类=“因子”),成分=结构(c(3L,1L,1L,4L,2L,1L),标签=c(“”,“A,c”,“B”,“c”),类=“因子”),名字=结构(c(5L,3L,2L,4L,6L),标签=c(“”,“鲍勃”,“凯茜”,“迪克,南希”,“杰克,布鲁斯”,“曼迪”),

  • 我有一个名为“segments”的数据帧,看起来像这样: 我想让它看起来像这样。其中Outdegree是包含列A中的值的行数,例如10135在3行中,因此每行Outdegree设置为3: 以下是我正在尝试但不起作用的内容: 该代码将所有行相加,并将总计值提供给OUTDEGREE列

  • Modal Sheets Modal sheets为用户提供了一种无干扰的方式来完成任务或者获取信息,或者继续先前在Menu control中做的选择。Modal sheets通过临时阻止用户与app其他部分进行交互来实现该目的。 最好能最小化app中的模态体验,一般而言,只有以下情况才需要考虑使用模态内容: 引起用户的注意是至关重要的。 必须完成一个独立的任务,或者明确地放弃某项任务,以避免用户

  • 我们计划使用 REST API 调用从endpoint摄取数据并将数据存储到 HDFS。REST 调用以定期方式(每天或每小时)完成。 我已经用Flume完成了Twitter的接收,但我认为使用Flume不适合我当前的用例,因为我在Twitter中使用的不是像这样的连续数据水龙带,而是离散的定时调用。 我现在的想法是使用定制Java来处理REST API调用并保存到HDFS,然后在Java jar

  • 这看起来很容易,但却不知道该怎么做。当前数组数据是按日期和日期列出的,因此我需要将所有日期组合起来:天、月、6个月、1年。我需要将数组数据排列为下面的第二个数组。