当前位置: 首页 > 软件库 > 程序开发 > 网络工具包 >

Elephant-bird

LZO、Hadoop 缓存相关协议、Pig、Hive 和 HBase 代码的集合
授权协议 Apache
开发语言 Java
所属分类 程序开发、 网络工具包
软件类型 开源软件
地区 不详
投 递 者 子车高歌
操作系统 跨平台
开源组织 Twitter
适用人群 未知
 软件概览

Elephant Bird 是 Twitter 上 LZO、Hadoop 缓存相关协议、Pig、Hive 和 HBase 代码的集合。(library of LZO, Thrift, and/or Protocol Buffer-related Hadoop InputFormats, OutputFormats, Writables, Pig LoadFuncs, Hive SerDe, HBase miscellanea, etc.)

Elephant Bird 提供 hadoop 输入输出格式和在 Pig 平台上创建搜索 lucene 全文索引的加载/存储功能。

用途:

  • 能够在 Pig 平台上实施计数功能

  • 协议缓冲实用工具

  • Thrift utilities

  • 能实现协议缓存和 Thrift 信息到 Pig 消息(Pig tuples)的转换 

  • 能够实现从 Thrift 到协议缓存的DynamicMessage 转换

  • 能读写基于数据块协议的缓存格式 (seeProtobufBlockWriter)

  • elephant-bird介绍     国内基于elephant-bird的资料还太少,除了淘宝搜索技术博客上的一篇网址: http://www.searchtb.com/2010/09/pb-lzo-used-in-hadoop.html,基本就没有了。但这篇也只是介绍如何使用.    其实对于elephant-bird的说明在其Readme.md已经很详细了.网址:https://github

 相关资料
  • 是否有人在hadoop-2.2.0的hbase-0.98.0猪-0.12.0组合的环境中成功地将数据从hadoop-2.2.0上的猪-0.12.0加载到hbase-0.98.0而没有遇到此错误: 带有一行日志跟踪: 我在网上搜索了一下,发现了一些问题和解决方案,但它们都是指hadoop2之前的版本和base-0.94-x,它们不适用于我的情况。我有一个5节点的hadoop-2.2.0集群和一个3节

  • Title: Kivy Pack License Date: 2017-03-07 Category: Kivy Tags: Python,Kivy Kivy中文编程指南:授权协议 英文原文 警告 这并不是一个律师咨询指南! Kivy 的开发组织,本指南的作者以及参与者,对任何信息缺失、产生误导,以及任何基于这份指南的行为产生的任何后果都不负任何责任。这个指南只是提供一些信息,目的是帮助缺乏经验的

  • 我有两个节点的完全分布式Hadoop和Hbase实例。HDFS在主机和从机上工作良好。但是HBase shell只在节点名格式化之后工作一次,并且集群是新的,之后我得到错误:error:org.apache.hadoop.HBase.PleaseHoldException:Master is initializing HBase 我也不能通过hbase shell从slave连接我总是得到错误连接

  • 我最近安装了带有纱线配置的hadoop V2。我计划安装Hadoop生态系统堆栈,如Pig、Hive、Hbase、Oozie、Zookeeper等。我想知道我是否应该安装与Hadoop1.0配置相同的链接中的工具。如果没有,谁能请给我这些工具的Hadoop2配置的链接?。我听说Pig和Hive在Hadoop2.0中更快。因此想知道是否有更好的版本。 谢谢,高萨姆

  • 本书是《Ruby on Rails Tutorial: Learn Web Development with Rails (Third Edition)》一书的简体中文版,由作者 Michael Hartl 授权安道翻译和销售。版权归 Michael Hartl 和安道所有。 本书受版权法保护,任何组织或个人不得以任何形式分发或做商业使用。 书中代码基于 MIT 协议和 Beerware 协议发布

  • 现在的处理器都是多核处理器,并且每个核都带有多个缓存(指令缓存和数据缓存,见下图)。为什么需要缓存呢,这是因为CPU访问内存的速度比较慢,所以在CPU和内存之间加了个缓存以提高访问速度。既然每个核都有缓存,那么假设两个核或者多个核同时访问同一个变量时这些缓存是如何进行同步的呢(缓存细分为一个个缓存行),这就有了MESI协议。 MESI中的状态 CPU中每个缓存行(caceh line)使用4种状态

  • 现在的处理器都是多核处理器,并且每个核都带有多个缓存(指令缓存和数据缓存,见下图)。为什么需要缓存呢,这是因为CPU访问内存的速度比较慢,所以在CPU和内存之间加了个缓存以提高访问速度。既然每个核都有缓存,那么假设两个核或者多个核同时访问同一个变量时这些缓存是如何进行同步的呢(缓存细分为一个个缓存行),这就有了MESI协议。 MESI中的状态 CPU中每个缓存行(caceh line)使用4种状态