Kiba 是一个轻量级的 Ruby 的 ETL 框架。
作业定义 xxx.etl：
# declare a ruby method here, for quick reusable logic
def parse_french_date(date)
Date.strptime(date, '%d/%m/%Y')
end
# or better, include a ruby file which loads reusable assets
# eg: commonly used sources / destinations / transforms, under unit-test
require_relative 'common'
# declare a pre-processor: a block called before the first row is read
pre_process do
# do something
end
# declare a source where to take data from (you implement it - see notes below)
source MyCsvSource, 'input.csv'
# declare a row transform to process a given field
transform do |row|
row[:birth_date] = parse_french_date(row[:birth_date])
# return to keep in the pipeline
row
end
# declare another row transform, dismissing rows conditionally by returning nil
transform do |row|
row[:birth_date].year < 2000 ? row : nil
end
# declare a row transform as a class, which can be tested properly
transform ComplianceCheckTransform, eula: 2015
# before declaring a definition, maybe you'll want to retrieve credentials
config = YAML.load(IO.read('config.yml'))
# declare a destination - like source, you implement it (see below)
destination MyDatabaseDestination, config['my_database']
# declare a post-processor: a block called after all rows are successfully processed
post_process do
# do something
end
执行作业：bundle exec kiba my-data-processing-script.etl
-
一 字段搜索 限定字段全文搜索 ：field:value 精确搜索 ：filed:"value"（关键字加上双引号 ） 字段本身是否存在 _exists_:http ：返回结果中需要有 http 字段 _missing_:http ：不能含有 http 字段 二 通配符 ? 匹配单个字符 * 匹配0到多个字符 kiba?a, el*search ? * 不能用作第一个字符，例如 ：?text *t
-
使用kibana管理索引 curl是利用URL语法在命令行方式下工作的开源文件传输工具，使用curl可以简单实现常见的get/post请求。简单的认为是可以在命令行下面访问url的一个工具。在centos的默认库里面是有curl工具的，如果没有请yum安装即可。 curl -X 指定http的请求方法 有HEAD GET POST PUT DELETE -d 指定要传输的数据 -H 指定http请
-
介绍Kibana侧边栏、仪表板和面板的说明，通信加密及配置信息等。 基于7.11版本。 Kibana是一个开源分析和可视化平台，旨在与Elasticsearch协同工作。您使用Kibana搜索，查看和与存储在Elasticsearch索引中的数据进行交互。您可以轻松执行高级数据分析，并在各种图表，表格和地图中可视化您的数据。 https://www.elastic.co/guide/en/kiba
-
kibana 设置中文 在kibana6.7版本之后自带支持中文，默认配置为英文，需要修改默认配置 网上大部分是非k8s部署的修改教程，以下提供k8s部署时的修改方法 关于k8s下部署EFK集群可以参考另一篇博文：k8s 日志收集，部署EFK-elasticsearch+fluentd+kibana 对于非k8s部署： 只需要修改kibana配置文件，添加一行：i18n.locale: “zh-C
-
SQOOP 数据迁移 HDFS 数据迁移 Hive 调优 数据仓库与数据集市
-
Bitcoin ETL Join Telegram Group Install Bitcoin ETL: pip install bitcoin-etl Export blocks and transactions (Schema, Reference): > bitcoinetl export_blocks_and_transactions --start-block 0 --end-block
-
Ethereum ETL Ethereum ETL lets you convert blockchain data into convenient formats like CSVs and relational databases. Do you just want to query Ethereum data right away? Use the public dataset in Big
-
Scriptella 是一个开源的 ETL （抽取-转换-加载）工具和一个脚本执行工具，采用 Java 开发。 任务配置示例 <!DOCTYPE etl SYSTEM "http://scriptella.javaforge.com/dtd/etl.dtd"><etl> <connection driver="$driver" url="$url" user="$user" password
-
Palo ETL Server 是一个 Java 的工具用来对数据进行抽取、转换和加载到 Palo OLAP Server 中，该项目已经整合到 Palo BI Suite 中，并且不再更新。
-
问题内容： 我要从Oracle数据库加载约1亿行并将其插入远程MySQL数据库服务器中，这是一个新挑战。 我将问题分为两部分： 服务器端REST服务器，负责将数据加载到MySQL服务器； 负责加载Oracle数据源的客户端Java应用程序。 在Java方面，我使用了普通的JDBC来加载分页内容并将其通过导线传输到服务器。这种方法效果很好，但是由于我自己使用Oracle的ROWNUM ..... W
-
本文向大家介绍python ETL工具 pyetl，包括了python ETL工具 pyetl的使用技巧和注意事项，需要的朋友参考一下 pyetl是一个纯python开发的ETL框架， 相比sqoop, datax 之类的ETL工具，pyetl可以对每个字段添加udf函数，使得数据转换过程更加灵活，相比专业ETL工具pyetl更轻量，纯python代码操作，更加符合开发人员习惯 安装 pip3 i
-
有什么ETL工具是支持rest-api调用并给任务传递必要参数的呢，有人可以推荐一下吗 我试了一下nifi，但是nifi似乎不支持在调用它的rest-api时给任务传递必要参数，只能控制流程的启动、停止等