1.3.7.2 Yarn

基本使用

cd $HADOOP_HOME # 切换到HADOOP_HOME
$HADOOP_HOME/bin/yarn jar ${jarpath} ${params} # 提交自己编写的作业,
$HADOOP_HOME/bin/yarn logs --applicationId xxx # 查看任务的日志.
其他命令例如kill任务等等通过`$HADOOP_HOME/bin/yarn --help`查看说明.

galaxy-hadoop使用

galaxy-hadoop主要提供了mr/spark框架下, sds与fds上数据处理的例子

编译依赖

详细文档见galaxy-hadoop

例子

• galaxy-hadoop MR作业处理fds数据, 具体的使用见:

  • galaxy-hadoop/examples/fds-mapreduce/wordcount-fds

• galaxy-hadoop MR作业处理sds数据, 具体的使用见:

  • galaxy-hadoop/examples/sds-mapreduce/sds-multi-tables-manay-scans
  • galaxy-hadoop/examples/sds-mapreduce/sds-single-table-manay-scans
  • galaxy-hadoop/examples/sds-mapreduce/sds-single-table-one-scan
  • galaxy-hadoop/examples/sds-mapreduce/sds-global-index-one-scan

• galaxy-hadoop spark作业处理fds数据，具体的使用见：

  • galaxy-hadoop/examples/fds-spark/fds-scan

• galaxy-hadoop spark作业处理sds数据，具体的使用见:

  • galaxy-hadoop/examples/sds-spark/sds-table-copy

galaxy-exporter使用

galaxy-exporter是mr框架下sds数据到hdfs parquet文件的转换工具. 因为是内部工具, 目前没有直接对外开发, 需要发送邮件到emr-help@xiaomi.com申请获取.