streamingpro mysql_如何在命令行中指定StreamingPro的写入路径

如何命令行指定输如输出的参数？

下面有个输出的例子：

{

"name": "stream.outputs",

"params": [

{

"name":"jack",

"format": "jdbc",

"path": "-",

"driver":"com.mysql.jdbc.Driver",

"url":"jdbc:mysql://127.0.0.1/test?characterEncoding=utf8",

"inputTableName": "finalOutputTable",

"user":"~",

"password":"~",

"dbtable":"~",

"mode":"Overwrite"

}

]

}

其中dbtable 是按天建立的，也就是我每天见一个表，表后缀是时间譬如 20121111 这种。在StreamingPro中的处理方式很简单，只要是Source或者Ouput,那么所有的配置都是可以在命令行中指定的。比如我需要指定dbtable的时候，只要如下即可：

SHome=/home/zhuhl/streamingpro

spark-submit --class streaming.core.StreamingApp \

--master yarn-cluster \

--name test \

$SHome/streamingpro-0.4.12-SNAPSHOT-online-1.6.1-jar-with-dependencies.jar \

-streaming.name test \

-streaming.platform spark \

-streaming.job.file.path file:///test.json

-streaming.sql.out.jack.dbtable aaa

最后一行就是让你指定变量的地方。 jack 是你的输出的名字，dbtable 则是你需要更改的变量。这样，默认写入的表名就是aaa了。

如何给SQL传递变量

其实batch.sql/stream.sql 也是可以传递变量的，比如：

{

"name": "batch.sql",

"params": [

{

"sql": "select * from test where a=:jack",

"outputTableName": "finalOutputTable"

}

]

}

其中a 的值只有在启动的时候才知道，那么你可以通过参数

-streaming.sql.params.jack william

来进行传递。