使用具有不同URL的NiFi循环API

Question

我是一个使用NIFI的大一新生。下面的NiFi dataflow从固定URL上的GET请求中获取数据，但是我的endpoint有一组参数来获取部分数据，例如页面ID。我希望避免为稍微不同的请求URL创建相同的工作流。

在API中，我可以请求可用的页面列表，我希望使用这样的请求的结果开始循环下面的工作流。我该怎么做？？

Answer 1

最简单的方法可能是添加表达式语言语句来参数化invokehttp中的URL，然后用Groovy或JRuby将executescript(Cookbook)放在上面（不要使用Jython！）脚本生成具有与参数名称对应的属性的flowfiles。

这是一个简单的脚本，它将为每个页面生成一个url请求，其中包含一个名为tag的参数：

def pages = 10

1.upto(pages) { page ->
  def ff = session.create();
  ff = session.putAttribute(ff, "tag", "articles")
  ff = session.putAttribute(ff, "page", page.toString())
  session.transfer(ff, REL_SUCCESS)
}

然后，这些属性在表达式语言中显示为${tag}和${page}。有关更复杂的脚本示例，请参见文档。您需要确保invokehttp被设置为将REST响应写入flowfile的正文（这是一个配置选项）。