Hadoop实时实现

Question

>

我知道Sqoop中可用的选项，但如果我是正确的，我想知道Sqoop是如何在实时实现中使用的（通常）

1.1sqoop命令放在shell脚本中，从调度程序/事件触发器调用。我可以有实时代码-这方面的例子，特别是在shell脚本中向Sqoop动态传递参数（如表名）。

1.2相信Ooozie工作流也可以使用。请举例说明

抱歉问了太多问题。我没有看到任何关于如何在实时场景中使用这些组件的文章/博客。

提前谢了。

Answer 1

您没有看到关于在实时场景中使用这些组件的文章，原因是这些组件不是面向实时的，而是面向批处理的。

Scoop：不是实时使用的--它是面向批处理的。我会用水槽之类的东西来摄取数据。

猪，蜂巢：同样，还没有实时准备好。两者都是面向批量的。每个查询/脚本的设置时间可能需要几十秒。你可以用火花流（它甚至支持水槽）之类的东西来代替这两者。