当前位置: 首页 > 知识库问答 >
问题:

作业执行者:作业经理或taskmanager

梁豪
2023-03-14

公共静态空main(String[]args)抛出异常{

最终StreamExecutionEnvironment env=StreamExecutionEnvironment。getExecutionEnvironment();环境。setRuntimeMode(RuntimeExecutionMode.BATCH);

    ParameterTool parameters = ParameterTool.fromArgs(args);
    String ftpUri = "ftp://data-injest:12345@ftp-server:21/input/" + parameters.get("input-file-name");
    String fileUri = parameters.get("ftp").toUpperCase(Locale.ROOT).equals("TRUE")?ftpUri:localUri;
    MapFunction<String,Tuple2<Long,Collection<Some>>> mapFunction = { some code };

    SomeSink sink = new SomeSink();

    env.readTextFile(fileUri,"UTF-8")
            .map(mapFunction)
            .keyBy(tuple2 -> tuple2.f0)
            .reduce((tuple2, t1) -> {
                some-logic-including-loggers
        }).addSink(sink);
    env.execute("OPIS-PRICE-FEED-with-" + parameters.get("input-file-name"));

}

哪个节点执行逻辑,例如上面的ftpUri定义。

  1. 我尝试用断点将调试器附加到作业管理器和任务管理器,但我没有看到这些行已启用。
  2. 如果在同一部分中添加了记录器语句,则哪个节点记录器将包含它。

共有1个答案

空鸿云
2023-03-14

该设置代码在客户端执行,而不是在作业管理器或任务管理器中执行。

 类似资料:
  • 我的spring批处理应用程序运行在连接到MySQL数据库(单实例)的PCF平台上,只有一个实例启动时运行良好

  • 问题内容: 我正在使用Quartz Job执行特定任务。 我也在我的Main应用程序类中安排它的执行,而我试图完成的工作是不允许同时执行此作业的实例。 因此,调度程序仅应在其先前实例完成后才执行作业。 这是我的工作班级: 因此,在应用程序的主类中,我正在启动调度程序: 如果另一个实例仍在运行,我想阻止调度程序启动第二个MainJob实例… 问题答案: 只需在Job类顶部使用Annotation。

  • 我正在使用一个石英工作执行特定的任务。 如果另一个Main Job实例仍在运行,我想阻止调度器启动第二个Main Job实例...

  • 詹金斯不会执行任何工作。查看了这个问题后,我禁用了所有从属节点,但一个简单的作业甚至不会在主节点上运行。 怎么了?

  • 问题内容: 我在 /etc/cron.daily* 目录中有一个bash脚本 foo.sh ,chmoded 700,由root拥有,root用户的crontab列表在核心Debian安装中是不变的(crontab -l)。我确实以不同于crontab -l和/或crontab -e的方式运行cronjob(例如,我没有按照Debian的具体情况使用/etc/init.d/cron重新启动cron

  • 我正在尝试使用Quartz来调度运行在GlassFish上的web应用程序中的作业。我在用RamjobStore。问题是,有时调度的作业没有被执行,即使它是在过去或将来被调度的。作业数量非常少,排定程序上一直排定的作业总数不到20个,同时保证最多运行1个作业,所以我假设线程计数不是问题,我可以将它设置为ThreadCount1,它仍然可以工作。在servlet被销毁之前,调度程序也不会被关闭。那么