当前位置: 首页 > 知识库问答 >
问题:

阿兹卡班性质评估

卢阳泽
2023-03-14

我们的项目中有一个Azkaban属性,类似于date“:”$(new(“org.joda.time.datetime”).parse(...).tostring(“yyyy-mm-dd”)),它用作spark作业的参数。命令(在流日志中)已经计算了表达式,但是生成的Azkaban文件(因为这是在gradle中定义的)仍然包含代码字符串。

我找不到任何关于这是如何工作的。谷歌搜索无济于事。文档中没有提到这个功能(关于$(...)参数)。

共有1个答案

柯轶
2023-03-14

如果查看propsutils.java文件,可以看到方法resolvevariableexpression(final String value,final int last,final JexlEngine jexl)actualy使用JexlEngine计算prop。

我认为这该死的东西应该加到文件里。

 类似资料:
  • 如何为每个作业设置流程参数?我试图配置一个自定义警报程序,我希望每个作业都触发它。它看起来像是在从流参数中寻找“alert.type”属性,但现在我只能通过接口触发它。有什么想法吗?

  • 我对Apache Hadoop有些陌生。我已经看到了关于Hadoop、HBase、Pig、Hive和HDFS的这个和这个问题。两者都描述了上述技术之间的比较。 但是,我已经看到,Hadoop环境通常包含所有这些组件(HDFS、HBase、Pig、Hive、Azkaban)。 有人能以架构工作流的方式解释那些组件/技术与其在Hadoop环境中的职责之间的关系吗?最好是举个例子?

  • 使用方法 性能评估模块提供了一系列用于模型性能评估的函数,这些函数在模型编译时由metrics关键字设置 性能评估函数类似与目标函数, 只不过该性能的评估结果讲不会用于训练. 可以通过字符串来使用域定义的性能评估函数 model.compile(loss='mean_squared_error', optimizer='sgd', metri

  • 使用方法 性能评估模块提供了一系列用于模型性能评估的函数,这些函数在模型编译时由metrics关键字设置 性能评估函数类似与目标函数, 只不过该性能的评估结果讲不会用于训练. 可以通过字符串来使用域定义的性能评估函数,也可以自定义一个Theano/TensorFlow函数并使用之 参数 y_true:真实标签,theano/tensorflow张量 y_pred:预测值, 与y_true形式相同的

  • 问题内容: 当我在Android上运行使用Akka的应用程序时,收到以下异常: 在actor系统创建期间抛出此异常: 我以为proguard删除了一个构造函数,所以我在proguard.cfg中添加了以下行: 但这没有帮助。 我究竟做错了什么? 问题答案: 您的具有以下签名的构造函数之一不公开或不存在:

  • 问题内容: 我正在类之间进行一些Java性能比较,并想知道是否存在某种Java Performance Framework可以简化编写性能测量代码的过程? 即,我现在正在尝试测量与使用AtomicInteger作为我的“同步器”相比,使用PseudoRandomUsingSynch.nextInt()中的“同步”方法具有什么效果。 因此,我尝试使用3个线程访问10000次同步方法循环来测量生成随机