当前位置: 首页 > 知识库问答 >
问题:

Azure Databricks-长期运行的流程

宇文迪
2023-03-14

全部的

我正在学习Databricks。如果有一个正在运行作业群集的失控进程,我希望得到通知/警报,如果可能,事件终止。在SQLServer中,这通常是在查询调控器的帮助下完成的。

我使用的Azure Databricks中有类似的东西吗?

谢谢,grajee

共有2个答案

夹谷苗宣
2023-03-14

您可以添加一个或多个电子邮件地址,以通知此作业何时开始、完成或失败:

  1. 单击编辑警报。
  2. 单击添加。
  3. 输入要通知的电子邮件地址,然后单击每个警报类型的复选框以发送到该地址。
  4. 要输入另一个电子邮件地址进行通知,请单击添加。
  5. 如果您不想接收跳过作业运行的警报,请单击复选框。
  6. 点击确认。
卢雅惠
2023-03-14

Databricks作业(或新名称工作流)支持在作业开始和/或终止时发送电子邮件警报(仅限成功或错误)-只需使用UI或API配置这些通知即可。您还可以在工作流/作业内的单个任务级别上配置此类通知

 类似资料:
  • 对于长时间运行的活动,我们可以使用心跳来通知活动是正在运行还是已死。 我们有一个工作流,该工作流调用多个子工作流,其中包含一些基于父工作流生成的分组的参数。子工作流是长时间运行的工作流。 有没有办法让类似的检测信号从子工作流发送,因为这些工作流长时间运行,超时设置为几个小时?或者更确切地说,通知子工作流正在运行的方法是什么? 我们正在使用go-client来实现工作流程。

  • 完成上一节的初次运行后,你肯定会发现一点:一旦你按下 Ctrl+C,停下标准输入输出,logstash 进程也就随之停止了。作为一个肯定要长期运行的程序,应该怎么处理呢? 本章节问题对于一个运维来说应该属于基础知识,鉴于 ELK 用户很多其实不是运维,添加这段内容。 办法有很多种,下面介绍四种最常用的办法: 标准的 service 方式 采用 RPM、DEB 发行包安装的读者,推荐采用这种方式。发

  • 我使用的是Activti版本6.0.0。 我想同步执行活动中的任务,但我有一个长时间运行的任务,可能需要20分钟来执行。我想在我的控制器中快速获得过程实例ID,而不考虑在bpmn中完成任务,所以我在bpmn文件中添加了一个中间计时器事件“0分钟”。 我已经开始执行一个进程,比如说processInstanceid p1。当时只有我再次启动这个进程,比如说使用processInstanceid p2

  • 完成上一节的初次运行后,你肯定会发现一点:一旦你按下 Ctrl+C,停下标准输入输出,logstash 进程也就随之停止了。作为一个肯定要长期运行的程序,应该怎么处理呢? 本章节问题对于一个运维来说应该属于基础知识,鉴于 ELK 用户很多其实不是运维,添加这段内容。 办法有很多种,下面介绍四种最常用的办法: 标准的 service 方式 采用 RPM、DEB 发行包安装的读者,推荐采用这种方式。发

  • 在我的spring boot应用程序中,我必须实现一个导入服务。用户可以提交一组JSON文件,应用程序将尝试从这些文件中导入数据。根据JSON文件中的数据量,单个导入过程可能需要1或2个小时。 我不想在导入过程中阻止用户,因此我计划接受导入任务,并通知用户此数据已排定处理时间。我将把数据放入队列,另一端的空闲队列使用者将启动导入过程。此外,我需要有一个可能性来监视队列中的一个作业,如果需要的话终止

  • 关于Quarkus,我有两个问题: > 当不使用本机模式时,quarkus可以与任何java库一起使用吗?我不明白quarkus扩展的含义,例如https://github.com/quarkiverse中为非本机图像提供的扩展。这些扩展是否只有在本机模式下使用quarkus时才需要?