Apache Airflow 1.9.0中min_file_process_interval和dag_dir_list_interval有什么区别？
我们使用的是气流版本1.9.0。我们有100个Dag，实例非常慢。调度程序只启动了一些任务。
为了减少CPU的使用量，我们想调整一些配置参数，即：min_file_process_interval和dag_dir_list_interval。留档不太清楚两者之间的区别。
共有2个答案
我手动做了一些实验，发现了下面的内容，希望这能澄清。
min_file_process_interval：例如，将其设置为10秒。这是处理dag文件所需的时间量，也就是说，在完成任何dag中的任务和触发从属任务之间，如果上游作业完成，则气流每10秒检查一次触发从属任务的时间，最长可能有10秒的延迟。
如果该值较高，dag中的任务将需要更多的时间来触发，但气流将消耗较少的CPU。
使用所有系统资源Airbnb气流
dag_dir_list_interval:你放在dags文件夹中的任何新的python dag文件，都要花这么多时间被airflow处理并显示在UI中。
min_file_process_interval：
在只有少量DAG定义文件的情况下，循环可能会在一分钟内多次处理DAG定义。要控制DAG文件处理速度，可以将min_file_process_interval设置为更高的值。此参数可确保DAG定义文件的处理频率不会超过每min_file_process_interval秒一次。
dag_dir_list_interval：
由于调度程序可以无限期运行，因此有必要定期刷新DAG定义目录中的文件列表。刷新间隔由dag_dir_list_interval配置参数控制。
来源：谷歌对这两个词的搜索导致了第一个结果 https://cwiki.apache.org/confluence/display/AIRFLOW/Scheduler 基础知识
-
问题内容： 通过Firebug查找相对的XPath时： ---------如果我们一开始不使用点表示什么呢？ 只需添加Xpath-它突出显示—各种页面元素----------这意味着什么？ 以下是XPaths for Gmail密码字段。的意义是什么？ 问题答案： 这些表达式都选择不同的节点集： .//*[@id=’Passwd’] “。” 在开始处表示当前处理 在当前节点处开始 。“ *”选择从
-
问题内容： 两者都意味着空间，但是有什么区别吗？ 问题答案： 一个是不间断空间，另一个是常规空间。不间断的空格表示该行不应在该点处换行，就像它不会在一个单词的中间换行一样。 此外，正如斯文德（Svend）在其评论中指出的那样，不间断的空间不会崩溃。
-
本文向大家介绍<%# %> 和 <% %> 有什么区别？相关面试题，主要包含被问及<%# %> 和 <% %> 有什么区别？时的应答技巧和注意事项，需要的朋友参考一下 答：<%# %>表示绑定的数据源 <%%>是服务器端代码块
-
问题内容： 我只是想知道为什么我们通常在两个布尔之间使用逻辑OR 而不是按位OR ，尽管它们都运行良好。 我的意思是，请看以下内容： 我们可以代替使用吗？与和相同。 问题答案： 如果您使用和形式，而不是这些运算符的和形式，则Java不会费心地单独评估右手操作数。 这是您是否希望缩短评估时间的问题-在 大多数情况 下都是如此。 说明短路好处的一个好方法是考虑以下示例。 正如Jeremy和Peter提
-
问题内容： 我一直认为Java 中的运算符用于验证其两个布尔操作数是否均为，并且该&运算符用于对两种整数类型进行按位运算。 最近我知道，也可以使用运算符来验证其两个布尔操作数是否均为，唯一的区别是即使LHS操作数为false，它也会检查RHS操作数。 Java中的运算符是否在内部重载？还是在这背后有其他概念？ 问题答案： <-验证两个操作数 <-停止评估第一个操作数是否为false，因为结果为fa
-
问题内容： JavaScript中的＆和&&有什么区别？ 示例代码： 似乎&&是一个逻辑上的“和”，如果两个都为true，则总是为我提供第二个值。 但是什么是＆？ （顺便说一下，&&在Python中似乎是“ and”；＆在Python中似乎是＆。） 问题答案： 是按位AND 该运算符期望 两个数字 并重新调整一个 数字。 如果它们不是数字，则将其强制转换为数字。 注意： 在Javascript中，