《兴业数金笔试》专题

我们的一些数据流作业在读取源数据文件时随机崩溃。 作业日志中写入了以下错误（workers日志中没有任何内容）： 我们有时也会遇到这种错误（登录在工人日志中）： 源数据文件存储在谷歌云存储中。 数据路径正确，作业通常在重新启动后工作。我们直到一月底才遇到这个问题。 使用以下参数启动作业：--tempLocation='gstoragelocation'--stagingLocation='Othe

目前，我们正在库伯内特斯上使用自己安装的气流版本，但想法是在云作曲家上迁移。我们使用Airflow运行数据流作业，使用DataFlowJavaoperator的自定义版本（使用插件），因为我们需要执行java应用程序，而java应用程序不是在jar中自包含的。因此，我们基本上运行一个bash脚本，该脚本使用以下命令： 所有jar依赖项都存储在所有辅助角色之间的共享磁盘中，但是在Composer中缺

我们的Google Cloud数据流管道程序调用了一些动态链接到*的库。所以要运行它，我需要设置linux环境变量LD_LIBRARY_PATH。有一种方法可以做到这一点：https://groups.google.com/forum/#!主题/综合。java。程序员/LOu18 OWAVM，但我想知道是否有一种方法可以在执行管道之前使用一些运行shell脚本的作业来实现这一点？

我有一个程序如下。有一个基本模板，以及SFINAE的部分专业化。 在2运行程序时，将打印 中的

我想从另一个作业中获取参数，就像我们从另一个作业中复制工件一样。 考虑2个詹金斯作业A和B。拉链制品。 我的要求：我希望作业B将所有参数传递给作业A中的构建#30。（我使用复制工件插件从作业A的#30复制.zip）如何从不同的jenkins作业获取参数？

我有一个文本小部件，用户需要在批处理id说“201906”饲料，这是一年与月。所以这个特定批次的数据被处理。那么，现在我如何从位于ADLS容器中的CSV或文件名中获取该值，并在databricks dropdown小部件中使用它，以便用户不能自由输入不需要处理或限制处理的batchid？因此，基本上我想给用户的选择与所需的批处理，但不是一个完整的字段来输入他想要的任何东西。

我需要在工作日的特定时间触发一份工作。这些工作日也是动态的，应该从db获取。此外，对于特定的计数，作业应该触发或重复自己。假设一个工作j应该在每一个星期一，星期三，星期五触发，重复计数15即3*5=15，所以它应该在接下来的3周内触发。 我尝试使用如下所示的cronexpression，但无法找到如何在特定计数后阻止作业触发。 请给我一些建议，这样我就能达到我所需要的。

当在SpringbatchConfiguration类中配置了Datasource时，我可以运行Springbatch应用程序。但我不想配置数据源。所以我使用了ResourceLestransactionManager。请参阅下面我的配置类。有人指导我如何在不配置Datasource的情况下启动作业，将其作为Batchjob配置的一部分。 但是当我运行应用程序时，我的异常值低于异常值。

其他流式框架（如Apache Samza、Storm或Nifi）是否可以实现这一点？ 我们非常期待得到答复。

我已经安装了oracle Enterprice 11g数据库（桌面模式）。当我使用sqlplus作为sysdba连接的sqlplus停止我的数据库并使用shutdown立即启动它时，它没有连接到SID下面是屏幕快照 甚至我在企业管理器上使用了启动按钮 当我尝试使用sqlplus/as SYSDBA连接时，它会说ORA-01031-权限不足

我在Master上运行了一个如下所示的spark代码： 我的集群配置：独立/客户机模式下的3个节点（1个主+2个从） 我尝试添加一个新的集群，因为上面搜索的关于资源不足的错误，但是这个错误在伸缩时仍然存在。 是因为节点中的内存较少吗？？这里有什么建议吗？？

我有一个cron作业，每小时运行一次，用API的每小时数据更新本地数据库。 数据库按行存储每小时数据，API返回24个数据点，代表过去24小时。 有时数据点会丢失，所以当我拿回数据时，我不能只更新最近一个小时的数据——我还需要检查我以前是否有过这些数据，并填补发现的任何空白。 一切都在运行和工作，但cron作业每次至少需要30分钟才能完成，我想知道是否有任何方法可以使此运行更好/更快/更高效？ 我

null 如何调用API来验证作业是否已完成，并获取已保存导出的URL？ 谢了。

数据业务岗位，接到第一个offer，估计也是最后一个，其他还在流程的最多二面完，还有一个广东电力民企也比较有希望，但不打算面了，接这个了——新奥新智 打算写一个6个月来的面试感受，不算正经面经，包含一些数据业务岗位的面试择业经验。 bg:本科c9，研究生双非（当年就是菜，图个研究生上） 商科，两段北京中厂实习，都是数据分析，一段杭州独角兽实习，电商平台运营，项目只有一个机器学习比赛，没有涉及深度学

1.自我介绍 2.实习中需求方向源自于哪里，最终交付哪些东西 3.数据倾斜展开聊聊，数据倾斜的本质，热点数据处理 4.bitmap原理和运用场景 5.零点漂移怎么解决 6.常见的维度建模模型和方法 7.java的垃圾回收机制 8.关系型数据库介绍一下，和数据仓库的区别 9.MySQL索引 10.数仓分层介绍一下，分层的好处 11.spark宽窄依赖，算子举例 12.手撕：java二分查找，sql窗