《花旗》专题

我是新的火花，我正在尝试安装PySpark通过参考下面的站点。 http://ramhiser.com/2015/02/01/configuring-ipython-totebook-support-for-pyspark/ 我尝试安装两个预构建包，也通过SBT构建Spark包。 当我尝试在IPython笔记本中运行python代码时，我得到以下错误。 在命令窗口中，我可以看到下面的错误。 请注意

我正试图设置一个小型Spark集群进行测试。该集群由3名工人和一名师傅组成。我在每个节点上设置了Java、scala和Spark。配置文件如下：spark-defaults.conf： Spark-env.sh

谁能给我解释一下吗？ 然而，另一方面是，对于不能保证产生已知分区的转换，输出RDD将没有分区器集。例如，如果对哈希分区的键/值对RDD调用map（），则传递给map（）的函数在理论上可以更改每个元素的键，因此结果将不会有分区器。Spark不会分析函数以检查它们是否保留密钥。相反，它提供了另外两个操作，mapValues（）和flatMap Values（），它们保证每个元组的键保持不变。 Mate

[新加入Spark]语言-Scala 根据文档，RangePartitioner对元素进行排序并将其划分为块，然后将块分发到不同的机器。下面的例子说明了它是如何工作的。 假设我们有一个数据框，有两列，一列（比如“a”）的连续值从1到1000。还有另一个数据帧具有相同的模式，但对应的列只有4个值30、250、500、900。（可以是任意值，从1到1000中随机选择） 如果我使用RangePartit

数据帧结构: 预期的数据帧结构： Code_1已尝试: 这也导致错误配对和重复。关于我应该调整什么以获得所需输出的任何建议。 我还尝试在第一条select语句中使用多次爆炸，这将引发错误。 Code_2尝试： 警告和错误： 是的，我问了同样的问题，这个问题被关闭为重复，指向另一个解决方案，这就是我在片段2中尝试的。它也不起作用。任何建议都会很有帮助。

我在火花数据帧中有一个“结构类型”列，它有一个数组和一个字符串作为子字段。我想修改数组并返回相同类型的新列。我可以用UDF处理它吗？或者有什么替代方案？ 似乎我需要行类型的UDF，类似 这是有意义的，因为Spark不知道返回类型的模式。不幸的是，udf.register也失败了:

我有一个 Spark 流式处理作业，它读取 Cosmos 更改源数据，如下所示，在具有 DBR 8.2 的数据砖集群中运行。 虽然作业正常工作，但偶尔，流会突然停止，并且在log4j输出中出现以下循环。重新启动作业将处理“待办事项”中的所有数据。以前有人经历过这样的事情吗？我不确定是什么原因造成的。有什么想法吗？

我也看过Pyspark中的加权移动平均线，但我需要一个Spark/Scala的方法，以及10天或30天的均线。 有什么想法吗？

我正在回顾一个旧的Spark软件，它必须并行运行许多小的查询和计数()并使用直接的hive-sql。 在过去，该软件通过在shell()上直线运行每个查询来解决“并行化查询的问题”。我不能用现代新鲜的Spark，此刻只有Spark V2.2。下面的片段说明了完整的SQL查询方法。 有一种“Spark方式”可以访问Hive并运行SQL查询，性能（略）更好，而且Spark配置的重用性更好？ 没有丢失纯

我最近编写了一个Windows服务，它使用Exchange Web服务来监听一个特定的邮箱，然后当该邮箱收到新消息时，应用程序会向一组完全不同的用户发送一封电子邮件。我通过订阅服务做到了这一点，这样in就可以持续运行。 我想重新创建这个应用程序，除了将它与Lotus Domino/Notes集成。我做了一些研究，并且知道Lotus C API（可能）以及Lotus Domino Designer（

我在雪花中有一个字符串值如下；

6.28 笔试 7.13 一面    一小时15分钟 1. 一个M*M的图像，用大小为K*K的卷积核做卷积，通道，步长为1，padding为0，计算卷积过程中乘法操作的次数 2. 什么是图像的直方图特征 3. 边缘检测的原理，流程 4. 分类问题和回归问题的区别 5. 什么是卷积的平移不变形，卷积是否具有旋转不变性 6. 反向传播如何实现的 7. CNN的流程及各个部分的作用 8. 设计或选择激活

#同花顺# 3.6 一面 自我介绍 实习经历、两段中主要做什么和收获 什么时候开始想做前端的？ 主要怎么学习前端？ 实现了一个 mini-vue，难点、思考 HTTP2、HTTP、HTTPS？ 强缓存 协商缓存˙ 会写一个技术学习的脑图吗？要学什么、计划 图片懒加载，如何监听 前端性能优化 我主要从加载时优化和运行时优化两方面回答 HTTP1 能用 websocket 做聊天程序吗？没太听懂问题，

同花顺运营岗笔试： 做了两小时…… ------------------------------------- 大概10道选择题，都和运营的基础知识有关。 8道主观题，问题包括运营知识、案例分析、宝洁八大问相关 ------------------------------------- 1️.根据近期热点制定一个拉新策略 2️.你认为的运营的三大核心能力及理由 3️.同花顺有哪些产品，有哪些竞品

面试官老师挺和蔼的，主要问的问题还是从简历深挖，会有拓展，会问一些岗位相关的问题