《大数据》专题

1.自我介绍 2.实习技术难点 3.项目技术难点 4.id timestamp 位置 三个字段完全一样的去重，sql怎么做scala怎么做 挑选同个人最后一个时间戳的记录，sql怎么做scala怎么做 5.spark submit提交参数 6.内存/并行度参数优化方案和技巧 7.当出现数据倾斜的时候怎么排查，怎么处理 不能只提八股，要完善分情况的答 8.两数之和 9.小数之和 10.反问，写sca

介绍项目，聊项目 哈希场景 spring Bean创建流程 spring事务注解，参数 平常中碰到过的事务问题，使用什么解决事务问题 求两个有序数组中不重复元素的个数

问题内容： 我有一个看起来像这样的表： 我想做的是返回一组行，其中值按’val’分组，并带有fkeys数组，但仅在fkeys数组大于1的情况下。因此，在上面的示例中，返回值将是看起来像： 我有以下查询聚合数组： 但这返回类似： 最好的方法是什么？我猜可能是将现有查询用作子查询，并对它进行求和/计数，但这似乎效率很低。任何反馈都将真正有帮助！ 问题答案： Use子句过滤具有以下内容的组

最小堆由 2047 个元素组成，确定最大元素数所需的最大比较数为 _。 对于这个，我使用了方法，因为这是一个最小堆，最小元素将在根节点中。所以要找到最大值，我们必须一直到树的末尾，直到叶节点级别，并且必须与所有值进行比较。所以比较将是n-1，但ans不是2046，而是1043。有人能给我解释一下吗？

我有点惊讶地看到为什么在我的机器上，数组的最大大小是整数.MAX_VALUE/7 我知道数组是由整数索引的，所以数组大小不能大于整数.MAX_VALUE。我还阅读了一些堆栈溢出讨论，我发现它在JVM上有所不同，并且JVM使用了一些（5-8咬）。 在这种情况下，最大值也应为。 和 之间的任何值都会给我错误： 这是我可以分配给机器上数组的最大值。具体原因是什么？ 更新:我正在运行eclipse中的代码

我正在学习用于构建神经网络的Deeplearning4j(Ver.1.0.0-M1.1)。 我使用Deeplearning4j的IrisClassifier作为一个例子，它工作得很好： 对于我的项目，我输入了大约30000条记录（在iris示例-150中）。每个记录是一个矢量大小~7000（在iris示例-4中）。 显然，我不能在一个数据集中处理整个数据--这将为JVM产生OOM。 如何处理多个数

问题内容： 我的应用程序的数据库需要填充大量数据，因此在期间，不仅有一些创建表sql指令，而且还有很多插入。我选择的解决方案是将所有这些指令存储在res / raw中的sql文件中，该文件已加载。 它运作良好，但我面对编码问题，sql文件中有一些突出的字符，在我的应用程序中看起来很糟。这是我的代码来做到这一点： 我发现避免这种情况的解决方案是从一个巨大的而不是文件中加载sql指令，并且所有突出的字

好吧，我对使用Scala/Spark还比较陌生，我想知道是否有一种设计模式可以在流媒体应用程序中使用大量数据帧（几个100k）？ 在我的示例中，我有一个SparkStreaming应用程序，其消息负载类似于： 因此，当用户id为123的消息传入时，我需要使用特定于相关用户的SparkSQL拉入一些外部数据，并将其本地缓存，然后执行一些额外的计算，然后将新数据持久保存到数据库中。然后对流外传入的每条

2024.1.9 面试 Boss直聘沟通 公司要求驻场开发，接受加班，接受出差 你是25届是吧？能在六个月左右是吗？目前在校吗？ 后续有什么规划？ 你怎么理解数据开发这个岗位的？ 讲讲简历上这两个项目？是你在学校做的是吧？ 项目你是全程参与是吧？ 聊天这个项目的数据源是哪里来的呀？ 项目整体是落在HDFS上是吧？ 单一架构，嗷，然后可视化，是哇？ 下一个电商项目介绍一下？ 数据来源讲讲？ 那意思是

数据库日积月累几个G后，从服务器A导入到服务器B 导入数据库总是失败。内存不足或者直接崩了。 请问有什么方案可以稳定的分段导入吗？

我正在使用OpenApi 3.0.2规范使用swagger ui。 我设置了一个带有多部分/表单数据内容的requestBody 当我执行来自swagger ui的请求时，一切都正常，但是 如果我添加一个array类型的参数，它将以这种方式在curl调用中转换： 我需要分解数组 我看了看留档，找到了一些样式和爆炸属性，但它们只适用于参数属性，而不是请求体（？）。 在我的路线文件中： media-i

hive怎么进行增量更新呢？看到很多人是先分区例如根据create_time分区。每天根据create_time 新增数据。但是如果我的数据是会经常变动的呢？例如去年的数据，今年修改了。我应该如何更新这条数据进去。假设我现在数据是上亿的，应该怎么处理。 假设数据初始数据： 1 2024-08-10 15:18:00.000 wang 2 2024-08-10 15:18:00.000 xxx 3

问题内容： 我可以无痛地使用多少个goroutine？例如，维基百科说，在Erlang中，可以创建2000万个进程，而不会降低性能。 更新： 我刚刚对goroutine的性能进行了一些调查，并得到了这样的结果： 看起来goroutine的寿命要比计算sqrt（）的时间还要长1000倍（对我而言约为45µs），唯一的限制是内存 Goroutine成本4 — 4.5 KB 问题答案： 如果gorout

问题内容： 类具有缓存，它缓存值。因此，如果我使用method 或inboxing，则不会实例化新值，而是从缓存中获取。 我知道默认的缓存大小为，但由于VM设置而可以扩展。我的问题是：这些设置中的缓存大小的默认值有多大，我可以操纵该值吗？这个值取决于我使用哪个VM（32位或64位）吗？ 我现在正在调整遗留代码，可能需要从int到Integer的转换。 澄清：以下代码是我在Java源代码中找到的 因

问题内容： 我有一个包含屏幕名称，tweet，收藏夹等的Pandas DataFrame。我想找到“ favcount”（我已经做过）的最大值，并返回该“ tweet”的屏幕名称 我似乎找不到任何东西，任何人都可以帮助我朝正确的方向发展吗？ 问题答案： 使用 来获取最大价值的指标。那你可以用 编辑： 现已弃用，切换为