《大数据》专题

本文向大家介绍你认为如何通过大数据优化电梯广告内容？相关面试题，主要包含被问及你认为如何通过大数据优化电梯广告内容？时的应答技巧和注意事项，需要的朋友参考一下 通过大数据获取： 1. 使用电梯的用户画像 包括：年龄、职业、性别、大致收入及消费水平等 2. 电梯的应用场景 是公寓？商场？写字楼？不同的场景下采取不同的广告投放策略 根据不同的用户画像和电梯所处的应用场景，有针对性的投放广告。

我有一个DenseVectors作为行的dataframe： 我想用UDF找到每一行的最大值。我就是这么做的： 文件“C:\programdata\anaconda3\envs\python2\lib\site-packages\pyspark\sql\utils.py”，第63行，deco格式返回f(*a,**kw) 文件“C:\programdata\anaconda3\envs\python

我有一个非常大的数据集，我通过append以块形式写入hdf5，如下所示： 数据太大，无法加载到一个DataFrame中，因此我想尝试使用vaex进行进一步处理。不过有几件事我不太明白。 由于vaex在hdf5中使用了不同于pandas/pytables（VOTable）的表示形式，我想知道如何在这两种格式之间进行转换。我尝试将数据块加载到pandas中，将其转换为vaex数据帧，然后将其存储，但

当我在较大的数据集上运行代码时，我得到这个错误。 在1.4m问题数据集上运行代码。使用split函数会产生错误。 应用中的~\Documents\anaconda3\lib\site packages\pandas\core\series.py（self、func、convert\u dtype、args、**kwds）3589 else:3590 values=self.astype（objec

null 通常，代码做它应该做的事情。但是，当从API收集一个大数据集（大约500.000个JSON文件）时，bigquery插入作业在使用DataFlow Runner时（它与在我的计算机上执行的DirectRunner一起工作）启动后立即停止(=在一秒钟内），而没有特定的错误消息。当使用较小的数据集时，一切都很好。 数据流日志如下： 按照建议使用bq cli工具来获取有关bq加载作业的更多信息

这可能会导致问题，特别是如果有问题的设备依赖于“方向”标签来正确地垂直显示图像。 不同的Android设备以不同的方式处理相机/图像旋转--我信任的旧Nexus One似乎总是在捕获后立即旋转图像，因此文件的原生内容在查看时总是“直立”。 然而，其他设备（尤其是我测试的三星手机）不会旋转图像文件的内容--相反，它们设置了Exif“方向”标签。每当稍后显示图像时，相关的图像代码应该检测到方向“标签”

我正在从一个2.37GB的RDF数据集进行查询，其中包含大约1700万个三元组，并且还维护了该数据集的lucence索引。我尝试了jena-text模块的文本查询，它是在存储的lucene索引的基础上进行搜索的。但是它的性能相当慢，对于一个非常慢的搜索查询需要4秒或更多的时间。 然而，当我使用luncene索引查看器'luke'。索引似乎没有问题，当我从索引中搜索特定的术语时，搜索它需要几毫秒的时

我是talend ETL工具的新手。我已经在talend DI（数据集成）工具中创建了工作流，现在我想使用hadoop切换/实现相同的工作，因为我正在使用talend大数据工具。谁能解释一下我是如何做到这一点的。Talend DI to Talend大数据集成。

我正在使用默认的快速滚动，我遵循了本指南来支持它。

1面（1h）8.2 项目介绍 MapReduce提交作业流程 MapReduce和spark的区别 HDFS架构 HDFS写流程 groupByKey和reduceBykey的区别 算法题（实现一个类，插值（已存在就false，不存在就插入），删除值（不存在这个值就返回false，存在就删除），随机获取已存储的值，三个功能时间复杂度为O(1)） 2面（45min）8.10 项目介绍 数仓理解 ja

本人社招，面试大数据研发工程师岗位，一共三轮面试。 1、一面（技术面），约40分钟，面试题如下： （0）自我介绍，别照着简历说，补充说些简历上没有的，比如哪里人、兴趣爱好、优势有哪些等。 （1）笔试，编程题，语言自选，题目：输入一个字符串，找出其中的整数，按升序排序后输出，多个相连的数字为一个整数，排序可用类库自带方法。          实现很简单，这里就不提供答案了。 （2）笔试，SQL编程，

9.4 下午面完全部 9.9 已意向 一面 40min warm-up 自我介绍？ 介绍数仓分层架构？ 写SQL temp表 user_id，order_date 求出每位用户的第一次下单信息？ 如何优化SQL？利用 Hive 按照日期分区的特点进行优化，写SQL。 留存率是如何计算的？写一下？ 再写一个如何计算7日内留存率？ 基础知识 说一下数据倾斜的概念？ 说一下MapReduce Map端会

面试官是个小姐姐，很温柔 自我介绍 了解大数据组件吗      不了解 了解数据仓库吗          不了解 简单讲一下项目 rabbitMQ 在项目中怎么用的 了解kafka吗               不了解 springboot 打包方式   jar包、war包 怎么部署Linux           没部署过 说一下慢sql排查以及优化手段     慢查询日志，explain，索引

个人情况简述：本硕双非，acm银牌 群友（cpp实习生）内推投递 因为是之前面的，时间也有1个多月了，可能记不太清一些细节了 一面（总时长90分钟） 聊简历项目，一个离线大数据处理项目，flume+hadoop+hive+spark+azkaban，两个后端项目 项目扣细节，主要问设计思路，比如数仓各层的设计、flume和kafka之间如何结合使用，spark的算子等 项目一共问了40多分钟 接下