《大数据测试》专题

我曾想过简单地对数据库运行一个小命令并捕获任何异常，然而，如果出现问题（例如app.config丢失或数据库服务器关闭），应用程序将花费大量时间运行此代码，然后抛出异常（大约1分钟）。我想这是由于连接超时等，但我已经摆弄了这样的属性没有任何作用。 有没有人能提供任何关于去哪里的建议？

一面： 8.26--HR面 1.自我介绍 2.特别的经历 3.专业方向 4.做过的项目 5.薪资期待 6.公司的简单介绍，问有些情况是否能接受 二面：9.14--技术面 1.关于大数据技术的认识 2.对Hadoop和Spark的了解 3.对其区别的认识 4.对hadoop特定函数的认识 5.介绍自己了解的窗口函数 6.介绍一个算法，比如支持向量机 7.对自己做过的社会实践的感受 8.反问 三面：9

1自我介绍 2.项目中数据量 3.用户分析维度 4.客户流失分析模型指标 5.oracle和hadoop的了解 等了一个多小时，这就是国内甲方和卑微求职乙方吗？要不是面试官是个声音好听的女生，我大概会骂人吧。 岗位和个人经历不算匹配，我个人经历更偏向数据挖掘，感觉这个岗位更偏向业务分析和数据库。 最后还是再感叹一下，虽然今年秋招求职者的确处于弱势地位，但也不是说招聘单位可以不尊重人吧，起码自己定的

40道选择题，涉及Hadoop、Kafka、MySQL、数据结构、数学（高中水平）、Linux，里面两道Linux选择题真恶心，给了一堆Shell脚本，看不懂

1.问了我项目的问题，spark整合kafka这阶段做了什么事？ 答：jdbc工具类向mysql表中插入数据，产生binlog日志文件，maxwell捕获到，kafka进行消费，然后javaapi上面编写kafka工具类，获取主题，编写配置信息，get到消费的内容，是JSON格式，转换json格式为row，然后转换为dataframe表，使用sparksql处理。 2.kafka的acks值有了解

7.15一面： 1.自我介绍 2.项目深挖（聊了很久） 3.对数仓的看法 4.主题域及其建设过程（要落地，谈业务过程） 5.讲一个熟悉的指标体系构建（没做过） 6.为什么不考研 7.为什么想跳槽 8.sql留存率（讲了下思路就行了） 反问： 1.为啥晚上6点还面试，唯品会不是955吗 2.唯品会的计算引擎选型是什么 ------------------------- 挂了

问题内容： 我有一个Spring / Hibernate网络应用程序，该应用程序具有一些在内存中的HSQL数据库上运行的集成测试。由于hbm2ddl = create，Hibernate使用了这个空白数据库并创建了我的所有测试表和约束。但是，我有一个新的bean，在它的afterPropertiesSet（）方法期间检查数据库中的特定配置值，因此，当初始化此bean时，该行需要存在于数据库中。 有

问题内容： 我有一系列要在电子商务平台上测试的商店，并且每个商店都具有要针对其自动化测试的一系列属性。是否可以有一个数据提供程序在整个测试套件中提供数据，而不仅仅是在TestNG中提供测试？我试图不使用testNG.xml文件作为机制，因为这些属性直接来自数据库调用。 我需要自动执行以下操作： @Test在当前数据集行中使用用户名和密码登录。 @Test验证StoreName和items-stor

假设我有一个测试来断言系统中新用户的注册是否真的成功： 现在，这将在实际数据库中创建一个新的测试用户，因为我希望这个测试在实际环境中运行。这意味着测试不能一直运行，对吗？我应该如何进行此类测试？那些使用系统的实际环境并操纵真实数据的人？

我正在将Grails2中的一系列单元测试升级到Grails3，并在使用Spock数据驱动测试格式驱动测试的域测试中遇到问题。 当我执行测试时，因为测试执行没有填充测试中的错误、字段和val引用。如前所述，这个测试适用于Grails2.5.5，所以我怀疑我缺少了Grails3中需要的一些东西。 Edited：我删除了原来在setup（）中的mockForConstraints（）调用，使其无效。

问题内容： 要获取的数据大小：大约20,000 问题：在python中使用以下命令搜索Elastic Search索引数据 但没有得到任何结果。 如果我给的尺寸小于或等于10,000，则可以正常使用，但不能与20,000一起使用， 请帮助我找到最佳的解决方案。 PS：在深入研究ES时发现此消息错误： 结果窗口太大，从+大小必须小于或等于：[10000]，但为[19999]。有关请求大数据集的更有效

问题内容： 我正在尝试加载大于h2o中的内存大小的数据。 H2o 博客提到： 这是连接到的代码： 给 我试图将169 MB的csv加载到h2o中。 这引发了错误， 这表示内存不足错误。 问题：如果H2o承诺加载大于其内存容量的数据集（如上面的博客引文所述，交换到磁盘机制），这是加载数据的正确方法吗？ 问题答案： 由于性能太差，默认情况下前一会默认禁用“交换到磁盘”。流血边缘（不是最新稳定的）具有启

笔试过了一个月给捞起来了 一面 45min 1. 自我介绍 2. 细聊项目，很细（一上来就忘了数据量，尴尬） 3. 特征工程怎么做的 4. iv值的计算方法 5. AUC的计算方法 6. 正反例不平衡对auc有影响吗 7. 知道过拟合吗 8. 逻辑回归怎么解决过拟合问题 9. 写个函数指针 10. pandas库有哪些数据类型 11. 怎么取两个dataframe有差异的部分（忘了具体函数了，讲了

我正在开发一个使用MongoDB数据库的程序，但我在问，当通过Java执行SQL时，是否可以使用内部数据库进行测试，比如H2？

我的问题是： “数据提供者”如何在内部将数据发送到测试？ 幕后到底发生了什么，以便我们在“测试”中获得发送的数据？。 我很想知道，数据提供者和测试是如何通过提及“数据提供者”的名称而相互连接的，“数据提供者”将数据发送给测试的。 “数据提供者”是否调用测试并将数据作为参数传递？ 我的数据提供者代码： 我的测试代码：