我在aws s3和emr上使用Spark 2.4进行项目,我有一个左连接,有两个巨大的数据部分。火花执行不稳定,它经常因内存问题而失败。 集群有10台m3.2xlarge类型的机器,每台机器有16个vCore、30 GiB内存、160个SSD GB存储。 我有这样的配置: 左侧连接发生在 150GB 的左侧和大约 30GB 的右侧之间,因此有很多随机播放。我的解决方案是将右侧切得足够小,例如 1G
前言 这段时间收到好多粉丝的留言说想求一份金融银行相关的测试面试题,所以我花了不少时间给大家整理了一份,今天分享给需要的朋友们,也希望对你们有所帮助。 1、网上银行转账是怎么测的,设计一下测试用例。 回答思路: 宏观上可以从质量模型(万能公式)来考虑,重点需要测试转账的功能、性能与安全性。设计测试用例可以使用场景法为主,先列出转账的基本流和备选流。然后设计场景,最后根据场景设计数据。实际面试中需要
使用databricks spark,可以使用spark雪花连接器(spark-snowflake_2.11-2.3.0.jar,snowflake-jdbc-2.8.1.jar)将数据写入snowflake,而不使用jdbc连接。但如果没有databricks,当我尝试在安装spark的本地机器中应用相同的代码时,我无法使用spark snowflake连接器将代码写入snowflake。我面临
关于雪花的新功能--推断模式表函数,我有一个问题。INFER模式函数在parquet文件上执行得很好,并返回正确的数据类型。但是,当parquet文件被分区并存储在S3中时,INFER模式的功能与pyspark Dataframes不同。 在DataFrames中,分区文件夹名称和值作为最后一列读取;在雪花推断模式中有没有一种方法可以达到同样的结果? 示例: 示例:{“AGMT_GID”:1714
先说下自己的笔试情况:0.81 + 0.91 + 0.18 1. 拼接数字,有两种方法可以做,第一种是类似全排列的解法,只不过要把每次收集的上限改为3。我笔试中使用这个方法只过了81%,原因是没有加base case,题目中给了N张卡片, N的范围是1 <= N <= 100000。加上特殊判断条件应该就可以ac了。 第二种方法是,先将卡片上的数字按照长度排列,然后长度一样的话,按照字典序排序。
一面: 自我介绍 有过项目开发经验吗,说说 专业跟银行科技还是有差距,为什么想来银行 熟悉java吗 许愿通过捏 #江苏银行#
记录珍贵的面试凉经 10月19号更新:大早上收到了回馈邮件,我还以为我凉了,开始准备笔试 两个面试官,都穿着蓝衬衫,而我穿着卫衣,emmmm ----------------------------------------------------- 1)自我介绍 2)研究生因为涉及到机器学习,所以问用了什么框架 3)问项目,大概是干什么的 4)工作之后考研是为什么,第二家公司挺好的,咋不在那待着
一面: 1、自我介绍 2、站起来走到后面再走回来,看你的着装吧大概,还好那天穿了衬衫还扣上扣子了 3、实习中学习到了什么? 4、给自己的开发能力打几分?剩下的缺在哪? 5、有收到什么offer,有投其他银行吗,也都是科技岗吗? 6、觉得自己是一个什么性格的人? 7、成绩,专业多少人,拿奖学金要什么排名? 8、在校做的项目有一个是后端,一个是全栈是吧?然后我就展开讲我前后端都能负责(资本家听了都落泪
记录每天珍贵的面试凉经 这几天简直排满了,中信银行和华海智汇面试官都不带开摄像头的,面试也都是基于简历,所以也没啥参考性 ----------------------------------- 华海智汇 这家公司信息太少了,约面试都是通过短信 自我介绍 项目介绍 难点,怎么解决的 为啥考研 反问 问有几面,说3面 因为感觉面试官兴趣缺缺,所以也没问啥时候有结果 10月27号果然收到了感谢信😂,还
10/25日,一面(HR),时长7分钟。 0. 自我介绍 1. 为什么迟到了; 2.站起来转两圈; 3. 为什么选择厦门银行,来过厦门吗 4. 说说你对银行金融科技的理解; 5. 项目、实习做了什么; 6. 工作比较看中什么; 7. 有几个offer, 薪资开多少; 8. 结束,没有反问环节 大概率无了.#厦门银行#
下面分享下昨天微众银行的笔试,只包含印象比较深的题目哟~。害!本人时22届的,也求捞哈~ 小小吐槽下,选择题第一题样式代码根本看不懂。其他的选择题考的比较广,但是主要是的前端方面的,计算机基础考的比较少 编程题第一题的示例数据还有点错误,客服根本就没理我,嘤嘤嘤。然后编程题连个IDE都没有,都要手打 选择题 1. JavaScript的super关键字 2. Html的语义化标签比如:articl
一面:一面会根据你所选的方向问的 我是前端方向,不太记得了,就记得问了存储 综合面:职业规划,为什么选上海,实习 反问多久出结果 前端方向是否需要转全站 家人们,资料阶段了,求offer #上海银行#
大概20分钟,一个hr,两个技术面试官,基本按照简历问的,体验非常好 为什么投测试岗,一分钟介绍对测试的了解 软件测试的流程 软件测试用例的要素 bug的要素 一个场景题设计测试用例 项目的性能测试部分 mysql存储引擎,innodb和myisam的区别 事务特性 http、tcp在哪一层 进程和线程的关系 有其他offer吗,大概十月中旬有结果 #渤海银行##测试##面经#
总行信息科技部测试岗 三个面试官(1个HR 2个技术面试官) 小姐姐们说话都很温柔 大约十五分钟 没有自我介绍环节 HR: 1.研究方向为xxxx,为什么选择做测试呢? 2.为什么对测试感兴趣呢? 3.期望工作地点?为什么? 4.有收到其他的offer吗? 5.都投递哪些公司呢? 1号技术面试官(主要问的是测试相关): 1.有学习过测
#你已经投递多少份简历了# 1、自我介绍 2、问了我参与的两个项目,让我介绍一个项目自己负责哪些内容、用到的技术栈、创新点; 3、为什么要选测试? 4、了解过哪些测试工具(我只知道jmeter,做了一些小的测试用例,没有实习经历,然后面试官说了一个我没听过测试工具) 5、对测试的了解(说了白盒和黑盒测试,以及黑盒测试有哪些测试方法) 反问: 1、银行里主要有哪些测试(功能测试、自动化测试之类的)