5.15 上海某小厂-暑假实习-面试
自我介绍
park中RDD的Task数量由什么决定？
Spark 怎么实现算子中的变量共享？
Spark 共享变量的使用条件?
> 可序列化???
连接池实例是在算子内 还是在算子外?
>我一开始没想好，先回答了连接池的作业：是为了连接的复用，将可能会用到的连接通道给提前打开，存在大量通信请求场景时，可以用到连接池来优化整个通信过程的效率。
>
>我回答是 连接池实例应该在算子外创建和管理，这样算子共享相同的连接池。
>
>但面试官说让我好好想想。然后问我 如果进行网络连接，是一台电脑连接还是多台连接？应该是在算子内，通常是因为数据不能或不应当在算子之间共享，或者存在连接泄漏的风险。例如，在使用HBase时，连接器必须在算子内实例化连接池中的连接，以确保每个算子在处理数据时都能获得可用的连接。
还是Spark相关的问题，没听记住
习惯用的语言？Scala熟练不？对Scala有什么看法？
为什么问我的都是Spark内容，我实习的工作也是用Spark？
>我简历上不敢写 熟悉Spark，只是在一个项目上用了Spark，结果还是遭不住。
为什么选择Spark来处理数据？因为非结构化的数据多吗？
部门业务？公司规模？
>开发组十多个人，写Spark的只有他一个，要找一个实习生和他一起做
我能实习能学到什么？
> 主要是Spark和Scala技能的提升
类似资料：