目录
一.谈一谈你对性能优化方面的了解？
二.一般什么情况下导致内存泄漏？如何解决？
对于某些工作负载，可以在通过在内存中缓存数据或者打开一些实验选项来提高性能。 在内存中缓存数据 Spark SQL可以通过调用sqlContext.cacheTable("tableName")方法来缓存使用柱状格式的表。然后，Spark将会仅仅浏览需要的列并且自动地压缩数据以减少内存的使用以及垃圾回收的 压力。你可以通过调用sqlContext.uncacheTable("tableName")
集群中的Spark Streaming应用程序获得最好的性能需要一些调整。这章将介绍几个参数和配置，提高Spark Streaming应用程序的性能。你需要考虑两件事情： 高效地利用集群资源减少批数据的处理时间 设置正确的批容量（size），使数据的处理速度能够赶上数据的接收速度 减少批数据的执行时间 设置正确的批容量 内存调优
常用命令 1. 查看系统 CPU 总数 $ grep -c ^processor /proc/cpuinfo $ lscpu 2. 查看网卡信息，主机名 $ hostname $ ip addr show eth0 3. 查看系统上运行的服务 # systemctl list-units -t service | awk '$3=="active"' ** ** ** **
硬件因素 内存（RAM）的读写速度时普通 SSD 的 25 倍。MongoDB 中依赖 RAM 最多的操作包括：聚合、索引遍历、写操作、查询引擎、连接 Table 1. 常见存储的IOPS 类型 IOPS 7200 rpm SATA 75 - 100 15000 rpm SAS 175 - 210 SSD Intel X25-E(SLC) 5000 SSD Intel X25-M G2(MLC)
本文向大家介绍Hadoop性能调优？相关面试题，主要包含被问及Hadoop性能调优？时的应答技巧和注意事项，需要的朋友参考一下 调优可以通过系统配置、程序编写和作业调度算法来进行。 hdfs的block.size可以调到128/256（网络很好的情况下，默认为64） 调优的大头：mapred.map.tasks、mapred.reduce.tasks设置mr任务数（默认都是1） mapred.ta
主要内容：硬件和操作系统问题,运行时配置问题,编译时配置问题,原子操作,附录：跟踪的详细分析Apache 2.x是一个通用的Web服务器，旨在提供灵活性，可移植性和性能之间的平衡。虽然它没有专门设计用于设置基准记录，但Apache 2.x在许多实际情况下都具有高性能。 与Apache 1.3相比，版本2.x包含许多额外的优化，以提高吞吐量和可伸缩性。默认情况下，大多数这些改进都已启用。但是，存在可能显着影响性能的编译时和运行时配置选择。本文档介绍了服务器管理员可以配置的选项，以调整Apa
当你开始编写Apache Spark代码或者浏览公开的API的时候，你会遇到诸如transformation，action，RDD等术语。了解到这些是编写Spark代码的基础。同样，当你任务开始失败或者你需要透过web界面去了解自己的应用为何如此费时的时候，你需要去了解一些新的名词:job, stage, task。对于这些新术语的理解有助于编写良好Spark代码。这里的良好主要指更快的Spark
我们正在运行一个web应用程序，并从memcached切换到redis(2.4)进行缓存。现在我们对redis的表现有些失望。Redis运行在同一台服务器上，我们只使用非常简单的GET和SET操作。对于一些大量使用缓存值的请求，我们有多达300个对redis的GET请求，但这些请求最多需要150ms。我们大约有20万个活动密钥，每秒大约有1000个redis请求。磁盘io、ram或CPU都没有问题
