大陆使用netflix
今年,我们已经吹捧为企业最终采用大数据和NoSQL解决方案来管理数据量的那一年。 随着Hadoop和Cassandra都在去年年底成熟,许多大型公司都将自己的力量放在NoSQL革命的后面,并且许多公司似乎在回馈社区,以推动Apache项目的发展。
Netflix是世界上最大的视频流中心之一,不得不解决快速增长的用户群和目录扩展的问题,并且一直在将基于云的基础架构转移到NoSQL选项(如Amazon SimpleDB,Hadoop / HBase和Cassandra。 随着公司的规模呈指数级增长,并且在1月份发布英国版后似乎已经走向世界,他们需要一个可扩展,潜在和强大的系统来使事情尽可能顺利地进行,以避免客户跳槽竞争对手。 他们的网站记录了去年的“开源之旅”(如他们所说),非常值得一读。
现在,他们已经在其技术博客中宣布了两个开放源代码选项,这些选项可以使那些转移到水平扩展的动态数据库的人的工作更加轻松。 Netflix团队必须花一个下午的时间浏览一本希腊神话书籍,因为他们将这两种工具称为Astyanax和Priam。 前者是具有改进的 API 和连接管理的Java Cassandra客户端, 后者是上周开源的一组用于管理配置的工具。
Priam在每个节点上与Cassandra一起运行,通过“ 可靠的备份和恢复过程”来增强Cassandra的功能。 它提供所有Netflix群集的每日快照和增量数据,然后备份到S3。 对于那些打算部署到云的人来说,此功能是必需的,因为一个错误可能很关键。 Priam还可以还原数据,以支持完整或部分环的还原。 还可以在测试环境中还原数据。
Priam的独特之处在于,它通过在区域之间交错来分配令牌 ,从而允许多区域群集(对于Netflix来说是必须的,因为它们在创纪录的时间内跨越多个 AWS 区域 ) 。 最吸引人的是Priam的REST API,作为团队,其目标是支持多管理集群。 它通过使用支持外部监视和自动化脚本的钩子来实现。 它们提供了备份功能,可以手动还原一组节点,并提供有关Cassandra环信息的见解。 他们还公开了Cassandra JMX的关键命令,例如修复和刷新。
Netflix的Cassandra统计数据令人印象深刻。 他们有57个Cassandra集群,Priam每天将数十TB的数据备份到S3。 更令人印象深刻的是,几乎每天都会自动更换节点。 看起来Netflix为企业提供了NoSQL帮助客户端的瑰宝。 我们很高兴每个人都在进一步推动Cassandra的功能。 接下来我们会看到什么?
大陆使用netflix