cascading 使用
是否曾经想利用Hadoop的最佳功能,但是却为过渡所带来的后勤困扰而苦苦挣扎? 似乎新的发行版可能会解决您的大数据难题,因为Concurrent发布了Cascading 2.0 –一种开源数据工作流API,将其自身定位为MapReduce的替代产品。
Cascading 2.0是一个Java应用程序框架,使开发人员能够为云构建健壮的Apache Hadoop数据管理应用程序或将其保留在内部。 它已经吸引了一些令人印象深刻的追求者– Etsy,Razorfish和最著名的Twitter,这可能是最令人印象深刻的用例。
Twitter最近经历了开源活动,向大众发布了一些非常有趣的工具,但他们也意识到需要灵活地应对基础架构的波动。 Cascading框架专为数据科学家,Hadoop管理员和应用程序开发人员设计,可以协作并快速开发和部署可伸缩的大数据应用程序,还可以分析NoSQL数据库中任何格式的非结构化和半结构化数据。
可以说,关于Cascading的最有趣的事情是它的多语言方法–您可以使用自己选择的语言在桌面上构建和测试应用程序– Java,Scala,Clojure和JRuby都受到欢迎。
此版本代表了Concurrent首席执行官Chris Wensel长达五年的工作,第一个代码库于2007年出现-早于大数据曲线。 现在,Cascading 2.0以Apache 2.0许可证启动进入了市场-希望它能得到应有的采用。
“尽管在企业中越来越多地采用Hadoop,但是在Hadoop上构建应用程序仍然非常困难。 通过允许企业从大量分布式数据中快速提取有意义的信息并更好地理解业务含义,我们正在推动Hadoop上应用程序开发和管理的未来。 我们使开发人员可以轻松地为Hadoop构建功能强大的数据处理应用程序,而无需花数月的时间来了解MapReduce的复杂性。”
看来其他大数据专家也很关注Cascading的崛起。
“ MapR致力于发展,创新和丰富的Hadoop开发社区。 级联已经作为MapR分发的一部分进行了集成和分发,并且在依赖大数据分析的组织中得到了广泛的使用。 通过级联,企业开发人员可以专注于应用程序和数据处理业务,同时处理开发的复杂性。” MapR Technologies的首席执行官兼联合创始人John Schroeder说。
MapReduce的替代品肯定会在大数据处理世界中崭露头角,而Cascading无疑是一个可行的竞争对手。
翻译自: https://jaxenter.com/welcome-cascading-2-0-the-open-source-api-to-ease-your-hadoop-woes-104602.html
cascading 使用