Weld-Project

用于数据分析应用程序的高性能运行时
授权协议 BSD-3.0
开发语言 C/C++ Python SHELL Rust
所属分类 神经网络/人工智能、 机器学习/深度学习
软件类型 开源软件
地区 不详
投 递 者 聂宜
操作系统 Linux
开源组织
适用人群 未知
 软件概览

Weld 使用 Rust 语言编写,可以使用 LLVM 编译器框架,为整个数据分析工作流生成高效的并行运行的代码。CSAIL 曾开发出了几个将速度推向极限的大数据加速项目,比如 Milk 和 Tapir。

这个小组声称 Weld 是一种面向数据分析的通用运行时环境,它拿来现代数据处理堆栈几个分离的部分后,可以步调一致地优化它们。每一个部分快速运行,但是“跨不同功能的数据移动可能占了执行时间的大部分。”

换句话说,管道花在将数据在各部分之间来回移动上的时间超过了花在实际处理数据上的时间。Weld 创建了一种每个库都可以接入的运行时环境,提供了一种通用方法,可以跨管道运行需要并行化和优化的关键数据。

诸多框架本身并不为运行时环境生成代码。相反,它们通过 API 来调用 Weld,该 API 描述了处理哪种类型的工作。然后,Weld 使用 LLVM 生成可自动包括优化机制(比如多线程处理)或面向高速向量运算的英特尔 AV2 处理器扩展的代码。

当前的性能指标

部分内容摘自云头条

 相关资料
  • 问题内容: 我有一个Spring应用程序,我认为它存在一些瓶颈,因此我想用一个探查器运行它来衡量哪些功能需要花费多少时间。有什么建议我应该怎么做? 我正在运行STS,该项目是一个maven项目,并且正在运行Spring 3.0.1 问题答案: 我已经使用Spring AOP做到了。 有时,我需要有关在项目中执行某些方法(例如,控制器的方法)花费多少时间的信息。 在servlet xml中,我把 另

  • 我正在构建一个java CLI实用程序应用程序来处理文件中的一些数据。 除了从文件中读取,所有的操作都是在内存中完成的。内存中的处理部分花费了令人惊讶的长时间,所以我尝试对它进行分析,但无法找出任何性能特别差的特定函数。 我担心JIT无法在一次运行中优化程序,所以我用所有程序逻辑(包括读取输入文件)对函数的连续执行之间的运行时变化进行了基准测试,果然,内存处理部分的运行时在几次执行时都会下降,并且

  • 用户期望页面的交互性和流畅。但是在传输到显示器的过程中每个阶段都可能出现闪烁卡顿。 接下来我们将了解用于识别和解决运行时性能降低的常见问题的工具和策略。 TL;DR 不要编写强制浏览器重新计算布局的JavaScript。分离读写函数,并首先执行读取。 不要使您的CSS过于复杂。使用更少的CSS和保持你的CSS选择器简单。尽可能多避免layout。 总是选择不触发layout的CSS。 绘画可能占用

  • 本文向大家介绍Python运用于数据分析的简单教程,包括了Python运用于数据分析的简单教程的使用技巧和注意事项,需要的朋友参考一下 最近,Analysis with Programming加入了Planet Python。作为该网站的首批特约博客,我这里来分享一下如何通过Python来开始数据分析。具体内容如下:     数据导入         导入本地的或者web端的CSV文件;    

  • 问题内容: 我正在尝试使用大型复杂的tomcat Java Web应用程序解决性能问题。目前最大的问题是,内存使用量有时会激增,应用程序将变得无响应。我已经修复了我可以使用日志探查器和日志文件的贝叶斯分析解决的所有问题。我正在考虑在生产的Tomcat服务器上运行探查器。 致读者的注意事项: 我了解有些人可能会发现对生产应用程序进行冒犯性分析的想法。请放心,我已经用尽了大多数其他选项。我正在考虑这样

  • 我有一个简单的Spring-Boot应用程序,它只使用AMQP依赖项(仅-例如,没有web依赖项,所以JAR中没有包含应用服务器)。 我只想让应用程序运行并监听队列,并在收到消息时将一些信息记录到DB中--然而,由于没有应用程序服务器,它一启动就会再次关闭(因为什么都没有做)。在监听消息的同时,是否有一种最好的方法来保持应用程序的运行? 代码中没有什么令人惊讶的地方,只是标准的应用程序配置,然后还