当前位置: 首页 > 知识库问答 >
问题:

python - 如何选择能跑模型的硬件?

澹台星光
2023-11-22

我只是跑模型:不是大规模生产训练,( 比如 yolo v8 做做图片验证或者 text2sql)关于使用 python 跑模型的电脑配置:现在我使用的是 Mac Mini M2 芯片:但是速度很慢 所以想买个带英伟达显卡的电脑:笔记本最好 单硬件这东西不懂 我至少要买到哪种型号以上才能在现有的 M2 芯片上有明显提升

共有2个答案

狄玉书
2023-11-22

我是初学DL,在硬件的选择上和你的方案有所不同,提供一种参考:
我选择的是高配cpu轻薄本(AMD R7 7840HS)配合显卡坞外接台式英伟达RTX3090ti显卡,可以部分兼顾笔记本的便携性和台式机显卡的高性能。笔记本本身不具有图形能力(仅使用集成显卡)。上班的时候带笔记本走,回家插上显卡就可以跑模型。
显卡外接需要有一定的动手能力,目前基本上有两种方式,一种是通过笔记本自己提供的雷电3接口或usb4接口,一种是通过笔记本主板上提供的额外m2硬盘接口或蓝牙m2接口转接成oclink接口。后者除了少部分机型有现成的改造方案,大多数可能都需要从笔记本D面挖孔将主板上的接口暴露出来,需要占用一个硬盘m2槽位或拆下蓝牙模块。
显卡外接方案的缺点是:1.无论雷电、usb4和m2,都可能存在一定的显卡性能损耗(但不会太大)2.m2转oclink方案视笔记本品牌型号不同可能需要对硬件有所取舍,比如舍得在d面开孔,放弃一个硬盘扩展位等等。3.AMD的核心据说有时会不稳定。4.需要单独买显卡坞、独立电源,需要动手安装和调试,有一定的风险

司寇照
2023-11-22

看 tflops 这个定量指标,如果要跑大模型,还要看显存大小

具体还可以分成 fp32 tflops、fp16 tflops、bf16 tflops、int8 tflops

对于传统的 resnet50、yolo v8 可以看 fp32 tflops

对于 LLM 大模型,就看 fp16 tflops、bf16 tflops、int8 tflops

如果你要看某个显卡的指标,就去谷歌搜索 a100 tflops techpowerup、RTX4060 tflops techpowerup 这样,去 techpowerup 这个网站看,非常的详细

图片.png

 类似资料:
  • 我在django上为博客文章创建了一个模型。每个帖子有两个状态选择:发布或草稿。如何在帖子保存后将发布更改为已发布? 这是我的代码: 来自django。数据库导入模型 从django.contrib.auth.models导入用户 在这里创建您的模型。 状态=((0,“草稿”), (1,“发布”),) 班级职务(models.Model): 从django.contrib导入管理员从。 类Post

  • 校验者: @片刻 翻译者: @森系 分数和交叉验证分数 如我们所见,每一个估计量都有一个可以在新数据上判定拟合质量(或预期值)的 score 方法。越大越好. >>> from sklearn import datasets, svm >>> digits = datasets.load_digits() >>> X_digits = digits.data >>> y_digits = digi

  • 3.1. 交叉验证:评估估算器的表现 3.1.1. 计算交叉验证的指标 3.1.1.1. cross_validate 函数和多度量评估 3.1.1.2. 通过交叉验证获取预测 3.1.2. 交叉验证迭代器 3.1.3. 交叉验证迭代器–循环遍历数据 3.1.3.1. K 折 3.1.3.2. 重复 K-折交叉验证 3.1.3.3. 留一交叉验证 (LOO) 3.1.3.4. 留 P 交叉验证 (

  • 我正在Mac上开发PhoneGap应用程序。我可以通过构建并运行以下命令来启动iOS模拟器: phonegap运行ios 我遇到的问题是,运行这个命令总是会启动iOS 7.0。3(11B507)安装在模拟iPhone视网膜(3.5英寸)上。我希望能够测试不同的设备(iPad/以前版本的iOS),但看不到通过run命令指定设备的方法,也没有添加任何代码来指定设备或版本。 有没有办法指定通过iOS模拟

  • 我想调用一个函数时,选择的任何选项。类似于这样: 但不知何故不起作用。有人能帮忙吗。 请注意 我不想捕获更改事件,如果我选择已经选择选项,则不会触发更改事件

  • 问题内容: 我需要具有2个字段的django modelform,其中第二个字段选择列表取决于在第一个字段中选择的内容。我的模特: 如果vehicle_type设置为 personal, 如何将 make 字段的选择设置为 PERSONAL_MAKES ?我怎样才能做到这一点?在模型级别上可以吗? __ 问题答案: 您可能不能,因为这取决于用户与表单的交互:您的服务器无法预先知道用户将表单发送到浏