将25 gigs文本文件加载到Mysql（python脚本或Load DATA）的最佳方式？[副本]
我正在尝试加载一个大约 25 GB 到 MYsql 的文件，我打算编写一个脚本，但看到加载数据命令的堆栈溢出线程，所以尝试
LOAD DATA INFILE 'file_path\\test.txt' INTO TABLE my_table
fields terminated by ":";
结果看起来还不错，但是mysql workbench连接似乎过了一会儿就掉线了，当然可能是因为文件太大了。那么我能做什么，python脚本在这种情况下是否更有效，更重要的是更可靠，因为我无法承受在这个漫长的过程中出现的任何错误。
共有1个答案
您可以根据您的系统配置使用具有多个线程的python脚本以块的形式加载数据。
-
问题内容： 首先，我对Java非常基础。我正在尝试浏览.txt文件并将其内容加载到文本区域。我已经完成了该部分，直到从JFileChooser接收文件为止，现在我不知道如何做其余的工作。 问题答案： 使用所有Swing文本组件都支持的read（…）和write（…）方法。简单的例子：
-
问题内容： 将包含JSON的文件加载到JSONObject的最简单方法是什么。 目前，我正在使用json-lib。 这是我所拥有的，但是会引发异常： 输出为： 问题答案： 试试这个： 这是您的sample-json.txt，应为json格式
-
; 该脚本使用 HM VNISEdit 脚本编辑器向导产生 ; 安装程序初始定义常量 !define PRODUCT_NAME "下载专用程序" !define PRODUCT_VERSION "1.0" SetCompressor lzma ; ------ MUI 现代界面定义 (1.67 版本以上兼容) ------ !include "MUI.nsh" ; MUI 预定义常量 !d
-
我有一个文本文件（没有标点符号），文件大小约为100MB-1GB，以下是一些示例行： 以及替换标记列表，如下所示: 在文本文件上替换后我想要的输出如下所示： 该解决方案正在工作，但对于大量替换标记和大型文本文件，速度非常慢。有更好的解决方案吗？
-
在那里我得到了多个chunksize部分，我试图做一些操作，比如 对于操作，它选择任意一个块体部分，并执行它的所有操作。那剩下的部分呢？如何在没有内存错误的情况下对完整的数据进行操作。
-
问题内容： 在我的在线计算机科学课上，我必须编写一个程序来确定太阳系中每个行星的表面重力。除了一个方面，我几乎已经掌握了它的所有方面。我需要使用单独的方法将表面重力写入文件。这是我目前的方法： 我的问题是，当我将其写入文件时，它将覆盖先前的值。我如何获得它包括所有的价值。如果有帮助，这是我的全部代码： 问题答案： 这样做是为了创建带有追加模式的作品：