在Linux中有很多方法逐行读取一个文件的方法,其中最常用的就是下面的脚本里的方法,而且是效率最高,使用最多的方法。为了给大家一个直观的感受,我们将通过生成一个大的文件的方式来检验各种方法的执行效率。
方法1:while循环中执行效率最高,最常用的方法。
function while_read_LINE_bottm(){ While read LINE do echo $LINE done < $FILENAME }
注释:我习惯把这种方式叫做read釜底抽薪,因为这种方式在结束的时候需要执行文件,就好像是执行完的时候再把文件读进去一样。
方法2 : 重定向法;管道法: cat $FILENAME | while read LINE
Function While_read_LINE(){ cat $FILENAME | while read LINE do echo $LINE done }
注释:我只所有把这种方式叫做管道法,相比大家应该可以看出来了吧。当遇见管道的时候管道左边的命令的输出会作为管道右边命令的输入然后被输入出来。
方法3: 文件描述符法
Function while_read_line_fd(){ Exec 3<&0 Exec 0<$FILENAME While read LINE Do Echo $LINE Exec 0<&<3 }
方法4 for 循环。
function for_in_file(){ For i in `cat $FILENAME` do echo $i done }
注释:这种方式是通过for循环的方式来读取文件的内容相比大家很熟悉了,这里不多说。对各个方法进行测试,看那方法的执行效率最高。
首先我们用脚本(脚本见附件)生成一个70000行的文件,文件位置在/scripts/bigfile。然后通过下面的脚本来测试各个方法的执行效率,脚本很简单,不再解释。
#!/bin/bash FILENAME="$1" TIMEFILE="/tmp/loopfile.out" > $TIMEFILE SCRIPT=$(basename $0) function usage(){ echo -e "\nUSAGE: $SCRIPT file \n" exit 1 } function while_read_bottm(){ while read LINE do echo $LINE done < $FILENAME } function while_read_line(){ cat $FILENAME | while read LINE do echo $LINE done } function while_read_line_fd(){ exec 3<&0 exec 0< $FILENAME while read LINE do echo $LINE done exec 0<&3 } function for_in_file(){ for i in `cat $FILENAME` do echo $i done } if [ $# -lt 1 ] ; then usage fi echo -e " \n starting file processing of each method\n" echo -e "method 1:" echo -e "function while_read_bottm" time while_read_bottm >> $TIMEFILE echo -e "\n" echo -e "method 2:" echo -e "function while_read_line " time while_read_line >> $TIMEFILE echo -e "\n" echo -e "method 3:" echo "function while_read_line_fd" time while_read_line_fd >>$TIMEFILE echo -e "\n" echo -e "method 4:" echo -e "function for_in_file" time for_in_file >> $TIMEFILE
执行脚本后: [root@localhost shell]# ./while /scripts/bigfile
脚本输出内容:
method 1: function while_read_bottm real 0m5.689s user 0m3.399s sys 0m1.588s method 2: function while_read_line real 0m11.612s user 0m4.031s sys 0m4.956s method 3: function while_read_line_fd real 0m5.853s user 0m3.536s sys 0m1.469s method 4: function for_in_file real 0m5.153s user 0m3.335s sys 0m1.593s
real 0m5.153s method 4 (for 循环法) real 0m5.689s method 1 (while 釜底抽薪法) real 0m5.853s method 3 (标识符法) real 0m11.612s method 2 (管道法)
while read LINE do echo $LINE done < $FILENAME
本文向大家介绍C#逐行读取文件的方法,包括了C#逐行读取文件的方法的使用技巧和注意事项,需要的朋友参考一下 本文实例讲述了C#逐行读取文件的方法。分享给大家供大家参考。具体如下: 这里使用C#逐行读取文件,对于大文件的读取非常有用。 希望本文所述对大家的C#程序设计有所帮助。
本文向大家介绍C#逐行读取txt文件的方法,包括了C#逐行读取txt文件的方法的使用技巧和注意事项,需要的朋友参考一下 本文实例讲述了c#逐行读取txt文件的方法,是C#程序设计中非常实用的技巧,分享给大家供大家参考。 具体方法如下: 希望本文所述对大家C#程序设计的学习有所帮助。
我正在努力阅读附加的TXT文件,以csv形式显示从文件中读取的每个字段,我做了一个接近我想要的代码,但我没有前进。 TXT文件格式: 我的代码在我想要的位置读取第一行,但下面的行我不能,更不用说重复文件中包含的下一个工资单的读数了。 目前的输出是这样的: 出口应该是怎样的 逐行读取和捕获数据,我必须完成一个工资单,它将在输出中形成一行,第二个工资单将在输出中形成第二行,因此,直到txt文件结束,此
我正在试着阅读我的文件的每一行,其中包含一个用户名列表,并用它创建一个登录系统。我正在尝试实现一个基本的登录系统,它的用户名存储在.txt文件中,但我的代码不工作,我不知道为什么。我认为问题出在检查用户名的循环中。 这是我的代码,但它不起作用,只是打印总是失败: 有什么想法吗?
问题内容: 我想逐个读取文件。该文件分为几部分,分别存储在不同类型的媒体上。我目前要做的是调用文件的每个单独部分,然后将其合并回原始文件。 问题是我需要等到所有块都到达后才能播放/打开文件。是否有可能在块到达时读取块,而不是等待它们全部到达。 我正在处理媒体文件(电影文件)。 问题答案: 您要的是源数据线。当数据太大而无法一次将其保存在内存中时,这是完美的选择,因此您可以在接收整个文件之前开始播放
问题内容: 我在Go中找不到功能。我可以弄清楚如何快速编写一个,但是我只是想知道我是否在这里忽略了一些东西。如何逐行读取文件? 问题答案: _注意: 可接受的答案在早期的Go版本中是正确的。 包中有ReadLine函数。 请注意,如果该行不适合读取缓冲区,则该函数将返回不完整的行。如果要始终通过单次调用函数来读取程序中的整行,则需要将该函数封装到自己的函数中,该函数在for循环中进行调用。 之所以