当前位置: 首页 > 编程笔记 >

Shell中实现“多线程”执行脚本文件完美解决方案

鄢晔
2023-03-14
本文向大家介绍Shell中实现“多线程”执行脚本文件完美解决方案,包括了Shell中实现“多线程”执行脚本文件完美解决方案的使用技巧和注意事项,需要的朋友参考一下

即比如我有100个可执行文件,互相间没有特别的先后执行关系,如CODE:


job_1

job_2

job_2

.....

job_100


想用csh/bash来多线程调用执行。

比如一次开5个线程,那么job_1,2,3,4,5一起先开始,那么其中任何一个线程如果先执行完成,则继续执行下一个没有初执行过的文件,如job_6,7,8....,这样一直以所指定的线程数来执行所有100个文件。

我本来想用 "&" 来放入后台,可是这样我一次可以指定5放入后台,但是无法知道其中任何一个程序何时执行完毕,所以也无法继续执行下一个程序啊!

完美解决方案:


-(dearvoid@LinuxEden:Forum)-(~/tmp)-

[$$=6718 $?=0] ; cat job_1

#!/bin/bash

n=$((RANDOM % 5 + 1))

echo "$0 sleeping for $n seconds ..."

sleep $n

echo "$0 exiting ..."

-(dearvoid@LinuxEden:Forum)-(~/tmp)-

[$$=6718 $?=0] ; for ((i = 2; i <= 10; ++i)); do cp job_1 job_$i; done

-(dearvoid@LinuxEden:Forum)-(~/tmp)-

[$$=6718 $?=0] ; cat jobs.sh

#!/bin/bash

nParellel=5

nJobs=10

sJobPattern='./job_%d'

aJobs=()

sNextJob=

for ((iNextJob = 1; iNextJob <= nJobs; )); do

    for ((iJob = 0; iJob < nParellel; ++iJob)); do

        if [ $iNextJob -gt $nJobs ]; then

            break;

        fi

        if [ ! "${aJobs[iJob]}" ] || ! kill -0 ${aJobs[iJob]} 2> /dev/null; then

            printf -v sNextJob "$sJobPattern" $((iNextJob++))

            echo "$sNextJob starting ..."

            $sNextJob &

            aJobs[iJob]=$!

        fi

    done

    sleep .1

done

wait

-(dearvoid@LinuxEden:Forum)-(~/tmp)-

[$$=6718 $?=0] ; ./jobs.sh

./job_1 starting ...

./job_1 sleeping for 3 seconds ...

./job_2 starting ...

./job_2 sleeping for 2 seconds ...

./job_3 starting ...

./job_3 sleeping for 5 seconds ...

./job_4 starting ...

./job_5 starting ...

./job_4 sleeping for 4 seconds ...

./job_5 sleeping for 2 seconds ...

./job_2 exiting ...

./job_6 starting ...

./job_6 sleeping for 2 seconds ...

./job_5 exiting ...

./job_7 starting ...

./job_7 sleeping for 1 seconds ...

./job_1 exiting ...

./job_8 starting ...

./job_8 sleeping for 3 seconds ...

./job_7 exiting ...

./job_9 starting ...

./job_9 sleeping for 5 seconds ...

./job_4 exiting ...

./job_6 exiting ...

./job_10 starting ...

./job_10 sleeping for 5 seconds ...

./job_3 exiting ...

./job_8 exiting ...

./job_9 exiting ...

./job_10 exiting ...

-(dearvoid@LinuxEden:Forum)-(~/tmp)-

[$$=6718 $?=0] ; bye

 类似资料:
  • 问题内容: 我尝试谷歌搜索答案,但没有运气。 我需要使用我的超级计算机服务器,但是要运行我的python脚本,必须通过shell脚本执行。 例如我要执行 如何做到这一点? 问题答案: 只需确保python可执行文件在PATH环境变量中,然后在脚本中添加 细节: 在文件job.sh中,放入 执行此命令以使脚本可运行: 运行 :

  • 本文向大家介绍shell脚本实现监控shell脚本的执行流程及变量的值,包括了shell脚本实现监控shell脚本的执行流程及变量的值的使用技巧和注意事项,需要的朋友参考一下 很多时候,我们都会写shell程序来完成一些不用重复造轮子的时刻,但是,又因为shell语句中也会有函数,也会有变量,在运行后到底执行了哪些相关的操作,就需要对具体执行过程中的变量等可变的因素的监控,那么我们下面就写个小小的

  • 我有一个shell脚本,它执行sql构建工作。 当从unix提示符手动调用它时,它正在执行并按预期给出结果。 但是当它从java调用时,它并没有完全执行。 手动执行: MODIFY_PATCH_CREATION. ksh 118765CP_14052906_28112015134449_16 日志文件显示为: 但是如果我从java程序执行相同的操作,如下所示: Java代码: 当作为java Sh

  • 本文向大家介绍shell脚本实现linux系统文件完整性检测,包括了shell脚本实现linux系统文件完整性检测的使用技巧和注意事项,需要的朋友参考一下 今天发现个可以检测系统文件完整性的shell脚本,自己试了下还可以吧,介绍给大家。 系统:centos 5.x 脚本内容: 执行脚本: 进行校验: 如下: 可以看到很多OK. 如果只想看到错误的话,可以用下面这个命令: 我的系统没有报错的,所以

  • 本文向大家介绍shell脚本实现文件锁功能,包括了shell脚本实现文件锁功能的使用技巧和注意事项,需要的朋友参考一下 1.背景 当多个进程可能会对同样的数据执行操作时,这些进程需要保证其它进程没有在操作,以免损坏数据。通常,这样的进程会使用一个“锁文件”,也就是建立一个文件来告诉别的进程自己在运行,如果检测到那个文件存在则认为有操作同样数据的进程在工作。这样的问题是,进程不小心意外死亡了,没有清

  • 本文向大家介绍hive-shell批量命令执行脚本的实现方法,包括了hive-shell批量命令执行脚本的实现方法的使用技巧和注意事项,需要的朋友参考一下 如下所示: 以上这篇hive-shell批量命令执行脚本的实现方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持呐喊教程。