新聞中心
在一些需要計算資源較高的場景下,如科學計算、機器學習等,單CPU的計算速度已經(jīng)遠遠不能滿足需求。此時,多CPU并行處理能夠提高計算效率,縮短計算時間,加快實驗進度。本文將介紹在Linux環(huán)境下,如何讓多CPU同時執(zhí)行命令,以期能夠在實驗和計算任務(wù)中發(fā)揮更大的效能。

為興賓等地區(qū)用戶提供了全套網(wǎng)頁設(shè)計制作服務(wù),及興賓網(wǎng)站建設(shè)行業(yè)解決方案。主營業(yè)務(wù)為成都網(wǎng)站建設(shè)、網(wǎng)站制作、興賓網(wǎng)站設(shè)計,以傳統(tǒng)方式定制建設(shè)網(wǎng)站,并提供域名空間備案等一條龍服務(wù),秉承以專業(yè)、用心的態(tài)度為用戶提供真誠的服務(wù)。我們深信只要達到每一位用戶的要求,就會得到認可,從而選擇與我們長期合作。這樣,我們也可以走得更遠!
1. 確認CPU數(shù)量
在Linux下,可以使用命令`lscpu`來查看計算機的CPU信息。具體命令如下:
“`
$ lscpu
“`
該命令輸出的內(nèi)容較多,其中可以注意到一行與CPU數(shù)量相關(guān)的信息,如下所示:
“`
CPU(s): 4
“`
這個例子表示計算機有4個CPU,即可以對多個命令進行并行處理。如果計算機有多個節(jié)點,每個節(jié)點也可以利用多CPU并行處理。
2. 使用parallel命令
對于一些命令行工具,如果在輸入中指定CPU數(shù)量,即可讓該工具利用多CPU并行處理。但也有很多命令行工具無法做到這一點,這時可以使用`parallel`命令來實現(xiàn)多CPU并行處理。
`parallel`命令可以在多個CPU上實現(xiàn)并行執(zhí)行給定的命令,從而加快任務(wù)的執(zhí)行速度。該命令的基本語法為:
“`
$ parallel [OPTIONS] command [command args …]
“`
其中,`command`指定要執(zhí)行的命令,`list_of_arguments`指定要傳遞給命令的參數(shù)列表。例如,下面的例子將會讓`grep`在4個CPU上并行搜索`example.txt`文件中的關(guān)鍵詞`keyword`:
“`
$ parallel -j4 grep keyword example.txt
“`
其中,`-j4`指定使用4個CPU進行并行處理。如果`-j`選項沒有指定,則默認使用所有可用CPU(上文中的`-j4`并不代表只能用4個CPU,可以同時使用4個及以上的CPU)。
除了搜索文本,`parallel`也可以用于執(zhí)行其他任何命令。不過需要注意的是,必須在命令中正確地使用占位符`{}`和`{1}`等,否則無法正確傳遞參數(shù)。
3. 使用xargs命令
另一種實現(xiàn)多CPU并行處理的方法是使用`xargs`命令。它可以將來自輸入的參數(shù)傳遞給指定的命令,并在多個CPU上并行執(zhí)行。
`xargs`有兩種常見的用法:一種是通過管道輸入?yún)?shù),將參數(shù)作為命令的輸入;另一種是通過讀取文件,將文件中的參數(shù)作為命令的輸入。以下是兩種使用方法:
通過管道輸入?yún)?shù):
“`
$ cat file.txt | xargs -P4 -I{} command {}
“`
其中,`-P4`表示使用4個CPU執(zhí)行,`-I{}`指定了占位符,將參數(shù)傳遞給`command`命令。
通過讀取文件輸入?yún)?shù):
“`
$ xargs -P4 -a file.txt -I{} command {}
“`
該命令從`file.txt`中讀取參數(shù),并用保留的`{}`占位符替換掉`command`命令中的參數(shù)。
多CPU并行處理可以提高計算效率,縮短計算時間。Linux環(huán)境下多CPU并行處理非常容易,有多種方法可以實現(xiàn)。本文介紹了使用`parallel`和`xargs`命令來實現(xiàn)多CPU并行處理的方法,但也有其他更深入的方法,如使用MPI(Message Passing Interface)等。不同的任務(wù)和環(huán)境需要針對性地選擇更優(yōu)的方法,以達到更佳的計算效率。
相關(guān)問題拓展閱讀:
- 怎么使用Linux命令查看CPU使用率
- linux能在各種cpu上運行!
怎么使用Linux命令查看CPU使用率
top命令是Linux下常用的性能分析工具,能夠?qū)崟r顯示系統(tǒng)中各個進程的資源占用狀況,類似于Windows的任務(wù)管理器
可以直接使用top命令后,查看%MEM的內(nèi)容??梢赃x擇按進程查看或者按用戶查看,如想查看oracle用戶的進程內(nèi)存使用情況的話可以使用如下的命令:
$ top -u oracle
2. 釋義:
PID:進程的ID
USER:進程所有者
PR:進程的優(yōu)先級別,越小越優(yōu)先被執(zhí)行
NInice:值
VIRT:進程占用的虛擬內(nèi)存
RES:進程占用的物理內(nèi)存
SHR:進程使用的共享內(nèi)存
S:進程的狀態(tài)。S表示休眠,R表示正在運行,Z表示僵死狀態(tài),N表示該進程優(yōu)先值為負數(shù)
%CPU:進程占用CPU的使用率
%MEM:進程使用的物理內(nèi)存和總內(nèi)存的百分比
TIME+:該進程啟動后占用的總的CPU時間,即占用CPU使用時間的累加值。
COMMAND:進程啟動命令名稱
3.操作實例:
在命令行中輸入 “top”
即可啟動 top
top 的全屏對話模式可分為3部分:系統(tǒng)信息欄、命令輸入欄、進程列表欄。
之一部分 — 最上部的 系統(tǒng)信息欄 :
之一行(top):
“00:11:04”為系統(tǒng)當前時刻;
“3:35”為系統(tǒng)啟動后到現(xiàn)在的運作時間;
“2 users”為當前登錄到系統(tǒng)的用戶,更確切的說是登錄到用戶的終端數(shù) — 同一個用戶同一時間對系統(tǒng)多個終端的連接將被視為多個用戶連接到系統(tǒng),這里的用戶數(shù)也將表現(xiàn)為終端的數(shù)目;
“物橘亂load average”為當前系統(tǒng)負載的平均值,后面的三個值分別為1分鐘前、5分鐘前、15分鐘前進程的平均數(shù),一般的可以認為這個數(shù)值超過 CPU 數(shù)目時,CPU 將比較吃力的負載當前系統(tǒng)所包含的進程;
第二行(Tasks):
“59 total”為當前系統(tǒng)進程總數(shù);
“1 running”為當前運行中的進程數(shù);
“58 sleeping”為罩檔當前處于等待狀態(tài)中的進程數(shù);
“0 stoped”為被停止的系統(tǒng)進程數(shù);
“0 zombie”為被復(fù)原的進程數(shù);
第三行(Cpus):
分別表示了 CPU 當前的使用率;
第四行(Mem):
分別表示了內(nèi)存總量、當前使用量、空閑內(nèi)存量、以及緩沖使用中的內(nèi)存量;
第五行(Swap):
表示類別同第四行(Mem),但此處反映著交換分區(qū)(Swap)的使用情況。通常,交換分區(qū)(Swap)被頻繁使用的情況,將被視作物理內(nèi)存不足而造成的。
第二部分 — 中間部分的內(nèi)部命令提示欄:
top 運行中可以通過 top 的內(nèi)部命令對進程的顯示方式進行控制。內(nèi)部命令如下表:
s
- 改變畫面更新頻率
l – 關(guān)閉或開啟之一部分之一行 top 信息的表示
t – 關(guān)閉或開啟之一部分第二行 Tasks 和第三行 Cpus 信息的表示
伍巧m – 關(guān)閉或開啟之一部分第四行 Mem 和 第五行 Swap 信息的表示
N – 以 PID 的大小的順序排列表示進程列表(第三部分后述)
P – 以 CPU 占用率大小的順序排列進程列表 (第三部分后述)
M – 以內(nèi)存占用率大小的順序排列進程列表 (第三部分后述)
h – 顯示幫助
n – 設(shè)置在進程列表所顯示進程的數(shù)量
q – 退出 top
s –
改變畫面更新周期
第三部分 — 最下部分的進程列表欄:
以 PID 區(qū)分的進程列表將根據(jù)所設(shè)定的畫面更新時間定期的更新。通過 top 內(nèi)部命令可以控制此處的顯示方式
pmap
可以根據(jù)進程查看進程相關(guān)信息占用的內(nèi)存情況,(進程號可以通過ps查看)如下所示:
$ pmap -d 5647
ps
如下例所示:
$ ps -e -o ‘pid,comm,args,pcpu,rsz,vsz,stime,user,uid’ 其中rsz是是實際內(nèi)存
$ ps -e -o ‘pid,comm,args,pcpu,rsz,vsz,stime,user,uid’ | grep oracle | sort -nrk
其中rsz為實際內(nèi)存,上例實現(xiàn)按內(nèi)存排序,由大到小
在Linux下查看內(nèi)存我們一般用free命令:
# free
totalusedfree shared buffers cached
Mem:
-/+ buffers/cache:
Swap:
下面是對這些數(shù)值的解釋:
total:總計物理內(nèi)存的大小。
used:已使用多大。
free:可用有多少。
Shared:多個進程共享的內(nèi)存總額。
Buffers/cached:磁盤緩存的大小。
第三行(-/+ buffers/cached):
used:已使用多大。
free:可用有多少。
第四行就不多解釋了。
區(qū)別:第二行(mem)的used/free與第三行(-/+ buffers/cache) used/free的區(qū)別。 這兩個的區(qū)別在于使用的角度來看,之一行是從OS的角度來看,因為對于OS,buffers/cached 都是屬于被使用,所以他的可用內(nèi)存是16176KB,已用內(nèi)存是KB,其中包括,內(nèi)核(OS)使用+Application(X, oracle,etc)使用的+buffers+cached.
第三行所指的是從應(yīng)用程序角度來看,對于應(yīng)用程序來說,buffers/cached 是等于可用的,因為buffer/cached是為了提高文件讀取的性能,當應(yīng)用程序需在用到內(nèi)存的時候,buffer/cached會很快地被回收。
所以從應(yīng)用程序的角度來說,可用內(nèi)存=系統(tǒng)free memory+buffers+cached。
如上例:
=16176+110652+
接下來解釋什么時候內(nèi)存會被交換,以及按什么方交換。 當可用內(nèi)存少于額定值的時候,就會開會進行交換。
如何看額定值:
cat /proc/meminfo
# cat /proc/meminfo
MemTotal:kB
MemFree: kB
Buffers: kB
Cached:4 kB
SwapCached:kB
Active:6 kB
Inactive:kB
HighTotal:kB
HighFree:kB
LowTotal:kB
LowFree: kB
SwapTotal:kB
SwapFree:kB
Dirty: 8 kB
Writeback:kB
Mapped:0 kB
Slab:344 kB
Committed_AS:kB
PageTables:kB
VmallocTotal:kB
VmallocUsed:kB
VmallocChunk:kB
HugePages_Total: 0
HugePages_Free:
Hugepagesize:kB
用free -m查看的結(jié)果:
# free -m
totalusedfree shared buffers cached
Mem:
-/+ buffers/cache:
Swap:
查看/proc/kcore文件的大?。▋?nèi)存鏡像):
# ll -h /proc/kcore
-rroot root 4.1G Jun 12 12:04 /proc/kcore
備注:
占用內(nèi)存的測量
測量一個進程占用了多少內(nèi)存,linux為我們提供了一個很方便的方法,/proc目錄為我們提供了所有的信息,實際上top等工具也通過這里來獲取相應(yīng)的信息。
/proc/meminfo 機器的內(nèi)存使用信息
/proc/pid/maps pid為進程號,顯示當前進程所占用的虛擬地址。
/proc/pid/statm 進程所占用的內(nèi)存
# cat /proc/self/statm
334 0
輸出解釋
CPU 以及CPU0。。。的每行的每個參數(shù)意思(以之一行為例)為:
參數(shù) 解釋 /proc//status
Size (pages) 任務(wù)虛擬地址空間的大小 VmSize/4
Resident(pages) 應(yīng)用程序正在使用的物理內(nèi)存的大小 VmRSS/4
Shared(pages) 共享頁數(shù) 0
Trs(pages) 程序所擁有的可執(zhí)行虛擬內(nèi)存的大小 VmExe/4
Lrs(pages) 被映像到任務(wù)的虛擬內(nèi)存空間的庫的大小 VmLib/4
Drs(pages) 程序數(shù)據(jù)段和用戶態(tài)的棧的大小 (VmData+ VmStk )4
dt(pages) 04
查看機器可用內(nèi)存
/proc/28248/>free
total used free shared buffers cached
Mem:
-/+ buffers/cache:
Swap:
我們通過free命令查看機器空閑內(nèi)存時,會發(fā)現(xiàn)free的值很小。這主要是因為,在linux中有這么一種思想,內(nèi)存不用白不用,因此它盡可能的cache和buffer一些數(shù)據(jù),以方便下次使用。但實際上這些內(nèi)存也是可以立刻拿來使用的。
所以 空閑內(nèi)存=free+buffers+cached=total-used
top命令 是Linux下常用的性能 分析工具 ,能夠?qū)崟r顯示系統(tǒng) 中各個進程的資源占用狀況,類似于Windows的任務(wù)管理 器。下面詳細介紹它的使用方法。
top – 02:53:32 up 16 days, 6:34, 17 users, load average: 0.24, 0.21, 0.24
Tasks: 481 total, 3 running, 474 sleeping, 0 stopped, 4 zombie
Cpu(s): 10.3%us, 1.8%sy, 0.0%ni, 86.6%id, 0.5%wa, 0.2%hi, 0.6%si, 0.0%st
Mem:k total,k used,k free,k buffers
Swap:k total,k used,k free,k cached
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
32497 jacky69m 222m 31m R.:27.62 firefox
4788 yiuwingm 18m 13m S.:42.44 konsole
5657 Liuxiaofm 159m 30m S.:25.06 firefox
4455 xiefc542m 124m 30m R.:23.03 firefox
6188 Liuxiaofm 17m 13m S.:01.16 konsole
統(tǒng)計信息區(qū)前五行是系統(tǒng)整體的統(tǒng)計信息。之一行是任務(wù)隊列信息,同 uptime 命令的執(zhí)行結(jié)果。其內(nèi)容如下:
01:06:48 當前時間
up 1:22 系統(tǒng)運行 時間,格式為時:分
1 user 當前登錄用戶 數(shù)
load average: 0.06, 0.60, 0.48 系統(tǒng)負載 ,即任務(wù)隊列的平均長度。
三個數(shù)值分別為 1分鐘、5分鐘、15分鐘前到現(xiàn)在的平均值。
第二、三行為進程和CPU的信息。當有多個CPU時,這些內(nèi)容可能會超過兩行。內(nèi)容如下:
Tasks: 29 total 進程總數(shù)
1 running 正在運行的進程數(shù)
28 sleeping 睡眠的進程數(shù)
0 stopped 停止的進程數(shù)
0 zombie 僵尸進程數(shù)
Cpu(s): 0.3% us 用戶空間占用CPU百分比
1.0% sy 內(nèi)核 空間占用CPU百分比
0.0% ni 用戶進程空間內(nèi)改變過優(yōu)先級的進程占用CPU百分比
98.7% id 空閑CPU百分比
0.0% wa 等待輸入輸出的CPU時間百分比
0.0% hi
0.0% si
最后兩行為內(nèi)存 信息。內(nèi)容如下:
Mem:k total 物理內(nèi)存總量
173656k used 使用的物理內(nèi)存總量
17616k free 空閑內(nèi)存總量
22023k buffers 用作內(nèi)核緩存 的內(nèi)存量
Swap:k total 交換區(qū)總量
0k used 使用的交換區(qū)總量
192772k free 空閑交換區(qū)總量
123988k cached 緩沖的交換區(qū)總量。
內(nèi)存中的內(nèi)容被換出到交換區(qū),而后又被換入到內(nèi)存,但使用過的交換區(qū)尚未被覆蓋,
該數(shù)值即為這些內(nèi)容已存在于內(nèi)存中 的交換區(qū)的大小。
相應(yīng)的內(nèi)存再次被換出時可不必再對交換區(qū)寫入。
進程信息區(qū)統(tǒng)計信息區(qū)域的下方顯示了各個進程的詳細信息。首先來認識一下各列的含義。
序號 列名 含義
a PID 進程id
b PPID 父進程id
c RUSER Real user name
d UID 進程所有者的用戶id
e USER 進程所有者的用戶名
f GROUP 進程所有者的組名
g TTY 啟動進程的終端名。不是從終端啟動的進程則顯示為 ?
h PR 優(yōu)先級
i NI nice值。負值表示高優(yōu)先級,正值表示低優(yōu)先級
j P 最后使用的CPU,僅在多CPU環(huán)境 下有意義
k %CPU 上次更新到現(xiàn)在的CPU時間占用百分比
l TIME 進程使用的CPU時間總計,單位秒
m TIME+ 進程使用的CPU時間總計,單位1/100秒
n %MEM 進程使用的物理內(nèi)存 百分比
o VIRT 進程使用的虛擬內(nèi)存總量,單位kb。VIRT=SWAP+RES
p SWAP 進程使用的虛擬內(nèi)存中,被換出的大小,單位kb。
q RES 進程使用的、未被換出的物理內(nèi)存大小,單位kb。RES=CODE+DATA
r CODE 可執(zhí)行代碼占用的物理 內(nèi)存大小,單位kb
s DATA 可執(zhí)行代碼以外的部分(數(shù)據(jù) 段+棧)占用的物理 內(nèi)存大小,單位kb
t SHR 共享內(nèi)存大小,單位kb
u nFLT 頁面錯誤次數(shù)
v nDRT 最后一次寫入到現(xiàn)在,被修改過的頁面數(shù)。
w S 進程狀態(tài)。
D =不可中斷的睡眠狀態(tài)
R =運行
S =睡眠
T =跟蹤/停止
Z =僵尸進程
x COMMAND 命令名/命令行
y WCHAN 若該進程在睡眠,則顯示睡眠中的系統(tǒng)函數(shù)名
z Flags 任務(wù)標志,參考 sched.h
默認情況下僅顯示比較重要的 PID、USER、PR、NI、VIRT、RES、SHR、S、%CPU、%MEM、TIME+、COMMAND 列。可以通過下面的快捷鍵來更改顯示內(nèi)容。
更改顯示內(nèi)容通過 f 鍵可以選擇顯示的內(nèi)容。按 f 鍵之后會顯示列的列表,按 a-z 即可顯示或隱藏對應(yīng)的列,最后按回車鍵確定。
按 o 鍵可以改變列的顯示順序。按小寫的 a-z 可以將相應(yīng)的列向右移動,而大寫的 A-Z 可以將相應(yīng)的列向左移動。最后按回車鍵確定。
按大寫的 F 或 O 鍵,然后按 a-z 可以將進程按照相應(yīng)的列進行排序。而大寫的 R 鍵可以將當前的排序倒轉(zhuǎn)。
==============================
top命令使用過程中,還可以使用一些交互的命令來完成其它參數(shù)的功能。這些命令是通過快捷鍵啟動的。
<空格>:立刻刷新。
P:根據(jù)CPU使用大小進行排序。
T:根據(jù)時間、累計時間排序。
q:退出top命令。
m:切換顯示內(nèi)存信息。
t:切換顯示進程和CPU狀態(tài)信息。
c:切換顯示命令名稱和完整命令行。
M:根據(jù)使用內(nèi)存大小進行排序。
W:將當前設(shè)置寫入~/.toprc文件中。這是寫top配置文件的推薦方法。
可以看到,top命令是一個功能十分強大的監(jiān)控系統(tǒng)的工具,對于系統(tǒng)管理員而言尤其重要。但是,它的缺點是會消耗很多系統(tǒng)資源。
應(yīng)用實例
使用top命令可以監(jiān)視指定用戶,缺省情況是監(jiān)視所有用戶的進程。如果想查看指定用戶的情況,在終端中按“U”鍵,然后輸入用戶名,系統(tǒng)就會切換為指定用戶的進程運行界面。
a.作用
free命令用來顯示內(nèi)存的使用情況,使用權(quán)限是所有用戶。
b.格式
free
c.主要參數(shù)
-b -k -m:分別以字節(jié)(KB、MB)為單位顯示內(nèi)存使用情況。
-s delay:顯示每隔多少秒數(shù)來顯示一次內(nèi)存使用情況。
-t:顯示內(nèi)存總和列。
-o:不顯示緩沖區(qū)調(diào)節(jié)列。
d.應(yīng)用實例
free命令是用來查看內(nèi)存使用情況的主要命令。和top命令相比,它的優(yōu)點是使用簡單,并且只占用很少的系統(tǒng)資源。通過-S參數(shù)可以使用free命令不間斷地監(jiān)視有多少內(nèi)存在使用,這樣可以把它當作一個方便實時監(jiān)控器。
#free -b -s5
使用這個命令后終端會連續(xù)不斷地報告內(nèi)存使用情況(以字節(jié)為單位),每5秒更新一次。
linux能在各種cpu上運行!
Linux是通用操作系統(tǒng),在服務(wù)器領(lǐng)域很有市場。
CPU不是為windows研制的。CPU要往外賣也不只限于為了PC平臺。一個CPU架構(gòu)研制成功可以衍生出很多子版本,用在不擾模同硬件中,它們并不都有win。CPU要往外賣,前提是這個CPU硬件是兼容現(xiàn)代操作系統(tǒng),Linux是其中之一。
否則沒有軟件能在上面跑,誰還買你的CPU?
公布的細節(jié)只限于跟操作系統(tǒng)相關(guān)的部分,指令集本身就必須公開的。這個如果它不公開禪李迅那CPU上就沒操作賀此系統(tǒng)能跑了,要它就沒用了。
Linux只是一個內(nèi)核平臺。arm測試處理器時自己也需要一個可以運行的平臺。所以它本身的開發(fā)人員也會移植linux。
win 為何不主動兼容其他處理器呢?因為微軟要賣自己的硬件,同時要賣自己的軟件。它的系統(tǒng)是用來賣的。技術(shù)界吃微軟虧吃多了。linux 是大家都能用的。 試想買一臺電腦 必須買某個人的軟件,那么那個賣軟件的人是不是就擁有隨意提價優(yōu)勢呢?以前大家都吃微軟的虧,大家都努力兼容微軟系統(tǒng),搞到最后都求微軟高抬貴手。 當下企業(yè)戰(zhàn)略就是系統(tǒng)要獨立,更好的候選者也就是Linux。
樓上答案已經(jīng)好了,我只想說Unix和Linux才是真正的操作系統(tǒng)
看看linux的市場份額。。。
linux 多cpu執(zhí)行命令的介紹就聊到這里吧,感謝你花時間閱讀本站內(nèi)容,更多關(guān)于linux 多cpu執(zhí)行命令,Linux下如何讓多CPU同時執(zhí)行命令,怎么使用Linux命令查看CPU使用率,linux能在各種cpu上運行!的信息別忘了在本站進行查找喔。
香港服務(wù)器選創(chuàng)新互聯(lián),2H2G首月10元開通。
創(chuàng)新互聯(lián)(www.cdcxhl.com)互聯(lián)網(wǎng)服務(wù)提供商,擁有超過10年的服務(wù)器租用、服務(wù)器托管、云服務(wù)器、虛擬主機、網(wǎng)站系統(tǒng)開發(fā)經(jīng)驗。專業(yè)提供云主機、虛擬主機、域名注冊、VPS主機、云服務(wù)器、香港云服務(wù)器、免備案服務(wù)器等。
當前名稱:Linux下如何讓多CPU同時執(zhí)行命令(linux多cpu執(zhí)行命令)
鏈接地址:http://fisionsoft.com.cn/article/dpeedoc.html


咨詢
建站咨詢
