建站
咨詢
售后
建站咨詢
新聞中心
隨著數(shù)據(jù)量不斷增加，傳統(tǒng)的數(shù)據(jù)庫(kù)技術(shù)已經(jīng)無(wú)法滿足日益增長(zhǎng)的數(shù)據(jù)處理需求。同時(shí)，傳統(tǒng)的數(shù)據(jù)庫(kù)技術(shù)在處理更為復(fù)雜的數(shù)據(jù)類型和數(shù)據(jù)結(jié)構(gòu)時(shí)也會(huì)面臨很多挑戰(zhàn)。為了解決這些問題，新興技術(shù)——數(shù)據(jù)庫(kù)計(jì)算引擎應(yīng)運(yùn)而生。本文將介紹數(shù)據(jù)庫(kù)計(jì)算引擎的工作原理、特點(diǎn)以及在實(shí)際應(yīng)用中的優(yōu)勢(shì)。
10年積累的成都做網(wǎng)站、網(wǎng)站建設(shè)經(jīng)驗(yàn)，可以快速應(yīng)對(duì)客戶對(duì)網(wǎng)站的新想法和需求。提供各種問題對(duì)應(yīng)的解決方案。讓選擇我們的客戶得到更好、更有力的網(wǎng)絡(luò)服務(wù)。我雖然不認(rèn)識(shí)你，你也不認(rèn)識(shí)我。但先網(wǎng)站制作后付款的網(wǎng)站建設(shè)流程，更有棲霞免費(fèi)網(wǎng)站建設(shè)讓你可以放心的選擇與我們合作。
工作原理
傳統(tǒng)的數(shù)據(jù)庫(kù)技術(shù)主要是將數(shù)據(jù)存儲(chǔ)在硬盤上，并通過各種查詢語(yǔ)句來(lái)訪問數(shù)據(jù)。而數(shù)據(jù)庫(kù)計(jì)算引擎則采用了一種相反的方式，直接在內(nèi)存中對(duì)數(shù)據(jù)進(jìn)行操作，從而避免了硬盤的IO瓶頸。同時(shí)，它還采用了并行處理技術(shù)，將一個(gè)查詢?nèi)蝿?wù)分成多個(gè)小任務(wù)并行處理，大大提高了計(jì)算效率。
特點(diǎn)
1. 高效的數(shù)據(jù)處理能力
數(shù)據(jù)庫(kù)計(jì)算引擎采用了高速內(nèi)存計(jì)算和并行處理技術(shù)，可以在短時(shí)間內(nèi)對(duì)大量數(shù)據(jù)進(jìn)行處理。相比于傳統(tǒng)的硬盤存儲(chǔ)方式，計(jì)算引擎采用了更快的存儲(chǔ)方式來(lái)處理數(shù)據(jù)。
2. 強(qiáng)大的數(shù)據(jù)分析能力
計(jì)算引擎提供了豐富的查詢和分析功能，可以快速地處理各種數(shù)據(jù)類型和數(shù)據(jù)結(jié)構(gòu)，如海量的文本、圖像、視頻等數(shù)據(jù)。
3. 可擴(kuò)展性強(qiáng)
計(jì)算引擎具有良好的可擴(kuò)展性，可以通過增加計(jì)算節(jié)點(diǎn)、調(diào)整硬件設(shè)備等方式來(lái)提高計(jì)算能力和存儲(chǔ)能力。并且還支持各種數(shù)據(jù)源，如Hadoop等，從而實(shí)現(xiàn)大規(guī)模數(shù)據(jù)的處理和存儲(chǔ)。
應(yīng)用優(yōu)勢(shì)
1. 金融行業(yè)
在金融行業(yè)，數(shù)據(jù)庫(kù)計(jì)算引擎通常用于處理大規(guī)模數(shù)據(jù)和實(shí)時(shí)數(shù)據(jù)。它可以對(duì)海量的交易數(shù)據(jù)進(jìn)行高速查詢和分析，以便及時(shí)發(fā)現(xiàn)和解決問題。
2. 電商行業(yè)
在電商行業(yè)中，數(shù)據(jù)庫(kù)計(jì)算引擎可用于處理用戶行為數(shù)據(jù)、商品信息數(shù)據(jù)等。它可以根據(jù)用戶的實(shí)時(shí)行為數(shù)據(jù)及時(shí)推送商品，以提高銷售轉(zhuǎn)化率。
3. 生命科學(xué)行業(yè)
在生命科學(xué)領(lǐng)域，大量的基因數(shù)據(jù)、蛋白質(zhì)數(shù)據(jù)等需要進(jìn)行分析和處理。數(shù)據(jù)庫(kù)計(jì)算引擎可以快速處理這些復(fù)雜的數(shù)據(jù)類型，從而加速研究進(jìn)程，提高研究效率。
數(shù)據(jù)庫(kù)計(jì)算引擎作為一種新的數(shù)據(jù)處理技術(shù)，具有高效的數(shù)據(jù)處理能力、強(qiáng)大的數(shù)據(jù)分析能力和良好的可擴(kuò)展性。在金融、電商、生命科學(xué)等行業(yè)中，都有大量的數(shù)據(jù)需求。通過引入數(shù)據(jù)庫(kù)計(jì)算引擎，可以提高數(shù)據(jù)處理和存儲(chǔ)的效率，進(jìn)而提高企業(yè)的核心競(jìng)爭(zhēng)力。
相關(guān)問題拓展閱讀：
- 圖計(jì)算引擎Neo4j和Graphscope有什么區(qū)別？
圖計(jì)算引擎Neo4j和Graphscope有什么區(qū)別？
近年來(lái)，全球大數(shù)據(jù)進(jìn)入加速發(fā)展時(shí)期，數(shù)據(jù)量呈現(xiàn)指數(shù)級(jí)爆發(fā)式增長(zhǎng)，而這些大量數(shù)據(jù)中不同個(gè)體間交互產(chǎn)生的數(shù)據(jù)以圖的形式表現(xiàn)，如何高效地處理這些圖數(shù)據(jù)成為了業(yè)界及其關(guān)心的問題。很過用普通關(guān)系數(shù)據(jù)無(wú)法跑出來(lái)的結(jié)果，用圖數(shù)據(jù)進(jìn)行關(guān)聯(lián)分析會(huì)顯得異常高效。
提到處理圖數(shù)據(jù)，我們首先想到NetworkX，這是網(wǎng)絡(luò)計(jì)算上常用的Python包，可提供靈活的圖構(gòu)建、分析功能。但是我們使用NetworkX跑大規(guī)模圖數(shù)據(jù)時(shí)，不僅經(jīng)常碰到內(nèi)存不足的問題，而且分析速度很慢，究其原因，是NetworkX只支持單機(jī)運(yùn)行。通過網(wǎng)上搜索，新發(fā)現(xiàn)了一個(gè)名為GraphScope的系統(tǒng)不僅號(hào)稱兼容NetworkX的API，而且支持分布式部署運(yùn)行，性能更優(yōu)。針對(duì)GraphScope和NetworkX的處理能力，我們參考圖計(jì)算中常用的測(cè)試框架LDBC，通過一組實(shí)驗(yàn)來(lái)對(duì)比下二者的性能。
一、實(shí)驗(yàn)介紹
為了比較兩者的計(jì)算效率，先用阿里云拉起了配置為8核CPU，32GB內(nèi)存的四臺(tái)ECS，設(shè)計(jì)了三組比較實(shí)驗(yàn)，分別是NetworkX單機(jī)下的計(jì)算性能，GraphScope單機(jī)多worker的計(jì)算性能以及GraphScope分布式多機(jī)多worer的計(jì)算性能。
數(shù)據(jù)上，我們選取了SNAP開源的圖數(shù)據(jù)集twitter，來(lái)自 LDBC數(shù)據(jù)集的datagen-7_5-fb,datagen-7_7-zf和datagen-8_0-fb作為實(shí)驗(yàn)數(shù)據(jù)，以下是數(shù)據(jù)集的基本信息：
· Twitter: 81,307個(gè)頂點(diǎn)，1,768,135條邊
· Datagen-7_5-fb： 633,432個(gè)頂點(diǎn)，34,185,747條邊，稠密圖
· Datagen-7_7-zf： 13,180,508個(gè)頂點(diǎn)，32,791,267條邊，稀疏圖
· Datagen-8_0-fb： 1,706,561個(gè)頂點(diǎn)，107,507,376條邊，這個(gè)數(shù)據(jù)集主要測(cè)試兩個(gè)系統(tǒng)可處理的圖規(guī)模能力
實(shí)驗(yàn)設(shè)計(jì)上我選擇常用的SSSP、BFS、PageRank、WCC算法，以及較高復(fù)雜度的All Pair shortest Path length算法，以載圖時(shí)間，內(nèi)存占用和計(jì)算時(shí)間這三個(gè)指標(biāo)為依據(jù)，對(duì)兩個(gè)系統(tǒng)進(jìn)行計(jì)算性能的比較。
NetworkX是一個(gè)單機(jī)系統(tǒng)，在實(shí)驗(yàn)中只考慮NetworkX在單機(jī)環(huán)境下的運(yùn)行時(shí)間；GraphScope支持分布式運(yùn)行，故進(jìn)行兩個(gè)配置，一個(gè)是單機(jī)4worker，另外一個(gè)配置是4臺(tái)機(jī)器，每臺(tái)機(jī)器4個(gè)worker。
二、實(shí)驗(yàn)結(jié)果
首先，GraphScope的載圖速度比NetworkX顯著提升。
在前三個(gè)圖數(shù)據(jù)集中，無(wú)論是GraphScope的單機(jī)多worker模式，還是GraphScope的分布式模式，載圖速度都比NetworkX快：
GraphScope單機(jī)模式載圖速度平均比NetworkX快5倍，更高紀(jì)錄——在datagen-7_5-fb上比NetworkX快了6倍。
分布式模式下GraphScope的載圖時(shí)間比NetworkX平均快了27倍，更高紀(jì)錄——在datagen-7_7-zf數(shù)據(jù)集上比NetworkX快了63倍。
在datagen-8_0-fb數(shù)據(jù)集上，NetworkX因內(nèi)存溢出無(wú)法載圖，GraphScope單機(jī)多worker和GraphScope分布式載圖時(shí)間分別為142秒和13.6秒。
表一：載圖時(shí)間對(duì)比
載圖時(shí)間
NetworkX
GraphScope單機(jī)
GraphScope分布式
11.2
3.1
1.8
datagen-7_5-fb
256
45.6
36.6
datagen-7_7-zf
316
71.3
datagen-8_0-fb
OOM
142
13.6
其次，GraphScope的內(nèi)存使用效率比NetworkX顯著提升。
在datagen-8_0-fb數(shù)據(jù)集上，NetworkX在32G的內(nèi)存上無(wú)法載完圖，而GraphScope僅需要24G的內(nèi)存即可載入在datagen-8_0-fb數(shù)據(jù)集。
表二：內(nèi)存占用對(duì)比
內(nèi)存占用
NetworkX
GraphScope
datagen-7_5-fb
14G
6G
datagen-7_7-zf
28G
18G
datagen-8_0-fb
OOM
24G
再次，GraphScope的計(jì)算速度比NetworkX顯著提升。
SSSP算法上，GraphScope單機(jī)多worker模式平均要比NetworkX快22倍，最快在datagen-7_7-zf數(shù)據(jù)集上快了32倍。GraphScope分布式模式下平均要比NetworkX快103倍，最快datagen-7_5-fb數(shù)據(jù)集上快了182倍。
表三： SSSP計(jì)算時(shí)間對(duì)比（單位：秒）
SSSP
NetworkX
GraphScope單機(jī)
GraphScope分布式
2.45
1.32
0.28
datagen-7_5-fb
37.9
1.21
0.31
datagen-7_7-zf
5.84
0.18
0.03
datagen-8_0-fb
OOM
2.76
0.82
BFS算法上，GraphScope單機(jī)多worker模式平均要比NetworkX快13倍，最快datagen-7_5-fb數(shù)據(jù)集上快了22倍。GraphScope分布式模式下平均要比NetworkX快16倍，最快在datagen-7_5-fb數(shù)據(jù)集上快了28倍。
表四： BFS計(jì)算時(shí)間對(duì)比（單位：秒）
BFS
NetworkX
GraphScope單機(jī)
GraphScope分布式
1.53
0.16
0.17
datagen-7_5-fb
44.68
2.52
1.56
datagen-7_7-zf
7.98
0.75
0.72
datagen-8_0-fb
OOM
11.02
5.73
PageRank算法上，GraphScope單機(jī)多worker模式平均要比NetworkX快62倍，最快twitter數(shù)據(jù)集上快了80倍。GraphScope分布式模式下平均要比NetworkX快65倍，最快在twitter數(shù)據(jù)集上快了71倍。
另外，PageRank計(jì)算過程中，NetworkX在datagen-7_7-zf上內(nèi)存溢出，沒有完成計(jì)算，GraphScope單機(jī)多worker模式和分布式模式計(jì)算時(shí)間分別為25秒和22秒；
表五：PageRank計(jì)算時(shí)間對(duì)比（單位：秒）
PageRank
NetworkX
GraphScope單機(jī)
GraphScope分布式
24.01
0.37
0.33
datagen-7_5-fb
300
6.73
5.17
datagen-7_7-zf
OOM
19.31
7.79
datagen-8_0-fb
OOM
24.96
21.88
WCC算法上，GraphScope單機(jī)多worker模式平均要比NetworkX快44倍，最快在datagen-7_7-zf數(shù)據(jù)集上快了104倍。GraphScope分布式模式下平均要比NetworkX快76倍，最快datagen-7_5-fb數(shù)據(jù)集上快了194倍。
表六： WCC計(jì)算時(shí)間對(duì)比（單位：秒）
WCC
NetworkX
GraphScope單機(jī)
GraphScope分布式
0.6392
0.0296
0.0233
datagen-7_5-fb
26.03
0.25
0.13
datagen-7_7-zf
83.19
14.57
12.98
datagen-8_0-fb
OOM
0.34
0.4991
在復(fù)雜度極高的All pair shortest path length算法上，NetworkX在twitter圖上即內(nèi)存溢出，無(wú)法計(jì)算。GraphScope在分布式模式下完成了twitter圖的All pair shortest path length計(jì)算，耗時(shí)76分鐘。
表七： All Pair Shortest Path Length（單位：秒）
APSP
NetworkX
GraphScope單機(jī)
GraphScope分布式
OOM
OOM
4575.87
三、總結(jié)
從實(shí)驗(yàn)結(jié)果可以看到，在同等條件下，無(wú)論在載圖時(shí)間、內(nèi)存占用和計(jì)算時(shí)間上，GraphScope都要大大優(yōu)于NetworkX，性能優(yōu)化可以達(dá)到幾十倍甚至上百倍。
6979阿強(qiáng)
關(guān)注
@網(wǎng)絡(luò)算法工具 networkX igraph 的性能問題
alston_ethannical的博客
24
@網(wǎng)絡(luò)算法工具 networkX igraph 的性能問題 問題的提出 當(dāng)我用 50萬(wàn)數(shù)據(jù)去跑 networkX 開發(fā)出來(lái)的算法時(shí)，遇到了一個(gè)計(jì)算性能的問題,這個(gè)問題時(shí)很慢。 尋找答案 發(fā)現(xiàn) networkX再性能方面比較差。當(dāng)節(jié)點(diǎn)上萬(wàn)，邊上十萬(wàn)的時(shí)候，新能慢的問題就會(huì)顯現(xiàn)出來(lái) 為了解決圖算法問題，該怎么辦呢 遇到問題，首先定義問題的邊界。也就是 先找到限制問題的條件。然后縮小問題范圍。我要解決的問題是：在解決圖算法相關(guān)的問題時(shí)，如何能夠快速計(jì)算出結(jié)果。但是目前的算法時(shí)用networks實(shí)現(xiàn)的。問題的根源是
開源！一文了解阿里一站式圖計(jì)算平臺(tái)GraphScope
阿里云開發(fā)者
2767
簡(jiǎn)介：隨著大數(shù)據(jù)的爆發(fā)，圖數(shù)據(jù)的應(yīng)用規(guī)模不斷增長(zhǎng)，現(xiàn)有的圖計(jì)算系統(tǒng)仍然存在一定的局限。阿里巴巴擁有全球更大的商品知識(shí)圖譜，在豐富的圖場(chǎng)景和真實(shí)應(yīng)用的驅(qū)動(dòng)下，阿里巴巴達(dá)摩院智能計(jì)算實(shí)驗(yàn)室研發(fā)并開源了全球首個(gè)一站式超大規(guī)模分布式圖計(jì)算平臺(tái)GraphScope，并入選中國(guó)科學(xué)技術(shù)協(xié)會(huì)“科創(chuàng)中國(guó)”平臺(tái)。本文詳解圖計(jì)算的原理和應(yīng)用及GraphScope的架構(gòu)設(shè)計(jì)。一 什么是圖計(jì)算圖數(shù)據(jù)對(duì)一組對(duì)象（頂點(diǎn)）及其關(guān)系（邊）進(jìn)行建模，可以直觀、自然地表示現(xiàn)實(shí)世界中各種實(shí)體對(duì)象以及它們之間的關(guān)系。在大數(shù)據(jù)場(chǎng)景下，社交網(wǎng)絡(luò)、交
一文了解阿里一站式圖計(jì)算平臺(tái)GraphScope_阿里云云棲號(hào)
10-2
GraphScope 提供了各類常用的分析算法,包括連通性計(jì)算類、社區(qū)發(fā)現(xiàn)類和 PageRank、中心度等數(shù)值計(jì)算類的算法,后續(xù)會(huì)不斷擴(kuò)展算法包,在超大規(guī)模圖上提供與 NetworkX 算法庫(kù)兼容的分析能力。此外也提供了豐富的圖學(xué)習(xí)算法包,內(nèi)置支持 Graph…
5大典型模型測(cè)試單機(jī)訓(xùn)練速度超對(duì)標(biāo)框架,飛槳如何做到…
10-28
導(dǎo)讀:飛槳(PaddlePaddle)致力于讓深度學(xué)習(xí)技術(shù)的創(chuàng)新與應(yīng)用更簡(jiǎn)單。在單機(jī)訓(xùn)練速度方面,通過高并行、低開銷的異步執(zhí)行策略和高效率的核心算子,優(yōu)化靜態(tài)圖訓(xùn)練性能,在Paddle Fluid v1.5.0的基準(zhǔn)測(cè)試中,在7個(gè)典型模型上進(jìn)行了測(cè)試(圖像領(lǐng)域…
強(qiáng)化學(xué)習(xí)經(jīng)典算法筆記(六)：深度Q值網(wǎng)絡(luò) Deep Q Network
hhy_csdn的博客
9093
前期回顧 強(qiáng)化學(xué)習(xí)經(jīng)典算法筆記(零)：貝爾曼方程的推導(dǎo) 強(qiáng)化學(xué)習(xí)經(jīng)典算法筆記(一)：價(jià)值迭代算法Value Iteration 強(qiáng)化學(xué)習(xí)經(jīng)典算法筆記(二)：策略迭代算法Policy Iteration 強(qiáng)化學(xué)習(xí)經(jīng)典算法筆記(三)：蒙特卡羅方法Monte Calo Method 強(qiáng)化學(xué)習(xí)經(jīng)典算法筆記(四)：時(shí)間差分算法Temporal Difference（Q-Learning算法） 強(qiáng)化學(xué)習(xí)經(jīng)典算…
GraphX和GraphFrame connectedComponent計(jì)算性能對(duì)比
高臭臭的博客
3046
測(cè)試文件：用Graph rmatGraph00 去重后個(gè)點(diǎn)，個(gè)邊 運(yùn)行環(huán)境：三臺(tái)服務(wù)器，246 GB，core 71. 測(cè)試三個(gè)運(yùn)行例子1：Graph connectedComponents 2：GraphFrame connectedComponents 3：GraphFrame connectedComponents setAlgor
…network、偽代碼、算法理解、代碼實(shí)現(xiàn)、tensorboard…
11-3
定義一個(gè)q_network函數(shù)來(lái)構(gòu)建Q network,輸入游戲狀態(tài)Q network并得到對(duì)所有動(dòng)作的Q值。 網(wǎng)絡(luò)構(gòu)成給為三個(gè)帶有池化的卷積層和一個(gè)全連接層。 tf.reset_default_graph()defq_network(X,name_scope):# Initialize layersinitializer=tf….
【讀書筆記】【機(jī)器學(xué)習(xí)實(shí)戰(zhàn)】第十一章：訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)
MJ_Lee的博客
612
閱讀書籍為《Hands-On Machine Learning with Scikit-Learn & TensorFlow》王靜源等翻譯的中文譯版《機(jī)器學(xué)習(xí)實(shí)戰(zhàn)，基于 Scikit-Learn 和 TensorFlow》,本文中所有圖片均來(lái)自于書籍相關(guān)部分截圖。 本章介紹了DNN訓(xùn)練過程中三個(gè)常見問題，并依次給出解決方案。 章節(jié)的最后還給出當(dāng)不知道如何DNN訓(xùn)練時(shí)一些屬性可以選的比較好的…
Networkx 計(jì)算網(wǎng)絡(luò)效率
tengqingyong的博客
5860
本人在計(jì)算網(wǎng)絡(luò)效率的時(shí)候遇到了一個(gè)問題 networkx 提供了最短路徑函數(shù)shortest_path及shorest_path_length 我在計(jì)算網(wǎng)絡(luò)效率構(gòu)造了一個(gè)無(wú)向圖，但是我在計(jì)算點(diǎn)與點(diǎn)之間的最短路徑長(zhǎng)度時(shí)總是提示我說點(diǎn)不存在圖中， 我在上面使用nx.average_shortest_path_length(UG)的時(shí)候可以得到網(wǎng)絡(luò)平均最短路徑長(zhǎng)度；這個(gè)說明我的點(diǎn)都…
Pandas/networkx圖分析簡(jiǎn)單入門
weixin_的博客
516
對(duì)于圖論而言，大家或多或少有些了解，數(shù)學(xué)專業(yè)或計(jì)算機(jī)相關(guān)專業(yè)的讀者可能對(duì)其更加清楚。圖論中的圖像是由若干給定的點(diǎn)及連接兩點(diǎn)的線所構(gòu)成的圖形，這樣的圖像通常用來(lái)描述某些事物之間的某種特定關(guān)系，用點(diǎn)代表事物，用兩點(diǎn)之間的連接線表示二者具有的某種關(guān)系，在互聯(lián)網(wǎng)與通信行業(yè)中應(yīng)用廣泛。圖論分析（Graph ysis）并不是數(shù)據(jù)科學(xué)領(lǐng)域中的新分…
networkx–四種網(wǎng)絡(luò)模型
weixin_的博客
380
NetworkX提供了4種常見網(wǎng)絡(luò)的建模方法，分別是：規(guī)則圖，ER隨機(jī)圖，WS小世界網(wǎng)絡(luò)和BA無(wú)標(biāo)度網(wǎng)絡(luò)。 一. 規(guī)則圖 規(guī)則圖差不多是最沒有復(fù)雜性的一類圖，random_graphs.random_regular_graph(d, n)方法可以生成一個(gè)含有n個(gè)節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)有d個(gè)鄰居節(jié)點(diǎn)的規(guī)則圖。 下面一段示例代碼，生成了包含20個(gè)節(jié)點(diǎn)、每個(gè)節(jié)點(diǎn)有3個(gè)鄰居的規(guī)則…
igraph/networkx學(xué)習(xí)筆記之…
nuoline的專欄
1萬(wàn)+
原文地址：—— 數(shù)據(jù)結(jié)構(gòu)”>igraph/networkx學(xué)習(xí)筆記之一 —— 數(shù)據(jù)結(jié)構(gòu)作者：zhengw789 首先，基本上所有的graph library都有其局限性，不同的數(shù)據(jù)結(jié)構(gòu)有優(yōu)點(diǎn)的同時(shí)必然有缺點(diǎn)，圖算法對(duì)數(shù)據(jù)結(jié)構(gòu)的依賴性構(gòu)成另一個(gè)原因。所以如果是想用一個(gè)工具包解決所有的問題顯然是一種奢望，很多時(shí)候甚至必須要從頭寫自己的代碼。但是閱讀igraph和networkx這樣成型了的函數(shù)庫(kù)對(duì)熟悉
python下的復(fù)雜網(wǎng)絡(luò)編程包networkx的使用（摘抄）
weixin_的博客
2335
原文：
復(fù)雜網(wǎng)絡(luò)分析庫(kù)NetworkX學(xué)習(xí)筆記（1）：入門 NetworkX是一個(gè)用Python語(yǔ)言開發(fā)的圖論與復(fù)雜網(wǎng)絡(luò)建模工具，內(nèi)置了常用的圖與復(fù)雜網(wǎng)…
更快更簡(jiǎn)單|飛槳PaddlePaddle單機(jī)訓(xùn)練速度優(yōu)化更佳實(shí)踐
PaddlePaddle
1672
導(dǎo)讀：飛槳（PaddlePaddle）致力于讓深度學(xué)習(xí)技術(shù)的創(chuàng)新與應(yīng)用更簡(jiǎn)單。在單機(jī)訓(xùn)練速度方面，通過高并行、低開銷的異步執(zhí)行策略和高效率的核心算子，優(yōu)化靜態(tài)圖訓(xùn)練性能，…
GraphX與GraphLab、Pregel的對(duì)比
yang灬仔
588
分布式批同步BSP Pregel、GraphLab、GraphX都是基于BSP（Bulk Synchronous Parallel）模式，即整體同步并行。一次計(jì)算過程由一系列全局超步組成，每一個(gè)超步由并發(fā)計(jì)算、通信和同步三個(gè)步驟組成。從垂直上看,一個(gè)程序由一系列串行的超步組成。從水平上看，在一個(gè)超步中，所有的進(jìn)程并行執(zhí)行局部計(jì)算。BSP更大的好處是編程簡(jiǎn)單，但在某些情況下BSP運(yùn)算的性能非常差，…
TensorFlow學(xué)習(xí)記錄：VGGNet卷積神經(jīng)網(wǎng)絡(luò)模型
weixin_的博客
308
1.VGGNet模型結(jié)構(gòu)簡(jiǎn)介 VGGNet是由牛津大學(xué)計(jì)算機(jī)視覺幾何組（Visual Geomety Group,VGG）和Google Deepmind公司的研究員合作研發(fā)的深度卷積神經(jīng)網(wǎng)絡(luò)，VGG的成員Karen Simonyan和Andrew Zisserman在2023年撰寫的論文《Very Deep Convolutional Networks for Large-Scale Image…
11月編程語(yǔ)言排行冠軍揭曉，穩(wěn)
熱門推薦
IT教育任姐姐的博客
4萬(wàn)+
大家好 今天任姐姐要跟小伙伴們分享 2023年11月最新TIOBE指數(shù) 11月編程排行榜 Python繼續(xù)榜首 本月的幸運(yùn)兒只有一個(gè)，那就是Python！ 繼上個(gè)月我們見證了Python奪冠這一歷史性的畫面之后，這個(gè)月Python仍舊穩(wěn)坐榜首，看來(lái)Python這股大風(fēng)還在繼續(xù)刮。 隨后分別是 C、Java、C++、C#，這些也都是我們的老朋友了。 PHP即將跌出前十 自20多年前TIOBE 指數(shù)開始發(fā)布以來(lái)，PHP 一直常駐在榜單前十，然而最近，該語(yǔ)言已經(jīng)開始在前十
python能做什么軟件？Python到底能干嘛，一文看懂
小分享
6573
Python培訓(xùn)有哪些內(nèi)容?很多零基礎(chǔ)學(xué)員不知道Python軟件是干什么用的?Python軟件是Python工程師編寫代碼時(shí)所需要的編輯工具,現(xiàn)在比較常用的Python軟件有Visu… 那么在選擇Python培訓(xùn)機(jī)構(gòu)時(shí)學(xué)生尤為關(guān)注的就是培訓(xùn)內(nèi)容,從現(xiàn)在幾家大的機(jī)構(gòu)可以看出,Python培訓(xùn)主要學(xué)習(xí)之一階段Python核心編程(Pyth… 一文讀懂Python內(nèi)置變量,函數(shù),模塊在這里解釋下什么是解釋性語(yǔ)言什么是編譯性語(yǔ)言: 編譯性語(yǔ)言:如c++,c等,寫好的代碼要通過編譯器編譯成操作系統(tǒng)直接可
Django中超級(jí)用戶的創(chuàng)建和刪除操作
最新發(fā)布
Protinx的博客
91
創(chuàng)建超級(jí)用戶 這就很easy了，畢竟這是所有初學(xué)者都會(huì)的，操作如下： 打開Terminal，輸入： python manage.py createsuperuser 然后按照提示輸入相應(yīng)的用戶名、郵箱和密碼就可以啦，如下： 創(chuàng)建超級(jí)用戶 可以看到上面我的密碼輸入了三次，還有不成功的提示，Django本身對(duì)于超級(jí)用戶的密碼要求還是很多的，大家定義密碼要注意啊，或者如果只是自己學(xué)習(xí)的話，也可在‘Bypass password validation and create user an.
上海python培訓(xùn)中心
weixin_的博客
166
前幾天，有個(gè)讀者在后臺(tái)留言，說： “最近被論文折磨得快崩潰了，我現(xiàn)在是恨不得克隆十個(gè)自己，一個(gè)呆在科室值班，一個(gè)去寫月底要送審的稿子，一個(gè)去上百個(gè)網(wǎng)站翻數(shù)據(jù)….. 還有另外七個(gè)“我”，這邊六七篇論文還沒搞定。那邊又有新論文要開題了，加上最后一個(gè)“本我”，剛剛夠用，我可真是個(gè)數(shù)學(xué)天才！ 可現(xiàn)實(shí)是只有一個(gè)我，只能天天熬夜。 好家伙，整得我都開始反問自己，是不是只有我的科研生活這么兵荒馬亂？” 其實(shí)他不是個(gè)例，成千上萬(wàn)的科研人都要面對(duì)無(wú)盡的實(shí)驗(yàn)分析、反復(fù)修改的論文。 難道就只有被虐的份嗎？
python裝飾器
Live&Learn的博客
1208
學(xué)習(xí)目標(biāo)：一口氣把裝飾器描述清楚 弄清楚裝飾器前要理解三個(gè)東西： 函數(shù)對(duì)象、函數(shù)嵌套、函數(shù)構(gòu)成閉包。 學(xué)習(xí)內(nèi)容： 函數(shù)對(duì)象好說，python編程語(yǔ)言屬于動(dòng)態(tài)語(yǔ)言，python中一切皆對(duì)象，所以函數(shù)也是對(duì)象。 函數(shù)對(duì)象用函數(shù)名稱表示（僅名稱，沒有括號(hào)，也沒有參數(shù)）。 例如，定義了一個(gè)求和函數(shù)add，那么此處的add就是個(gè)函數(shù)對(duì)象。 def add(username, a, b): print(f”{a}+={a + b}”) return a + b 函數(shù)嵌套或者嵌套函數(shù)，就是定
??2023 CSDN 皮膚主題: 游動(dòng)-白 設(shè)計(jì)師:白松林 返回首頁(yè)
關(guān)于我們
招賢納士
廣告服務(wù)
開發(fā)助手
在線客服
工作時(shí)間 8:30-22:00
公安備案號(hào)
京ICP備號(hào)
京網(wǎng)文〔2023〕號(hào)
經(jīng)營(yíng)性網(wǎng)站備案信息
北京互聯(lián)網(wǎng)違法和不良信息舉報(bào)中心
網(wǎng)絡(luò)110報(bào)警服務(wù)
中國(guó)互聯(lián)網(wǎng)舉報(bào)中心
家長(zhǎng)監(jiān)護(hù)
Chrome商店下載
?北京創(chuàng)新樂知網(wǎng)絡(luò)技術(shù)有限公司
版權(quán)與免責(zé)聲明
版權(quán)申訴
出版物許可證
營(yíng)業(yè)執(zhí)照
6979阿強(qiáng)
碼齡0年
暫無(wú)認(rèn)證
原創(chuàng)
13萬(wàn)+
周排名
12萬(wàn)+
總排名
579
訪問
等級(jí)
132
積分
粉絲
獲贊
評(píng)論
收藏
私信
關(guān)注
熱門文章
GraphScope、Neo4j與TigerGraph單機(jī)環(huán)境下性能對(duì)比 146
NetworkX與GraphScope的性能對(duì)比 88
GraphScope、Gemini與GraphX的性能對(duì)比 60
分布式圖計(jì)算引擎 46
國(guó)足歷屆世界杯對(duì)戰(zhàn)圖關(guān)系 45
最新評(píng)論
圖分析入門
大家一起學(xué)編程（python）: 感謝博主的分享！
您愿意向朋友推薦“博客詳情頁(yè)”嗎？
強(qiáng)烈不推薦
不推薦
一般般
推薦
強(qiáng)烈推薦
最新文章
圖數(shù)據(jù)庫(kù)在社交方向上的應(yīng)用
國(guó)足歷屆世界杯對(duì)戰(zhàn)圖關(guān)系
2023年11篇
你的瀏覽器目前處于縮放狀態(tài)，頁(yè)面可能會(huì)出現(xiàn)錯(cuò)位現(xiàn)象，建議100%大小顯示。
舉報(bào)
————————————————
Neo4j是單機(jī)系統(tǒng)，主要做圖數(shù)據(jù)庫(kù)。GraphScope是由阿里巴巴達(dá)摩院智能計(jì)算實(shí)驗(yàn)室研發(fā)的圖計(jì)算平臺(tái)，是全球首個(gè)一站式超大規(guī)模分布式圖計(jì)算平臺(tái)，并且還入選了中 國(guó)科學(xué)技術(shù)協(xié)會(huì)“科創(chuàng)中 國(guó)”平臺(tái)。Graphscope的代碼在github.com/alibaba/graphscope上開源。SSSP算法上,GraphScope單機(jī)模式下平均要比Neo4j快176.38倍，最快在datagen-9.2_zf數(shù)據(jù)集上快了292.2倍。
?
??? 登錄
??
6979阿強(qiáng)
關(guān)注
GraphScope、Neo4j與TigerGraph單機(jī)環(huán)境下性能對(duì)比 原創(chuàng)
:09:04
?
6979阿強(qiáng) ?
碼齡0年
關(guān)注
目前工業(yè)界和學(xué)術(shù)界已經(jīng)開發(fā)出了很多圖分析系統(tǒng)，針對(duì)圖分析的計(jì)算特性提出了各種各樣的優(yōu)化策略，在圖分析任務(wù)上取得了優(yōu)異的性能。近年來(lái)，各種各樣的圖數(shù)據(jù)庫(kù)支持了各種查詢語(yǔ)言（例如Cypher、GSQL和Gremlin），嘗試為用戶提供簡(jiǎn)單易用的圖查詢功能，利用這些查詢語(yǔ)言，用戶也可以表達(dá)出SSSP、PageRank等圖分析算法的計(jì)算邏輯。為了對(duì)比圖分析系統(tǒng)和圖數(shù)據(jù)庫(kù)在圖分析任務(wù)上的性能，我們選取了典型的圖分析系統(tǒng)GraphScope和圖數(shù)據(jù)庫(kù)系統(tǒng)Neo4j以及TigerGraph，在單機(jī)環(huán)境下進(jìn)行了性能對(duì)比。
1、實(shí)驗(yàn)介紹
為了比較計(jì)算效率，我在阿里云拉起了配置為16核CPU，248GB內(nèi)存的4臺(tái)ECS，設(shè)計(jì)了三組比較實(shí)驗(yàn)，分別為Neo4j單機(jī)的計(jì)算性能，Tigergraph單機(jī)的計(jì)算性能和GraphScope單機(jī)的計(jì)算性能。
數(shù)據(jù)上，我選取了來(lái)自LDBC數(shù)據(jù)集的com-friendster,datagen-9.0_fb,datagen-9.1_fb,datagen-9.2_zf和graph500作為實(shí)驗(yàn)數(shù)據(jù)，以下為實(shí)驗(yàn)數(shù)據(jù)的基本信息：
com-friendster:個(gè)點(diǎn)，條邊
datagen-9.0_fb:個(gè)點(diǎn)，條邊
datagen-9.1_fb:個(gè)點(diǎn)，條邊
datagen-9.2_zf:個(gè)點(diǎn)，條邊
graph500:個(gè)點(diǎn)，條邊
實(shí)驗(yàn)設(shè)計(jì)上選擇常用的SSSP,Pagerank和Triangle Counting算法。以計(jì)算時(shí)間為指標(biāo)，對(duì)三個(gè)系統(tǒng)進(jìn)行性能上的比較。
2、實(shí)驗(yàn)結(jié)果
在計(jì)算時(shí)間上，GraphScope的計(jì)算效率遠(yuǎn)遠(yuǎn)超過Neo4j和Tigergraph。Tigergraph采用的SSSP算法為Bellman-ford算法，復(fù)雜度較高，因此在所有的數(shù)據(jù)集上都超過了我們?cè)O(shè)定的3600秒時(shí)限。
SSSP算法上,GraphScope單機(jī)模式下平均要比Neo4j快176.38倍，最快在datagen-9.2_zf數(shù)據(jù)集上快了292.2倍。
關(guān)于數(shù)據(jù)庫(kù) 計(jì)算引擎的介紹到此就結(jié)束了，不知道你從中找到你需要的信息了嗎 ？如果你還想了解更多這方面的信息，記得收藏關(guān)注本站。
成都服務(wù)器租用選創(chuàng)新互聯(lián)，先試用再開通。
創(chuàng)新互聯(lián)（www.cdcxhl.com）提供簡(jiǎn)單好用，價(jià)格厚道的香港/美國(guó)云服務(wù)器和獨(dú)立服務(wù)器。物理服務(wù)器托管租用：四川成都、綿陽(yáng)、重慶、貴陽(yáng)機(jī)房服務(wù)器托管租用。
本文標(biāo)題：數(shù)據(jù)庫(kù)計(jì)算引擎：高效數(shù)據(jù)處理的新選擇 (數(shù)據(jù)庫(kù) 計(jì)算引擎)
文章來(lái)源：http://fisionsoft.com.cn/article/cdhjsop.html
