建站
咨詢
售后
建站咨詢
新聞中心
一、深度學習簡介
深度學習，英文名稱為Deep Learning，是近幾年人工智能領(lǐng)域的主要研究方向。深度學習的主要任務(wù)是通過構(gòu)建深度卷積神經(jīng)網(wǎng)絡(luò)（Deep Neural Network，DNN）和采用大量樣本數(shù)據(jù)作為輸入，人們最終會得到一個具有強大分析能力和識別能力的模型，該模型包含了DNN的構(gòu)成參數(shù)以應(yīng)用于實際工作。
由于深度學習依賴DNN這樣一個參數(shù)量龐大且非線性的框架，使得對于它的研究充滿了挑戰(zhàn)和困難。然而，近幾年的研究和應(yīng)用表明，深度學習已經(jīng)基本取代了先前相關(guān)技術(shù)，在圖像識別，語音識別已經(jīng)取得了非凡的突破，但這并不意味著深度學習已經(jīng)發(fā)展成熟，它還需要研究者進一步的理論分析和應(yīng)用實踐。
1.深度學習的歷史
談及深度學習的發(fā)展歷程，就如同各種理論被人們關(guān)注和忽視的歷程一樣，具有高低起伏。深度學習并不是近幾年才提出的，而之所以受到大眾熟知也是因為社交媒體的廣泛傳播才被又一次拉上臺面。例如2016年的AlphaGo對戰(zhàn)李世石的比賽，在那年甚至之前的年代里圍棋一直被認為是機器與人之間算力較量的最后一個跨越，許多人認為李世石穩(wěn)操勝券，而沒想到人工智能最終更勝一籌。
最早的神經(jīng)網(wǎng)絡(luò)是1943年提出的MCP人工神經(jīng)元模型，其在1958年被應(yīng)用于感知器算法中，用于機器學習分類任務(wù)。然而，盡管這樣的方法被證明是可收斂的，卻因為被結(jié)構(gòu)簡單（線性模型），分類認為受限（二分類，復(fù)雜的任務(wù)無法正確分類）而使得神經(jīng)網(wǎng)絡(luò)的研究處于一次長達17年的低潮期。
在1986年，Hinton發(fā)明了BP算法，其由信號的正向傳播和誤差的反向傳播兩個過程組成，應(yīng)用于多層感知器（MLP），并且采用Sigmoid進行非線性映射解決了之前非線性分類學習問題。所謂的BP算法，也就是在正向傳播時將輸入樣本輸入網(wǎng)絡(luò)，經(jīng)過隱層傳遞到輸出層，輸出值與期望值不同則進行誤差的反向傳播，而反向傳播就是按原通路通過隱層傳至輸入層，將誤差分攤各個神經(jīng)單元，獲得各層神經(jīng)元的誤差信號響應(yīng)，修正各個神經(jīng)單元的權(quán)重占比。最終，人們將得到一個較為適合的權(quán)重模型，其實際輸出與期望輸出的誤差達到最低限度，可以被用于實際任務(wù)當中。
然而說到真正意義上的卷積神經(jīng)網(wǎng)絡(luò)，LeNet可以說算的上是現(xiàn)代使用深度學習的基石，其結(jié)構(gòu)于1989年被LeCun提出，其在數(shù)字識別的效果也非常好。例如，現(xiàn)在很多AI入門人員都必須要經(jīng)歷的LeNet-5模型實現(xiàn)MNIST數(shù)據(jù)識別任務(wù)。可是這樣的方法卻并沒有引起很大的關(guān)注，我想可能是因為科技發(fā)展和理論實踐不相適應(yīng)造成的，更何況神經(jīng)網(wǎng)絡(luò)缺少相應(yīng)的嚴格數(shù)學理論支持（到現(xiàn)在這個問題還是存在），使得剛剛升起的勝利白帆又再一次降下。
盡管深度學習的研究再一次的處于低谷期，但并不意味著深度學習停滯不前。1997年，著名的長短期記憶網(wǎng)絡(luò)（LSTM）被提出，其解決了一般循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）存在長期依賴問題，即相較于RNN解決了長序列訓(xùn)練過程中存在梯度消失和梯度爆炸問題。作為一個非線性模型，LSTM可用于構(gòu)建大型DNN，在實際任務(wù)中，LSTM可被用于語音識別等方面?，F(xiàn)如今我們可以利用多種深度框架對其進行復(fù)現(xiàn)，也算得上是對那時研究出該架構(gòu)的人員的一種安慰。
值得一提的是在深度學習火熱之前，統(tǒng)計學習方法占據(jù)上風，從1986年的決策樹方法到2001年的隨機森林，從1995年的線性SVM（支持向量機）到2000年的非線性的KernelSVM，以及一些著名的HMM，樸素貝葉斯等方法，它們也推進人類對于人工智能領(lǐng)域的實現(xiàn)，并且也可以和深度學習相輔相成。到現(xiàn)在，我們依舊可以使用DNN與類似SVM和CRF搭配進行分類任務(wù)，統(tǒng)計學習方法中一些指標也通常被作為設(shè)計網(wǎng)絡(luò)合理性的評判標準。
2006年，Hinton又提出了解決DNN訓(xùn)練當中梯度消失解決方法，現(xiàn)在的研究者也依舊基本遵循這樣的方法，即無監(jiān)督預(yù)訓(xùn)練初始化權(quán)值和有監(jiān)督參數(shù)微調(diào)。值得一提的是為了更好的調(diào)參用于快速精準訓(xùn)練，預(yù)訓(xùn)練模型以及優(yōu)化器SGD和ADAM被廣泛應(yīng)用，也算的上是對這個方法提出的最好證明。
從2012年AlexNet參加ImageNet圖像分類比賽碾壓第二名SVM方法事件開始，深度學習才又漸漸被關(guān)注起來。與此同時，為了更好的實現(xiàn)深度學習機制，一些著名的深度學習框架也被提出，例如Caffe，TensorFlow，Pytorch，Keras，MXNet等，它們也隨著計算機編程語言的發(fā)展被一一實現(xiàn)，現(xiàn)如今Python語言對其都有支持，我想這也是Python近幾年火熱的原因之一。再加上顯卡近幾年的快速發(fā)展，其在支持并行處理高效計算的能力得到提升，不僅擴大了游戲行業(yè)和影視行業(yè)的影響力，同時也使得深度學習的研究也得到了越來越多的企業(yè)關(guān)注（高效訓(xùn)練，大規(guī)模集群）。
除此之外，ResNet和DenseNet的提出，又再一次給搭建更深層次網(wǎng)絡(luò)奠定基礎(chǔ)。也因此越來越多的網(wǎng)絡(luò)結(jié)構(gòu)和理論研究基于前者被設(shè)計和實現(xiàn)，越來越多的應(yīng)用和產(chǎn)品也被落地使用，在我看來，深度學習已經(jīng)成為了科技生活中不可或缺的一部分，影響著身邊的每一個人。
2.深度學習的革命性
作為一名從事深度學習研究的人員，在我看來深度學習的革命性就在于其已經(jīng)被計算機技術(shù)實現(xiàn)，并且將理論應(yīng)用于實際生活當中。
深度學習之所以近幾年發(fā)展迅速，我認為是以下幾點已經(jīng)得到保證：環(huán)境搭建，數(shù)據(jù)處理，訓(xùn)練策略和評判標準。環(huán)境搭建是一件對于深度學習入門人員的噩夢，這樣的噩夢似乎對之前擅長傳統(tǒng)方法的研究人員也產(chǎn)生了影響。在之前不需要深度學習的年代，研究機器學習的人們或多或少都是利用紙筆以及少量的計算機技術(shù)實現(xiàn)研究，例如紙筆推導(dǎo)公式，Matlab畫圖，Lingo解方程等。但是隨著深度學習的發(fā)展，對于計算機編程語言的了解以及計算機組成原理等知識成為了必要手段。現(xiàn)在的研究人員，不會Python，就不可能掌握深度學習框架，不會搭建WIndows和Linux環(huán)境，就不能高效地使用顯卡進行訓(xùn)練，那么搭建深度網(wǎng)絡(luò)就會成為空談。數(shù)據(jù)處理不掌握Pillow和OpenCV，就不能對網(wǎng)絡(luò)輸入進行像素級的控制。特征圖和參權(quán)重十分依賴輸入，如果輸入不進行相應(yīng)的處理，其得到的效果可能不是很好，例如邊緣問題和噪聲問題都會影響整體的網(wǎng)絡(luò)性能（因此需要排除外在的干擾因素，DNN不具備這樣的能力，但是可以通過網(wǎng)絡(luò)參數(shù)學習較大程度避免），使得預(yù)期效果變差。訓(xùn)練環(huán)節(jié)是深度學習較為耗時耗精力的部分，盡管我們有了像ADAM這樣使網(wǎng)絡(luò)快速收斂的優(yōu)化器，但是其效果可能不如SGD這樣的慢速的隨機梯度下降優(yōu)化器好，除此之外，初始參數(shù)設(shè)定也需要不斷修改，屬于“煉丹”的過程，即為耗時，但不管如何，沒有前人對這些優(yōu)化器的實現(xiàn)，我們到現(xiàn)在光是使用代碼實現(xiàn)收斂就非常困難。當然，最后一個就是評價函數(shù)的使用，Python的scikit-learn的包集成了統(tǒng)計學習方法和機器學習模型等內(nèi)容，易安裝和上手，我們也不需要花費很大的工夫自己去實現(xiàn)。
到此，深度學習的基本工作難點都列舉出來，試想如果沒有計算機編程語言快速發(fā)展，沒有計算機顯卡并行處理以及多線程處理機制等功能的庇佑，深度學習也許還處于不受關(guān)注的階段，只停留于理論，缺乏實驗論證。
3.深度學習的開發(fā)平臺
針對于非IT行業(yè)人士，以及不了解IDE人士，由于沒有心理經(jīng)歷，沒有適應(yīng)時間，對于如何利用深度學習解決問題就成了很大的困難，因此為了解決這個普遍存在的問題，設(shè)計一個端到端一站式的平臺很有必要。例如，華為就設(shè)計了ModelArts平臺，其自動學習技術(shù)可基于用戶的標注數(shù)據(jù)自動進行模型設(shè)計、參數(shù)調(diào)優(yōu)、模型訓(xùn)練、模型壓縮和模型部署。全流程無需任何代碼編寫和模型開發(fā)經(jīng)驗，零基礎(chǔ)構(gòu)建AI開發(fā)模型，滿足智慧化場景中的一些實際需求。所謂無需代碼編寫指的是不需要人們?nèi)パb環(huán)境加上編程語言學習來搭建整個網(wǎng)絡(luò)，而是只需要進行手動數(shù)據(jù)標注即可，不需要自己進行數(shù)據(jù)預(yù)處理；訓(xùn)練模型參數(shù)調(diào)優(yōu)也是一樣的，這種非常復(fù)雜耗時的過程也不需要去自己完成，而是ModelArts自己去解決，總之大幅度降低研究AI入門的門檻。除此之外，ModelArts平臺支持圖片分類、物體檢測、預(yù)測分析、聲音分類4大特定應(yīng)用場景，可以應(yīng)用于電商圖片檢測、流水線物體檢測等場景，這個就是深度學習的商業(yè)化體現(xiàn)。由于不是所有人都會深度學習，而且大部分的人學習AI初期都只是希望選擇樣本加上訓(xùn)練就可以得到很好的結(jié)果，因此像ModelArts這樣的AI平臺就可以作為大眾的選擇，自動化模型生成，高效而有秩序。
二、深度學習領(lǐng)域
1.計算機視覺
（1）目標檢測
目標檢測（Object Detection）是當前計算機視覺和機器學習領(lǐng)域的研究熱點之一，核心任務(wù)是篩選出給定圖像中所有感興趣的目標，確定其位置和大小。其中難點便是遮擋，光照，姿態(tài)等造成的像素級誤差，這是目標檢測所要挑戰(zhàn)和避免的問題?，F(xiàn)如今深度學習中一般通過搭建DNN提取目標特征，利用ROI映射和IoU確定閾值以及區(qū)域建議網(wǎng)絡(luò)RPN統(tǒng)一坐標回歸損失和二分類損失來聯(lián)合訓(xùn)練。
（2）語義分割
語義分割（Semantic Segmentation）旨在將圖像中的物體作為可解釋的語義類別，該類別將是DNN學習的特征聚類得到。和目標檢測一樣，在深度學習中需要IoU作為評價指標評估設(shè)計的語義分割網(wǎng)絡(luò)。值得注意的是，語義類別對應(yīng)于不同的顏色，生成的結(jié)果需要和原始的標注圖像相比較，較為一致才能算是一個可分辨不同語義信息的網(wǎng)絡(luò)。
（3）超分辨率重建
超分辨率重建（Super Resolution Construction）的主要任務(wù)是通過軟件和硬件的方法，從觀測到的低分辨率圖像重建出高分辨率圖像，這樣的技術(shù)在醫(yī)療影像和視頻編碼通信中十分重要。該領(lǐng)域一般分為單圖像超分和視頻超分，一般在視頻序列中通過該技術(shù)解決丟幀，幀圖像模糊等問題，而在單圖像在中主要為了提升細節(jié)和質(zhì)感。在深度學習中一般采用殘差形式網(wǎng)絡(luò)學習雙二次或雙三次下采樣帶來的精度損失，以提升大圖細節(jié)；對于視頻超分一般采用光流或者運動補償來解決幀圖像的重建任務(wù)。
（4）行人重識別
行人重識別（Person Re-identification）也稱行人再識別，是利用計算機視覺技術(shù)判斷圖像或者視頻序列中是否存在特定行人的技術(shù)。其廣泛被認為是一個圖像檢索的子問題。核心任務(wù)是給定一個監(jiān)控行人圖像，檢索跨設(shè)備下的該行人圖像?，F(xiàn)如今一般人臉識別和該技術(shù)進行聯(lián)合，用于在人臉識別的輔助以及人臉識別失效（人臉模糊，人臉被遮擋）時發(fā)揮作用。在深度學習中一般通過全局和局部特征提取和以及度量學習對多組行人圖片進行分類和身份查詢。
2.語音識別
語音識別（Speech Recognization）是一門交叉學科，近十幾年進步顯著。除了需要數(shù)字信號處理，模式識別，概率論等理論知識，深度學習的發(fā)展也使其有了很大幅度的效果提升。深度學習中將聲音轉(zhuǎn)化為比特的目的類似于在計算機視覺中處理圖像數(shù)據(jù)一樣，轉(zhuǎn)換為特征向量，與圖像處理不太一樣的是需要對波（聲音的形式）進行采樣，采樣的方式，采樣點的個數(shù)和坐標也是關(guān)鍵信息，然后對這些數(shù)字信息進行處理輸入到網(wǎng)絡(luò)中進行訓(xùn)練，得到一個可以進行語音識別的模型。語音識別的難點有很多，例如克服發(fā)音音節(jié)相似度高進行精準識別，實時語音轉(zhuǎn)寫等，這就需要很多不同人樣本的聲音作為數(shù)據(jù)集來讓深度網(wǎng)絡(luò)具有更強的泛化性，以及需要設(shè)計的網(wǎng)絡(luò)本身的復(fù)雜程度是否得當?shù)葪l件。
3.自然語言處理
自然語言處理（NLP）是計算機科學和人工智能領(lǐng)域的方向之一，研究能實現(xiàn)人與計算機之間用自然語言進行有效通信的各種理論和方法。深度學習由于其非線性的復(fù)雜結(jié)構(gòu)，將低維稠密且連續(xù)的向量表示為不同粒度的語言單元，例如詞、短語、句子和文章，讓計算機可以理解通過網(wǎng)絡(luò)模型參與編織的語言，進而使得人類和計算機進行溝通。此外深度學習領(lǐng)域中研究人員使用循環(huán)、卷積、遞歸等神經(jīng)網(wǎng)絡(luò)模型對不同的語言單元向量進行組合，獲得更大語言單元的表示。不同的向量空間擁有的組合越復(fù)雜，計算機越是能處理更加難以理解的語義信息。將人類的文本作為輸入，本身就具有挑戰(zhàn)性，因此得到的自然語言計算機如何處理就更難上加難，而這也是NLP不斷探索的領(lǐng)域。通過深度學習，人們已經(jīng)在AI領(lǐng)域向前邁出一大步，相信人與機器溝通中“信、達、雅”這三個方面終將實現(xiàn)。
三、深度學習相關(guān)框架
武俠小說里面我們經(jīng)?？梢钥吹絼Ψǜ叱膫b客手持長劍，而他們手中的“劍”名稱不一，用法也不同，但卻能憑此一較高下。深度學習也是一樣，需要這樣的“劍”來展現(xiàn)劍招和較量，而這些“劍”就是深度學習框架，沒有這些框架，我們就不能實現(xiàn)深度學習任務(wù)。下面對一些框架進行簡單介紹。
1.Caffe
全稱是Convolutional Architecture for Fast Feature Embedding，它是一個清晰、高效的深度學習框架，核心語言是C++并支持命令行、Python和MATLAB接口，然而比較困難的是搭建環(huán)境和代碼編寫，由于Visual Studio版本更迭以及一些相關(guān)必備運行庫的編譯過程復(fù)雜問題，使得使用Caffe的研究人員相較于之前大幅度減少，而且如果希望模型可以在GPU訓(xùn)練，還需要自己實現(xiàn)基于C++和CUDA語言的層，這對于編程難度很大，更加對入門人員不友好。
2.TensorFlow
一經(jīng)推出就大獲成功的框架，采用靜態(tài)計算圖機制，編程接口支持C++，Java，Go，R和Python，同時也集成了Keras框架的核心內(nèi)容。此外，TensorFlow由于使用C++ Eigen庫，其便可在ARM架構(gòu)上編譯和模型訓(xùn)練，因此可以在各種云服務(wù)器和移動設(shè)備上進行模型訓(xùn)練，而華為云的多模態(tài)開發(fā)套件HiLens Kit已經(jīng)利用TensorFlow這一特點具備了開發(fā)框架的搭載，外部接口的管理和算子庫封裝等功能，可一鍵部署和一鍵卸載?？梢哉fTensorFlow使得AI技術(shù)在企業(yè)中得到了快速發(fā)展和廣泛關(guān)注，也使得越來越多的人使用深度學習進行工作。然而，其缺點也很讓人苦惱，一是環(huán)境搭建，二是復(fù)雜設(shè)計，讓研究人員針對不斷改變的接口有心無力，bug頻出。然而，如果具有一個良好的開發(fā)平臺，就可以解決這些顯而易見的問題。例如，全面升級的華為云ModelArts 2.0一站式AI開發(fā)與管理平臺,通過全流程的自動化升級已有的AI開發(fā)模式,讓模型訓(xùn)練、模型管理、數(shù)據(jù)準備、模型推理全鏈條產(chǎn)生質(zhì)的飛越。華為云ModelArts 2.0，一方面可以顯著提升專業(yè)AI開發(fā)者的效率,讓數(shù)據(jù)科學家、算法工程師們聚焦基礎(chǔ)核心的算法研究與創(chuàng)新,釋放他們的無限潛能。另一方面,也可以大幅降低初學者的門檻,讓更多的AI愛好者可以快速掌握AI技能,為更多行業(yè)創(chuàng)造新價值。
3.PyTorch
前身是Torch，底層和Torch框架一樣，Python重寫之后靈活高效，采用動態(tài)計算圖機制，相比TensorFlow簡潔，面向?qū)ο螅橄髮哟胃?。對于環(huán)境搭建可能是最方便的框架之一，因此現(xiàn)如今基本上很多的論文都是PyTorch實現(xiàn)，代碼和教程也非常多，對入門人員友好，計算速度快，代碼易于閱讀。許多企業(yè)如今使用PyTorch作為研發(fā)框架，不得不說PyTorch真的是一個非常厲害的深度學習工具之一。
4.Keras
類似接口而非框架，容易上手，研究人員可以在TensorFlow中看到Keras的一些實現(xiàn)，很多初始化方法TensorFlow都可以直接使用Keras函數(shù)接口直接調(diào)用實現(xiàn)。然而缺點就在于封裝過重，不夠輕盈，許多代碼的bug可能無法顯而易見。
5.Caffe2
繼承了Caffe的優(yōu)點，速度更快，然而還是編譯困難，研究人員少，值得一提的是已經(jīng)并入了PyTorch，因此我們可以在新版本的PyTorch中體會到它的存在。
6.MXNet
支持語言眾多，例如C++，Python，MATLAB，R等，同樣可以在集群，移動設(shè)備，GPU上部署。MXNet集成了Gluon接口，就如同torchvision之于PyTorch那樣，而且支持靜態(tài)圖和動態(tài)圖。然而由于推廣力度不夠使其并沒有像PyTorch和TensorFlow那樣受關(guān)注，不過其分布式支持卻是非常閃耀的一點。
四、深度學習實際應(yīng)用
1.計算機視覺
計算機視覺領(lǐng)域中不得不提到就是人臉識別，其就是利用計算機對人臉圖像進行處理分析和理解，進行身份驗證，和上文提到的行人重識別一樣，都需要進行相似度比較和相似度查詢，只不過區(qū)別是一個需要人臉信息（五官，關(guān)鍵點），而一個是整個行人信息（姿態(tài)，關(guān)鍵點）。現(xiàn)如今的人臉識別大部分都是閉源的，各個大企業(yè)都有自己專門的人臉識別系統(tǒng)和服務(wù)，開發(fā)人員如果 想要使用就需要調(diào)用接口API獲取人臉的處理結(jié)果，自己去完成人臉識別會非常困難。首先就是數(shù)據(jù)集的獲取，因為人臉信息是隱私，因此在這樣的領(lǐng)域最好是公司企業(yè)級別去做比較合適，在擁有相關(guān)法律支持的情況下進行實驗是合理的，當然也有一些公司會提供這樣的人臉識別資源包來幫助開發(fā)人員，如華為云提供的人臉識別QPS資源包。
除此之外，文字識別（Optical Character Recognition，OCR）也是深度學習中一大應(yīng)用之一，其就是將圖片或掃描件中的文字識別成可編輯的文本，代替人工錄入，提升業(yè)務(wù)效率。基本上分為三大類：通用類，證件類和票據(jù)類。通用類識別一般就是識別表格、圖片、手寫圖片，網(wǎng)絡(luò)圖片和票據(jù)票證中的文字內(nèi)容，智能定位坐標，進一步進行數(shù)據(jù)挖掘等操作。證件類識別一般指的是身份證、駕駛證、行駛證、護照和營業(yè)執(zhí)照等文字識別，其中暗光、傾斜、過曝光等異常條件下識別是難點，深度學習通過對處于這些條件下樣本進行特征學習可以有效的分類出正確的信息。票據(jù)類同樣如此，通過深度學習識別地址和票價等信息，節(jié)省了大量的人工錄入成本，可以達到高精度的識別要求。例如華為OCR服務(wù)就可以做到身份證識別、增值稅發(fā)票識別、駕駛證識別等，通過使用這種方式我們就可以對各種圖片各種形式的文字都可以進行操作，這便是人工智能深度學習帶來的便利之處。
2.語音識別和自然語言處理
語音識別的應(yīng)用就更加廣泛了。例如微軟從2012年開始，利用深度學習進行機器翻譯和中文語音合成工作，其人工智能小娜背后就是一套自然語言處理和語音識別的數(shù)據(jù)算法。諸如這樣的人工智能已經(jīng)通過更加復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)和算法不斷更新?lián)Q代，性能也會比之前的效果更好。除了像小娜這樣的人工智能，華為的錄音文件識別，一句話識別和實時語音轉(zhuǎn)寫同樣可以接收來自人類語音信息，將其轉(zhuǎn)化為文字以便進行自然語言處理?？梢哉f這二者的結(jié)合使得人工智能與人類交流的距離又被拉進了一步。
五、總結(jié)
現(xiàn)如今，深度學習發(fā)展迅速，碩果累累，希望我們每個人可以善用深度學習推動社會教育和科技的發(fā)展，體會人工智能給我們帶來強大效益。
互聯(lián)互通社區(qū)
互聯(lián)互通社區(qū)專注于IT互聯(lián)網(wǎng)交流與學習，關(guān)注公眾號：互聯(lián)互通社區(qū)，每日獲取最新報告并附帶專題內(nèi)容輔助學習。方案打造與宣講、架構(gòu)設(shè)計與執(zhí)行、技術(shù)攻堅與培訓(xùn)、數(shù)據(jù)中臺等技術(shù)咨詢與服務(wù)合作請+微信：hulianhutongshequ
名稱欄目：深度學習的應(yīng)用與實踐-創(chuàng)新互聯(lián)
標題URL：http://fisionsoft.com.cn/article/ddcges.html
