計算機視覺的深度學(xué)習(xí)實踐

【課程時長】

3天（6小時/天）

【課程簡介】

在所有人工智能的應(yīng)用方向上，計算機視覺/機器視覺圖像處理的落地應(yīng)用最為成熟，近兩年的技術(shù)發(fā)展是最為迅猛。

以互聯(lián)網(wǎng)巨頭為代表的企業(yè)正在開展如：基于識別的智能機器人，無人駕駛，人臉識別、圖像搜索，圖像處理，游戲界面等；專門從事視覺、圖像處理的新興公司正在發(fā)力于人臉識別，檢測，跟蹤，安防等領(lǐng)域。只有對計算機視覺這個領(lǐng)域有了一個初步的全面了解才能在這些領(lǐng)域進行研究，一步步深入下去。

【課程目標(biāo)】

l 計算機視覺領(lǐng)域的重點研究問題。由淺入深得 講解數(shù)字圖像的存儲、預(yù)處理、特征提取，以及在深度學(xué)習(xí)興起之前計算機視覺領(lǐng)域所取得的成就。

l 專門介紹深度學(xué)習(xí)的基礎(chǔ)理論知識，包括神經(jīng) 網(wǎng)絡(luò)的基本原理，以及深度學(xué)習(xí)對于傳統(tǒng)神經(jīng) 網(wǎng)絡(luò)的關(guān)鍵改進。

l 重點介紹深度學(xué)習(xí)模型在計算機視覺領(lǐng)域的應(yīng)用。具體涉及在計算機視覺領(lǐng)域如何應(yīng)用卷積 神經(jīng)網(wǎng)絡(luò)（CNN)、區(qū)域卷積網(wǎng)絡(luò)（R-CNN) 全卷積網(wǎng)絡(luò)（FCN)、循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN)、 長短時記憶單元（LSTM)、生成對抗網(wǎng)絡(luò) (GAN)等解決圖像應(yīng)用的難點 課程將使用Python語言及Tensorflow、Keras 深度學(xué)習(xí)框架等進行案例實踐教學(xué)。

【講師介紹】

葉梓，博士、高級工程師。2005年上海交通大學(xué)計算機專業(yè)博士畢業(yè)，主研方向為數(shù)據(jù)挖掘、機器學(xué)習(xí)、人工智能等。現(xiàn)為某大型上市軟件企業(yè)的人工智能團隊技術(shù)負責(zé)人。曾主持多項國家戰(zhàn)略級人工智能項目，主持設(shè)計并搭建多個市級大數(shù)據(jù)平臺，在大數(shù)據(jù)、人工智能應(yīng)用等方面有著豐富的工程實踐經(jīng)驗。先后在SCI或EI期刊上發(fā)表論文4篇，在中文核心期刊上發(fā)表論文近20篇，并被百度學(xué)術(shù)收錄。2011年獲中國行業(yè)協(xié)會科技創(chuàng)新一等獎。

第一講 課程概述

1、計算機視覺的研究意義

2、計算機視覺的難點

3、當(dāng)前研究的主要熱點問題（分類、目標(biāo)檢測、實例分割、圖說等）

4、本課程的主要內(nèi)容介紹

5、相關(guān)開源庫介紹（OpenCV、Tensorflow、Keras、pyTorch等）

6、應(yīng)用案例：搭建tensorflow+opencv的環(huán)境

第二講 圖像預(yù)處理

1、圖像平滑與去噪（高斯濾波、中值濾波等）

2、基于直方圖的對比度增強:CLAHE

3、邊緣檢測算子（Sobel、拉普拉斯等）

4、形態(tài)學(xué)處理（腐蝕、膨脹、開閉運算等）

5、高斯金字塔與拉普拉斯金字塔

6、頻域分析及變換（卷積計算、傅里葉變換、小波變換）

7、應(yīng)用案例：平滑、邊緣檢測、CLAHE、FFT等

第三講 圖像特征提取

1、顏色特征（量化直方圖、聚類直方圖）

2、幾何特征（Edge、Corner、Blob等）

3、Harris角點與FAST角點

4、基于關(guān)鍵點的特征描述子（SIFT、SURF、ORB）

5、其他特征提取（LBP、Gabor）

6、應(yīng)用案例：SIFT、圖像拼接等

第四講 未有深度學(xué)習(xí)之前

1、基于灰度的圖像分割（閾值分割、區(qū)域生長、分水嶺等）

2、基于圖論：graph-cut與grab-cut

3、用于人臉檢測的Haar-like特征與級聯(lián)分類器

4、用于行人檢測的HOG+SVM

5、用于行人檢測的多尺度形變部件模型（DPM）

6、應(yīng)用案例：人臉識別、行人識別

第五講 神經(jīng)網(wǎng)絡(luò)與誤差反向傳播算法

1、人工神經(jīng)元及感知機模型

2、目標(biāo)函數(shù)（MSE）

3、激勵函數(shù)（sigmoid、tanh）

4、誤差反向傳播算法的推導(dǎo)

5、應(yīng)用案例：可以手算的BP神經(jīng)網(wǎng)絡(luò)

6、深度學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)的區(qū)別與聯(lián)系

第六講 深度學(xué)習(xí)基礎(chǔ)

1、深度學(xué)習(xí)中的目標(biāo)函數(shù)與激勵函數(shù)

2、深度學(xué)習(xí)中的求解方法（Adagrad、RMSprop、Adam等）

3、深度學(xué)習(xí)中的技巧（dropout、BN、weights decay等）

4、應(yīng)用案例：利用tensorflow實現(xiàn)的手寫數(shù)字識別

5、卷積神經(jīng)網(wǎng)絡(luò)介紹

6、卷積層的誤差反向傳播

7、池化層的誤差反向傳播

第七講 圖像分類

1、競賽中的分類問題

2、CNN的發(fā)展概述

3、開山之作：AlexNet

4、5層變?yōu)?組：VGG

5、組合所有可能的模型：GoogLeNet

6、殘差網(wǎng)絡(luò)：ResNet

7、深與寬之外的改進方向：ResNext

6、應(yīng)用案例：VGG、ResNet

第八講 圖像檢索

1、檢索特征（基于顏色，紋理，形狀，局部特征）

2、特征相似度度量（EMD）

3、建立基于深度學(xué)習(xí)的檢索索引

4、知識點：遷移學(xué)習(xí)的一種實現(xiàn)（fine-tune）

5、索引加速：KD-tree

6、大數(shù)據(jù)條件下的索引加速：Locality Sensitive Hash

7、應(yīng)用案例：CBIR的應(yīng)用

第九講 目標(biāo)檢測（上）

1、目標(biāo)檢測任務(wù)概述

2、區(qū)域卷積神經(jīng)網(wǎng)絡(luò)：R-CNN

3、共享卷積層與多尺度：SPP-Net

4、多任務(wù)的目標(biāo)函數(shù)：Fast R-CNN

5、SS改成RPN：Faster R-CNN

6、其他數(shù)據(jù)集介紹：行人檢測、人臉檢測

7、應(yīng)用案例：Faster R-CNN

第十講 目標(biāo)檢測（下）

1、之前方法的總結(jié)

2、ROI-wise子網(wǎng)繼續(xù)共享：R-FCN

3、回歸解決一切：YOLO v1

4、八大改進：YOLO v2

5、構(gòu)建語義樹：YOLO 9000

6、多尺度預(yù)測：YOLO v3

7、應(yīng)用案例：Darknet實現(xiàn)的YOLO

第十一講 通用場景下的圖像分割

1、語義分割

2、全卷積網(wǎng)絡(luò)語義分割：FCN

3、知識點：反卷積、轉(zhuǎn)置卷積與空洞（膨脹）卷積

4、DeepLab v1（含CRF）

5、DeepLab v2（多尺度）

6、DeepLab v3與v3+(多尺度級聯(lián))

7、PASCAL VOC、MS COCO、Cityscapes等數(shù)據(jù)集介紹

8、應(yīng)用案例：DeepLab、denseCRF

第十二講 醫(yī)療影像分割

1、醫(yī)學(xué)影像分析任務(wù)概述與數(shù)據(jù)集

2、U-Net

3、3D U-NET與V-Net

4、FC-DenseNet

5、病理切片分析任務(wù)概述與數(shù)據(jù)集6、病理切片分析的實現(xiàn)

7、應(yīng)用案例：利用U-Net實現(xiàn)的器官分割

第十三講 圖像描述（圖說）

1、深度學(xué)習(xí)的語言模型（RNN）

2、知識點介紹；LSTM與GRU

3、圖說模型原理與結(jié)構(gòu)

4、模型增強：注意力機制

5、圖說效果的評判標(biāo)準(zhǔn)

6、數(shù)據(jù)集介紹（MS COCO， Flickr等）

7、應(yīng)用案例：RNN簡單示例，圖像描述：show and Tell

第十四講 圖像生成

1、變分自編碼器（VAE）

2、生成對抗網(wǎng)絡(luò)（GAN）

3、知識點：KL散度與JS散度

4、改進的GAN：DCGAN

5、從根本上解決訓(xùn)練的困難：Wasserstein GAN

6、超分辨率問題：SRGAN

7、應(yīng)用案例：GAN與DCGAN等