今天企業(yè)、碼農(nóng)、風(fēng)險(xiǎn)資本、政府機(jī)構(gòu)都伸長脖子望著人工智能。

　　這個人工智能機(jī)器學(xué)習(xí)領(lǐng)域已可開挖的黑金，千軍萬馬擠獨(dú)木橋的洪流，走向何處，他們真的知道嗎？

　　如今媒體大V們隨手甩出的“深度學(xué)習(xí)”的概念，不明覺厲的深度神經(jīng)網(wǎng)絡(luò)（DNN)、卷積神經(jīng)網(wǎng)絡(luò)（CNN）、深度置信網(wǎng)絡(luò)（DBN)、卷積深度置信網(wǎng)絡(luò)（CBDN)，少有人知曉，它們都曾是無人問津的“屌絲”。

　　Yann Le Cun，一個需要被記住的名字

[[186645]]

　　就像Leighton Stuart 因?yàn)楸粴J點(diǎn)、以及迎面而來的中國風(fēng)名字“司徒雷登”，注定成為歷史教材中政治幼稚的注腳。一個拼寫有點(diǎn)漢味的法國人燕樂純（Yann Le Cun)，在人工智能領(lǐng)域，同樣也會寫進(jìn)教材且成為“令人唏噓”的代表。因?yàn)樗^對忘不了2012年這個有著諸多轉(zhuǎn)折性事件的年份。

　　2012是神奇的，這一年，Hinton 教授和他的兩個研究生 Alex Krizhevsky、 Illya Sutskever 將以卷積神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)的深度學(xué)習(xí)框架運(yùn)用到 ImageNet 大型圖像識別競賽上，獲得了空前的成功。

[[186646]]

　　Hinton 教授就此在 AI 界封神。而將人工神經(jīng)網(wǎng)絡(luò)演進(jìn)到深度學(xué)習(xí)，并且是卷積神經(jīng)網(wǎng)絡(luò)的第一個發(fā)明人和推廣者燕樂純，被遺忘在角落。

　　為什么說一次競賽的勝利就成為了深度學(xué)習(xí)乃至 AI 的歷史轉(zhuǎn)折點(diǎn)？

　　因?yàn)?AI 能力的測試標(biāo)桿，公認(rèn)是在圖像識別和處理：

　　1981年諾貝爾醫(yī)學(xué)獎獲得者 David Hubel 和 Torsten Wiesel 發(fā)現(xiàn)人的視覺系統(tǒng)的信息處理是分級的：從視網(wǎng)膜（Retina）出發(fā)，經(jīng)過低級的V1區(qū)提取邊緣特征，到V2區(qū)的基本形狀或目標(biāo)的局部，再到高層的整個目標(biāo)（如判定為一張人臉），以及到更高層的PFC（前額葉皮層）進(jìn)行分類判斷等。高層的特征是低層特征的組合，從低層到高層的特征表達(dá)越來越抽象和概念化，也即越來越能表現(xiàn)語義或者意圖。

　　現(xiàn)在的深度神經(jīng)網(wǎng)絡(luò)，就是受此啟發(fā)。

　　李飛飛點(diǎn)名推崇的重要人物 Jitendra Malik，這位伯克利教授， 把計(jì)算機(jī)視覺這個領(lǐng)域從圖像處理帶進(jìn)了 AI。Jitendra 是最早一批看到了視覺本身在智能這個問題上的重要性——視覺是人類智能極其重要的部分。

　　但是 ImageNet 競賽，這個繼承了PASCAL VOC的人工智能圖像識別的標(biāo)桿，從2010年開始舉辦以來，深度學(xué)習(xí)并不是主流，而是另外一種機(jī)器學(xué)習(xí)辦法——支持向量機(jī)（SVM）的天下。

　　ImageNet 就相當(dāng)于機(jī)器學(xué)習(xí)的華山論劍，所以，什么武功最厲害?

• 2010年首次競賽第一名團(tuán)隊(duì)，使用SVM方法構(gòu)建的模型，識別分類的錯誤率為 28%。
• 2011年競賽的冠軍, 用類似SVM的Fisher Vector方法，構(gòu)建模型的識別分類錯誤率為25.7%
• 而2012年競賽，Hinton教授的團(tuán)隊(duì)，使用以卷積神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)的深度學(xué)習(xí)方案，他們訓(xùn)練的模型面對15萬張測試圖像時，預(yù)測的頭五個類別的錯誤率只有 15.3%，而排名第二的日本團(tuán)隊(duì)，使用的SVM方法構(gòu)建的模型，相應(yīng)的錯誤率則高達(dá) 26.2%.

　　如此驚人的成績，學(xué)術(shù)界轟動了。

　　更驚人的是，深度學(xué)習(xí)訓(xùn)練的模型（2012年之后就成為主流），在2015年的競賽中部分類別圖像的識別率上甚至超過了人類（雖然只占到所有圖片分類中的千分一）。

　　然后就是我們眾所周知的故事：2016年，以走棋網(wǎng)絡(luò)和估值網(wǎng)絡(luò)兩個卷積神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)，結(jié)合了蒙特卡洛樹搜索和強(qiáng)化學(xué)習(xí)兩種方法開發(fā)的人工智能圍棋程序AlphaGo，4：1 擊敗了圍棋界的小李子——曾經(jīng)的人類圍棋第一人李世石，震驚世界。

　　在此之前，人們普遍認(rèn)為，計(jì)算機(jī)最少還要20年才能擊敗人類頂尖高手，因?yàn)閲迨且环N無法用計(jì)算機(jī)窮舉擊敗人類的游戲，堪稱人類智慧最后的殿堂。

　　2017年，AlphaGo的升級版本Master更是在網(wǎng)絡(luò)快棋上大開殺戒，以60盤全勝的戰(zhàn)績挑落了所有排得上名號的人類圍棋高手。讓目前的圍棋第一人柯潔產(chǎn)生了絕望感。

　　一個機(jī)器學(xué)習(xí)的小門派最終成為了江湖泰斗。眾人只記住了Hinton教授，在 SVM 熱潮中堅(jiān)持研究神經(jīng)網(wǎng)絡(luò)，經(jīng)歷了20多年的門庭冷落，帶領(lǐng)弟子練就了絕世武功。但是燕樂純，則被稱為神經(jīng)網(wǎng)絡(luò)辟荒的眾大佬之一。實(shí)際上這哥們完全是跟Hinton教授一樣，是“黑暗中舉著火炬的人”。

　　人工神經(jīng)網(wǎng)絡(luò)的三次崛起和兩次低谷

　　回顧歷史，今天遍地開花的神經(jīng)網(wǎng)絡(luò)，并不是最近才冒出來的新鮮玩意，而是名副其實(shí)的老古董。

　　深度學(xué)習(xí)所依附的神經(jīng)網(wǎng)絡(luò)技術(shù)起源于上世紀(jì)50年代，那個時候還叫感知機(jī)（Perceptron）。在人工神經(jīng)網(wǎng)絡(luò)領(lǐng)域中，感知機(jī)也被指為單層的人工神經(jīng)網(wǎng)絡(luò)，盡管結(jié)構(gòu)簡單，卻能夠?qū)W習(xí)并解決相當(dāng)復(fù)雜的問題。

　　雖然最初被認(rèn)為有著良好的發(fā)展?jié)撃?，但感知機(jī)最終被證明存在著嚴(yán)重的不可逾越的問題：它只能學(xué)習(xí)線性可分函數(shù)。連簡單的異或（XOR映射）等線性不可分問題，都無能為力。

　　1969年，Marvin Minsky出版的《Perceptrons》書，是一個歷史的轉(zhuǎn)折點(diǎn)，神經(jīng)網(wǎng)絡(luò)第一次被打倒。Minsky的書最著名的觀點(diǎn)有幾個：

　?。?）單層感知機(jī)沒用，我們需要用MLPs（多層感知機(jī)，多層神經(jīng)網(wǎng)絡(luò)的另一種說法）來代表簡單的非線性函數(shù)，比如XOR （異或）映射；

　?。?）世界上沒人有辦法將MLPs訓(xùn)練得夠好。

　　簡而言之，要解決感知機(jī)（單層神經(jīng)網(wǎng)絡(luò)）學(xué)習(xí)線性不可分函數(shù)的問題，就必須發(fā)展多層感知機(jī)，即中間包含一個隱層的兩層神經(jīng)網(wǎng)絡(luò)。

　　但是當(dāng)時，根本找不到運(yùn)用在多層神經(jīng)網(wǎng)絡(luò)上的有效算法。學(xué)術(shù)權(quán)威開啟了神經(jīng)網(wǎng)絡(luò)的反右運(yùn)動，悲觀主義開始蔓延。

　　從現(xiàn)在看，突破性的誤差反向傳播算法，即著名的BP算法，開啟訓(xùn)練多層神經(jīng)網(wǎng)絡(luò)的“鑰匙”，其實(shí)那個時候已經(jīng)存在了。

　　冰凍十年中，盡管Paul Werbos在1974年的博士畢業(yè)論文中深刻分析了將BP算法運(yùn)用于神經(jīng)網(wǎng)絡(luò)方面的可能性，成為美國第一位提出可以將其用于神經(jīng)網(wǎng)絡(luò)的研究人員，但是他沒有發(fā)表將BP算法用于神經(jīng)網(wǎng)絡(luò)這方面的研究。因?yàn)檫@個圈子大體已經(jīng)失去解決那些問題的信念。

　　這時候我們的燕樂純燕大俠上場了。80年代博士在學(xué)期間，他提出了神經(jīng)網(wǎng)絡(luò)的反向傳播算法原型（當(dāng)時他在Hinton的實(shí)驗(yàn)室做博士后研究，Hinton是燕樂純的導(dǎo)師）。

[[186647]]

　　眾人只知道，1986年BP算法開始流行開來，是因?yàn)镽umelhart、Hinton、Williams合著的《Learning representations by back-propagating errors》，真正的，David Parker 和燕樂純是事先發(fā)現(xiàn)這一研究進(jìn)路的兩人。

　　1989年，燕大俠加入貝爾實(shí)驗(yàn)室，他開始將1974年提出的標(biāo)準(zhǔn)反向傳播算法應(yīng)用于深度神經(jīng)網(wǎng)絡(luò)，這一網(wǎng)絡(luò)被用于手寫郵政編碼識別，盡管因?yàn)榉N種問題失敗。但是這一時期，燕大俠發(fā)明了真正可用的卷積神經(jīng)網(wǎng)絡(luò)。

　　到90年代中期，貝爾實(shí)驗(yàn)室商業(yè)化了一批基于卷積神經(jīng)網(wǎng)絡(luò)的系統(tǒng)，用于識別銀行支票（印刷版和手寫版均可識別）。直到90年代末，其中一個系統(tǒng)識別了全美國大概10%到20%的支票。

[[186648]]

　　燕大俠和其他人發(fā)展的神經(jīng)網(wǎng)絡(luò)，正開始被熱捧的時候，他一生較勁的對象Vapnik（貝爾實(shí)驗(yàn)室的同事）出現(xiàn)了。因?yàn)閮蓪由窠?jīng)網(wǎng)絡(luò)盡管解決了10年前困擾神經(jīng)網(wǎng)絡(luò)界的線性不可分問題，但是多層神經(jīng)網(wǎng)絡(luò)在實(shí)際發(fā)展中碰上了新的難題：

• 1.盡管使用了BP算法，一次神經(jīng)網(wǎng)絡(luò)的訓(xùn)練仍然耗時太久，因?yàn)?strong>當(dāng)時沒有如今可以用于大規(guī)模并行計(jì)算的GPU。比如，燕大俠最早做的手寫郵政編碼識別系統(tǒng)，神經(jīng)網(wǎng)路的訓(xùn)練時間達(dá)到了3天，無法投入實(shí)際使用。
• 2.訓(xùn)練優(yōu)化存在局部最優(yōu)解問題，即過擬合，也許這是機(jī)器學(xué)習(xí)的核心難題。簡要來說，過度擬合指的是對訓(xùn)練數(shù)據(jù)有著過于好的識別效果，這時導(dǎo)至模型非常復(fù)雜。這樣的結(jié)果會導(dǎo)致對訓(xùn)練數(shù)據(jù)有非常好的識別較果，而對真實(shí)樣本的識別效果非常差。
• 3.隨著添加越來越多的隱含層，反向傳播傳遞給較低層的信息會越來越少。即著名的梯度消失問題。由于信息向前反饋，不同層次間的梯度開始消失，對網(wǎng)絡(luò)中權(quán)重的影響也會變小，因而隱藏層的節(jié)點(diǎn)數(shù)需要調(diào)參，這使得使用不太方便，訓(xùn)練的模型質(zhì)量并不理想。

　　90年代中期，由Vapnik等人發(fā)明的支持向量機(jī)（Support Vector Machines，SVM）誕生，它同樣解決了線性不可分問題，但是對比神經(jīng)網(wǎng)絡(luò)有全方位優(yōu)勢：

　　1、高效，可以快速訓(xùn)練；2、無需調(diào)參，沒有梯度消失問題；3、高效泛化，全局最優(yōu)解，不存在過擬合問題。

　　幾乎全方位的碾壓。

　　SVM 迅速打敗多層神經(jīng)網(wǎng)絡(luò)成為主流。后來一度發(fā)展到，只要你的論文中包含神經(jīng)網(wǎng)絡(luò)相關(guān)的字眼，非常容易拒稿，學(xué)術(shù)界那時對神經(jīng)網(wǎng)絡(luò)的態(tài)度可想而知。

　　這個事情連如今的谷歌老大都記得。2017年年初，謝爾蓋在達(dá)沃斯的一個對談環(huán)節(jié)上還回憶說，

　　“坦誠來說，我根本沒關(guān)注人工智能”，“90 年代學(xué)習(xí)計(jì)算機(jī)科學(xué)的人都知道，人工智能并不管用，人們嘗試過，他們試過各種神經(jīng)網(wǎng)絡(luò)，沒有一個管用?！?/p>

　　神經(jīng)網(wǎng)絡(luò)再次墮入黑暗。10年沉寂中，只有幾個學(xué)者仍然在堅(jiān)持研究。比如一再提及的Hinton教授。

　　2006年，Hinton在《Science》和相關(guān)期刊上發(fā)表了論文，首次提出了“深度置信網(wǎng)絡(luò)”的概念。與傳統(tǒng)的訓(xùn)練方式不同，深度信念網(wǎng)絡(luò)有一個“預(yù)訓(xùn)練”（pre-training）的過程，它的作用是讓神經(jīng)網(wǎng)絡(luò)權(quán)值找到一個接近最優(yōu)解的值，之后再使用“微調(diào)”(fine-tuning)技術(shù)，即使用反向傳播算法或者其他算法作為調(diào)優(yōu)的手段，來對整個網(wǎng)絡(luò)進(jìn)行優(yōu)化訓(xùn)練。這兩個技術(shù)的運(yùn)用大幅度提升了模型的性能，而且減少了訓(xùn)練多層神經(jīng)網(wǎng)絡(luò)的時間。他給多層神經(jīng)網(wǎng)絡(luò)相關(guān)的學(xué)習(xí)方法賦予了一個新名詞——“深度學(xué)習(xí)”。

　　后面的故事我們都知道了，2012年Hinton的團(tuán)隊(duì)用燕樂純賴以成名的卷積神經(jīng)網(wǎng)絡(luò)，和自己在深度置信網(wǎng)絡(luò)的調(diào)優(yōu)技術(shù)，碾壓了其他機(jī)器學(xué)習(xí)辦法。

　　至此，深度學(xué)習(xí)開始壟斷人工智能的新聞報(bào)道，像Hinton、燕樂存和他們的學(xué)生搖滾明星一般受到追捧，慣于見風(fēng)使舵的學(xué)者們也來了個180度大轉(zhuǎn)變，現(xiàn)在是沒有和深度學(xué)習(xí)沾上邊的文章很難發(fā)表了。

　　除了名，還有利，谷歌、Facebook、Twitter們不但把學(xué)術(shù)界人物挖了個遍，更是重金收購深度學(xué)習(xí)大佬們所創(chuàng)建的公司，坐了幾十年冷板凳的人忽然一夜之間身價暴漲財(cái)務(wù)自由。

　　令人唏噓的是，現(xiàn)在主導(dǎo)Facebook AI 實(shí)驗(yàn)室的燕樂純，他不斷呼吁學(xué)術(shù)界對深度學(xué)習(xí)保持冷靜，批判深度學(xué)習(xí)的泡沫繁榮...

　　深度神經(jīng)網(wǎng)絡(luò)“高效”和“搞笑”并存

　　嗯，深度學(xué)習(xí)變得如此有用，人工智能正在蓬勃發(fā)展，很多人甚至開始談?wù)撊祟惿鐣凹夹g(shù)奇點(diǎn)”的到來...

　　下棋、圖像識別、自動駕駛、金融分析師...看似無所不能、比進(jìn)化了數(shù)百萬年人類更有“智慧”的人工神經(jīng)網(wǎng)絡(luò)，卻有人發(fā)現(xiàn)，它有一些比較“搞笑”的方面：

　　比如 Jeff Clune、Anh Nguyen、Jason Yosinski 訓(xùn)練了一個用于識別物體的系統(tǒng)，該系統(tǒng)99.6%確信左圖是一只海星，同樣99.6%確信右圖是只獵豹。

　　而另一個來自Google、Facebook、紐約大學(xué)和蒙特利爾大學(xué)研究人員組成的團(tuán)隊(duì)，開發(fā)的一個神經(jīng)網(wǎng)絡(luò)系統(tǒng)，認(rèn)為左圖是一只狗，而右圖（僅在左圖的基礎(chǔ)上略微改變了像素）是一只鴕鳥。

　　比較詭異的是，這種事情不是發(fā)生了一次兩次，而是穩(wěn)定地出現(xiàn)。

　　“一個為某一模型生成的樣本，通常也會被其他模型錯誤歸類，即使它們有著完全不同的架構(gòu)。”

　　“即使使用的是完全不同的數(shù)據(jù)集。”

　　左圖被神經(jīng)網(wǎng)絡(luò)判定為熊貓。給它人為疊加上中圖所示微小的擾動（實(shí)際疊加權(quán)重只有0.7%），就獲得了右圖。在人類看來，左圖和右圖沒有區(qū)別；可是AI卻會以99.3%的置信度，一口咬定右圖是一只長臂猿。

　　這些“錯誤”，不知道是神經(jīng)網(wǎng)絡(luò)的缺陷，還是人類肉眼凡胎不識“真相”，目前這些錯誤被取了一個名字——“對抗樣本”。

　　結(jié)尾

　　梳理人工神經(jīng)網(wǎng)絡(luò)的歷史，感知機(jī)—雙層神經(jīng)網(wǎng)絡(luò)—多層神經(jīng)網(wǎng)絡(luò)—深度學(xué)習(xí)，我們明顯可以看到這是怎樣一個曲折的軌跡。

　　過去神經(jīng)網(wǎng)絡(luò)曾經(jīng)被人棄之如敝履，未來就一定不會遭遇下一個低谷？我想，沒人敢打包票。

　　無論是目前過擬合、梯度消失的固疾，還是對抗樣本的問題，都說明以神經(jīng)網(wǎng)絡(luò)為代表的機(jī)器學(xué)習(xí)目前還是非?！叭酢钡娜斯ぶ悄?。

　　而且有一家與DeepMind齊名的人工智能公司 Vicrious ——吸引了Mark Zuckerberg、Elon Musk、Peter Thiel、Jeff Bezos 私人投資，專注于通用人工智能的另類，他們的創(chuàng)始人 Scott Phoenix 曾說：

深度神經(jīng)網(wǎng)絡(luò)（DNN）需要大量的訓(xùn)練數(shù)據(jù)，不能很好地適用于新的任務(wù)或環(huán)境。

　　（注：有變數(shù)，最近DeepMind最近新論文，他們宣稱發(fā)明彈性權(quán)重鞏固算法讓 AI 擁有“記憶”，目前只能勝任特定領(lǐng)域一項(xiàng)任務(wù)的神經(jīng)網(wǎng)絡(luò)，開始能夠習(xí)得“多項(xiàng)技能”）

深度學(xué)習(xí)往往側(cè)重于學(xué)習(xí)輸入感知與輸出動作之間的映射（如用于做分類決策或者是圍棋、Atari游戲上的移動的決策），對大腦功能的模擬，太過單一。

智能的本質(zhì)是能夠?qū)W習(xí)一個所處在世界的心理模型(mental model )，然后能否在這個模型上進(jìn)行模擬（所謂想象力）。

　　深度學(xué)習(xí)是一個黑盒，我們設(shè)定了規(guī)則、輸入了數(shù)據(jù)、訓(xùn)練出一個數(shù)據(jù)處理模型，但是并不了解數(shù)據(jù)處理在內(nèi)部究竟如何進(jìn)行。

　　那些在輸入層、隱層、目標(biāo)層之間連接的人工神經(jīng)元發(fā)生的所有事情，目前根本無法知曉，所以也無法預(yù)測輸出的結(jié)果：“我們看著Master走出了驚世駭俗的落子，看著它表演，它卻不能告訴我們?yōu)槭裁匆哌@里?！?/p>

　　深度學(xué)習(xí)用大量的數(shù)據(jù)樣本才能訓(xùn)練“泛化能力”，相比李世石，后者才是真正的天才——他用遠(yuǎn)遠(yuǎn)少于AlphaGo的訓(xùn)練樣本，達(dá)到了接近AlphaGo的水平。

　　目前，人工神經(jīng)網(wǎng)絡(luò)僅僅是模擬大腦皮層的一小部分運(yùn)行方式，而且是跨過了“認(rèn)識世界”、“認(rèn)識智能的本質(zhì)” 這個階段，直接到了“改變世界”。

　　基礎(chǔ)理論并不成熟的工程應(yīng)用，其實(shí)有著極大的隱患。