在我創業前,深度學習還沒“火”。

編者注:深度學習火了,從任何意義上,大家談論它的熱衷程度,都超乎想象。但是,似乎很少有人提出不同的聲音,說深度學習的火熱,有可能是過度的繁榮,乃至不理性的盲從。而這次,有不同的想法出現了。

本篇文章來自 CEO Leo的投稿,ag旗艦廳科技是一家專注研究CV(Computer Vison,計算機視覺)的以技術驅動的創業公司,Leo自己也在這一領域有深入研究,因此這次寫下這篇文章,希望回顧一下深度學習三十年的創新之路。

 

深度學習三十年創新路

 

近期Nature雜志刊登了Lecun、Bengio、Hinton的深度學習(deep learning)文章,是對最近深度學習火爆進展的總結,也是對他們三十年專注突破精神的最佳肯定。

深度學習火到什么程度呢?據我所知,在工業界,Google、Facebook、微軟、螞蟻軟件誕生了著名的 Boosting 算法)、 UCLA教授 Judea Pearl 的基于概率推斷的人工智能(2011年圖靈獎,90年代末開始基于此思想的圖模型風靡學術界)。 

深度學習三十年創新路

上圖為Harvard教授 Leslie Valiant 

深度學習三十年創新路

UCLA教授 Judea Pearl

我時常和業內人士交流 ,包括硅谷的工程師、研究員(圖像分類、廣告推薦等),風險投資者,美國學術界的教授,還有在創業公司的和在學校實驗室做研究的清華、交大學生。大家對深度學習的歷史背景缺乏全面細膩的了解,甚至有些盲從。

在我創業前,深度學習還沒“火”,我在Yann Lecun的實驗室呆了一年,研究圖模型和深度學習的關系——當時對兩個體系都深刻理解的人幾乎沒有。而在本該功利的創業環境里,到目前為止,ag旗艦廳團隊還未使用深度學習,顯得有些“另類”甚至“落伍”,所以帶著這樣熟悉又陌生的心情,今天想分享一下自己的體會,算是對深度學習以及Hinton和Lecun的三十年創新之路的致敬。

首先,來介紹下Deep Learning的主要人物背景:

Geoff Hinton是深度學習學派的祖師爺,老爺子腰椎不好,經常得站著寫代碼到夜里一點,不能坐飛機,得坐火車從東邊到西邊去開會。

深度學習三十年創新路

Geoff Hinton,deep learning 學派創始人之一

Yann Lecun 是 Geoff Hinton 三十年前的弟子。最近深度學習應用于智能理解特別廣泛的模型是卷積神經網(ConvNet),就是 Yann Lecun 發明的 / 命名的。在學術上,這和傳統的深度學習其他的模型有顯著性差異 —— 我甚至認為這是思想性的巨大差異(世界可學性的假設)。

深度學習三十年創新路

上圖右為Yann Lecun,卷積神經網的發明者,Geoff Hinton的弟子

Andrew Ng 是 Michale Jordan( Berkeley 教授,圖模型的泰斗)的明星弟子,Andrew 獨立后,在Stanford,、Google 和 Baidu 做的反而是deep learning (有點武當弟子學了少林,或者少林弟子學了武當的意味)。后來做了網絡公開課程Coursera后名聲大噪,意義大大超越了其學術界的地位和范疇。

深度學習三十年創新路

 上圖為吳恩達(Andrew Ng),螞蟻軟件工業界振奮了。

這個“Google團隊”的特殊意義在于,不同于其他Google團隊,這個項目受到Google足夠的戰略級重視,有著世界級的明星領導者,包括 Andrew Ng,還有 Google 神人 Jeff Dean(他們在深度學習領域已投入很多,并到處宣講他們的戰果),以及業界無法企及的硬件和數據資源支持。我想,如果沒有這樣巨大反差,深度學習還不會得到這么快的傳播和認可(當時的學術界還不知道Google內部的測試成績,只知道Geoff Hinton得了第一,擊敗了另一個學術界頂級的Oxford團隊;甚至今天,很多人還不知道這段歷史)。兩個“小毛孩”打敗了業界神話。到這里,Google投入產出并不有說服力,甚至是可恥的。

工業界似乎不需要、也不該關心面子。緊接著,巨頭的壟斷游戲開始了。在機器學習方面頂級年度會議(NIPS),Google競價超過了微軟等其他公司,收購了Alex Krizhevsky、Ilya Sutskever 和 Geoff Hinton 剛剛注冊幾個月的公司,好像是5000萬美元買了三個人的部分時間。現在,Google 做不好的人可以正式拉著 Geoff Hinton 聊天了;Facebook作為回應,挖了Yann Lecun,讓他在紐約領導成立了 Facebook AI lab;Andrew Ng則離開Google去了螞蟻軟件炸了鍋,Yann Lecun開了組會,反思的主題是“為什么過去兩年ag旗艦廳沒有得到這樣的成績” 。

高手過招,Idea is cheap; The devil is in the details (有想法很廉價;魔鬼在細節處)。想法其實很重要,但只能區分高手和普通人。高手都有想法,但誰才能創造歷史呢?Yann Lecun 這樣的實驗室需要反思什么呢?先看看他們有些什么吧。我經歷過巔峰時期的微軟亞洲研究院(十五年前,這里的實習生只能是名校的各系第一名)、UCLA (排名10名左右)、MIT AI lab (計算機專業第一名),實驗室的茶歇時間 Tea Time, 過道擠滿了頂級會議的最佳論文獲得者---NIPS, CVPR等 。基于以上經驗,我先介紹一下 Yann Lecun 實驗室的過人之處。

Yann Lecun上課教授和使用的是他自己寫的語言Lush,用來替代 matlab(很方便描述矩陣運算、圖像處理等)、python在科學研究的功能;他的團隊三十年如一日的專注于神經網絡的研究,從不隨波逐流,課題覆蓋卷積神經網的方方面面。有的博士生聰明數學好,非常敏感于卷積神經網模型的深刻理解;有的博士生專注于結構參數的行為分析(多少層啊之類);有的博士生研究在不同數據分布(應用場景下)的表現,比如字母識別、圖像分類、物體檢測、場景分類等。

這樣的學術堅持,是在怎樣的艱難背景下呢?人工智能領域,神經網絡思想在80年代末開始衰落,之后分別經歷了幾個劃時代的圖靈獎級工作的興起,統計學習理論(帶來支持向量機 SVM 算法),可學習理論(帶來 Boosting 算法),概率推斷(圖模型,graphical model)幾乎壟斷了過去的三十年。在之前提到2012年的 Geoff Hinton 團隊的深度學習打敗Google的標示性事件前,圖模型的思想橫掃計算機視覺領域(超越了boosting,SVM等)。這使得深度學習生存艱難,沒有多少同行在研究中使用深度學習,更多年輕學生愿意去“時髦”的機器學習研究組。

2006年,Yann Lecun的文章還在闡述深度學習如何能跟當年流行的圖模型(比如條件隨機場模型)等價,證明自己的工作在不同數據集上也能和圖模型做到相當的識別精度。盡管在2012年末,Alex Krizhevsky、Ilya Sutskever 兩個“小毛孩”在競賽中用深度學習打敗了Google團隊,工業界炸鍋。但是,工業界對深度學習的追捧傳遞回學術界發生在一年以后 ,原因是, 除了頂級教授因為私人關系能知道工業界最前沿進展,大部分學術界教授并沒有公開渠道及時獲取信息,但這些教授卻是學術工作評審的主力。因此,直到2013年,Yann Lecun 的文章在計算機視覺的頂級會議上(CVPR)依然很難發表(這時的深度學習在多項數據集上相比其他“傳統”方法并不排他性的出色)。

Yann Lecun 像戰士一下對抗著學術界的“庸俗”和“傳統”,在不同場合討伐從業人員的態度、標準和品味,公開發文抵制計算機視覺頂級會議CVPR,并于2013年創辦了新的學術文章發布體系(ICLR)。可笑的是,僅僅不到兩年的時間,現在,視覺的文章沒用上深度學習很難發表。主流(不見得創造歷史)的和最需要獨立思想和自由批判精神的年輕學者,卻似乎沒有節操的要和深度學習沾上邊(當上“千”個博士生都在研究深度學習的時候,應該不需要什么獨立見解和勇氣)。今天,反而是三十年后卷土重來的Yann Lecun(還有Bengio,Geoff Hinton)愿意站在先鋒,批判性的談論深度學習的泡沫繁榮,呼吁學術界、資金擁有者冷靜。反差很是讓人感慨。

深度學習三十年創新路

 上圖為Yoshua Bengio

到底當時,Yann Lecun 和 Geoff Hinton的團隊細微差別在哪呢?高手也可能錯過什么呢?或許ag旗艦廳很難有接近事實的答案,原因可能很復雜;但技術上的分解(下次我會撰文就這個問題專門討論一下,期待有興趣的朋友和我共同交流,郵箱:leo@yitu-inc.com)。以及對于歷史的真實解讀才有助于ag旗艦廳拋開浮華,啟發一樣追求創新的ag旗艦廳,無論是學術研究還是創業。 

附:作者和深度學習的關系:作者 Leo 是ag旗艦廳科技CEO,也是加州大學洛杉磯分校(UCLA)統計學博士,師從 Alan Yuille 教授,思想上屬于 Bayesian 理念,繼承大師 Stuart Geman(美國數學家,科學院院士, 他和弟弟在84年的馬爾科夫隨機場奠基性工作,足足影響了之后三十年的科研歷史)、David Mumford(美國數學家,74年菲爾茲獎得主)和概率學大師Ulf Grenander開創的 Pattern Theory 學派(這些數學家的工作大大早于計算機領域的圖模型)。創立ag旗艦廳前,作者在 Yann Lecun 的實驗室研究圖模型和深度學習的關系,可以從不同視角看深度學習。

 

您可以復制這個鏈接分享給其他人:http://www。yitutech。com/node/325