你知道哪些情況下不該使用深度學習嗎?

2019-10-05     科技百分百

深度學習不適用於什麼樣的任務?依我之見,以下這些主要場景的深度學習弊大於利。

01 低成本或者低承諾問題

深網是非常靈活的模型,有著許多架構和節點類型,優化器和正則化策略。根據應用,你的模型可能會有卷基層(有多寬?使用什麼彙集操作?)或者反覆結構(有沒有門?);他也有可能很深(沙漏,暹羅或其他許多架構?)又或者只是幾個隱藏的層(有多少個單元?); 它可能使用整流線性單元或其他激活功能;它可能或可能沒有流失dropout(在哪一層?哪一塊?)占比應該是恰當的(l1,l2,或者是某些東西)。這只是一個部分列表,有很多其他類型的節點,連接,甚至丟失的功能等著我們嘗試。

這些是調整和架構探索的很多超參數,當訓練大型網絡的一個實例時可能非常耗時。谷歌最近吹噓自己的 AutoML 管道可以自動找到最好的架構,這是非常令人印象深刻的,但仍然需要超過 800 個 GPU,全天候工作數周,這對正常人來說是很難實現的。問題的關鍵在於訓練深網需要大量的成本用於計算和調試。這種費用對於許多日常預測問題並沒有意義,即使調整小型網絡,調整網絡的投資回報率也可能太低。即使有足夠的預算和承諾,也沒有理由不嘗試基準替代方法。你可能會驚喜地發現,線性SVM真的是你需要的。

02 解釋和傳達模型參數對一般觀眾的重要性

深網另一個令人詬病的原因是其徒有高預測能力卻很難解釋清楚。儘管最近有很多工具,如 Saliency 地圖和 Activation Differences

(https://arxiv.org/abs/1704.02685),對某些領域而言是非常有用的,但它們並不會完全轉移到所有應用程式上。

這主要是因為,當你想要確保網絡不會通過記住數據集或專注於特定的虛假特徵來欺騙你時,這些工具就能很好地工作,但是對於深層網絡的整體決策來說,仍然難以將每個特徵的重要性進行解釋。在這個情況下,沒有什麼是可以真正的打敗線性模型的,因為學習的難度與客戶反應有直接的關係。當將這些解釋傳達給需要根據它們作出決定的一般觀眾時,這尤其重要。

舉個例子,醫生需要根據不同的數據來作出診斷,變量和結果之間的關係更簡單更直接,醫生則能更好的利用它,而不是低估/高估其價值。此外,有些情況下,模型的準確性(通常是深度學習所擅長的)並不像解釋性那樣重要。比如,決策者可能想知道人口變量對死亡率的影響,可能會對直接近似關係感興趣,而不是預測的準確性。從以上兩個例子,不難看出與更簡單,更加滲透的方法相比,深度學習處於不利地位。

03 建立因果機制

模型解釋的極端情況是當我們試圖建立一個機械的模型,即一個實際捕獲數據背後的現象的模型。好的例子包括試圖猜測兩個分子(例如藥物,蛋白質,核酸等)是否在特定的細胞環境中相互作用,或者假設特定的營銷策略如何對銷售產生實際的影響。在這個領域沒有什麼能真正的擊敗專家的老式貝葉斯方法(可能不完美);他們是我們表達和推斷因果關係的最好方法。Vicarious最近有一些很好的研究證明了為什麼更有原則的手段比遊戲任務中的深度學習更好。

04 從「非機構化」功能中學習

這一條可能有待爭論。我發現深入學習擅長的一個領域是為特定任務找到有用的數據表示。一個很好的例子是上述的詞語嵌入。自然語言具有豐富而複雜的結構,可以通過「上下文感知」來學習,每個單詞都可以用向量來表示並編碼其最常用的內容。為了NLP任務在大型語料庫中學習使用單詞嵌入有時可以在另一個語料庫的特定任務中提升效果。

然而,如果所討論的語料庫是完全非結構化的,則可能沒有任何用處。例如,假設你正在查看非結構化的關鍵字列表來對對象進行分類。由於關鍵字不是在任何特定的結構中使用(如在一個句子中),所以字嵌入不太可能有幫助。在這種情況下,數據是真正的一個單詞,這種表示可能足以滿足任務。與此相反的是,如果你預培訓深度學習的話,並且可以更好地捕獲關鍵字相似度,那麼字嵌入的代價並不高。不過,我還是寧願從一個詞包的表示開始,看看能否得到很好的預測。畢竟,這個詞包的每個維度都比對應的字嵌入更容易解讀。

深度學習領域現在很熱門,資金充足,並且正在快速發展。當你閱讀一些在論壇上發表的論文的時候,它很可能又經歷了兩三次疊代並且已經不推薦了。

對於想入行深度學習,但是還未入行的讀者來講,以上的內容可能過於複雜。

基於此,為了讓更多想入行深度學習領域的工程師成為AI工程師的機會。

CSDN學院聯合《智能問答與深度學習》圖書的創作團隊,特別針對零基礎想入行深度學習的同學聯合出品了《從零開始深度學習》這門實體書+視頻課課程。

PS:課程模式為:實體書+100餘節視頻課(書包郵)

與視頻課配套的《智能問答與深度學習》這本書,已榮登京東實用性強的10本人工智慧工具書。

圖片來源於京東好物榜

| 圖書郵寄 | 視頻精講 | 作者帶隊 | 社群答疑 |

掃碼上方二維碼,立即搶購

原價199元,限時特惠69元

搜狗CEO王小川對本書也有極高的評價。

圖片來自京東書評

為了保證書與視頻課程的配套性,《從零開始深度學習》視頻課的創作團隊採用《智能問答與深度學習》原班創作團隊,並且全部來自頭部網際網路企業。

創作團隊介紹

學習這門書+課,我能收穫什麼?

1.102課時、20+小時的課程內容,以及原價¥69 的配套實體書,物超所值。

2. 從最基礎的數學基礎講起,夯實基礎,由淺入深,讓你建立系統的知識體系。

3. 零基礎也能輕鬆上手,從基礎學習到真實項目實戰,不用擔心學完沒用。

這門課程適合我嗎?

1. 我是計算機專業的學生,適合學習這門課程嗎?

適合。這門課程不但為你掃清了基礎數學的障礙,而且通過實例的講解,以及一些學習技巧,你可以比別的同學更早的入門深度學習,提升自己的知識儲備,對你今後找實習、找工作都有很大的幫助。

2. 我已經有一定的編程經驗,但不是深度學習,需要學習這門課程嗎?

需要。如果你有一定的編程經驗,那麼你在學習前兩章內容的時候會容易一些,可以讓你加容易手,而且後面有很實戰的案例,對於擴展知識面,以及轉行都有很不錯的幫助。

3. 我不是計算機專業的,但是想轉行,適合學習這門課程嗎?

適合。此課程主要針對的就是想轉行,或者對編程沒有基礎的人群而策劃的,從深度學習最為基礎的「基礎數學」開始講起,之後會涉及到python編程以及實戰案例,讓你打好入門深度學習的基礎,建立正確的學習路徑。

#課程大綱#

#現在訂閱有什麼福利#

1. 原價¥199,限時優惠¥69。

2. 現在購課既送王海良老師《智能問答與深度學習》實體書一本。

#如何報名#

限時特惠:¥69原價¥199

圖書(包郵) +102節視頻課程,每課僅需0.6

立即掃碼領取資料包

堅持30天,平均一天2塊錢,換你一次

進入高薪技術領域的機會

如果對課程有疑問

歡迎掃碼回復「1」進課程諮詢群

立即掃碼領取資料包

「69元立即搶購書+視頻課」

文章來源: https://twgreatdaily.com/zh-cn/NzptnW0BMH2_cNUgqi0s.html