對於自然語言處理領域來說，2019 年可謂是令人驚嘆的一年！
在本文中，AI 科技評論將為各位盤點 2019 年 NLP 和 ML 領域發生的大事件，內容涵蓋具有價值的論文、文章、工程工作、年度報告等等，並為大家呈上了值得關注和學習的一波課程和圖書資源。
針對所有的大事件，本文事無巨細地為大家一一附上了相關連結，誠意滿滿！
一、重要工作一覽
2019 年，谷歌人工智慧部門針對語境化語言表征的自監督學習任務，發布了輕量級的 BERT 模型——ALBERT（論文：《ALBERT: A Lite BERT for Self-supervised Learning of Language Representations》）。該模型主要的改進之處在於減少冗餘，並且更高效地分配模型的容量。該方法在12個自然語言處理任務上，都實現了最先進的性能。
2019 年初，英偉達的研究人員發表了一篇著名的論文「StyleGAN」，它基於風格遷移方法，提出了一種可選的 GAN 生成架構。接著，他們在論文《Analyzing and Improving the Image Quality of StyleGAN》中對 StyleGAN 進行了改進，重新設計了生成器的歸一化過程。
圖 1：上一行為目標圖像，下一行為合成圖像
Code2Seq 是於 2019 年發表的一項非常有趣的工作，它是一種根據結構化的代碼表征生成自然語言序列的方法。Code2Seq 可以實現諸如自動化代碼摘要和文檔生成。
不知各位有沒有想過為生物醫學文本挖掘任務訓練一個生物醫學語言模型？2019 年，研究人員提出了一種從生物醫學文獻中提取出重要信息的語境化方法—— BioBERT。
在 BERT 發布之後，Facebook 的研究人員也隨即發布了 RoBERTa，它引入了新的優化方法來改進 BERT，並在各種自然語言處理的對比基準上取得了最先進的實驗結果。
Facebook 人工智慧院的研究人員近期還發布了一種基於全注意力層的方法（《Augmenting Self-attention with Persistent Memory》），從而提升 Transformer 語言模型的效率。該研究組還提出了一種使用自然語言教人工智慧系統如何做計劃的方法（《Hierarchical Decision Making by Generating and Following Natural Language Instructions》）。
圖 2：全注意力層示意圖
可解釋性仍然是機器學習和自然語言處理領域的一個重要課題。論文《Explainable Artificial Intelligence (XAI): Concepts, Taxonomies, Opportunities and Challenges toward Responsible AI》給出了有關可解釋性、分類標準、未來可能的研究方向的綜述。
Sebastian Ruder 在發表的論文《Neural Transfer Learning for Natural Language Processing》中，提出了自然語言處理神經遷移學習。
一些研究人員研發出了一種在對話語境中進行情感識別的方法《Emotion Recognition in Conversations with Transfer Learning from Generative Conversation Modeling》，它可以實現情感對話生成。另一個相關的工作《DialogueGCN: A Graph Convolutional Neural Network for Emotion Recognition in Conversation》，用到了一種叫做「DialogueGCN」的圖神經網絡方法來檢測對話中的情感。
谷歌人工智慧量子計算團隊在「Nature」雜誌上發表了一篇論文《Quantum supremacy using a programmable superconducting processor》，他們聲稱已經研發出了一種比世界上最大的超級計算機還要快的量子計算機。
如上所述，可解釋性是神經網絡架構領域需要進行大量改進的領域之一。論文《Attention is not not Explanation》討論了在語言建模中，將注意力機製作為可解釋性的一種可靠的手段的局限性。
《Neural Logic Machines》這項工作提出了一種「神經-符號」網絡架構，可以在歸納學習和邏輯推理方面取得很好的性能。該模型在數組排序和尋找最短路徑任務中表現出色。
圖 3：神經邏輯機的架構
論文《On Extractive and Abstractive Neural Document Summarization with Transformer Language Models》將 Transformer 語言模型應用到了提取和抽象出神經文檔摘要的任務中。
論文《Building Machine Learning Models via Comparisons》中，研究者們還研發出了一種方法，重點研究通過比較的方法構建並訓練機器學習模型。這項技術不需要大量的「特徵-標籤」數據對，而是將圖像與模型之前看到過的圖像進行比較，以確定圖像是否應該被賦予某種標籤。
Nelson Liu 及其研究夥伴發表了論文《Linguistic Knowledge and Transferability of Contextual Representations》，討論了通過預訓練的語境模型（如 BERT 和 ELMo）獲取的語言知識類型。
XLNet 是一種用於自然語言處理任務的預訓練方法，它在 20 種任務上相較於 BERT 有了進一步的提升。關於這份卓越的工作的總結，請參閱：https://medium.com/dair-ai/xlnet-outperforms-bert-on-several-nlp-tasks-9ec867bb563b。
DeepMind 的論文《Learning and Evaluating General Linguistic Intelligence》報告了一項廣泛的實證研究的結果，旨在評估應用於各項任務的語言理解模型。這項廣泛的分析對於更好地理解語言模型獲取的內容非常重要，從而提高它們的效率。
VisualBERT是一種簡單而魯棒的框架，用於為「視覺-語言」任務（包括 VQA 和 Flickr30K 等）建模。該方法利用了堆疊的 Transformer 層以及注意力機制，來對齊文本片段中的元素和圖像的區域。
《To Tune or Not to Tune? Adapting Pretrained Representations to Diverse Tasks》通過詳細的分析對比了各種自然語言處理中的遷移學習方法，並給出了對自然語言處理從業人員的建議。
Alex Wang 和 Kyunghyun 在《BERT has a Mouth, and It Must Speak: BERT as a Markov Random Field Language Model》提出了一種能夠生成高質量、流暢的語言的 BERT 實現。
Facebook 的研究人員發布了「XLM」的 PyTorch 實現代碼（https://github.com/facebookresearch/XLM），這是一種用於跨語言模型預訓練的模型。
《RL in NMT: The Good, the Bad and the Ugly》對用於神經機器翻譯的強化學習算法進行了全面的分析。
在 JAIR 上發表的綜述論文《A Survey of Cross-lingual Word Embedding Models》中，對跨語言詞嵌入模型的訓練、評估和使用進行了全面的概述。
Gradient 平台發表了一篇優秀的博文「The Promise of Hierarchical Reinforcement Learning」，詳細說明了目前強化學習的局限性，也給出了一條通過分層強化學習解決這些問題的潛在出路。
很快，一些研究者也發布了一系列優秀的強化學習入門教程，地址：
https://github.com/araffin/rl-tutorial-jnrr19/blob/master/1_getting_started.ipynb
論文《Contextual Word Representations: A Contextual Introduction》簡要介紹了語境化詞表征方法。
二、創意和社會性的研究
機器學習技術已經被廣泛用於解決現實世界中的問題，但另一方面，人們也通過一些有趣和富有創意的方式使用機器學習。機器學習創意和人工智慧領域中其它類型的研究同樣重要，因為歸根到底，我們希望的是構建能夠幫助我們塑造文化和社會的人工智慧系統。
2019 年底，Gary Marcus 和 Yoshua Bengio 針對深度學習、符號人工智慧和混合人工智慧系統進行了激烈的辯論。
《2019 人工智慧索引報告》最終發布了，它全面分析了人工智慧的現狀，可以讓讀者更好地了解人工智慧領域的總體進展。
常識推理仍然是一個重要的研究領域，因為我們想要構建的人工智慧系統，不僅僅要能夠根據擁有的數據進行預測，還要能夠理解並對這些決定進行推理。這種技術可以被用於人工智慧對話系統，旨在使智能體可以與人類進行更加自然的對話。Nasrin Mostafazadeh 在一篇《The Art Of AI Storytelling: How One 30 Under 30 Scientist Is Teaching Devices To Make Assumptions》採訪文中，針對嘗試推理及其應用展開了討論，其應用涉及故事描述和語言理解。
你還可以參閱論文《Explain Yourself! Leveraging Language Models for Commonsense Reasoning》，看看如何利用語言模型進行常識推理。
激活地圖集是由谷歌和 Open AI 的研究人員開發的一項技術，旨在更好地理解並可視化神經網絡中神經元之間發生的交互。
圖 4：Inception V1 分類網絡的激活地圖集顯示出了許多完全被實現了的特徵（例如，電子產品、建築物、食物、動物耳朵、植物和水的背景）
此外，2019 年圖靈獎獲得者 Geoffery Hinton 和 Yann LeCun 發表的獲獎演講（地址：https://fcrc.acm.org/turing-lecture-at-fcrc-2019）也值得一讀，分享圖靈獎這一殊榮的還有 Yoshua Bengio。
論文《Tackling Climate Change with Machine Learning》討論了利用機器學習處理氣候變化問題。
OpenAI 發表了一份內容豐富的報告《Release Strategies and the Social Impacts of Language Models》，討論語言模型對社會的影響，包括有益的使用和潛在的技術濫用現象等主題。
情感分析技術仍然被廣為使用。Mojifier 是一個很酷炫的項目，它可以通過觀察一幅圖像檢測到其中的情感，並使用與檢測到的情感相匹配的表情替換人臉。
使用人工智慧技術開展影像學研究也是 2019 年的一大趨勢。論文《Radiological images and machine learning: trends, perspectives, and prospects》很好地總結了這一研究領域的發展趨勢和前景。
紐約大學的研究人員還發布了一個 PyTorch 實現的深度神經網絡，用於提升影像學專家在乳腺癌篩查中的工作表現。MIMIC-CXR是一個重要的數據集，它包含胸部 X 光片和影像學文本報告的資料庫。
紐約時報撰寫了一篇關於 Karen Spark Jones 的文章（https://www.nytimes.com/2019/01/02/obituaries/karen-sparck-jones-overlooked.html），回憶她對自然語言處理和信息檢索做的開創性貢獻。
Open AI Five 成為第一個在電子競技比賽中擊敗世界冠軍的人工智慧系統。
《全球人工智慧人才報告》給出了世界範圍內人工智慧人才庫和全球人工智慧需求的詳細報告。
DeepMind 團隊開設了一個非常棒的播客，訂閱者可以討論最前沿的人工智慧話題。地址：
https://deepmind.com/blog?filters=%7B%22category%22:%5B%22Podcasts%22%5D%7D）
在人工智慧的潛力方面，Demis Hassabis 接受了「經濟學人」的採訪，在採訪中他談到了一些具有未來主義的想法，比如利用人工智慧擴展人類的思維，也許可以為重要的科學問題尋找解決方案。
2019 年，機器學習在健康領域的應用也取得了重大的進展。例如，麻薩諸塞州的研究人員研發出了一種可以像人類一樣準確地發現腦出血的人工智慧系統。
圖 5：通過人工智慧系統分析得到的腦部掃描結果
Janelle Shane 總結了一組「奇怪」的實驗，展示了機器學習如何以有創意的方式進行有趣的實驗。有時，這種實驗需要真正理解人工智慧系統到底在做什麼（和沒有做什麼）。其中的一些實驗包括生成「假蛇」圖像和講笑話。
圖 6：蛇的種類
《Earth to exoplanet: Hunting for planets with machine learning》一文嘗試使用 TensorFlow 平台上構建的機器學習模型尋找行星。
OpenAI 在《Better Language Models and Their Implications》一文中討論了發布大規模無監督語言模型的影響（包括潛在的惡意用例）。
一篇名叫《Using Nucleus and TensorFlow for DNA Sequencing Error Correction》的 Colab 筆記本針對如何將 Nucleus 和 TensorFlow 用於「DNA 序列糾錯」給出了一個很棒的簡介。關於使用深度學習架構進行 DNA 探索的更多細節，請參閱博文：https://blog.floydhub.com/exploring-dna-with-deep-learning/
圖 7：我們將基於共識的 DNA 序列糾錯任務形式化定義為一個多類別分類問題。通過使用 Nucleus，我們構建了一個基因組範圍內的歸一化鹼基技術矩陣。TensorFlow 讓我們可以訓練能夠訓練一個神經網絡，來預測位於窗口中間位置的正確鹼基。
Alexander Rush 是一名哈佛大學的自然語言處理研究者，他撰寫了一篇關於張量問題的重要文章《Tensor Considered Harmful》，並指出了現有的庫怎樣暴露出了這些問題。他還提出了關於張量索引命名的建議。
三、工具和數據集
這部分將重點介紹與軟體和數據集相關的事件，它們對自然語言處理和機器學習的研究和工程大有助益。
Hugging Face 發布了一種廣受歡迎的基於 PyTorch 的 Transformer 程序庫「pytorch-transformers」。它讓許多自然語言處理從業人員和研究者們可以輕鬆地使用最先進的通用框架（例如，BERT、GPT-2 和 XLM 等）。如果你對如何使用 pytorch-transformers 感興趣，請參閱 Roberto Silveira 的教程（https://rsilveira79.github.io/fermenting_gradients/machine_learning/nlp/pytorch/pytorch-transformer-squad/），該教程介紹了如何使用該庫進行機器理解。
圖 8：Hugging Face 的 pytorch-transformers
2019 年，谷歌發布了 TensorFlow 2.0，引入了一些新的特性。關於最佳實踐的更多信息請參閱：https://medium.com/tensorflow/effective-tensorflow-2-0-best-practices-and-whats-changed-a0ca48767aff。Francois Chollet 也撰寫了一篇關於這些新特性的詳細概述：https://colab.research.google.com/drive/1UCJt8EYjlzCs1H1d1X0iDGYJsHKwu-NO。
同時，新發布的 PyTorch 1.3 也包含大量的新特性，包括命名張量和其它的前端改進。
Allen 人工智慧研究院發布了「Iconary」，這是一個可以和人類玩猜圖遊戲的人工智慧系統。這項工作結合了視覺/語言學習系統和常識推理。同時，他們還發表了一種新的常識推理對比基準「Abductive-NLI」。
spaCy 發布了一個新的代碼庫，將 Transformer 語言模型合併到 spaCy 中，從而能夠提取特徵並在 spaCy NLP 工作流程中使用它們。這項工作是基於 Hugging Face 開發的 Transformer 庫構建的。Maximilien Roberti 也撰寫了一篇關於如何將 fast.ai 的代碼與 pytorch-transformers 結合起來的博文《Fastai with Hugging Face Transformers (BERT, RoBERTa, XLNet, XLM, DistilBERT)》。
Facebook 人工智慧團隊發布了「PHYRE」，這是一種用於物理推理的對比基準，旨在通過結合各種物理難題來測試人工智慧系統的物理推理能力。
圖 9：PHYRE-B Tier 示意圖
史丹福自然語言處理小組發布了用於自然語言分析的 Python 代碼庫「StanfordNLP 0.2.0」。你可以在超過 70 種不同的語言上進行不同類型的語言分析（例如：詞形還原和詞性標註識別）。
GQA 是一個可視化問答數據集，用於支撐與視覺推理相關的研究。
exBERT 是一種可視化工具，用於探索 Transformer 語言模型的嵌入和注意力機制，原論文為《exBERT: A Visual Analysis Tool to Explore Learned Representations in Transformers Models》。
圖 10：exBERT 工作示意圖
Distill 平台上發表了一篇關於如何在循環神經網絡（RNN）中可視化記憶內容的論文《Visualizing memorization in RNNs》。
Mathpix 工具可以讓你拍攝一個公式的照片，然後自動幫你生成該公式的 Latex 代碼。
圖 11：Mathpix 工作示意圖
Parl.ai 平台可以為涉及人工智慧對話系統的工作託管許多流行的數據集。
Uber 的研究人員發布了開源工具 Ludwig，它使用戶可以很方便地僅僅使用幾行代碼就可以訓練並測試深度學習模型，旨在在訓練和測試模型的過程中避免任何的編碼工作。
谷歌的人工智慧研究人員發布了「Natural Questions」，這是一個用於訓練並評估開放領域問答系統的大規模語料庫。
四、必看論文和博客文章
2019 年，數據科學作家和愛好者的數量激增。這對於我們的研究領域是非常有益的，也鼓舞了研究社區進行健康的討論和學習。
這裡列舉了一些有趣的必看論文和博文：
Christian Perone 對最大似然估計（MLE）和最大後驗估計（MAP）進行了介紹，這是理解模型參數估計的重要原則。
Reiichiro Nakano 發表了博文《Neural Style Transfer with Adversarially Robust Classifiers》，討論了具有對抗性魯棒分類器的神經風格遷移。
Saif M. Mohammad 撰寫了一系列文章（閱讀地址：https://medium.com/@nlpscholar/state-of-nlp-cbf768492f90）討論 ACL 論文接收情況的歷時分析。
圖 12：上圖分別顯示了進行學術研究時間的平均數、中位數，以及首次發表論文的人數占總人數的比例。
有一個值得思考的問題是：語言模型能學會語法嗎？《Finding Syntax with Structural Probes》使用結構化探測技術，旨在說明使用上下文語境表征和查找樹結構的方法實現這一目標是可能的。
Andrej Karpathy 撰寫了一篇博文《A Recipe for Training Neural Networks》總結了如何高效訓練神經網絡的最佳實踐和方法。
谷歌人工智慧部門的研究人員和其它研究人員合作，使用 BERT 模型來改進對搜索的理解，像 BERT 這種語境化的方法可以理解搜索查詢背後的意圖。
Rectified Adam（RAdam）是一種基於 Adam 優化器的新型優化技術，有助於改進人工智慧架構。研究者們在提出更好、更穩定的優化器的方面做出了一些工作，但是作者們聲稱他們關注的是優化的其它方面，它們對於提升收斂性同樣重要。
隨著近幾年來機器學習工具的大幅發展，對於如何實現能夠解決實際問題的機器學習系統的討論也越來越多。Chip Huyen 撰寫了《Machine Learning System Design》，重點強調了超參數調優和數據流水線等課題。
英偉達打破了創建最大的語言模型的記錄，該模型訓練了數十億的參數。
Abigail See 撰寫了博文《What makes a good conversation?》，討論了如何在為執行自然語言生成任務開發的系統環境下實現良好的人機對話。
谷歌人工智慧團隊發表了兩個自然語言對話數據集，旨在使用更複雜、更自然的對話數據集提升數字助理等對話應用程式的個性化程度。
深度強化學習仍然是人工智慧領域中最廣為討論的話題之一，它甚至吸引了心理學和神經科學領域的興趣。在「Trends in Cognitive Sciences」上發表的論文《Reinforcement Learning, Fast and Slow》中，介紹了一些該領域的重要概念。
Samira Abner 撰寫了博文《From Attention in Transformers to Dynamic Routing in Capsule Nets》，總結了 Transformer 和 capsule 網絡背後的主要組成部分及其聯繫。Adam Kosiorek 還針對堆疊化的基於 capsule 的自編碼器（一種無監督版本的 capsule 網絡）撰寫了文章「Stacked Capsule Autoencoders》，並將其用於目標檢測任務。
圖 13：兩個相鄰的 capsule 層之間的連接，其中較低層有 3 類 capsule，較高層有 2 類 capsule。
研究人員在 Distill 平台上發表了一篇互動文章「A Visual Exploration of Gaussian Processes》，旨在展示對高斯過程的可視化探索。
通過在 Distill 平台上發表的《Open Questions about Generative Adversarial Networks》，Augustus Odena 呼籲研究人員解決關於對抗生成網絡（GAN） 的重要開放性問題。
研究人員使用 PyTorch 框架實現了用於區分出垃圾郵件製造者的圖卷積網絡（GCN）。
2019 年初，VentureBeat 發布了一份由 Rumman Chowdury、Hilary Mason、Andrew Ng 以及 Yan LeCun 提出的 2019 年預測列表（https://venturebeat.com/2019/01/02/ai-predictions-for-2019-from-yann-lecun-hilary-mason-andrew-ng-and-rumman-chowdhury/）。現在，大家可以看看他們的預測是否正確。
《Multi-label Text Classification using BERT- The Mighty Transformer》提出的模型學著如何調整 BERT 以執行多標籤文本分類任務。
由於 BERT 的盛行，在過去的幾個月中，許多研究人員開發了對BERT 進行「壓縮」的方法，旨在建立更快、更小、內存效率更高的版本。Mitchell A.Gordon 撰寫了《All The Ways You Can Compress BERT》一文，總結了壓縮的類型和圍繞這一目標開發的方法。
超級智能仍然是專家們爭論的重要課題。該課題需要對框架、政策有正確的理解，並且進行仔細的觀察。K.Eric Drexler 以科技報告的形式撰寫了一系列有趣的綜合性論文《Reframing Superintelligence Comprehensive AI Services as General Intelligence》，對於理解圍繞超級智能主題的一些問題和思考是很有幫助的。
Eric Jang 撰寫了博文《Meta-Learning in 50 Lines of JAX》，介紹了元學習的概念，旨在構建並訓練不僅可以預測、也可以學習的機器學習模型。
Sebastian Ruder 撰寫了一份 AAAI 2019 亮點工作總結，閱讀地址：https://ruder.io/aaai-2019-highlights/。
圖神經網絡是 2019 年最火的話題之一。David Mack 撰寫了《Finding shortest paths with Graph Neural Networks》一文，介紹了他們如何使用這種技術和注意力機制一起計算最短路徑。
貝葉斯方法仍然是一個有趣的課題，特別是如何將它們應用於神經網絡，從而避免像過擬合這樣的常見問題。Kumar Shridhar 針對這一話題給出了一個閱讀材料的推薦列表：https://medium.com/neuralspace/bayesian-neural-network-series-post-1-need-for-bayesian-networks-e209e66b70b2。
圖 14：以點估計作為權重的網絡 vs 以機率分布為權重的網絡
五、年度話題：人工智慧中的道德規範
在 2019 年中，也許道德規範是人們針對人工智慧系統討論的最多的話題之一，包括偏見、公平性、透明度等問題。關於這一部分，本文將列舉出一些相關的有趣故事和論文：
論文《Does mitigating ML’s impact disparity require treatment disparity?》通過在真實世界數據集上進行實驗，討論了應用不同學習過程得到的結果。
Hugging Face 發表了文章《Ethical analysis of the open-sourcing of a state-of-the-art conversational AI》，討論在用於對話人工智慧的開源自然語言處理場景下的道德問題。
隨著我們不斷向社會引進基於人工智慧的技術，能夠量化道德倫理在人工智慧研究中的作用是非常重要的。論文《On Quantifying and Understanding the Role of Ethics in AI Research: A Historical Account of Flagship Conferences and Journals》對量化道德倫理的措施和「與倫理相關的研究在引領人工智慧、機器學習和機器人領域中的作用」進行了深入的分析。
NAACL 2019 上發表的論文《Lipstick on a Pig: Debiasing Methods Cover up Systematic Gender Biases in Word Embeddings But do not Remove Them》討論了去偏方法可以如何消除詞嵌入中的性別偏置。
讀者可以聽一聽 Zachary Lipton 關於其論文《Troubling Trends in ML Scholarship》的報告（https://www.youtube.com/watch?v=A2Jtqi_oa2Y]）。我也曾對這篇有趣的論文進行了總結：《An Overview of Troubling Trends in Machine Learning Scholarship》。
Gary Marcus 和 Ernest Davis 發表了他們的新書《Rebooting AI: Building Artificial Intelligence We Can Trust》。這本書的主題是討論我們為了實現魯棒的人工智慧必須採取的措施。
關於人工智慧未來的發展，Francois Chollet 也撰寫了一篇令人印象深刻的論文《On the Measure of Intelligence》。
Andrew Trask 在優達學城上開設了有關差分隱私保護、聯邦學習、以及加密人工智慧的課程《Secure and Private AI》。關於隱私這一話題，Emma Bluemke 撰寫了博文《PRIVACY-PRESERVING AI IN MEDICAL IMAGING: FEDERATED LEARNING, DIFFERENTIAL PRIVACY, AND ENCRYPTED COMPUTATION》，討論了如何在保護患者隱私的同時訓練機器學習模型。
2019 年初，Mariya Yao 的博文《RECENT BREAKTHROUGH RESEARCH PAPERS IN AI ETHICS》中，給出了一份包含人工智慧倫理的研究論文清單。雖然這些參考論文的清單是自 2018 年統計的，但我相信它在今天仍然具有意義。
六、資源「大禮包」
最後為大家呈上 2019 年新更新的一些 ML/NLP 學習資源：
卡內基梅隆大學發布了他們的《自然語言處理神經網絡》課程的教學材料和大綱。
Elvis Saravia 和 Soujanya Poria 發布了一個名為「NLP-Overview」的項目，旨在為學生和從業者提供應用於自然語言處理的現代深度學習技術的簡要概述，包括理論、算法、應用和最新成果（相關地址：https://github.com/omarsar/nlp_overview）。
圖 15：NLP 概述
微軟研究院發布了一本關於數據科學基礎的免費電子書（《Free Book: Foundations of Data Science (from Microsoft Research Lab)》），主體涵蓋了從馬爾科夫鏈蒙特卡洛方法到隨機圖的方方面面。
《機器學習的數學》是一本免費電子書，介紹了機器學習中最重要的數學概念。它還包含了一些描述機器學習部件的 Jupyter notebook 教程。
Jean Gallier 和 Jocelyn Quaintance 撰寫了一本內容豐富的免費電子書《Algebra, Topology, Differential Calculus, and Optimization Theory For Computer Science and Machine Learning》，內容涵蓋了機器學習中使用到的數學概念。
史丹福大學發布了《自然語言理解》課程的相關視頻：
https://www.youtube.com/playlist?list=PLoROMvodv4rObpMCir6rNNUlFAn56Js20
OpenAI 整理了一份關於如何保持並提高機器學習技能的推薦閱讀列表：https://openai.com/blog/learning-day/。顯然，他們的員工每天都在使用這些方法不斷學習並擴展他們的知識。
圖 16：OpenAI 的員工在 Learning Day 做些什麼？
Adrian Rosebrock 發布了一本 81 頁的指南（https://www.pyimagesearch.com/start-here/），介紹如何使用 Python 和 OpenCV 完成計算機視覺任務。
Emily m. Bender 和 Alex Lascarides 出版了一本名為《自然語言處理的語言學基礎》的書。本書的主要思想是以語義和語用為基礎，來探討自然語言處理領域中的「意義」是什麼。
Elad Hazan 發表了名為《機器學習的優化》的演講筆記，旨在將機器學習訓練呈現為一個具有優美數學和符號的優化問題。Deellearning .ai 也發布了文章《Parameter optimization in neural networks》，討論了使用可視化和互動方法進行神經網絡參數優化。
Andreas Mueller 發布了新的《應用機器學習》課程視頻列表：https://www.youtube.com/playlist?list=PL_pVmAaAnxIQGzQS2oI3OWEPT-dpmwTfA。
Fast.ai 發布了名為《Deep Learning from the Foundations》的新慕課。
麻省理工學院發布了其課程《Introduction to Deep Learning》的教學視頻和大綱：
https://www.youtube.com/playlist?list=PLtBw6njQRU-rwp5__7C0oIVt26ZgjG9NI）
Chip Huyen 在推特上發布了一系列優質的機器學習入門免費在線課程：
https://twitter.com/chipro/status/1157772112876060672
Andrew Trask 發布了他名為《Grokking Deep Learning》的新書。本書是一本理解神經網絡架構基本構建模塊的入門書。
Sebastian Raschka 上傳了 80 份關於如何實現不同的深度學習模型（例如，RNN 和 CNN）的筆記（https://github.com/rasbt/deeplearning-models）。最棒的是，這些模型都是使用 PyTorch 和 TensorFlow 框架實現的。
教程《Understand TensorFlow by mimicking its API from scratch》可以幫助大家深度了解 TensorFlow 的工作機制。Christian Perone 也為 PyTorch 撰寫了一份教程：
http://blog.christianperone.com/2018/03/pytorch-internal-architecture-tour/
Fast.ai 還發布了一份名為《Intro to NLP》的課程，主題包括情感分析、主題建模、Transformer 等。
Xavier Bresson 的演講談到了如何使用圖卷積網絡進行分子生成，視頻連結：https://ipam.wistia.com/medias/excbyr8gvv。此外，論文《Pre-training Graph Neural Networks》也討論了如何預訓練圖神經網絡。
就圖神經網絡而言，一些工程師使用它們來預測分子和晶體的性質。谷歌人工智慧團隊還發表了博文《Learning to Smell: Using Deep Learning to Predict the Olfactory Properties of Molecules》，來解釋他們如何使用圖神經網絡進行氣味預測。如果讀者對圖神經網絡感興趣，請參下面這篇關於不同的圖神經網絡及其應用的全面概述：https://arxiv.org/pdf/1812.08434.pdf。
約翰霍普金斯大學的 Rene Vidal 發布了一份關於無監督學習方法（如 PCA）的視頻播放列表：
https://www.youtube.com/playlist?list=PLFInMJnvb3owAddRh4qk2gCX25kGLDay-
如果你對於將一個預訓練好的 TensorFlow 模型轉換成 PyTorch 模型感興趣，那麼 Thomas Wolf 的這篇博文會對你有所幫助：
https://medium.com/huggingface/from-tensorflow-to-pytorch-265f40ef2a28
想了解生成式深度學習嗎？David Foster 的新書《Generative Deep Learning》告訴數據科學家們如何將生成對抗網絡（GAN）和編碼器-解碼器模型用於執行繪畫、協作、作曲等任務。本書附帶的官方 TensorFlow 代碼倉庫、PyTorch 版代碼。
下面這份 Colab 筆記本文件包含實現並學習因果推理概念（如干預、反事實等）的代碼塊：
https://colab.research.google.com/drive/1rjjjA7teiZVHJCMTVD8KlZNu3EjS7Dmu#scrollTo=T9xtzFTJ1Uwf
Sebastian Ruder，Matthew Peters，Swabha Swayamdipta 和 Thomas Wolf 等人提供的 NAACL 2019 《自然語言處理中的遷移學習》教程材料連結：https://github.com/huggingface/naacl_transfer_learning_tutorial。他們還給出了一個用於入門的配套的谷歌 Colab 筆記本文件：
https://colab.research.google.com/drive/1iDHCYIrWswIKp-n-pOg69xLoZO09MEgf
Jay Alammar 發表了一篇關於數據表征的博文《A Visual Intro to NumPy and Data Representation》。他還撰寫了許多有趣的插圖指南：
GPT-2：https://jalammar.github.io/illustrated-gpt2/
BERT：http://jalammar.github.io/a-visual-guide-to-using-bert-for-the-first-time/
Peter Bloem 還發表了一篇非常詳細的博文《TRANSFORMERS FROM SCRATCH》，解釋了 Transformer 的組成部分。
圖 18：自注意力機制的示意圖
Mihail Eric 在《Trends in Natural Language Processing: ACL 2019 In Review》中，對 ACL 2019 上體現出來的自然語言處理領域發展趨勢進行了很好的概述。相關的主題包括將知識引入自然語言處理架構、可解釋性、減少偏置等等。如果讀者對此感興趣，請參閱：
https://medium.com/@mgalkin/knowledge-graphs-in-natural-language-processing-acl-2019-7a14eb20fce8
http://noecasas.com/post/acl2019/
史丹福大學發布了 CS231n 2019 版的完整教學大綱：
http://cs231n.stanford.edu/syllabus.html
David Abel 發布了 ICLR 2019 的一系列筆記：https://david-abel.github.io/notes/iclr_2019.pdf。他也給出了一份很棒的 NeurIPS 2019 總結：
https://david-abel.github.io/notes/neurips_2019.pdf
《動手學深度學習》是一本很棒的書，為讀者介紹了深度學習的相關知識，並附有 notebook 代碼。
圖 19：動手學深度學習
關於 BERT、ELMo、以及自然語言處理遷移學習的插圖指南，請參閱：http://jalammar.github.io/illustrated-bert/。
圖 20：自然語言處理中的遷移學習
Fast.ai 發布了2019 版的《程式設計師使用深度學習》課程。
Pieter Abbeel 和其他人一起教授的深度無監督學習課程連結如下：
https://sites.google.com/view/berkeley-cs294-158-sp19/home
Gilbert Strang 發布了一本關於線性代數和神經網絡的新書：
http://math.mit.edu/~gs/learningfromdata/
加州理工學院發布了他們的《機器學習基礎》課程的完整的教學大綱、課程幻燈片和視頻播放列表：
http://tensorlab.cms.caltech.edu/users/anima/cs165.html
《Scipy Lecture Notes》是一套教你如何掌握「matplotlib」、「Numpy」、「Scipy」等工具的教程。
如果讀者想要理解高斯過程，請參閱教程《Understanding Gaussian processes》及附帶的代碼。
Lilian Wang 在博文《Generalized Language Models》中深入介紹了生成式語言模型（如 ULMFit、OpenAI GPT-2、BERT），這是一篇必讀的文章。
「Paper with Code」網站展示了一些精選的機器學習論文及其代碼，並給出了目前最先進的模型的結果。
Christoph Molnar 發布了第一版的《Interpretable Machine Learning》，這是一本涉及用於更好地解釋機器學習算法的重要技術的書。
David Bamman 發布了加州大學伯克利分校自然語言處理課程的完整教學大綱和幻燈片：
http://people.ischool.berkeley.edu/~dbamman/nlp18.html
加州大學伯克利分校發布了他們的《應用自然語言處理》課程的全部材料：
https://github.com/dbamman/anlp19
Aerin Kim 是微軟的一名高級研究工程師，他撰寫了與應用數學和深度學習相關的一系列文章：https://towardsdatascience.com/@aerinykim。其主題主要包括條件獨立、伽馬分布、複雜度等。
Tai-Danae Bradley 的博文《Matrices as Tensor Network Diagrams》，討論了如何思考矩陣和張量。這篇文章用到了一些酷炫的可視化效果，有助於更好地理解矩陣上執行的某些變換和操作。
圖 21：矩陣和張量
2019 已經過去，2020 年作為 AI 界主力軍之二的 ML、NLP 又將迎來哪些具有歷史性的時刻和值得關注的工作呢？我們拭目以待吧！
https://medium.com/dair-ai/nlp-year-in-review-2019-fb8d523bcb19
via：https://medium.com/dair-ai/nlp-year-in-review-2019-fb8d523bcb19