作為專欄的第零篇，編外篇，我們也是考慮到在正式開始強化學習專欄內容介紹之前，給大家樹立一些基礎知識和學習框架。大部分關注專欄的同學都是具有數據處理、數據分析、數據挖掘、以及算法工程背景的同學。為了讓大家能夠統一基礎認識，加深理論學習深度，我們在這裡特此推出：數據科學——從計算到推理。
作者 | 行健
編輯 | 言有三
數據科學的定義：數據科學是基於計算機科學，以數學為為主要手段，物理、生物、醫療、化學、材料、社會學科、商業等為應用目標，交叉產生的一門跨學科的綜合型學科。其中數學與計算機交叉衍生出機器學習、數據分析。
數據科學的範疇：所有需要計算和驗證的學科、領域都需要數據科學。數據科學為商業決策、智能分析等提供了基礎工具和可應用的方法論。
數據科學中的數學理論包含：
微積分、統計學、集合論、機率論、貝葉斯機率論、經典機率論、隨機過程、時間序列分析等統計機率理論，代數幾何方向包含線性代數，矩陣論，群論，離散數學，微分幾何，拓撲學、圖論等數學分支學科。
圖1.1 數據科學交叉領域
圖1.2 數據科學在整個數據分析流程中的位置和作用
大數據時代，什麼職業比較吃香?答案可以從今年的校招薪資列表上知道----算法工程師、人工智慧研究員、數據分析等職位。那麼作為一名數據科學家，應該具備的技能有哪些呢?接下來，讓我們來看看數據科學家這個角色的技能樹。
圖2.1 數據科學家的角色
圖2.2 數據科學家的技能樹
數據科學家除了技術技能之外，還需要很好的非技術技能。包括好奇心，商業頭腦，溝通能力以及團隊合作。
人類的智能來自於對大自然的不斷探索和認知，計算和環境的融合也將是實現計算智能的必經之路。
目前主流的人工智慧仍然存在許多基礎問題。其中，如何讓計算機理解『常識』，成為突出問題。在我們日常的認知和判斷過程中，我們與現實環境進行交互，通過個體腦海中的常識對環境做出判斷，既而產生對應行動。目前AI基於「深度學習+海量數據」 訓練模型的方式，並不能真正獲得這種『常識』，它更像是通過深度學習來編碼一個領域的大量數據，其中神經網絡的結構成為了優化計算的利器，而不是在認知這件事情本身上的努力。長久下去，機器智能將停留在暴力遍歷的邏輯中不可自拔。對於喚醒機器去實現自主智能，還需要很多探索和嘗試。其中，強化學習無疑是在這一領域將有突破的方向。
強化學習在機器學習中的角色
最近，Deepmind 團隊發表論文《Causal Reasoning from Meta-reinforcement Learning
》。論文認為發現和利用環境中的因果結構是智能體面臨的一大關鍵挑戰。圍繞這一問題，Deepmind 團隊探索了元強化學習來實現因果推理（cause reasoning）的可能。通過使用無模型強化學習訓練一個循環網絡來求解一系列包含因果結構的問題，訓練後的智能體能夠在全新的場景中執行因果推理，從而獲得獎勵。智能體可以選擇信息干預、根據觀察數據得出因果推論以及做出反事實的預測。儘管也存在已有的形式因果推理算法，論文結論表明這些推理也可以由無模型強化學習產生，並提出這裡給出的更多端到端的基於學習的方法也許有助於在複雜環境中的因果推理。通過讓智能體具備執行——解釋——實驗的能力，該研究也能為強化學習中的結構化探索提供新的策略。
從這個角度出發，強化學習為機器智能推理提供了一種可能。
基礎篇：《Data 8，foundations of data science》
第一本是課程《Data 8，foundations of data science》的教材。這門課程主要介紹了統計學、推理、計算機科學的一些基礎理論與關鍵技術，以及如何提出數據問題。教材中包含了數據科學方向學生需要了解的基礎知識，是以開源項目的形式進行維護的。
項目地址：
https://github.com/data-8/textbook
教材地址：
https://www.inferentialthinking.com/chapters/intro.html
作者：Ani Adhikari，John Denero
進階篇：《Principles and Techniques of Data Science》
這門課在Data8之後，需要讀者具備基本的table操作能力、機率概念、分布、分類等先修知識，還需要有Python編程基礎。
項目地址：
https://github.com/DS-100/textbook
教材地址：
http://www.textbook.ds100.org/
作者：Sam Lau，Joey Gonzalez，Deb，Nolan
計算到推理，需要我們系統的學習和了解我們目前科學體系獲取知識的主要方法。其中統計學和實驗方法論是科學家的兩大利器。恰巧強化學習理論在這兩方面都有涉獵。通過對目前數據科學和數據科學家角色的認識，我們更能看清數據如何在現實中發揮決策功能，提高社會生產效率和商業價值最大化。同樣，也給我們新的角度和期盼去實現強化學習在這些領域的價值。
下期預告：強化學習基礎概念