作者

小川雄太郎

隸屬於株式會社電通國際資訊服務技術本部開發技術部，從事深度學習的機械學習相關技術研發、技術支援，也負責工作型態創新室的HR資料剖析業務。從明石工業高等專門學校、東京大學工學部畢業後，進入東京大學研究所神保、小谷研究室研究腦機能測量與計算理論的神經科學，2016年取得博士學位（科學）。曾擔任東京大學特聘研究員，從2017年4月開始擔任現職。

．GitHub：https://github.com/YutaroOgawa/
．Qiita：https://qiita.com/sugulu

目錄

第1章 強化學習的概要
1.1 機械學習的分類（監督式學習、非監督式學習、強化學習）
1.2 強化學習、深度強化學習的歷史
1.3 深度強化學習的應用實例

第2章 以強化學習建置迷宮課題
2.1 Try Jupter的使用方法
2.2 建置迷宮與智能體
2.3 建置策略迭代法
2.4 整理價值迭代法的專業術語
2.5 建置Sarsa
2.6 建置Q學習

第3章 利用倒立單擺課題學習強化學習
3.1 於本地端電腦建置強化學習執行環境的方法
3.2 解說倒立單擺課題「CartPole」
3.3 說明多變數、連續值狀態的表格表示法
3.4 撰寫Q學習

第4章 利用PyTorch建置深度學習
4.1 神經網路與深度學習的歷史
4.2 解說深度學習的計算方式
4.3 利用PyTorch撰寫分類手寫數字影像的MNIST課題

第5章 建置深度強化學習DQN
5.1 深度強化學習DQN（Deep Q-Network）的解說
5.2 建置DQN的四項重點
5.3 建置DQN（上篇）
5.4 建置DQN（下篇）

第6章 建置深度強化學習的進階版
6.1 深度強化學習的演算法地圖
6.2 建置DDQN（Double-DQN）
6.3 建置Dueling Network
6.4 建置Prioritized Experience Replay
6.5 建置A2C

第7章 於AWS的GPU環境建置打磚塊遊戲
7.1 解說打磚塊遊戲「Breakout」
7.2 於AWS建置使用GPU的深度學習的執行環境
7.3 學習Breakout之際的四項重要事項
7.4 A2C的建置（上篇）
7.5 A2C的建置（下篇）

序／導讀

序

近年來，聽到強化學習、深度強化學習這些關鍵字的機會真的非常多，但「實際建置強化學習」的人卻非常少。現在已是第三波AI的時代，市面上也有許多關於「深度學習」的書籍，但是將焦點放在強化學習或深度學習的書籍，內容往往偏向研究人員的學術研究。學術性的解說重視理論，也會仔細地說明公式與證明過程，但可供實際操作的程式碼卻不多，所以讓非研究者的讀者覺得難以一窺強化學習、深度強化學習的殿堂。

本書以非研究者的一般讀者為主要族群，希望帶著各位讀者邊做邊了解強化學習與深度強化學習，也會盡量介紹與解說可實際操作的程式碼。本書的程式碼皆可下載，希望大家能夠跟著本書的程式碼實作學習。

強化學習與深度強化學習主要有兩大用途，一者是建立機器人的控制規則，一者是建立如圍棋、將棋這類對戰遊戲的戰略。本書介紹的是控制規則的建置，而非圍棋這類對戰遊戲的戰略，不過對於想要建置對戰遊戲戰略的讀者而言，本書的內容雖然基本，卻也能幫上不少忙。

讀者需具備的背景知識
本書的讀者應該都對強化學習、深度強化學習有興趣，卻不知道細節與建置的方法。要讀懂本書的內容需要具備下列三項知識：
．能看懂if、for陳述句
．能自訂方法（函數）
．了解向量與矩陣的乘法

換言之，只要具備粗淺的程式設計經驗以及初階的線性代數知識，就能讀懂本書的內容。本書使用的程式語言為Python。雖然本書的內容連Python初學者都能看得懂，但有時礙於版面，無法一一說明瑣碎的Python基礎知識，建議Python初學者可另行參考網路資訊或Python入門書。