國立中興大學教學大綱

課程名稱	(中) 深度強化學習(6651)
	(Eng.) Deep Reinforcement Learning
開課單位	資工系
課程類別	選修			學分	3	授課教師	陳煥
選課單位	資工系 / 碩士班			授課使用語言	中文	英文/EMI		開課學期	1122
課程簡述	本課程將介紹強化學習理論及深度強化式學習理論以及相關應用實務。強化學習是機器學習中的一個領域，不同於傳統機器學習的監督是與非監督式學習，而是強調如何基於環境而行動的智慧代理人動作，以取得最大化的預期利益。首先將介紹強化學習理論及元素，之後將從簡入深說明如何設計一個強化學習系統，最後教授結合深度學習理論之深度強化學習應用。
先修課程名稱								課程含自主學習	N

課程與核心能力關聯配比(%)			課程目標之教學方法與評量方法
課程目標	核心能力	配比(%)	教學方法	評量方法
本課程將介紹強化學習理論及深度強化式學習理論以及相關應用實務。首先將介紹強化學習理論及元素，之後將從簡入深說明如何設計一個強化學習系統，最後教授結合深度學習理論之深度強化學習應用。	1.具備資訊科學素養、資訊理論與數學分析之能力 3.具備分析、設計與實作資訊軟體系統之能力 6.具備自我學習、溝通協調與團隊合作之能力	20 50 30	講授	書面報告 口頭報告 作業 實作
授課內容(單元名稱與內容、習作/每週授課、考試進度-共18週)
週次 授課內容 第1週 課程大綱與深度強化學習簡介-課程簡介,用書,參考資料,課程評量與作業 第2週 馬可夫決策問題與強化式學習架構 第3週 人工智慧環境與智慧代理人與有限馬可夫鏈線性方程組解 第4週 MDP and DP馬可夫決策過程與動態規劃 第5週 策略與價值函數 第6週 Grid World Problem 第7週 狀態價值函數及動作價值函數 第8週 期中報告 第9週 蒙地卡羅方法(Monte Carlo Methods) 第10週 時間差分學習(Temporal-Difference Learning) 第11週 Q-learning and Sarsa algorithm 第12週 Pytorch programming for Deep Learning 第13週 深度強化學習 DQN 第14週 經驗回放與DQN variants 第15週 Advanced DRL models and new emerging applications 第16週 期末計畫報告 第17週 自主學習(各小組自主學習討論完成期末計畫與報告) 第18週 自主學習(各小組自主學習討論完成期末計畫與報告)
學習評量方式
1. 程式設計與作業75% 2. 期末專題 25%
教科書＆參考書目(書名、作者、書局、代理商、說明)
(1) Reinforcement Learning - An introduction, Richard S. Sutton and Andrew G. Barto, A Bradford Book The MIT Press Cambridge, Massachusetts London, England 2017.11 (本書含有練習用的source code 可自github download) (2) 最新人工智慧應用：用強化學習快速上手AI 作者：郭憲、方勇純 出版社：佳魁數位 出版日：2018/6/11 (3) 用Python實作強化學習|使用TensorFlow與OpenAI Gym 作者：Sudharsan Ravichandiran 追蹤作者 ? 出版社：碁峰資訊 追蹤出版社 ? 出版日：2019/5/29 ISBN：9789865021412 (4) 動手做深度強化學習 (Deep Reinforcement Learning Hands-On) Maxim Lapan 劉立民出版商:博碩文化 出版日期:2019-11-11 (5) 核心開發者親授！PyTorch深度學習攻略 作者： Eli Stevens、Luca Antiga、 出版社： 旗標 追蹤出版社 出版日：2021/7/23
課程教材（教師個人網址請列在本校內之網址）
課程輔導時間
Wed 12:00-2:00 pm
聯合國全球永續發展目標
提供體驗課程：N

請尊重智慧財產權及性別平等意識，不得非法影印他人著作。
更新日期 西元年/月/日：無	列印日期 西元年/月/日：2024 / 5 / 03
MyTB教科書訂購平台：http://www.mytb.com.tw/