國立中興大學教學大綱

課程名稱	(中) 巨量資料分析(6065)
	(Eng.) Big Data Analysis
開課單位	統計所
課程類別	選修	學分	3	授課教師	陳律閎
選課單位	統計所 / 碩士班	授課使用語言	中文	英文/EMI		開課學期	1111
課程簡述	隨著各種軟硬體技術的發展，資料蒐集與取得變得越來越容易；為了分析與應用越來越大量的資料，巨量資料分析逐漸成為顯學。然而，如此巨大的資料為統計學家帶來許多新的挑戰： 1. 統計學家慣用的軟硬體設備常已無力應付如此巨大的資料 2. 巨量資料的來源亦與統計學家習慣處理的資料迥異：傳統的統計資料通常來自對某個母體的隨機試驗，然而巨量資料往往來自於對母體選擇性的觀測，甚至可能混雜了許多與研究對象無關的資料。舉例而言，youtube保存了上億名使用者對音樂與電影的喜好評比，然而運用這些資料預測音樂與電影的實際票房往往與實際結果差距甚遠，因為youtube的使用族群並不能完全代表票房的母體。 3. 巨量資料想分析的問題往往極為複雜，如心血管影像希望分析的是血管是否暢通、社群網路資料希望處理的則是人際關係的問體等。如何設計適當的統計模型來處理這些複雜的資料是個極大的挑戰。 4. 巨量資料的資料品質可能很差，如資料遺失、量測誤差等。如何設計可計算的統計模型來處理這樣的資料是個很大的挑戰。本課程將教導大家如何克服上述困難。首先，我們會介紹如何在使用各種巨量資料平台；接下來我們會簡單的回顧分析巨量資料時需具備的統計思維；最後我們會以各種範例教導學生如何設計正確的統計模型來分析各種複雜的巨量資料。
先修課程名稱						課程含自主學習	N

課程與核心能力關聯配比(%)

課程目標之教學方法與評量方法

課程目標

核心能力

配比(%)

教學方法

評量方法

1. 如何使用巨量資料計算平台
2. 介紹巨量資料所需的統計思維
3. 介紹巨量分析所需之統計方法與其在巨量資料計算平台中的實作

1.統計思維與邏輯推理

2.資料分析、模型建構與軟體應用

4.專業知識與外文文獻研討

專題探討/製作

習作

討論

講授

書面報告

口頭報告

作業

授課內容(單元名稱與內容、習作/每週授課、考試進度-共18週)

週次	授課內容
第1週	Introduction
第2週	Review of basics: dplyr vs Pandas
第3週	Review of basics: caret vs scikit-learn
第4週	Bigmemory vs Modin
第5週	Introduction to database: dbplyr vs Ibis
第6週	Distributed dataframe: sparklyr vs Koalas
第7週	Big data visualization
第8週	Distributed computing by Apache Spark: PySpark vs sparklyr
第9週	Linear regression for big data
第10週	Linear regression for big data
第11週	Model selection instead of inferencing
第12週	Generalized linear models
第13週	Dimension reduction
第14週	Missing data imputation
第15週	Robust methods
第16週	Nonparametric regression
第17週	Nonparametric regression
第18週	Term project presentation

學習評量方式

作業:30%
期中報告: 20%
期末報告: 50%

教科書＆參考書目(書名、作者、書局、代理商、說明)

課程教材（教師個人網址請列在本校內之網址）

iLearning

課程輔導時間

TBA

聯合國全球永續發展目標

提供體驗課程：N

請尊重智慧財產權及性別平等意識，不得非法影印他人著作。
更新日期西元年/月/日：2022/09/06 23:33:22	列印日期西元年/月/日：2025 / 2 / 05
MyTB教科書訂購平台：http://www.mytb.com.tw/