AI的未來？你不能不認識的人工智慧與資料科學自動化技術—AutoML(2/10)
一、資料前處理（Data Pre-processing）
資料前處理是機器學習過程中的重要步驟。資料收集方法通常比較寬鬆、缺乏控制，導致收集到的值超出範圍或不合邏輯（例如，收入出現-100），不可能的資料組合（例如，「性別：男性」加上「懷孕：是」的組合）以及缺失值（missing value）等。未經仔細篩選此類問題可能會產生誤導性結果。因此，在進行分析之前，資料的表示形式和品質是首要確認的目標。一般來說，資料前處理是機器學習項目中最重要的階段。
如果存在大量不相關和多餘的訊息，或者存在噪音（noisy）且不可靠的資料，則在訓練階段發現知識將變得更加困難。資料準備和過濾的步驟可能會花費大量的處理時間。資料前處理包括清理（cleaning）、實例選擇（instance selection）、標準化（normalization）、轉換（transformation）、特徵提取和選擇（feature extraction and selection）等。資料前處理的產出是最終的訓練集。MLBox（machine learning box）AutoML套件就提供了許多資料前處理的功能，甚至提供具高穩健性的特徵選擇與資料洩漏（data leakage，意旨資料特徵與預測目標之因果關係的瑕疵，導致得到非常好的預測結果）偵測功能。
automl比較 在 [討論] AutoML都出來了，以後還需要ML專家嗎？ - 看板Tech_Job 的推薦與評價
ML的架構傳統上還是需要有經驗的人來設計，現在連人都不需要了，直接連架構都可以tr
ain出來，那還要ML專家幹嘛？會不會以後大家都負責準備data就好了？
----
抱歉簡體字，我找不到繁體字的資料
https://zhuanlan.zhihu.com/p/42924585
在开发神经网络的过程中，架构工程事关重大，架构先天不足，再怎么训练也难以得到优
秀的结果。
设计神经网络架构，能称得上机器学习过程中门槛最高的一项任务了。想要设计出好架构
，需要专业的知识技能，还要大量试错。
深度学习新方法AutoML
很多人将AutoML称为深度学习的新方式，认为它改变了整个系统。有了AutoML，我们就不
再需要设计复杂的深度学习网络，只需运行一个预先设置好的NAS算法。
最近，Google提供的Cloud AutoML将这种理念发挥到了极致。只要你上传自己的数据，Go
ogle的NAS算法就会为你找到一个架构，用起来又快又简单。
AutoML的理念就是把深度学习里那些复杂的部分都拿出去，你只需要提供数据，随后就让
AutoML在神经网络设计上尽情发挥吧。这样，深度学习就变得像插件一样方便，只要有数
据，就能自动创建出由复杂神经网络驱动的决策功能。
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 175.97.3.214
※ 文章網址: https://www.ptt.cc/bbs/Tech_Job/M.1547695786.A.B59.html
... <看更多>