常有許多投資人致力研究過去股價漲跌與某些”訊號”間的關係。譬如他發現，當某某條件成立，股價就會如何改變，而且屢試不爽時，他就會興奮的像發現新金礦，在這個基礎上建立”交易規則”，然後開始著手淘金。
很有趣的方法，也的確有很多人如此努力從事。
但這方法有幾個很大的問題。
首先，假如某人看到一份過去股市漲跌資料，卻無法從中看出什麼時候要買，什麼時候要賣，才會賺錢的話，那可以說，(我想要一個比較客氣的用詞)，他就是一個笨蛋。
假如一個投資人，看到過去資料，可以從中找到搭配某些訊號就可以達到買高賣低的目標時，我們不能說他很聰明，頂多，他是不笨而已。
而這個不笨的投資人，往往從這個起點開始，智商成等比衰退。
首先，他們通常不知道什麼是In-sample和Out-of-sample test。
他們滿口說回測回測。從十年的資料中找到的規則，就在這十年之中進行測試。我怎樣都想不到這樣為什麼不會成功。為什麼要反覆確認自己不笨?
這是什麼回測?
在十年資料中找到的規則，然後就在這十年之中進行驗證，這叫In-sample test，這是證據強度極差的測試方法。
一整組資料中往往可以從中找到兩個相關的變數。為了證明這份相關性不是剛好在這組資料中出現的事件。為了證明，這份相關性，不是因為觀察者亟需”成果”，亟需要相關性讓他建立”交易方法”，而從資料中拼命挖掘的Data mining結果。
最好的方法，是將這個相關性，拿到當初導引出這個規則的資料之外，進行測試。
譬如，投資人有十年的資料可以讓他觀察。那麼，他可以從前五年的資料中，找到某種規則，然後在後五年的資料中驗證。這就是一個Out-of-sample test。
任何說自己找到某種交易規則，過去驗證起來，無往不利，然後就彷彿找到投資的倚天神劍，準備一統武林的人，假如他的驗證方法是In-sample test，那麼很不幸的，他的神鋒其實是木劍，而且他要面對拿槍的現代兄弟。
滿口回測，好像知道什麼高深的投資技巧，測驗方法打開一看，居然是In-sample test。這種狀況，惟一需要送回工廠重新測試的，不是什麼投資方法交易規則，是想出這個方法的腦袋。
還有人可以用整套In-sample test，寫出一整本書，書名通常是交易聖經、必勝寶典，之類的用詞。自己不懂就算了，還害到其他不懂的投資人。
一看到這種交易規則，投資人第一個直覺動作應該是，馬上看有沒有做過Out-of-sample test。沒有，螢幕關上、書闔起來，Byebye、再見。提出方法的人，應是不笨。但在投資路上，要勝過別人，光靠不笨，恐怕不夠。(靠承認自己很笨，倒是很夠。)
再來，這些致力於尋找交易規則的人，往往忽略這些”訊號”，是否能合理解釋價格波動。
不是因為投資人想事先知道價格波動，所以所有剛好同期的經濟或市場變數，就都可以拿來解釋價格波動。
沒研究不知道。或許每年二月太陽黑子的數目與美股漲跌有關。或許前一年登陸台灣的颱風數目，與今年的台股有關。
這有道理嗎?假如有些自然變數，被發現與人為市場的起伏有關，這可以拿來當交易規則嗎?(也不完全不行，占星也可做為股市指引。)
相同的道理應用的市場方面，卻很多人以為，只要是經濟和市場相關變數，只要它能解釋價格變化，那就是合理，可用的。
是嗎?
任何經濟或股市變數，假如沒有一個說得通的道理，可以合理解釋為什麼它可以是股價變化的徵兆，那麼這個變數，不足以做為交易規則的基礎。這種”無釐頭”訊號，太常又是Data mining的成果。
許多致力於交易規則的人，不知道In-sample和Out-of-sample test的分別，忽略變數需有合理的解釋。將自己看出過去規則這個不笨的舉動，看作是投資致富的聰明法則。以為自己要出發淘金，其實等著他的，只有愚人金。
原始全文可見:http://greenhornfinancefootnote.blogspot.com/2009/08/in-sample-and-out-of-sample-test.html
data mining應用 在 Data Mining 的應用實例 - iT 邦幫忙 的相關結果
科學上的應用 ... 在遺傳學上，data mining 可以幫助科學家做DNA 的分析，找出DNA 中的一些變化和某些疾病或癌症是否有關聯。 至於在教育上，我們可以分析學習者的資料及學習 ... ... <看更多>