分析這件事情，在小弟剛入行的時候，叫做data mining。Mining的概念小弟至今仍然覺得非常貼切傳神。回首學生時代，當時也沒有【搞資料】這件事情的想法，縱使業界已經如火如荼的開始了。學校停留在基礎打底，小弟也同樣覺得是好的。
基礎打好，未來應用只是將方式套上去而已。學習基礎是曠日費時，又沒有立即成果展現的。職場多數的職位通常不允許打基礎的學習時間。基礎就是計量科學，包含數學、統計、經濟、資訊系統、資料處理等等。範圍廣，卻也有其明確界線。
彭教授有篇關於計量科學的想法，很值得一看。
後來，data mining就演變成”big data”。很有趣的部分在於，風向這時候就從「資料分析」稍微轉向成為「資料處理」。分析本身的價值稍微轉淡，大家跟風買著貴桑桑的各種機器架構，號稱能處理海量的資料。持平而論，能夠處理資料的量級當然是越大越好，然而這跟資料分析，資料分析之後的商業策略，商業策略之後的商業應用，應用之後的回饋檢驗，關係實在沒那麼直接。以至於到了真的檢視價值的時刻，就被直接批判。而很多搞資料的朋友，就在這邊停下了腳步，甚為可惜。完成一個資料的data platform(data warehouse)本身就是個重要且無可取代的工作。
為了逃過這個批判，machine learning應運而生。這邊要先洗白，以免等等黑的時候，有太多爭議。
Machine learning確實非常有價值也有用！不過這是限定在找到其商業應用，與商業價值連動的前提之下。在探索資料本身，是有其成本存在的，只要有完善的工具框架與工作流程，一般統計方法應該可以應付90%以上的商業問題，不誇張，90%可能還低估。
剩下10%的問題，需要更精準、更自動化的資料分析需求，ML此時就發揮它的價值。嘉惠於硬體的發展，類神經網路重新站上舞台，幫我們處理龐雜的網路資訊。進階一點的狂熱份子，請注意，是10%中的10%，覺得太無聊，於是往更深的領域去探索。有的朋友走向feature engineering，有的朋友走向了artificial intelligence(AI)。
不負責任的猜有些朋友褲子脫了一半就為了看到這個字出現吧… 是的AI出現了。此時ML框架不再局限，能處理的應用越來越多，越來越快。每個ML的包都希望自己能夠成為AI。嚴格定義AI，是要能夠擁有自主智慧的仿生體，才算是「智慧」吧。不過廣義泛稱，我們把各種準確的判斷ML結果，都叫做AI。看看未來是否有【要你命3000】，把各個library包起來變成真正的智慧體。舉凡影像辨識，文字情緒，媒體喜好推薦，下圍棋，玩即時戰略遊戲，都是AI眾多應用情境之一。
回到嚴格定義，我們還沒辦法創造一個從早餐吃什麼，感到快樂，一路整體判斷到下班休息玩遊戲，如此多元全面的個體。更重要的是，這個仿生體是活在自己的意識之中，不是只是為了完成某項人類想要做的應用。
Rocker不撐傘，Rapper不上班，為了代表夜貓族所以不吃早餐
這一切的基礎，就是計量科學，資料科學，是程式，是統計學，是數學。資料本身又可以切分為兩大類，資料工程與資料分析，比較誇張的公司，可能就一個DBA從頭用到尾。認真討論此事，DBA只負責data warehouse的管理，頂多做一些DB， Table的建立。
要用什麼邏輯撈取資料，資料該做什麼樣的處理，整體資料流程框架的維護、使用，整合新的資料需求，都應該算是資料工程師的範疇。資料分析，那就又是資料分析人員的事情了。
資料分析人員所應具備的技能，就是上篇邏輯等等，與本篇提及的學科。分析人員應該，且必要的接近商業一線營運人員，能夠維持商業訊息的敏銳，確保營運邏輯沒脫鉤，並且反饋時才不會提出「不食人間煙火」的建議。每個策略都是$$$$$啊各位！
不論是什麼技能，只要能夠完成商業需求，就是合格的技巧，並不是非要一個高大上，沒有人能理解的高深技巧。所以，data mining、big data、ML、AI都只是工具，你真的解決商業的需求了嗎？真的賺錢了嗎？
看到求職技能要求，或是面試現場，常常會問: 你懂ML嗎？你會AI嗎？你懂OOXX 演算法嗎？小弟都會直接的回問：請問貴公司有很直接的商業連動嗎？如果有，那小弟願意繼續討論ML的框架與想法，否則你倒不如問我有哪些專案使用了什麼clustering的演算法解決了客戶分群的問題經驗嗎？或是怎麼解決定義客戶價值，這比較有意義。就算一個超強演算法創造博士，他不見得對商業有sense，屆時就又出現原來某校畢業的博士，某演算法，也不過如此之類的言論，都是非常可笑而且徒然浪費雙方時間、浪費公司的錢。
小弟舉個實例，業界號稱最強的DeepMind公司，目前檯面上最強的project就是以AI打知名即時戰略遊戲「星海爭霸II」。Google有錢任性，燒得起。首先我先質疑許多業界公司所謂"AI"的定義。再來，公認最強的公司目前還在「打星海」…. 對的，用台灣家長短視近利的思維來說----「中二病年輕人浪費時間打星海，打星海能賺錢嗎？神經病」貴公司真的有善用AI協助業務本身嗎？小弟必須點醒這個點。
不管什麼方法，有邏輯，有條理，有效率的朝向共同的商業目標前進，那就是好的方法技能。
各位對分析技能又有什麼想法呢？
上一篇
下一篇
