小數(shù)據(jù)企業(yè)的大數(shù)據(jù)時代

1、<p>　　小數(shù)據(jù)企業(yè)的大數(shù)據(jù)時代</p><p>　　大數(shù)據(jù)業(yè)已成為管理界的時尚元素。然而，在大數(shù)據(jù)的盛宴中，谷歌、臉書的成功案例卻如同魚翅、鮑魚一般難以進入尋常企業(yè)，大部分國內(nèi)企業(yè)對大數(shù)據(jù)還是丈二和尚摸不著頭腦。如何在技術(shù)、預算、人才的多重制約下，揭開大數(shù)據(jù)的神秘面紗，應用現(xiàn)有資源做好大數(shù)據(jù)管理是真正需要關(guān)注的問題。 </p><p>　　大數(shù)據(jù)時代并非“忽如一夜春風來”，其

2、理念在信息時代以前就有成功應用，只不過隨著技術(shù)手段的不斷成熟，現(xiàn)在實現(xiàn)起來更加容易。事實上，美國職業(yè)籃球聯(lián)賽（以下簡稱NBA）從1980年代起使用的數(shù)據(jù)管理技術(shù)就是大數(shù)據(jù)的雛形，經(jīng)過近30年的積累和完善，為我們提供了成熟的大數(shù)據(jù)管理經(jīng)驗，非常值得借鑒。也許有人會質(zhì)疑，NBA一共只有30支球隊，每支球隊每年才打82場常規(guī)賽，其蘊含的數(shù)據(jù)甚至比不上谷歌一分鐘的搜索量，NBA真的有大數(shù)據(jù)嗎？歸本溯源，還是要從大數(shù)據(jù)的概念入手。按照暢銷書《大數(shù)

3、據(jù)時代》對大數(shù)據(jù)的詮釋，這個“大”并非必須是太字節(jié)（240字節(jié)）的數(shù)據(jù)，“大”取的是相對意義而不是絕對意義。 </p><p>　　筆者嘗試將此書中對大數(shù)據(jù)的概念總結(jié)為一個前提、三大特點和一個目標： </p><p>　　前提：一切都是數(shù)據(jù)。 </p><p>　　特點一：向抽樣說不。 </p><p>　　特點二：向完美主義說不。 <

4、/p><p>　　特點三：向因果關(guān)系說不。 </p><p>　　目標：替人腦做不擅長的工作。 </p><p>　　下面將以NBA的數(shù)據(jù)管理經(jīng)驗為例，對其進行詮釋。 </p><p>　　相信沒有人會否認，將事件轉(zhuǎn)化為數(shù)據(jù)是大數(shù)據(jù)管理的前提。NBA比賽是球員和球的運動，如果不轉(zhuǎn)換成為數(shù)據(jù)就只是錄像資料，靠人工反復回看提取資料效率很低，必須對比賽

5、進行拆解、定義、記錄，將其轉(zhuǎn)換為數(shù)據(jù)才能進行處理分析。 </p><p>　　拆解：將運動員的動作進行層層分解，變成盡可能小的單元，如將運動員場上行為先分為進攻、防守，再將進攻分為有球進攻和無球跑動，再將有球進攻分為運球、投籃，再將投籃分為上籃、中投、遠投。拆解類似于巴巴拉 ? 明托在“金字塔原理”中提出的MECE（即Mutually Exclusive Collectively Exhaustive），中文意思

6、是“互斥，完全窮盡”，“相互獨立”意味著問題的細分是在同一維度上并有明確區(qū)分、不可重疊，“完全窮盡” 則意味著全面、周密。 </p><p>　　定義：每一項拆解后的動作均有相對準確的定義，明確內(nèi)涵和外延。如籃板球就是投籃不中后搶到并且控制住球的行為，碰到球但是未能控制住或者直接碰出界的球不算有效籃板。定義準確可以確保拆解出來的元素具有明確的含義。 </p><p>　　記錄：將拆解后且有

7、準確定義的行為編碼為數(shù)據(jù)儲存起來。NBA記錄了球員在比賽中的上場時間、得分、籃板、搶斷、蓋帽、失誤等一系列基礎數(shù)據(jù)，并且放在公開的數(shù)據(jù)庫里，可供任何人隨時查詢，這也是NBA進行決策的依據(jù)?，F(xiàn)在的存儲成本幾乎已經(jīng)低到了可以忽略的程度，隨便一塊硬盤都是以TB為計量單位，更不要說日趨成熟的云技術(shù)。編碼過程相對復雜，以往NBA使用人工進行記錄，每場比賽都會有若干工作人員全神貫注地記錄每一個細節(jié)，而現(xiàn)在使用了SportVU系統(tǒng)，這個系統(tǒng)將最先進的

8、導彈追蹤技術(shù)引入NBA，通過在球場架設的多臺攝像機全面收集數(shù)據(jù)，用電腦自動將比賽過程的每個細節(jié)轉(zhuǎn)化為數(shù)據(jù)存儲，節(jié)約了大量的人力成本。 </p><p>　　有了拆解、定義、記錄的方法，可以將絕大多數(shù)企業(yè)中的絕大多數(shù)事件和行為轉(zhuǎn)化成為數(shù)據(jù)，也就有了實施大數(shù)據(jù)管理的基礎。其中，拆解和定義環(huán)節(jié)只需要熟悉本行業(yè)的流程就很容易實現(xiàn)，科學管理的先驅(qū)泰羅在20世紀初就將工人搬運等動作成功轉(zhuǎn)化為數(shù)據(jù)。最大的難題還是出在記錄環(huán)節(jié)，

9、靠人工記錄一組搬運的數(shù)據(jù)不難，但是僅憑人工記錄所有搬運數(shù)據(jù)顯然是天方夜譚。我們必須承認，即使是現(xiàn)在的科技也不可能記錄編碼所有行為，但在技術(shù)的幫助下可以做得更好。例如可以完善現(xiàn)有的IT系統(tǒng)，使系統(tǒng)可以記錄更多信息。以餐飲行業(yè)為例，基本每個餐廳都有點菜系統(tǒng)，通常只具備簡單的計算功能，可以進行技術(shù)升級以記錄更多信息，例如可以增加數(shù)據(jù)存儲字段記錄顧客點菜時間和結(jié)賬時間；可以通過與會員卡綁定記錄顧客消費行為和消費習慣；可以分解記錄每位服務員的服務

10、業(yè)績；可以記錄菜品投訴和退菜情況事實上只要多花些功夫，僅僅投入不大的成本就可以在現(xiàn)有技術(shù)條件下收集到更多的數(shù)據(jù)，對于無法完整轉(zhuǎn)化的事件和動作，可以選擇暫時擱置或者等待技術(shù)完備時再進行記錄（可以預計，動作識別和語音識別的低成本化指日可待）。 </p><p>　　特點一：向抽樣說不 </p><p>　　――但求廣度的非抽樣整體數(shù)據(jù)采集技術(shù) </p><p>　　所謂

11、抽樣就是全體中抽取一部分樣本，其基本要求是要保證所抽取的樣本對全體具有充分的代表性，即要確保樣本有和全體一樣的特性。在計量成本很大，技術(shù)達不到的情況下，抽樣是無奈之舉，但如果能夠低成本高效率的統(tǒng)計全體數(shù)據(jù)，抽樣就是畫蛇添足。而且由于抽樣技術(shù)本身的制約及隨機性因素，抽樣很容易出現(xiàn)以偏概全的問題。在邁克爾 ? 劉易斯的《點球成金》（Money Ball）中，傳統(tǒng)的棒球球探通過觀察球員在部分場次比賽是否有諸如本壘打之類精彩發(fā)揮來評估球員，以往

12、的NBA選秀（從大學、高中或海外選拔新球員）也依靠球探的主觀印象，這就是典型的通過抽樣來評估球員的手段。體育運動的特點決定了，個人狀態(tài)很大程度影響一場或者幾場的發(fā)揮，如果球探看到的比賽正好是某位球員手感爆發(fā)或者手感冰涼，那么就難免會出現(xiàn)偏見。 </p><p>　　企業(yè)中的管理者評估人員、事件都會不知不覺地用到抽樣的方法，其中也存在了大量的偏見。比如近因效應使員工年末表現(xiàn)影響其年度考核，比如某個很小的突發(fā)事件影響

13、到全局的決策，這些不自覺的抽樣導致了偏見的產(chǎn)生，甚至形成管理上的“迷信行為”。 </p><p>　　因此，這就需要在收集數(shù)據(jù)的層面盡可能完備，追求數(shù)據(jù)廣度，在技術(shù)上能實現(xiàn)、成本可控制的前提下，將盡可能多的數(shù)據(jù)記錄下來，至于這些龐雜的數(shù)據(jù)是否真的“有用”不要由人腦來判斷，而要交給計算機來分析，很可能最不起眼的信息反而與結(jié)果的相關(guān)性最大。 　　例如消費科學教授邁克爾 ? 韋德爾研究發(fā)現(xiàn)，之前有些人總認為產(chǎn)品上的圖

14、片越大越好（一些抽樣問卷調(diào)查容易形成這樣的偏見），但通過眼球跟蹤技術(shù)，則發(fā)現(xiàn)由于人腦對圖像處理的能力很強，因此圖片尺寸的作用并不大。 </p><p>　　大到跨國公司，小到街旁小鋪都可以在不抽樣的前提下記錄整體數(shù)據(jù)。大企業(yè)的例子比比皆是，就不再贅述。以小便利店為例，原來只能通過抽樣調(diào)查統(tǒng)計客流量，而安裝一個攝像頭就可以通過軟件統(tǒng)計所有客流；原本需要做客戶調(diào)查才能了解會員偏好，現(xiàn)在只要通過會員卡號中記錄的消費記錄

15、就能掌握客戶信息。管理者應該清查一下自己手中的數(shù)據(jù)，哪些是抽樣獲得的不靠譜數(shù)據(jù)，是時候?qū)⑦@些數(shù)據(jù)替換為整體數(shù)據(jù)了。 </p><p>　　特點二：向完美主義說不 </p><p>　　――兼收并蓄、不求精確的模糊數(shù)據(jù)管理技術(shù)國內(nèi)一直流行將一些概念無條件的放大，比如所謂“細節(jié)決定成敗”就荼毒了相當多的管理者，一味追求每個細節(jié)都無比精確。殊不知，細節(jié)是個雙刃劍，盲目追求精確勢必造成成本（財務、

16、時間、管理）飆升。 </p><p>　　大數(shù)據(jù)管理要求數(shù)據(jù)盡可能多，而不太在乎是不是每個數(shù)據(jù)都精確，甚至樂于從錯誤的信息中獲取價值。 </p><p>　　NBA的數(shù)據(jù)管理從未也不可能做到精確，在高速運動下即使是計算機也很難確保不出錯。比如，兩個本方球員同時伸手將球碰出界，記錄這個失誤數(shù)據(jù)到底算到哪個球員身上，勢必存在誤差。如果一定要鬧個明白，必然耗費大量時間和精力，得不償失。而且NBA

17、很多數(shù)據(jù)都依賴于裁判，比如犯規(guī)數(shù)，裁判依靠眼睛判斷如此高強度高對抗的比賽，犯錯誤的概率非常高，數(shù)據(jù)必然不準。但在大數(shù)據(jù)的概念下，這些誤差放在某個運動員一年甚至整個職業(yè)生涯中反而不會對數(shù)據(jù)分析結(jié)果有任何影響。 </p><p>　　企業(yè)應用大數(shù)據(jù)管理，一定要在可以容忍的范圍內(nèi)允許瑕疵的存在，避免因噎廢食。舉個虛擬的案例，一家銀行要記錄客戶辦理業(yè)務平均等候時間，通過計算客戶拿號時間和辦理業(yè)務時間得到。這個銀行的管理者

18、開始思考，如果有個別客戶拿錯了號怎么處理；如果有個別客戶拿了很多號會不會虛增了辦理業(yè)務時間；如果叫號機和系統(tǒng)時間不同步怎么辦。相信如果這位管理者一直糾結(jié)于這些細節(jié)問題，總在完善統(tǒng)計過程，那么永遠也不會得到數(shù)據(jù)。只要不是系統(tǒng)問題，個別小的誤差，在大數(shù)據(jù)量的前提下，對于決策的影響是微乎其微的。戰(zhàn)勝完美主義的心魔，容忍不那么完美的數(shù)據(jù)才能夠用好大數(shù)據(jù)。 </p><p>　　特點三：向因果關(guān)系說不 </p>

19、<p>　　――忽視因果、重視關(guān)聯(lián)的數(shù)據(jù)分析技術(shù) </p><p>　　從認知的角度講，人類非常喜歡因果關(guān)系，為了解釋錯綜復雜的外界環(huán)境，必須建立高效簡潔的知識體系。因為看見烏云密布狂風大作，出門就一定要帶好雨具，否則就會被雨淋；如果觸碰電源就會被電擊。人們通過傳承掌握因果知識體系，省去嘗試而造成的風險和成本。因此，總結(jié)因果規(guī)律是人類得以傳承繁衍的本能。但是，隨著科學的發(fā)展和社會復雜程度升高，這種因

20、果關(guān)系受到了越來越多的挑戰(zhàn)，量子物理的“測不準原理”等研究使我們不得不重新認識這個世界；經(jīng)濟領(lǐng)域突然出現(xiàn)的股市崩盤和經(jīng)濟危機幾乎很難被預測，只有事后諸葛亮式的說法層出不窮；人們的行為更是難以預測，所謂經(jīng)濟學的“理性人”假設只會出現(xiàn)在學術(shù)論文中；企業(yè)管理更是如此，只要實施諸如六西格瑪之類的管理項目就必然導致績效提升的因果關(guān)系根本不可能實現(xiàn)，只是一些CEO忽悠投資者的法寶和咨詢公司欺騙企業(yè)的靈丹妙藥。 </p><p&g

21、t;　　在哲學界和科學界，卡爾波普爾打破了對以往絕對真理（其實就是有因必有果的決定論）的普遍至信，承認隨機的重要性，主張試錯和證偽。但是，大范圍的試錯成本太高，無法替代低成本的因果關(guān)系帶來的便捷，所以在信息科技成熟以前，因果關(guān)系始終在決策中起到主導作用。飛速發(fā)展的大容量存儲和云計算技術(shù)終于可以從因果關(guān)系的壟斷中分得一杯羹了。 </p><p>　　在因果關(guān)系時代，NBA評估球員的標準是跑得快、跳得高、投得準等等，

22、一般的因果關(guān)系假設，這方面出眾的球員就能在比賽中表現(xiàn)出色。而通過數(shù)據(jù)分析，NBA有了很多新的評估手段，打破了這種因果關(guān)系。比如有一項數(shù)據(jù)反映球員在場上時雙方得分對比、球員不在場上時雙方得分對比。某球員個人能力超強，在場上得分如探囊取物，但上述數(shù)據(jù)卻顯示他在場上時對方得分更多；反之，有的球員跑得不快、跳得不高、投得不準，但只要他在場上，全隊得分比對方高，這顯然不符合因果關(guān)系的邏輯，甚至要想分析原因進行倒推都幾乎是不可能的，因為原因也許非常

23、復雜：有可能是他和隊友私下關(guān)系不好，導致士氣受損；有可能是他防守能力差，使對位的對方球員得分變得容易；有可能是他和某個隊友位置重疊，無法充分發(fā)揮甚至可能是不同因素疊加而成。教練在決定球員上場時間時，根本沒有時間考慮這么多的因果關(guān)系，只需要根據(jù)數(shù)據(jù)分析的結(jié)果，讓能夠使球隊得分更高的球員多上場就可以了。 </p><p>　　取代一部分因果關(guān)系的工具就是不同數(shù)據(jù)之間的相關(guān)關(guān)系，數(shù)據(jù)告訴我們個別球員上場時間和球隊得分之

24、間存在關(guān)聯(lián)，也許數(shù)據(jù)還會告訴我們，球員身高體重比和球員三分命中率相關(guān)，球員英俊程度和搶籃板的能力成反比（后面僅是假設）。 </p><p>　　通過大數(shù)據(jù)找到意想不到的關(guān)聯(lián)有三個必要條件。 </p><p>　　首先，不要在分析或者收集數(shù)據(jù)過程中有任何偏見或者假設，避免在收據(jù)收集過程中就帶有偏見，只收集部分感興趣的數(shù)據(jù)。 </p><p>　　其次，使用計算機對各組

25、數(shù)據(jù)進行交互相關(guān)性分析，這里涉及統(tǒng)計學和計算機知識，不過可能只要招聘一個計算機專業(yè)的研究生就能勝任。也許有人會問，這么多組數(shù)據(jù)，相互做相關(guān)性分析，排列組合的數(shù)量也很大，是不是會花很多時間。其實并非如此，現(xiàn)在計算機的處理速度足以完成這些運算，即使數(shù)據(jù)量大，也可以使用云計算提高效率。 </p><p>　　相關(guān)性有一個特例就是加入時間軸，分析數(shù)據(jù)變化趨勢。NBA將球員和球隊每場比賽的數(shù)據(jù)記錄以后自然形成了一系列數(shù)據(jù)，

26、通過對一段時期中比賽的數(shù)據(jù)分析，就很容易看出球員各種表現(xiàn)的發(fā)展趨勢。分析變化趨勢的目的是預測和輔助決策。某個球員如果近期表現(xiàn)大幅提升，球隊就會考慮增加其上場時間，讓他發(fā)揮更大的作用。如果某個球員三分球命中率持續(xù)上升，球隊就可能專門為這個球員布置三分球戰(zhàn)術(shù)。而球員單場的靈光一現(xiàn)，往往不會促使球隊做出類似的決策。 　　將時間加入到相關(guān)性分析中也很容易應用，畢竟時間這個信息是最容易記錄的。還以餐飲行業(yè)為例，將每天不同菜品的數(shù)據(jù)進行記錄，就形

27、成月度、季度、年度數(shù)據(jù)，可以判斷每個菜品在不同季節(jié)的銷量；菜品是否存在明顯的淡旺季；某些菜品是否已經(jīng)不再流行等等。從而在原材料、營銷策略等方面做出調(diào)整。 </p><p>　　再次，找到相關(guān)性后不刻意解釋為什么會出現(xiàn)這樣的相關(guān)，避免再度陷入因果關(guān)系的魔咒中。 </p><p>　　目標：替人腦做不擅長的工作 </p><p>　　――自然而然地使用相關(guān)性預測未來 &

28、lt;/p><p>　　有了相關(guān)性分析的結(jié)果，做決策并不是一件太難的事，因為計算機已經(jīng)做了90%的工作。 </p><p>　　以NBA為例，無論是球員轉(zhuǎn)會、教練布置戰(zhàn)術(shù)、臨場指揮甚至商業(yè)決策全都依靠這些數(shù)據(jù)，投資者、球隊、教練、球員、媒體、球迷都可以從數(shù)據(jù)中取得自己需要的內(nèi)容。假如一個球隊主力控球后衛(wèi)受傷需要一名新的控球后衛(wèi)，那么用什么指標來選擇呢？控球后衛(wèi)是場上的靈魂，主要負責運球和組織全

29、隊進攻，可以理解為給全隊輸送炮彈的人，評價控球后衛(wèi)是否能夠帶動整個球隊就非常重要，通過數(shù)據(jù)分析控球后衛(wèi)得分、籃板球等指標與成功帶動全隊進攻相關(guān)性不強。而助攻（球傳出后隊友可以直接得分）/失誤比才是真正關(guān)鍵的數(shù)據(jù)，也就是為隊友制造機會的成功率。使用這一指標作為選擇控球后衛(wèi)的KPI就避免了某些后衛(wèi)盲目傳有風險的球，一味提高助攻數(shù)量刷數(shù)據(jù)。2012年美國體壇風云人物林書豪在爆發(fā)期間一直被專家詬病的一點就是失誤太多，所謂成也蕭何，敗也蕭何。20

30、12-2013賽季截至2月3日，林書豪的助攻失誤比僅為2.0，也就是說每送出兩個助攻就要伴隨一次失誤，而頂級后衛(wèi)保羅的數(shù)據(jù)，助攻失誤比為4.6，超出林書豪一倍，顯然更為出色。 </p><p>　　在《點球成金》一書中，使用數(shù)據(jù)作為選人基礎的奧克蘭運動家隊，用最小的投入換取最大的收益，打敗了依靠經(jīng)驗選人的很多財大氣粗的傳統(tǒng)強隊。如今，包括NBA的美國職業(yè)體育界已經(jīng)將數(shù)據(jù)作為決策最重要的依據(jù)，球員打完比賽第一件事是

31、看比賽的技術(shù)統(tǒng)計，教練依靠數(shù)據(jù)決定戰(zhàn)術(shù)和球員上場時間，球隊依靠數(shù)據(jù)交易球員，聯(lián)盟依靠數(shù)據(jù)安排比賽日程，比如重大節(jié)日往往會上演收視率高的強隊對決。 </p><p>　　數(shù)據(jù)是決策的輔助工具，但是絕不可能完全替代人類智慧?？v使NBA的數(shù)據(jù)管理如此完善，做出最終決策的還是一個個活生生的人而不是冷冰冰的計算機，因為數(shù)據(jù)不會設計出有創(chuàng)造力的戰(zhàn)術(shù)配合，不能進行臨場指揮，更不會提升球隊士氣。企業(yè)管理也是如此，數(shù)據(jù)作用再大也只

32、能是管理者的助手。 </p><p>　　數(shù)據(jù)能預測大多數(shù)表現(xiàn)，但是人類不能成為數(shù)據(jù)的奴隸，從哲學角度講，再大、再完美的數(shù)據(jù)也只是更加完善的歸納法而已，對于隨機出現(xiàn)的黑天鵝事件無能為力。有了大數(shù)據(jù)，并不代表解放了人類的大腦，大數(shù)據(jù)是人類走向完美決策路上的一個工具，合理分配人腦和數(shù)據(jù)在決策中的比例尤為重要，既不能完全依靠所謂以經(jīng)驗和認知為基礎的人腦，也不能盲從于循規(guī)蹈矩的電腦，讓人類的創(chuàng)造力與電腦的存儲和計算能力相