我可能沒有資格回答這個問題，也沒有經歷過壹個公司大數據平臺從無到有再到復雜的過程。不過還是說說吧。只是梳理壹下思路，找噴的問題。
這是壹個需求驅動的過程。
曾經聽過spotify的分享，印象非常深刻。他們分享說，他們的hadoop集群第壹次失敗是因為機器放在窗邊，太陽曬壞了(笑)。從壹個自己窗口前沒有機房的簡單集群，到壹個復雜的數據平臺，這是壹個進化的過程。
對於小公司來說，找壹兩臺機器搭建壹個集群，大概就是壹個大數據平臺。在初始階段，數據量會很小，不需要多大規模。在這個hive上，組件的選擇也很隨意，Hadoop是壹個集合，任務調度使用腳本或者luigi之類的輕量級框架，數據分析可能沒有導入RMDB快。監控和部署可能沒時間整理，用腳本或者輕量級監控，大概沒有ganglia，nagios，puppet什麽的。這個階段可能算是技術積累，是用傳統手段還是真的大數據平臺還很模糊，但對於未來的拓展，此時Hadoop可能是個不錯的選擇。
進入高速發展期，擴張可能跟不上計劃，很多公司可能會把平臺遷移到雲上，比如AWS阿裏雲。小規模高速開發平臺，這種方式要經濟實惠，節省運維管理成本，擴容省心。要解決的問題是選擇平臺自己提供的服務，計算成本，打通數據接入的通道。如果整個數據平臺本身走這條路，可能已經基本成型了。網飛應該是走這條路最出名的壹個。
還有壹個階段，妳發現雲服務的成本太高了。雖然省了妳很多事，但是要花很多錢。等幾個老板合計好了，就繼續玩，下個月發工資。然後無奈之下，公司開始向私有集群遷移。這個時候妳大概需要壹群靠譜的運維來幫妳監管機器。在兩臺或三臺機器登錄以查看狀態並更換磁盤之前，這可能是不可能的。妳面對的是上百臺主機，壹些關鍵服務必須穩定。有些是數據節點。磁盤每三天兩頭磨損，網絡可能不堪重負。妳需要壹個靠譜的人來設計網絡布局，設計運維規範，設置監控，值班團隊7*24小時走，隨時準備引入。然後上面有平臺群，真正的大數據平臺上去了。
然後是選擇。如果有技術實力，可以直接用社區的整套，自己管理，監控自己部署的東西。在這個階段，部署監控和用戶管理不可能像兩三個節點那樣人工。配置管理和部署管理都需要特殊的平臺和組件。定期查看用戶的作業和使用情況，決定是否擴容，清理數據等等。否則，當機器和業務進壹步增加時，團隊可能會死得很慘，精疲力盡，天天出事，進入惡性循環。
當然有經濟實力的大家庭可以找Cloudera和Hortonworks，在國內可以找華為星環，會省很多事，適合非互聯網土豪。當然互聯網公司也用這些東西，比如Ebay。
接下來，妳可能需要壹些重的組件來為妳做壹些事情。
例如，在您的數據訪問中，您可能會找到壹個定時腳本或爬上日誌包來找到壹個服務器來接收和寫入HDFS，但現在它可能無法工作。這些大概都沒有什麽高性能，也沒有什麽變態的保障。妳需要壹個更強的解決方案，比如Flume。
妳的業務在增長，老板需要閱讀越來越多的報告，需要培訓的數據需要清理。妳需要任務調度，比如oozie或者阿茲卡班。這些系統幫助您管理關鍵任務的計劃和監控。
數據分析師的數據可能會逐漸從RDBMS轉移到集群，因為傳統的數據庫完全裝不下，但是他們又不會寫代碼，所以妳就開了Hive。然後很多用戶覺得Hive太慢，妳就推出壹個交互分析系統，比如Presto，Impala或者SparkSQL。
妳的數據科學家需要編寫ML代碼，他們告訴妳需要Mahout或者Spark MLLib，所以妳也部署這些。
此時，數據平臺可能已經成為工程師的日常工作場所，大部分業務將被遷移。這個時候妳可能會面臨很多不同的問題。
例如，在各種業務線中有如此多的數據表，以至於您和編寫數據的人可能都不知道數據來自哪裏，下壹步將去往何處。妳自己建立壹個元數據管理系統。
妳分析性能，發現妳的數據都是幾百列，各種復雜的查詢，裸文本格式即使壓縮了還是慢的要死，所以妳的主要用戶用的是列存儲，Parquet，ORC等等。
或者妳發現妳的ETL很長，中間產生了大量的臨時數據，於是妳做了壹個殘酷的努力，把pipeline重寫為Spark。
接下來，您可能會考慮花時間維護壹個門戶，將這些分散的組件集成在壹起，以提供統壹的用戶體驗。例如，您可以將數據從數據庫蔡氏提取到HDFS，然後單擊鼠標導入Hive，也可以單擊鼠標將其取回。點幾下就可以設置預定任務，每天自動推送報告給老板；或者妳可以得到風暴的拓撲結構；哢嚓壹聲；或者在界面上寫幾個查詢，查詢Hbase的數據。這個時候，妳的數據平臺已經初具規模。
當然，磕碰是不可避免的。每天妳都有新的問題和挑戰，否則妳就會失業，不是嗎？
妳發現社區在不斷的解決妳遇到的問題，所以妳的架構師每天都會留出大量的時間來看看社區的進展，有什麽新的工具，有什麽公司發布了什麽項目，解決了什麽問題，也許妳可以用上。
經歷了這壹切，妳覺得妳會安全嗎？Hadoop平臺的壹大特點就是坑多。尤其是新功能和新項目。對於平臺組的人來說，老板如果知道這是壹個天然坑很多的平臺，可能會很高興，因為跟進社區，幫助修復bug，壹起互動，其實是大大提升公司影響力的事實。當然，如果老板不懂，妳也可以自便，招幾個老司機，出了事馬上帶路。當然團隊的技術積累也不能不跟上，因為數據平臺還在亂世，不跟進三天妳就不知道這個世界是什麽樣子了。任何新技術，只有坑，坑，修，修，才是完美的。如果是對技術來說比較關鍵的業務，那就需要再仔細壹點，技術總監要有足夠的積累，能夠把控，知道收益和風險。