最近幾年,數字化已悄然代替了信息化,不再是新興詞匯,數字化轉型也成為了企業戰略規劃中不可缺少的組成,那么什么是數字化轉型?數字化轉型是利用數字化技術來推動企業組織轉變業務模式、組織架構、企業文化等變革措施。數字化轉型旨在利用各種新型技術,如移動、Web、社交、大數據、機器學習、人工職能、物聯網、云計算、區塊鏈等一系列技術為企業組織構想和交付新的、差異化的價值。因此數字化轉型是技術與商業模式的深度融合,其最終結果是商業模式的變革。
完善的數字化轉型要求基礎架構做到“開放、融合、軟件定義、場景化、智能”。因此,數字化不但要求業務的變革和應用系統的變革,對于支撐應用的基礎架構也提出了變革的要求?;A架構的管理者或者架構師必須重新審視組織內的IT架構,從業務需求出發,優化或者重新規劃設計與之配套的基礎架構。重點需要考慮軟件定義的數據中心、混合云、雙活多活、數據中心布局、多中心網絡、業務連續性、多中心安全、多中心運維、數字化運營等方面因素。
如果您打算重新規劃和設計基礎架構,應該聘請專業的基礎架構咨詢團隊通過獨立的項目來完成,這樣可以避免如下的一些問題:只關注部分需求,考慮不全面;非專業架構師給出的設計,只關注眼前,不考慮未來等問題。在一個基礎架構規劃項目中,企業有以下兩方面的收益。
LongDB擁有專業的架構咨詢團隊,豐富的咨詢經驗,不同行業的成熟案例參考,可以給客戶提供專業的基礎架構咨詢服務,內容包含:
大數據平臺是一個包含了運維管理、數據ETL、數據計算以及數據服務的綜合業務平臺。
針對存儲密集型、計算密集型等典型應用場景,雖然很多大數據平臺已進行了一些整體調優解決方案,但是由于大數據平臺內部結構的復雜性,往往還不能發揮平臺的全部性能,存在著巨大的調優空間。另一方面,在一些部署場景中,硬件環境往往先于軟件確定,在已有硬件環境上如何提升性能,充分利用已有資源也是在工作中經常要碰到的問題。
LongDB技術團隊在大數據平臺性能優化方面有著豐富的經驗,我們可以從硬件環境、系統資源、集群資源、數據存儲和分布、應用代碼等多方面進行指導調優。
硬件環境是性能的基礎,大數據平臺是由多種服務組成的體系,資源的使用是多樣的,一個比較簡單辦法是預留出保證任務運行的最大化資源。存儲容量可以根據數據量、備份機制,預留空間的信息大致算出;磁盤吞吐量和網絡帶寬具有剛需的特點,調優空間有限;而CPU和內存資源具有一定彈性,可以進一步調優。
具體可以從磁盤I/O優化、磁盤I/O與網絡的平衡部署、選擇合適的CPU、預留內存空間、預留帶寬通道等方面進行優化處理。
大數據平臺不是萬能的,它的主要業務范圍聚焦于統計分析、數據挖掘、機器學習,而操作系統在設計時,需要考慮的是對各種業務的支持,沒有針對具體業務加以區分。從這個角度上講,操作系統中對大數據主流業務沒有幫助的特性,可考慮適當關閉。
集群資源參數需要依據各個服務自身的特點來進行,參數配置的結果,決定了是否可以將集群提供的性能資源充分動員起來。
具體可以從優化JVM、優化并行度、合理配置壓縮算法,將負載在磁盤I/O與CPU間調整、從全流程考慮,預選規避可能出現的額外資源開銷等方面進行優化處理。
數據在加載到大數據集群時,根據業務需求完成一定的預先處理可以極大的提升業務處理時的性能。
應用開發是最具有靈活性的,考慮在不同層級,做好任務分解和并行,負載均衡,實現從上到下的頂層設計。
生產中經常面對的有:防止任務傾斜、根據系統資源控制應用程序具體的執行過程、優化序列化等。