發(fā)布時間:2021-01-21
2021年1月18日晚上8點22分,北方廣電網(wǎng)絡(luò)公司運行保障中心IT支撐組負責(zé)人楊健離開核心機房后,終于松了一口氣。當(dāng)天,他在不依賴廠家技術(shù)人員指導(dǎo)的情況下,獨立排除硬件故障并成功修復(fù)了損壞系統(tǒng),為公司節(jié)省15000余元的修復(fù)費用。說起這次系統(tǒng)故障,時間還要倒退到11個小時之前。
1月18日上午9點,北方廣電網(wǎng)絡(luò)公司運營支撐監(jiān)控系統(tǒng)突然報警,供應(yīng)商管理系統(tǒng)出現(xiàn)故障。作為公司官方網(wǎng)站一級頁面的重要組成內(nèi)容,供應(yīng)商系統(tǒng)停止工作會導(dǎo)致公司網(wǎng)站部分功能缺失,影響公司采購項目信息的公告公示,使供應(yīng)商無法按時上傳審核材料。如果不及時修復(fù)故障,會對公司品牌形象造成嚴重的負面影響。
“從系統(tǒng)的損壞程度判斷,已經(jīng)不具備遠程服務(wù)的條件。”楊健說,受新冠疫情及換修硬件采購時間等因素影響,廠家提供有償上門維修服務(wù)至少要一天以后才能進行。此時,面對緊迫的搶修任務(wù),他決定先自行開展維修工作。
楊健根據(jù)多年的運維工作經(jīng)驗判斷,故障初步原因是硬件RAID板卡損壞。如果直接更換RAID板卡,需要聯(lián)系廠家進行購買,采購周期時間長,服務(wù)器內(nèi)的數(shù)據(jù)也會有丟失的風(fēng)險。為了盡快完成維修,確保數(shù)據(jù)安全,首選方案是修復(fù)RAID板卡。楊健先從其它備件中拆卸并更換了RAID板卡中損壞的原件,將修復(fù)好的RAID板卡安裝在其它測試服務(wù)器上運行,成功恢復(fù)了5塊硬盤的正常陣列信息。通過系統(tǒng)安裝光盤引導(dǎo)計算機,訪問到硬盤陣列中的原始數(shù)據(jù)。他深知數(shù)據(jù)的重要性,不能莽撞行事。為避免給公司造成更大的損失,他用最原始的外部存儲方式備份數(shù)據(jù)。受單線程命令及外部存儲接口速率的限制,全部文件的分析及備份工作歷時6個多小時。
數(shù)據(jù)安全了,懸著的心終于落地。但在隨后的檢查中楊健再次發(fā)現(xiàn)新問題:服務(wù)器操作系統(tǒng)文件損壞非常嚴重,已無法正常運行。“操作系統(tǒng)核心數(shù)據(jù)損壞,最有效的方式就是重新安裝系統(tǒng),但這需要廠商的配合才能完成。”而此時并不具備這樣的條件,楊健只能在現(xiàn)場獨立修復(fù)受損的系統(tǒng)。系統(tǒng)文件相互調(diào)用,結(jié)構(gòu)復(fù)雜,楊健只能在摸索中一點點進行。
歷時11個小時,當(dāng)日晚上8點,楊健終于排除硬件故障并成功修復(fù)了損壞系統(tǒng),供應(yīng)商管理系統(tǒng)重新恢復(fù)運行。
打破廠商技術(shù)限制,自主完成設(shè)備優(yōu)化
楊健2008年入職于北方廣電網(wǎng)絡(luò)公司,先后就職于運營支撐部、運行保障中心,長期從事硬件架構(gòu)設(shè)計、軟件開發(fā)部署、設(shè)備運行維護等工作。他責(zé)任心強,不懼困難,樂于專研。不滿足只做好本職工作的楊健,通過堅持不懈的努力學(xué)習(xí)和在技術(shù)一線的工作實踐,使他對運維工作有了更全面和深入的認識。
楊健工作照
對于運維工作來說,“穩(wěn)”是工作的核心,而“變”意味著要打破常規(guī),突破規(guī)則,“穩(wěn)”和“變”看似是對立矛盾。但在楊健看來,“穩(wěn)”和“變”并不矛盾。隨著公司5G業(yè)務(wù)的逐步開展,對運維人員技術(shù)能力、管理水平等多方面都提出了更高的要求,如果運維工作按部就班,不以發(fā)展趨勢而創(chuàng)新,在技術(shù)上止步不前,習(xí)慣依賴于外部的技術(shù)支持,那么我們只能為此付出高額的“學(xué)費”。“公司作為創(chuàng)新技術(shù)型企業(yè),更需要穩(wěn)中應(yīng)變,變中求進,牢牢掌握工作的主動權(quán)。”楊健說。
幾年前,全省BOSS系統(tǒng)整合后遇到了性能瓶頸。如果按照廠商提供的技術(shù)改造方案,公司將付出高額的服務(wù)費用。為了打破廠商技術(shù)和價格的壟斷,經(jīng)公司領(lǐng)導(dǎo)商議后決定自主進行升級改造。當(dāng)時國內(nèi)可供參考的技術(shù)資料非常有限,僅有兩三篇技術(shù)資料和廠商提供的宣傳技術(shù)概念。楊健根據(jù)豐富的知識儲備和多年從事運維系統(tǒng)維護的經(jīng)驗,悉心研究架構(gòu),最終達到了既定優(yōu)化目的,成功實施了BOSS系統(tǒng)的優(yōu)化和割接。每年為公司節(jié)省系統(tǒng)服務(wù)費50余萬元,系統(tǒng)運行至今未購買維保服務(wù),間接節(jié)省運維成本200余萬元。
北方廣電網(wǎng)絡(luò)公司多功能展廳是公司舉辦大型活動、對外展示公司前沿業(yè)務(wù)和產(chǎn)品的重要場所。楊健深知保障多功能展廳各項設(shè)備平穩(wěn)運行,即是工作任務(wù),也是政治責(zé)任。
楊健接手展廳設(shè)備維護工作時,距展廳建成已有4年的時間,部分設(shè)備早以過了維保期,故障率較高。在一次高規(guī)格接待任務(wù)前夕,展廳OTN網(wǎng)沙盤展示區(qū)播放控制端主機發(fā)生故障,送修后被告知無法修復(fù)。楊健通過逆向分析控制端程序了解其運行機制,將其移植到一臺筆記本電腦上,實現(xiàn)了控制功能。
還有一次,他在調(diào)試投影設(shè)備時發(fā)現(xiàn)5臺投影設(shè)備中有1臺投影發(fā)生故障,導(dǎo)致投影畫面不完整。這種高端投影設(shè)備單價高達20萬元,沈陽當(dāng)?shù)貨]有授權(quán)維修機構(gòu),只能送修北京。為確保第二天的接待工作順利進行,楊健連夜加班,查找問題,最終修復(fù)了設(shè)備,圓滿的完成了當(dāng)次接待任務(wù)。
以上只是他平凡工作中的縮影。楊健就是這樣一位秉承工匠精神、嚴謹認真、精益求精、有責(zé)任心、有專業(yè)技能、肯鉆研的運保人。作為一名共產(chǎn)黨員,他時刻不忘發(fā)揮先鋒模范作用、任勞任怨,突破傳統(tǒng)思維在其工作中做出了卓越的貢獻。
(運行保障中心)