今天有兩客戶來求助,一家是H3C伺服器無法安裝Centos系統,另外一家是網絡故障,不能上網。
盼著H3C伺服器早上送到,下午就能跑現場解決網絡故障了。
可是,伺服器到了11點半才到,趕緊開機看看什麼情況,一是報內存錯誤,提示可能無法被作業系統識別;二是提示磁碟陣列配置錯誤。
拔下內存條,金手指擦乾淨,插在我們的伺服器上,經測試,沒毛病,能進系統,插回去,沒再報錯,重新配置RAID,順利安裝系統,收錢交差。
慌忙趕往另外一個同行的客戶,檢查網絡問題。
跑步進機房,卻發現筆記本電腦沒電,暈,插電,開機。
網線接入思科核心交換機,埠正常亮燈,筆記本電腦能夠獲取IP位址。
Ping百度,不通,不通就對了,看狀態,無法解析域名,那不就是DNS Server問題了嘛?盲猜DNS伺服器掛了起不來,客戶也說,停電過後,就不能上網了。
根據DHCP信息得知,DNS伺服器IP為10.20.2.10,ping 10.20.2.10,能通,說明伺服器在線,只是DNS Server沒能起來,看來我的猜測是正確的。
機房有3台戴爾伺服器,KVM切換了一輪,只能顯示兩台伺服器的畫面,卻沒有找到10.20.2.10這台伺服器,卻順便發現其中兩伺服器,各有一個電源壞了,燈都不亮,重新插拔無效。
顯示器直接插剩下的那台伺服器,竟然顯示無法支持輸入,看來是解析度不夠啊,換一台顯示器,倒是能顯示畫面了,但是太大了,放不進機櫃,汗。
輸入管理員帳號密碼,提示帳號被鎖了,我……
等了15分鐘,帳號解鎖,登錄後發現,這台伺服器也不是10.20.2.10,尷尬。
客戶說,可能是在第一台伺服器裡面的虛擬機。
好吧,重新連接顯示器和KVM,畫面切換到第一台伺服器上,打開hyper-v,確實發現兩台虛擬機不能啟動,看名稱,的確是DC和DNS Server,但是,問題來了,我明明可以ping通10.20.2.10,所以這兩台虛擬伺服器,肯定不是10.20.2.10,果斷放棄這兩台虛擬伺服器,應該與本次故障無關。
直接遠程桌面連接10.20.2.10,好在帳號解鎖後,可以登錄。
終於打開DNS服務管理器,好顯眼的紅叉,重啟DNS服務,當然沒用,報一堆錯,再看系統日誌,不僅是DNS各種報錯,還有DC故障。
Dcdiag檢查DC,發現問題、解決問題,並重啟活動目錄相關服務。
再次打開DNS服務管理器,紅叉沒了,伺服器狀態看上去正常,右鍵,屬性,監視,發現簡單查詢通過,遞歸查詢失敗,也就是說DNS伺服器本身無法連接外網。
Ping網關地址,不通,這……
等下,好像網關IP不同啊,拿起我的筆記本電腦來看,果然,DNS伺服器上面配置的網關地址是10.20.2.7,而筆記本電腦自動獲取的網關IP是10.20.2.254。
把伺服器上的網關IP改為10.20.2.254,再次測試,簡單查詢和遞歸查詢都是秒過,網絡通了。
通知客戶檢查電腦,滿懷信心地開始連接戴爾伺服器的idrac接口,準備檢查伺服器故障,誰知客戶進來說,只恢復了一部分電腦。
奇怪,難道有客戶無法獲取IP,又或者是自己手動設置有錯誤?
跟著客戶跑下樓查看,發現根本不是IP的問題,而是提示網絡電纜未連接,看了兩台都這樣,毫無疑問,應該是交換機沒上電。
又回到機房,交換機電源燈都亮,但是其中兩台思科交換機,沒有一個埠亮燈,十有八九有問題。
插上console線,按回車鍵,一片空白,啥都沒有。
重啟交換機,終端軟體顯示booting system,然後就提示mainboard hardware authentication failed--主板硬體身份驗證失敗,然後就沒有然後了。
客戶自覺地說:報價吧,申請採購。
還沒等到採購批准,卻又接到客戶來電,說是ERP系統無法登錄,使用teamviewer遠程,根據IP位址,猜測ERP服務順在國外,既然無法登錄,那就先tracert一下吧,結果被告之,cmd是被管控的。
那麼思科的防火牆和核心交換機的管理員密碼呢?也沒有,這可讓我怎麼排查?各位看官,且看我下回再敘吧。