TCP重傳問題的排查思路與實踐,有點乾貨

2019-12-13     Java架構人生

原文地址:https://dwz.cn/NsYSok8i

作者:yangyidba


1、關於TCP重傳

TCP有重傳是正常的機制,為了保障數據傳輸可靠性。只是區域網環境,網絡質量有保障,因為網絡問題出現重傳應該極低;網際網路或城域網環境,線路複雜(可以想像下城市地下管網,錯綜複雜的電線桿等),網絡質量不好保障,重傳出現機率較高。

TCP有重傳,也不一定是網絡層面的問題。也可能是接收端不存在,接收端receive buffer滿了,應用程式有異常連結未正常關閉等等等。

2、TCP/IP相關

排查網絡問題,要掌握TCP/IP原理,真相都在一個一個的數據包里。以下是和TCP重傳比較關鍵的幾個參數。

2.1 建立TCP連結時的參數

2.2 TCP重傳類型

超時重傳

在請求包發出去的時候,開啟一個計時器,當計時器達到時間之後,沒有收到ACK,則就進行重發請求的操作,一直重發直到達到重發上限次數或者收到ACK。

快速重傳

當接收方收到的數據包是不正常的序列號,那麼接收方會重複把應該收到的那一條ACK重複發送,這個時候,如果發送方收到連續3條的同一個序列號的ACK,那麼就會啟動快速重傳機制,把這個ACK對應的發送包重新發送一次。具體可以參考:


3、常見問題與措施

3.1單台機器或單個應用機器tcp重傳

可能是連結的伺服器或埠無法訪問

排查思路

3.2 多台機器或多個應用同時tcp重傳

可能是網絡抖動

排查思路

1查看網絡區域埋點,查看網絡設備報警,看是否有區域網絡抖動
2區域網絡沒問題的話。可以用常見問題:的方法縮小排查範圍

3.3 帶寬跑滿

排查思路

1、查看主機監控,

3.4 不常見問題

1 網絡設備埠或光模塊異常等導致包checksum失敗 2 網絡路由收斂抖動 3 主機網絡驅動有bug,網絡設備有bug等

4、如何監控

使用tsar -tcp -C 可以監控到tcp的retran屬性也即是重傳次數。

tsar --tcp -C | sed 's/:/_/g;s/=/ /g' | xargs -n 2

感興趣的朋友可以直接執行以下監控腳本獲取tcp相關的狀態監控數據,適用於open-falcon。

5、案例實踐

1 在遇到丟包重傳的機器上抓包並使用wireshark 分析該包,注意因為重傳不是時刻都有的,所以抓包命令是要持續執行以便捕捉到重傳的包。使用wireshark打開tcpdump的結果,在搜索框里入手tcp.analysis.retransmission 得到如下結果:

圖1 表明服務端發生了三次重傳動作。

2 由於包比較多,我們可以使用wireshark的追蹤流功能獲取重傳相關的tcp流

圖二 追蹤流-->TCP流 可以得到重傳相關的數據包

圖三 可以看出客戶端和服務端的請求與應答。

3 解析重傳

特別需要說明的是:

NO 67,68 client端由於某些原因沒有收到正確的包數據,向server端發送dup ack,參考基礎知識提到的快速重傳

NO.68和NO.69之間的時間差200ms(關注time那一列,其他都是相差小於1ms),server等待超時,於是重傳。

NO 73-74是client端發送了一個fin包並主動關閉連接。

這個案例僅僅發生一次,沒有復現,通過抓包解析出來分析沒有得到明確的結論。

6、小結

本文總結自己工作過程中遇到的TCP重傳問題的解決過程 ,側重於大致的解決問題的思路與具體的實踐,理論知識偏少,大家有興趣的可以多查閱相關文章以便深入了解tcp的工作機制。

我目前是在職Java開發,如果你現在正在了解Java技術,想要學好Java,渴望成為一名Java開發工程師,在入門學習Java的過程當中缺乏基礎的入門視頻教程,你可以關注並私信我:01。我這裡有一套最新的Java基礎JavaSE的精講視頻教程,這套視頻教程是我在年初的時候,根據市場技術棧需求錄製的,非常的系統完整。

文章來源: https://twgreatdaily.com/zh-tw/WoBt_m4BMH2_cNUgvdE0.html