人是不完美的，我們經常在程序中犯錯誤。有時這些錯誤很容易發現:你的代碼根本不能工作，你的應用程式崩潰等等。但是有些bug是隱藏的，這使得它們更加危險。
在解決深度學習問題時，由於一些不確定性，很容易出現這種類型的bug:很容易看到web應用端點路由請求是否正確，而不容易檢查你的梯度下降步驟是否正確。然而，在DL從業者生涯中有很多錯誤是可以避免的。
我想分享一些我的經驗，關於我在過去兩年的計算機視覺工作中看到或製造的錯誤。我在會議上談到過這個話題，很多人在會後告訴我:「是的，夥計，我也有很多這樣的錯誤。」我希望我的文章可以幫助你至少避免其中的一些問題。
1.翻轉圖像和關鍵點
假設一個關鍵點檢測問題的工作。它們的數據看起來像圖像和一系列關鍵點元組，例如[(0,1)，(2,2)]，其中每個關鍵點是一對x和y坐標。
讓我們對這個數據實現一個基本的數據增強:
看起來好像是正確的,嗯，讓我們把結果可視化一下：
不對稱看起來很奇怪!如果我們檢查極值的情況呢?
out:
程序報錯了！這是一個典型的差一誤差。正確的代碼是這樣的:
我們可以通過可視化來檢測這個問題，而在x = 0點的單元測試也會有幫助。
2.還是關鍵點問題
即使在上述錯誤被修復之後，仍然存在問題。現在更多的是語義上的問題，而不僅僅是代碼上的問題。
假設需要增強具有兩隻手掌的圖像。看起來好像沒問題-左右翻轉後手還是手。
但是等等!我們對我們擁有的關鍵點語義一無所知。如果這個關鍵點的意思是這樣的:
這意味著增強實際上改變了語義:左變成右，右變成左，但我們不交換數組中的關鍵點索引。它會給訓練帶來大量的噪音和更糟糕的度量。
我們應該吸取教訓：
- 在應用增強或其他特性之前，要了解和考慮數據結構和語義;
- 保持你的實驗原子性:添加一個小的變化(例如一個新的變換)，如果分數已經提高，檢查它如何進行和合併。
3.編碼自定義損失函數
熟悉語義分割問題的人可能知道IoU度量。不幸的是，我們不能直接用SGD來優化它，所以常用的方法是用可微損失函數來近似它。讓我們編碼實現一個!
看起來不錯，讓我們測試一下：
在x1中，我們計算了與正確數據完全不同的數據的損失，而x2則是非常接近正確數據的數據損失結果。我們期望x1很大因為預測很糟糕，x2應該接近0。但是結果與我期望的有差別，哪裡出現錯誤了呢?
上面的函數是度量的一個很好的近似。度量不是一種損失:它通常(包括這種情況)越高越好。當我們使用SGD最小化損失時，我們應該做一些改變:
這些問題可以從兩個方面來確定:
- 編寫一個單元測試來檢查損失的方向
- 運行健全性檢查
4.當我們遇到Pytorch的時候
假設有一個預先訓練好的模型。編寫基於ceevee API的Predictor 類。
這個代碼正確嗎?也許!對於某些模型來說確實是正確的。例如，當模型沒有dropout或norm 層，如torch.nn.BatchNorm2d。
但是對於大多數計算機視覺應用來說，代碼忽略了一些重要的東西:轉換到評估模式。
如果試圖將動態PyTorch圖轉換為靜態PyTorch圖，這個問題很容易意識到。torch.jit模塊用於這種轉換。
一個簡單的解決辦法:
torch.jit.trace運行模型幾次並比較結果。 然而torch.jit.trace並不是萬能的，你應該了解並記住。
5.複製粘貼問題
很多東西都是成對存在的:訓練和驗證、寬度和高度、緯度和經度……如果你仔細閱讀，你會很容易發現一個bug是由某一個成員中複製粘貼到另外一個成員中引起的：
不僅僅是我犯了愚蠢的錯誤，例如。流行的albumentations庫中也有類似的問題。
不過別擔心，現在已經修復好了。
如何避免?儘量以不需要複製和粘貼的方式編寫代碼。
下面這種編程方式不是一個好的方式：
而下面的方式看起來好多了：
6.正確的數據類型
讓我們編寫一個新的增強：
圖像已被更改。這是我們所期望的嗎?嗯，可能修改得有點過了。 這裡有一個危險的操作:將float32轉換為uint8。它可能會導致溢出:
看起來好多了，是吧?
順便說一句，還有一種方法可以避免這個問題:不要重造輪子，不要從頭開始編寫增強代碼，而是使用現有的增強，比如：albumentations.augmentations.transforms.GaussNoise。
我曾經犯過另一個同樣的錯誤。
這裡出了什麼問題?首先，用三次樣條插值調整mask的大小是一個壞主意。與轉換float32到uint8的問題是一樣的:三次樣條插值的輸出值會大於輸入值，會導致溢出。
我在做可視化的時候發現了這個問題。在你的訓練循環中到處使用斷言也是一個好主意。
7. 拼寫錯誤發生
假設需要對全卷積網絡(如語義分割問題)和一個巨大的圖像進行推理。該圖像是如此巨大，沒有機會把它放在你的GPU上 -例如，它可以是一個醫療或衛星圖像。
在這種情況下，可以將圖像分割成網格，獨立地對每一塊進行推理，最後合併。此外，一些預測交叉可能有助於平滑邊緣的偽影
讓我們編碼實現吧！
有一個符號輸入錯誤，可以很容易地找到它，檢查代碼是否正確:
__call__方法的正確版本如下：
如果你仍然不知道問題是什麼，注意行weights[a:b, c:d, :] += 1。
8.Imagenet歸一化
當一個人需要做遷移學習時，用訓練Imagenet時的方法將圖像歸一化通常是一個好主意。
讓我們使用熟悉的albumentations來實現：
現在是時候訓練一個網絡並對單個圖像進行擬合——正如我所提到的，這是一種很好的調試技術:
曲率看起來很好，但是-300不是我們期望的交叉熵的損失值。是什麼問題?
歸一化處理圖像效果很好，但掩碼需要縮放到[0,1]之間。
在訓練循環時一個簡單運行斷言(例如assert mask.max() <= 1)可以很快地檢測到問題。同樣，也可以是單元測試。