本周，由於功能強大的神經引擎和「 mad science 」 ，iPhone 11用戶可以免費升級他們的iPhone相機。該功能被稱為Deep Fusion，旨在在極具挑戰性的環境中提供效果不錯的照片。
我已經花了數周時間，將iPhone 11 Pro上的計算攝影軟體的Beta版與單獨的iPhone 11 Pro上的舊相機軟體進行了測試。事實是，Deep Fusion可以實現他的功能，但是只能在比較奇怪的情況下進行。
關於Deep Fusion，您需要了解的第一件事是Apple為這個功能感到自豪。
蘋果公司在9月的發布會中花了幾分鐘時間對該功能進行了預覽，在該發布會中，Deep Fusion被譽為「神經引擎首次負責生成輸出圖像」。實際上，這個功能涉及到iPhone拍攝了9張照片，然後新的、超強大的A13 Bionic晶片中的神經引擎會提取每張圖像中的最佳像素，並重新組合照片，從而使照片細節比沒有Deep Fusion的iPhone更好。
請允許我進一步放大該過程，因為它並不像聽起來那樣令人困惑。
在這9次照片曝光中，有8次iPhone相機所做的照片，與傳統的拍照技術，用不同的設置拍攝相同的照片相類似。在這種情況下，iPhone相機在按下快門按鈕之前會捕獲四個短曝光框和四個標準曝光框。（iPhone相機打開後，iPhone相機就會開始捕獲緩衝幀，以防需要Deep Fusion或Smart HDR拍攝。）當您按下快門時，相機會捕獲一次長時間曝光，以繪製更多細節。
所有這些曝光很快就成為Deep Fusion的兩個輸入。
第一個輸入是最詳細的短曝光框。
第二個是蘋果所謂的「合成長鏡頭」，它是將標準曝光鏡頭與長時間曝光相結合而產生的。
短鏡頭和合成長鏡頭都被輸入到神經網絡中，該神經網絡在四個不同的頻帶上對它們進行分析，每個頻帶都比最後一個更詳細。降噪被添加到每個圖像，最後再將兩個像素逐個像素地融合在一起。整個過程大約需要一秒鐘，但是「相機」應用程式會對代理圖像進行排隊，因此您可以在神經引擎運行的同時繼續拍攝，並把你所有的照片都融合在一起。
如果您一直密切關注Apple的計算攝影功能，則這種Deep Fusion情況聽起來很像去年iPhone XS推出的Smart HDR功能。從理論上講，這是相似的，因為iPhone在拍攝照片之前會不斷捕獲這些緩衝圖像，以防止快門滯後。
但是，在實踐中，深度融合不只是提取不同曝光的高光和陰影來捕獲更多細節。它正在超精細的級別上工作，以保留單個幀可能丟失的細節。
好吧，也許這一切都是複雜的。
在將新的iPhone與Deep Fusion結合使用時，您實際上不需要考慮他們的發生方式，因為該設備會自動激活它。關於Deep Fusion何時起作用和不起作用，需要了解一些關鍵事項。
Deep Fusion無法在Ultra Wide相機上使用。Deep Fusion僅適用於弱光到中光場景的寬屏相機。Deep Fusion幾乎可以一直在長焦相機上工作，除了在光線非常暗的情況下不會起作用。
還有另一種情況可以使Deep Fusion無法正常工作。如果您已在「相機」應用程式設置的「 COMPOSITION」標題下打開了新選項，即「在框架外拍攝照片」，則Deep Fusion將永遠無法使用。因此，如果要嘗試深度融合，請不要選擇該選項。
現在，所有的技術細節都已不復存在，讓我們深入研究Deep Fusion瘋狂的計算攝影技術的真實面貌。
Deep Fusion功能在iOS 13.2公開測試版中出現後，立即在Gizmodo的iPhone 11 Pro上安裝了該軟體，同時保留了以前的iOS版本，即在我的iPhone 11 Pro上未安裝深度融合的版本。然後，我只是在各種不同環境中拍攝了大量圖片。坦白說，我經常無法分辨Deep Fusion鏡頭和非Deep Fusion鏡頭之間的區別。
看一下車站的這兩張時鐘照片，每張照片都是用iPhone 11 Pro上的長焦相機拍攝的。
您能說出使用Deep Fusion拍攝的是哪一款嗎？如果您能理解我添加到每個鏡頭底角的最基本符號，則可能會猜出。否則，將需要通過一些細節來分辨。
其實它們是有區別的。仔細觀察時鐘上的數字，在Deep Fusion鏡頭中，它們更加清晰。美國國旗上的漣漪和周圍的石柱細微差別的紋理也是如此。您可能不會注意到沒有Deep Fusion的鏡頭在這些方面看起來有些模糊，但是隨後您可以看到Deep Fusion鏡頭並意識到細節確實更加清晰。
關閉深融合（左），打開深融合（右）
對吧？但是在這種情況下，無需放大，就可以清楚地看到照片的Deep Fusion版本如何顯示更多細節，至少看起來會少一些噪點。
這兩張照片還展示了在弱光環境下iPhone 11 Pro令人印象深刻的性能。大中央總站的主大廳是一個令人驚訝的黑暗地方，尤其是在拍攝這些照片的黃昏時分。目前看來，兩者的表現都不錯，但是Deep Fusion確實看起來稍好一點。
現在讓我們看一個不同的例子。
這是一個黑暗而又陰雨天的曼哈頓中城摩天大樓的無聊但細節豐富的照片。在這種情況下，您確實需要放大以查看常規iPhone 11 Pro照片和使用Deep Fusion的照片之間的一些細微差異。他們超級相似，不過您仍然會看到較少的噪點，並且在窗口的反射在右側的圖像中更清晰。
我可以發現的主要區別在於框架底部附近的白色欄杆。在非Deep Fusion照片中，它幾乎被弄髒了。就像Grand Central照片中時鐘上的數字一樣，Deep Fusion中的白色欄杆會彈出。
這兩款相機都給人留下深刻的印象，而在某些環境下，配備Deep Fusion的相機有時會給人留下深刻的印象。同樣，它僅適用於Wide相機的弱光環境，除非在非常明亮的場景中使用，否則通常可以在用Telephoto相機拍攝的照片中使用。
但是，當我開始拍攝擁有毛皮的照片時，事情發生了變化。
從理論上講，這是Deep Fusion應該有所表現的場景，因為細小的頭髮往往會模糊在一起，但是神經引擎可以識別這些細節並將它們合併為Deep Fusion照片。這可能就是為什麼Apple在最近的主題演講中選擇在一個質地細膩的毛衣中使用一個大鬍子男人炫耀Deep Fusion的原因。
關閉深融合（左），打開深融合（右）
很容易看出，在左側的照片中，照片柔和的小亮點在頭冠和耳朵周圍變得模糊。在右側的Deep Fusion照片中，它們儘可能清晰。仔細看看：
關閉深融合（左），打開深融合（右）
在這種情況下，沒有Deep Fusion功能的照片在某些地方几乎無法聚焦。放大得越多，就會出現缺乏Deep Fusion功能的明顯現象。換句話說，如果沒有Deep Fusion，我再也不想再拍可愛寵物的照片了。
這使我對「Deep Fusion」難題感到好奇。
我確實認為這有點令人困惑。Deep Fusion是一個難題，因為工作流程令人困惑，在我的測試中，有時很難分辨出該技術什麼時候是有效的。因為在此功能的第一次疊代中這些細微之處似乎無關緊要。例如，如果Deep Fusion僅偶爾工作並且僅以非常特定的方式工作，那麼Apple為什麼在iPhone的發布會上做出如此大的講解，為什麼在Deep Fusion公開之前需要花兩個多月的時間進行開發？
儘管我有一個理論，但實際上我不知道這些問題的答案。
我的理論是，「Deep Fusion」確實是Apple曾經構建的一些最複雜的計算攝影技術，目前，我們只是在探討其功能的表面。我可以看到Apple在Deep Fusion的基礎上構建更強大的功能的未來。Google Pixel 4的攝影功能（即Super Res Zoom）甚至可以瞥見這個未來。Google的Super Res變焦結合了Pixel 4的光學和數字變焦，可提供超清晰的變焦照片。如果蘋果公司已經在探索將圖像融合在一起以獲得更好細節的方法，我可以想像該公司可能會考慮進一步改善其變焦功能的方法，
但這全是猜測。
目前，Deep Fusion是否能打動您都沒關係。如果您擁有iPhone 11或iPhone 11 Pro，則升級到iOS 13.2即可免費獲得該功能。
但是，如果您擁有的是舊版iPhone，則絕對不應該僅僅為了了解Deep Fusion的全部功能而重新去更換手機。該功能以後肯定會發展，明年我們所看到的一切都將比現在提供的功能會更加完善。