本周，由于功能强大的神经引擎和“ mad science ” ，iPhone 11用户可以免费升级他们的iPhone相机。该功能被称为Deep Fusion，旨在在极具挑战性的环境中提供效果不错的照片。
我已经花了数周时间，将iPhone 11 Pro上的计算摄影软件的Beta版与单独的iPhone 11 Pro上的旧相机软件进行了测试。事实是，Deep Fusion可以实现他的功能，但是只能在比较奇怪的情况下进行。
关于Deep Fusion，您需要了解的第一件事是Apple为这个功能感到自豪。
苹果公司在9月的发布会中花了几分钟时间对该功能进行了预览，在该发布会中，Deep Fusion被誉为“神经引擎首次负责生成输出图像”。实际上，这个功能涉及到iPhone拍摄了9张照片，然后新的、超强大的A13 Bionic芯片中的神经引擎会提取每张图像中的最佳像素，并重新组合照片，从而使照片细节比没有Deep Fusion的iPhone更好。
请允许我进一步放大该过程，因为它并不像听起来那样令人困惑。
在这9次照片曝光中，有8次iPhone相机所做的照片，与传统的拍照技术，用不同的设置拍摄相同的照片相类似。在这种情况下，iPhone相机在按下快门按钮之前会捕获四个短曝光框和四个标准曝光框。（iPhone相机打开后，iPhone相机就会开始捕获缓冲帧，以防需要Deep Fusion或Smart HDR拍摄。）当您按下快门时，相机会捕获一次长时间曝光，以绘制更多细节。
所有这些曝光很快就成为Deep Fusion的两个输入。
第一个输入是最详细的短曝光框。
第二个是苹果所谓的“合成长镜头”，它是将标准曝光镜头与长时间曝光相结合而产生的。
短镜头和合成长镜头都被输入到神经网络中，该神经网络在四个不同的频带上对它们进行分析，每个频带都比最后一个更详细。降噪被添加到每个图像，最后再将两个像素逐个像素地融合在一起。整个过程大约需要一秒钟，但是“相机”应用程序会对代理图像进行排队，因此您可以在神经引擎运行的同时继续拍摄，并把你所有的照片都融合在一起。
如果您一直密切关注Apple的计算摄影功能，则这种Deep Fusion情况听起来很像去年iPhone XS推出的Smart HDR功能。从理论上讲，这是相似的，因为iPhone在拍摄照片之前会不断捕获这些缓冲图像，以防止快门滞后。
但是，在实践中，深度融合不只是提取不同曝光的高光和阴影来捕获更多细节。它正在超精细的级别上工作，以保留单个帧可能丢失的细节。
好吧，也许这一切都是复杂的。
在将新的iPhone与Deep Fusion结合使用时，您实际上不需要考虑他们的发生方式，因为该设备会自动激活它。关于Deep Fusion何时起作用和不起作用，需要了解一些关键事项。
Deep Fusion无法在Ultra Wide相机上使用。Deep Fusion仅适用于弱光到中光场景的宽屏相机。Deep Fusion几乎可以一直在长焦相机上工作，除了在光线非常暗的情况下不会起作用。
还有另一种情况可以使Deep Fusion无法正常工作。如果您已在“相机”应用程序设置的“ COMPOSITION”标题下打开了新选项，即“在框架外拍摄照片”，则Deep Fusion将永远无法使用。因此，如果要尝试深度融合，请不要选择该选项。
现在，所有的技术细节都已不复存在，让我们深入研究Deep Fusion疯狂的计算摄影技术的真实面貌。
Deep Fusion功能在iOS 13.2公开测试版中出现后，立即在Gizmodo的iPhone 11 Pro上安装了该软件，同时保留了以前的iOS版本，即在我的iPhone 11 Pro上未安装深度融合的版本。然后，我只是在各种不同环境中拍摄了大量图片。坦白说，我经常无法分辨Deep Fusion镜头和非Deep Fusion镜头之间的区别。
看一下车站的这两张时钟照片，每张照片都是用iPhone 11 Pro上的长焦相机拍摄的。
您能说出使用Deep Fusion拍摄的是哪一款吗？如果您能理解我添加到每个镜头底角的最基本符号，则可能会猜出。否则，将需要通过一些细节来分辨。
其实它们是有区别的。仔细观察时钟上的数字，在Deep Fusion镜头中，它们更加清晰。美国国旗上的涟漪和周围的石柱细微差别的纹理也是如此。您可能不会注意到没有Deep Fusion的镜头在这些方面看起来有些模糊，但是随后您可以看到Deep Fusion镜头并意识到细节确实更加清晰。
关闭深融合（左），打开深融合（右）
对吧？但是在这种情况下，无需放大，就可以清楚地看到照片的Deep Fusion版本如何显示更多细节，至少看起来会少一些噪点。
这两张照片还展示了在弱光环境下iPhone 11 Pro令人印象深刻的性能。大中央总站的主大厅是一个令人惊讶的黑暗地方，尤其是在拍摄这些照片的黄昏时分。目前看来，两者的表现都不错，但是Deep Fusion确实看起来稍好一点。
现在让我们看一个不同的例子。
这是一个黑暗而又阴雨天的曼哈顿中城摩天大楼的无聊但细节丰富的照片。在这种情况下，您确实需要放大以查看常规iPhone 11 Pro照片和使用Deep Fusion的照片之间的一些细微差异。他们超级相似，不过您仍然会看到较少的噪点，并且在窗口的反射在右侧的图像中更清晰。
我可以发现的主要区别在于框架底部附近的白色栏杆。在非Deep Fusion照片中，它几乎被弄脏了。就像Grand Central照片中时钟上的数字一样，Deep Fusion中的白色栏杆会弹出。
这两款相机都给人留下深刻的印象，而在某些环境下，配备Deep Fusion的相机有时会给人留下深刻的印象。同样，它仅适用于Wide相机的弱光环境，除非在非常明亮的场景中使用，否则通常可以在用Telephoto相机拍摄的照片中使用。
但是，当我开始拍摄拥有毛皮的照片时，事情发生了变化。
从理论上讲，这是Deep Fusion应该有所表现的场景，因为细小的头发往往会模糊在一起，但是神经引擎可以识别这些细节并将它们合并为Deep Fusion照片。这可能就是为什么Apple在最近的主题演讲中选择在一个质地细腻的毛衣中使用一个大胡子男人炫耀Deep Fusion的原因。
关闭深融合（左），打开深融合（右）
很容易看出，在左侧的照片中，照片柔和的小亮点在头冠和耳朵周围变得模糊。在右侧的Deep Fusion照片中，它们尽可能清晰。仔细看看：
关闭深融合（左），打开深融合（右）
在这种情况下，没有Deep Fusion功能的照片在某些地方几乎无法聚焦。放大得越多，就会出现缺乏Deep Fusion功能的明显现象。换句话说，如果没有Deep Fusion，我再也不想再拍可爱宠物的照片了。
这使我对“Deep Fusion”难题感到好奇。
我确实认为这有点令人困惑。Deep Fusion是一个难题，因为工作流程令人困惑，在我的测试中，有时很难分辨出该技术什么时候是有效的。因为在此功能的第一次迭代中这些细微之处似乎无关紧要。例如，如果Deep Fusion仅偶尔工作并且仅以非常特定的方式工作，那么Apple为什么在iPhone的发布会上做出如此大的讲解，为什么在Deep Fusion公开之前需要花两个多月的时间进行开发？
尽管我有一个理论，但实际上我不知道这些问题的答案。
我的理论是，“Deep Fusion”确实是Apple曾经构建的一些最复杂的计算摄影技术，目前，我们只是在探讨其功能的表面。我可以看到Apple在Deep Fusion的基础上构建更强大的功能的未来。Google Pixel 4的摄影功能（即Super Res Zoom）甚至可以瞥见这个未来。Google的Super Res变焦结合了Pixel 4的光学和数字变焦，可提供超清晰的变焦照片。如果苹果公司已经在探索将图像融合在一起以获得更好细节的方法，我可以想象该公司可能会考虑进一步改善其变焦功能的方法，
但这全是猜测。
目前，Deep Fusion是否能打动您都没关系。如果您拥有iPhone 11或iPhone 11 Pro，则升级到iOS 13.2即可免费获得该功能。
但是，如果您拥有的是旧版iPhone，则绝对不应该仅仅为了了解Deep Fusion的全部功能而重新去更换手机。该功能以后肯定会发展，明年我们所看到的一切都将比现在提供的功能会更加完善。