在今年的3月中旬，OpenAi在GPT-4的發布會上表示，在未來GPT-4的應用層中將加入「圖片識別理解能力」，旨在讓GPT-4更好地認知現實事物，同時結合LLMs的優勢理解產出相關文字內容，這一功能看上去非常酷，但OpenAi遲遲沒有讓這一功能上線公測，就在大家都懷疑是OpenAi在畫餅，在做「PPT產品」的時候，一款名為「Be My Eyes」的應用打了質疑者的臉。
GPT-4發布會上所提及的「GPT笑話理解圖」
「Be My Eyes」是一款老應用了，於2015年發布，由丹麥開發人員Hans Jørgen Wiberg創建。其是一款免費的移動端App，旨在幫助視力受損和盲人用戶進行日常活動。這款應用充當視力受損人士與志願者之間的橋樑，允許他們通過實時視頻通話請求幫助。志願者可以幫助解答各種問題，如閱讀標籤、識別顏色、找到物品等。
「Be My Eyes」官網介紹https://www.bemyeyes.com/
其充分利用了手機攝像頭作為視覺障礙者的眼睛，如果某個志願者收到請求卻正忙於其他事情無法回應，該應用會自動將請求轉發給其他可用志願者，確保視力障礙用戶能夠第一時間得到幫助。截止2023年3月，該應用已經有了50萬的視覺障礙者用戶以及640萬視力正常的志願者，服務比高達12.8:1。
支持多達150個國家與180種語言，也支持中文
可是由於人與人溝通的心理壓力障礙、交流障礙等種種原因，部分視覺障礙者還是沒有接受該軟體的解決方式，認為使用「Be My Eyes」意味著與陌生人共享個人信息和生活場景。這可能讓一些視力障礙者感到危險，擔心自己的隱私和安全。同時，部分視力障礙者可能會認為向他人尋求幫助會降低他們的自尊。他們可能覺得，通過應用程式請求幫助意味著承認自己的弱點和不足。
Ai繪畫丨孤獨沮喪的盲人
這些因素讓「Be My Eyes」的推進遇到了瓶頸，直到Ai的火爆。在2022年GPT-3.5模型發布之時，其強大且難以置信的理解力就震驚了全世界，這個將人類2021年9月前的所有文明當作自己資料庫的LLMs（大型語言模型），擁有著史無前例的Ai創造力。
「Be My Eyes」的創造者Wiberg在2023年2月就與OpenAi接洽，獲得了GPT-4模型中的「圖像理解生成技術」，通過該技術其推出了一項名為「虛擬志願者」的新功能，該功能由OpenAI的GPT-4語言模型驅動。通過整合GPT-4的圖像識別和文字生成技術，虛擬志願者可以為視力障礙者提供更為深入的實時視覺輔助。用戶可以通過應用發送圖片，虛擬志願者會對圖片進行解析，並提供相關信息幫助。
「Be My Eyes」官網介紹https://www.bemyeyes.com/
從原理上講，GPT-4模型實現圖片理解功能的關鍵在於其圖像識別和文字生成技術。首先，模型接收到用戶上傳的圖片，對圖片進行分析和識別，提取關鍵信息。在這一過程中，模型需要具備對不同物體、顏色、形狀和場景的識別能力。然後，模型將識別到的信息轉換為自然語言描述，與用戶的問題相結合生成有針對性地回答。在此階段，模型需要理解上下文信息並具備良好的對話能力，以便生成有用的建議和指導。
Ai繪畫丨Ai圖像識別示意圖
在實際應用中，當用戶拍下電視機的照片，並語音詢問Ai，電視里在播放什麼時，Ai即根據電視內容進行了回復「Based on the pictureprovided, it appears that theTV is displaying a videogame called Fortnite. 根據提供的圖片，電視似乎正在顯示一款名為《堡壘之夜》的電子遊戲。」同時還可以轉換成西班牙文。
「Be My Eyes」官網介紹https://www.bemyeyes.com/
在另一個案例中，帶有Ai圖像識別的虛擬志願者，可以輕鬆幫助用戶找到不同顏色的條紋襯衫，並告知用戶其他襯衫的顏色。
「Be My Eyes」官網介紹https://www.bemyeyes.com/
來自美國的Lucy Edwards是一名失明了將近10年的盲人女孩兒，雖然眼睛看不見了，但她仍然保持著對生活的熱愛，她是一位內容創作者和殘疾活動家，以她的《盲女如何生活》系列和旅行視頻博客生活等而廣受歡迎，她擁有來自世界各地近百萬的粉絲。在今年，她也成了「Be My Eyes虛擬志願者」的內測人員。
圖片源自於網絡
到目前為止，她用這款工具幫助她閱讀時尚目錄，將中文成分翻譯成英文，搜索網上食譜，為她自己的照片庫中的圖片編寫代替文字，還幫助她閱讀餐廳菜單。Edwards還展示了將虛擬志願者用作私人教練和倫敦地鐵導遊的潛力。
圖片源自於網絡
Edwards表示Ai可以賦予視覺障礙者更高程度的自主性和私密性。AI技術使他們能夠依賴個人設備獨立完成各種任務，實現真正的自主，並且避免了與陌生人溝通所帶來的尷尬和隱私問題。
圖片源自於網絡
當我們還在對Ai的技術歸屬與版權問題爭論時，世界上已經有許多平時不會被關注、了解的人們開始讓Ai技術更好地服務於他們的生活，比如視覺障礙者、聽力障礙者或者語言障礙者，對於他們來說Ai技術似乎沒有「強烈的威脅性」，而是真真實實地讓他們感受到了科技進步的力量與便捷。
目前希爾頓、微軟、寶潔、索尼加入到了Be My Eyes的虛擬志願者測試中
對於AI技術，我們應該保持開放和包容的態度，鼓勵創新與發展。但同時，要確保AI技術的安全，我們還需要關注潛在的倫理問題、隱私問題以及技術濫用的可能性。AI技術如同達摩克利斯之劍，它既可以為我們帶來極大的利益，也可能導致無法預料的危險。因此，在積極推進AI技術的廣泛應用時，我們需要不斷審視其影響，以確保技術發展的可持續性和公平性。
Ai繪畫丨一個機器人正在幫盲人過馬路