原創 | 老斜聊科技
xuxianhui0607
「毒教材」事件來龍去脈
10月16日，有家長發現在科大訊飛學習機中，一篇標題為《藺相如》作文含有詆毀偉人、扭曲歷史等違背主流價值觀的內容。
科大訊飛回應，發現問題後，已第一時間核實並下架了該作文，同時將該第三方內容全部下線，並處分了公司相關負責人，同時在內部制定了更加嚴格的內容審核機制，以確保今後杜絕此類問題。
但是「毒教材」事件對科大訊飛還是產生了極大的負面影響。首先，科大訊飛的股價大幅下跌，市值蒸發達120億元。這充分表明投資者對科大訊飛的經營能力和品牌形象產生了質疑。其次，該事件引發了公眾對科大訊飛產品質量和內容審核機制的質疑，對其聲譽和信譽造成了嚴重損害。
此次事件的原因
按照科大訊飛的說法，「毒教材」內容是第三方引入訊飛學習機的。正因為網際網路上的內容良莠不齊，而AI公司又不斷在網際網路上抓取訓練數據，無論是內容審查過失，或是被人故意污染，結果都將可能導致大語言模型生成有害內容。
這就是「傳說」中的數據投毒，數據投毒是指有意或惡意地向數據集中加入虛假、惡意或有害的數據，以操控、損害或欺騙機器學習模型的性能和輸出結果。這是一種潛在的危險行為，可以在很大程度上破壞人工智慧系統的穩定性和可靠性。
數據投毒：理論基礎
數據投毒並非新興概念，早在2016年，微軟公司就曾遭遇過數據投毒事件。當時，該公司推出一款名為Tay的聊天機器人，意圖通過與網友互動學習人際交往技巧。然而，由於一些不良分子的惡意濫用，他們向Tay提供了大量的不適當言論，導致這款機器人的對話數據集被嚴重污染。最終，微軟不得不緊急下線Tay，以阻止其繼續學習和傳播不當內容。
數據投毒的技術原理
數據投毒的技術原理主要包括五種方式：
以上五種方式都可以讓攻擊者在一定程度上操控機器學習模型的性能和輸出結果。
數據投毒的影響
數據投毒的危害可能遠遠超過您的想像。
如果發生在自動駕駛汽車領域，可能導致車輛產生錯誤的安全駕駛決策，引發嚴重的交通事故；如果發生在智慧醫療診斷領域，可能會造成醫療圖像分析失誤或疾病診斷錯誤，嚴重危及患者的生命安全；如果發生在國家軍事安全領域，可能導致對國家機密信息的入侵或破壞，危及國家安全，甚至誘導自主性武器錯誤發起攻擊，造成災難性的後果。
老斜說
總的來說，數據投毒是一種危害極大的惡意行為，能夠嚴重影響機器學習模型的性能和輸出結果。因此，我們需要提高警惕，及時發現並防範數據投毒行為的發生。同時，我們也要加強相關的法律法規建設，嚴厲打擊數據投毒行為，保障人工智慧系統的安全和穩定性。