常见的AI安全风险(数据投毒、后门攻击、对抗样本攻击、模型窃取攻击等)
北下关吴中生 2024-09-11 15:31:01 阅读 98
文章目录
数据投毒(Data Poisoning)后门攻击(Backdoor Attacks)对抗样本攻击(Adversarial Examples)模型窃取攻击(Model Extraction Attacks)参考资料
数据投毒(Data Poisoning)
数据投毒是一种通过在 训练数据 中植入恶意样本或修改数据以欺骗机器学习模型的方法。这种攻击旨在使模型 在未来的预测或决策中 产生错误结果。攻击者可能会植入具有误导性标签或特征的数据,以扭曲模型的学习过程,导致模型偏离真实数据的表征。数据投毒攻击可能在模型训练过程中不被察觉,但其影响可能在模型部署和运行时显现出来。
后门攻击(Backdoor Attacks)
后门攻击是一种在模型 训练过程 中植入后门或隐藏功能的方式。这些后门可能是针对特定输入触发的,使得模型在遇到这些特定标记或输入时产生意外行为。后门攻击的目的是在模型表现正常的情况下,对特定情况下的预测或决策进行操控,可能导致安全隐患或隐私泄露。
【注】后门攻击和数据投毒攻击的异同点:
相同点:
都是发生在模型的训练阶段。 不同点:
数据投毒:主要目的是使模型的泛化性能变差, 也即在测试集上的效果变差, 模型不能进行有效的学习, 甚至无法收敛。后门攻击:目的则是使模型学习到攻击者指定的内容, 其对 正常样本 仍旧具有良好的测试效果,但对于 中毒样本 则会输出攻击者预先设定的标签。
对抗样本攻击(Adversarial Examples)
对抗样本攻击是通过对输入数据进行微小但有针对性的修改,使得机器学习模型产生错误分类或错误预测的样本。这些微小的变化对人类观察几乎不可察觉,但足以使模型做出错误的推断。对抗样本攻击是针对模型的鲁棒性和稳定性,即使在面对微小扰动时也能保持准确性。
模型窃取攻击(Model Extraction Attacks)
模型窃取攻击是一种针对机器学习模型的攻击,旨在通过观察模型的输出并利用查询功能,从中 重建或复制 原始模型。攻击者可能使用额外的查询信息来近似或重建受攻击模型,从而破坏模型拥有者的 知识产权 或 潜在商业优势 。
参考资料
深度学习中的后门攻击综述,杜巍, 刘功申,2022信息安全学报
声明
本文内容仅代表作者观点,或转载于其他网站,本站不以此文作为商业用途
如有涉及侵权,请联系本站进行删除
转载本站原创文章,请注明来源及作者。