开源软件被AI生成的垃圾漏洞报告所困扰

Python软件基金会的常驻安全开发人员Seth Larson上周在一篇博客文章中提出了这个问题,他敦促提交漏洞的人不要使用AI系统进行漏洞挖掘。
2024-12-12 17:12:06  |   作者:开源爱好者  |   来源:

开源软件被AI生成的垃圾漏洞报告所困扰

Python软件基金会的常驻安全开发人员Seth Larson上周在一篇博客文章中提出了这个问题,他敦促提交漏洞的人不要使用AI系统进行漏洞挖掘。
2024-12-12 17:12:06
作者:开源爱好者
来源:

Python软件基金会的常驻安全开发人员Seth Larson上周在一篇博客文章中提出了这个问题,他敦促提交漏洞的人不要使用AI系统进行漏洞挖掘。

图片1.jpg

“最近,我注意到针对开源项目的极低质量、垃圾邮件式以及由大型语言模型(LLM)虚构的安全报告数量有所增加,”他写道,并指出了1月份Curl项目得出的类似发现。“这些报告看起来似乎可能是对的,因此需要时间来验证。”

Larson认为,低质量的报告应被视为恶意报告。

为了强调这些担忧一直存在,12月8日发布的一份Curl项目漏洞报告显示,在维护者Daniel Stenberg提出这个问题近一年后,他仍然面临“AI垃圾报告”的困扰,并且在与可能部分或完全自动化的漏洞提交者争论上浪费了时间。

针对这份漏洞报告,Stenberg写道:我们经常收到大量的这种AI垃圾报告。这些提交者给Curl维护者带来了不必要的负担,我不会轻视这一点,并且决心立即采取行动。现在和未来都会如此。当提交了一份看似明显的AI垃圾“报告”,并声称存在安全问题,这很可能是因为AI让人相信了这一点。然后,提交者也未告诉维护者这是AI做的,继续用更多垃圾回复进行讨论,这些回复似乎也是由AI生成的。

在聊天机器人出现之前,垃圾邮件和低质量的在线内容就已存在,但生成式AI模型让这些内容更容易被生产出来。结果是新闻业、网络搜索还有社交媒体都被污染了。

对于开源项目而言,AI辅助生成的漏洞报告尤为有害,因为它们需要安全工程师(其中许多人是志愿者)花费时间和精力进行考虑和评估,而这些工程师本来就很忙。

Larson说,虽然他看到的低质量AI漏洞报告相对较少,但这些报告,预示着潜在的危险。

“Python或pip遇到的问题最终也可能也会发生在其他项目上,或者更频繁地发生,”他警告说,“我最担心的是那些单独处理这个问题的维护者。如果他们不知道AI生成的报告很常见,那么他们可能无法意识到发生了什么,从而在虚假的报告上浪费大量时间。让宝贵的志愿者时间浪费在做不喜欢的事情上,而且最终一无所获,这是让维护者精疲力尽或让他们远离安全工作的最快方式。”

Larson认为,开源社区需要走在这一趋势的前面,以减轻潜在的损害。

“我不太想说‘更多技术’是解决问题的办法,”他说,“我认为开源安全需要进行一些根本性的改变。不能总是让少数维护者来承担这项工作,我们需要让这些类型的开源贡献更加正常化和可见化。

“我们应该回答的问题是:‘我们如何让更多值得信赖的人参与到开源中来?’为人员配备提供资金是一个可行办法。”

在开源社区考虑如何应对这一问题时,Larson要求漏洞提交者不要提交未经人类验证的报告,并且不要使用AI,因为“目前的这些系统无法理解代码”。他还敦促那些代表维护者接受漏洞报告的平台采取措施,限制自动化或滥用安全报告的创建。