微新创想(idea2003.com) 8月28日讯 人工智能与大型语言模型（LLMs）的生成能力正迅速成为安全领域关注的焦点。这些先进工具在编写和扫描代码、补充团队短板、实时分析威胁等方面展现出巨大潜力，有望显著提升安全团队的精准度、效率与生产力。随着技术发展，这些工具甚至有望接管安全分析师当前最头疼的重复性工作，将人类从繁琐任务中解放出来，专注于更具挑战性和战略性的工作。然而，生成式AI和LLMs仍处于早期发展阶段，组织在探索其应用时仍需谨慎。更值得关注的是，生成式AI的潜力并非仅限于安全专家，攻击者同样在积极探索如何利用这一技术达成其恶意目标。因此，深入理解生成式AI及其负责任使用方法，将成为未来安全领域的关键能力。
生成式AI和LLMs的应用前景令人瞩目。以ChatGPT为代表的生成式AI模型，正从根本上改变着编程和编码的方式。尽管它们目前无法完全从零开始创建代码，但对于拥有应用程序或程序想法的开发者而言，这些工具能够提供强大的支持。将基础任务交给AI，意味着工程师可以更专注于需要专业知识和经验的复杂工作。然而，生成式AI和LLMs的运作方式是基于现有内容进行创作，无论是来自公开互联网还是特定数据集。这种特性使其在迭代已有内容方面表现出色，同时也为攻击者提供了可乘之机。
攻击者正利用生成式AI技术创建各种恶意代码变体。例如，在Webshell攻击中，攻击者可以将现有Webshell代码输入生成式AI工具，要求其生成新的迭代版本。这些变体能够有效规避现有的安全防御措施，与远程代码执行漏洞（RCE）结合使用时，可以在受感染的服务器上实现持久化控制。此外，资金充裕的攻击者借助LLMs和生成式AI工具，能够更轻松地发现并执行复杂利用程序。他们通过分析常用开源项目或对商业软件进行逆向工程，甚至可以帮助技能较弱的攻击者实施复杂攻击。由于开源LLMs缺乏相应的保护机制且通常免费使用，攻击者更倾向于采用这类工具。
当前，大多数组织的代码库中已潜伏着数万个未解决的漏洞。随着程序员越来越多地使用AI生成的代码，而未对其进行充分的安全扫描，这一问题将进一步加剧。攻击者和其他高级团体将敏锐地捕捉到这一变化，并利用AI工具进行攻击。面对这一挑战，组织需要谨慎前行，采取有效措施确保安全地使用这些新工具。一种可行的策略是，像攻击者一样利用AI工具扫描自身代码库，识别潜在漏洞并及时修复。对于使用生成式AI和LLMs辅助代码生成的组织而言，验证AI从现有存储库中拉取的开源代码是否包含已知安全漏洞至关重要。
近期，一群技术领袖呼吁”暂停AI发展”以应对潜在的社会风险，这反映出安全专业人员对生成式AI和LLMs使用与传播的担忧。尽管这些工具有望大幅提升工程师和开发者的生产力，但在让AI真正发挥作用之前，组织必须仔细权衡其使用方式，并建立完善的保障措施。只有通过负责任的态度和周全的规划，我们才能确保生成式AI和LLMs真正成为推动安全领域进步的强大力量。
