Purple Llama:生成式AI安全工具与评测集合
Meta的伞状项目,汇集网络安全评测与输入输出防护工具,包括Llama Guard、Prompt Guard、Code Shield及CyberSec Eval系列基准。
Purple Llama是一个伞状项目,汇集帮助社区负责任地构建开放生成式AI的工具与评测,初始内容覆盖网络安全与输入/输出防护。防护组件包括:Llama Guard系列输入输出审核模型(基于Llama 3.1/3.2微调,支持MLCommons危害分类、多语言、128k上下文与图像推理)、针对提示注入与越狱的Prompt Guard、对LLM生成的不安全代码做推理时过滤的Code Shield。评测方面有CyberSec Eval系列基准,基于CWE、MITRE ATT&CK等行业标准,v2扩展到代码解释器滥用、进攻性网络安全与提示注入,v3新增视觉提示注入、鱼叉式钓鱼与自主进攻性网络作战测试。评测/基准以MIT许可,模型采用对应的Llama Community许可。