字节跳动大模型训练被实习生攻击,涉事者已被辞退


10月18日 , 多个微信群流传一则消息:“某头部大厂的大模型训练被实习生入侵 , 注入了破坏代码 , 导致其训练成果不可靠 , 可能需要重新训练 。 据称遭到入侵的代码注入了8000多张卡 , 带来的损失可能超过千万美元 。 ”
【字节跳动大模型训练被实习生攻击,涉事者已被辞退】界面新闻从知情人士处获悉 , 该头部大厂为字节跳动 。 此事发生在今年6月 , 起因是某高校的博士在字节跳动商业化技术团队实习 , 因对团队资源分配不满 , 使用攻击代码破坏团队的模型训练任务 。
界面新闻向字节跳动求方面证此事 , 截至目前 , 官方未进行回应 。
传闻显示 , 该田姓实习生利用了HF(huggingface)的漏洞 , 在公司的共享模型里写入破坏代码 , 导致模型的训练效果忽高忽低 , 无法产生预期的训练效果 , 而且AML团队无法核查原因 。 但传闻曝出之后 , 该实习生还在某微信群里辟谣称 , 自己发完论文后就从字节跳动离职 , 这个当口有另一个人钻漏洞改模型代码 , 把锅扣到自己头上 。
界面新闻从知情人士处了解到 , 字节跳动内部已经调查明确此事为田姓实习生所为 。 目前 , 该实习生已被辞退 , 字节跳动同时把此事同步给行业联盟和该实习生所在的学校 。 但这名实习生被辞退后到处“辟谣”甩锅 , 称是其他人所为 。
但该实习生攻击的并不是豆包大模型 , 而是商业化技术团队的模型训练任务 , 影响了该技术团队的一些业务进展 , 但整体对公司造成的损失并没有传闻中的超过千万美元那么大 。
一位技术安全专家告诉界面新闻 , HF漏洞产生肯定是单一性集中训练 , 此事暴露了字节跳动技术训练存在安全管理问题 。 公司既没做权限隔离 , 也没有做好共用代码的审计 。 正常情况下 , 每次大的代码变动必须做审计 , 无论谁做操作都有痕迹记录 , 一个人想动代码是不可能的 。
上述技术安全专家表示 , 目前行业通用的做法是做三级隔离导向性部署 , 每一级只有镜像 , 每次先扫描 。 调用按次算、必须密钥 。 每一级完成后 , 才能进入下一级 , 而上一级自动删除 , 进行分级训练 。
来源:界面新闻

    推荐阅读