AI智能体可以读取资料、调用工具、执行任务。当企业赋予它较大的数据和系统权限后,一旦出现指令错误、权限配置不当等情况,就可能带来数据泄露或业务误操作风险。
因此,AI安全关注的不只是模型本身,还包括数据权限、访问范围和人工审核。
这也对生成式AI使用者提出了更高要求。员工不仅要会使用生成式AI,还需要判断哪些信息可以交给AI,生成结果是否可靠,以及什么情况下必须进行人工复核。
生成式AI认证(GAI认证)涉及生成式AI基础、实际应用、结果评估、AI伦理和社会影响等内容,帮助使用者建立基本的AI应用与风险意识。
当AI智能体从“辅助工具”开始承担实际任务,企业和员工都需要重新认识AI安全问题。