蚂蚁发布大模型内生式安全护栏SingProbe，让AI边生成边识别风险

蚂蚁AI安全实验室在国家网络安全宣传周期间发布了大模型内生式安全护栏SingProbe，该技术将安全检测融入模型生成过程，实现边生成边识别风险。SingProbe通过复用大模型推理过程中的内部信息，以低于0.5%的额外计算开销持续输出风险分数，帮助系统及时采取中止回答、重新生成等措施。团队还同步发布了评测基准SingStreamBench，并在医疗场景中探索了SingProbe-Med技术，展示了内生风险信号用于生成过程安全控制的潜力。目前SingProbe已适配29个主流开源大模型并接入多个推理框架，相关代码、模型和评测基准已开源。