Nvidia ra mắt nền tảng kiểm soát tác nhân AI

Nvidia công bố một nền tảng bảo mật mã nguồn mở nhằm giới hạn những việc tác nhân AI được phép làm và phát hiện khi chúng vượt quyền.

Chi tiết:

• Công cụ OpenShell đặt tác nhân AI trong môi trường có quyền truy cập được xác định trước.
• Theo Nvidia, lớp bảo vệ Sentry theo dõi hoạt động của tác nhân AI và có thể cô lập chúng khi phát hiện hành vi vượt giới hạn.
• Nvidia cho biết hơn 100 tổ chức sử dụng nền tảng này khi ra mắt, trong đó có Microsoft và JPMorgan Chase.
• Giáo sư khoa học máy tính Somesh Jha lưu ý rằng giới hạn bảo mật có thể cản trở tác nhân AI làm những việc hữu ích. Hiệu quả thực tế cần được đánh giá trong từng trường hợp.

Nguồn

• PBS NewsHour: Nvidia unveils security platform to stop AI agents from going rogue
• PBS NewsHour: Nvidia announced a software tool to stop rogue AI. How would it work?
• CBS News: Nvidia announces new software to prevent AI agents from "going rogue"
• Axios: The solution to the AI safety crisis is more AI

Tổng hợp từ 3 cơ quan báo chí