Microsoft đã phát hành một khung tự động hóa truy cập mở có tên PyRIT (viết tắt của Python Risk Identification Tool) để chủ động xác định rủi ro trong các hệ thống trí tuệ nhân tạo (AI).
Công cụ nhóm đỏ được thiết kế để "cho phép mọi tổ chức trên toàn cầu đổi mới có trách nhiệm với những tiến bộ trí tuệ nhân tạo mới nhất", Ram Shankar Siva Kumar, trưởng nhóm đỏ AI tại Microsoft, cho biết.
Công ty cho biết PyRIT có thể được sử dụng để đánh giá tính mạnh mẽ của các điểm cuối mô hình ngôn ngữ lớn (LLM) đối với các loại tác hại khác nhau như chế tạo (ví dụ: ảo giác), lạm dụng (ví dụ: thiên vị) và nội dung bị cấm (ví dụ: quấy rối).
Nó cũng có thể được sử dụng để xác định các tác hại bảo mật khác nhau, từ tạo phần mềm độc hại đến bẻ khóa, cũng như các tác hại về quyền riêng tư như trộm cắp danh tính.
PyRIT đi kèm với năm giao diện: mục tiêu, bộ dữ liệu, công cụ tính điểm, khả năng hỗ trợ nhiều chiến lược tấn công và kết hợp một thành phần bộ nhớ có thể ở dạng JSON hoặc cơ sở dữ liệu để lưu trữ các tương tác đầu vào và đầu ra trung gian.
Công cụ tính điểm cũng cung cấp hai tùy chọn khác nhau để ghi điểm đầu ra từ hệ thống AI mục tiêu, cho phép các nhóm màu đỏ sử dụng bộ phân loại học máy cổ điển hoặc tận dụng điểm cuối LLM để tự đánh giá.
"Mục tiêu là cho phép các nhà nghiên cứu có một đường cơ sở về mô hình của họ và toàn bộ đường ống suy luận đang hoạt động tốt như thế nào đối với các loại tác hại khác nhau và có thể so sánh đường cơ sở đó với các lần lặp lại trong tương lai của mô hình của họ", Microsoft cho biết.
"Điều này cho phép họ có dữ liệu thực nghiệm về mô hình của họ đang hoạt động tốt như thế nào ngày hôm nay và phát hiện bất kỳ sự suy giảm hiệu suất nào dựa trên những cải tiến trong tương lai."
Điều đó nói rằng, gã khổng lồ công nghệ cẩn thận nhấn mạnh rằng PyRIT không phải là sự thay thế cho việc nhóm đỏ thủ công của các hệ thống AI tạo ra và nó bổ sung cho chuyên môn miền hiện có của nhóm đỏ.
Nói cách khác, công cụ này nhằm làm nổi bật các "điểm nóng" rủi ro bằng cách tạo ra các lời nhắc có thể được sử dụng để đánh giá hệ thống AI và gắn cờ các khu vực cần điều tra thêm.
Microsoft cũng thừa nhận rằng việc hợp tác đỏ các hệ thống AI tạo ra đòi hỏi phải thăm dò đồng thời cả rủi ro bảo mật và AI có trách nhiệm và bài tập có xác suất cao hơn đồng thời chỉ ra sự khác biệt lớn trong kiến trúc hệ thống AI tạo ra.
"Thăm dò thủ công, mặc dù tốn thời gian, thường cần thiết để xác định các điểm mù tiềm ẩn", Siva Kumar nói. "Tự động hóa là cần thiết để mở rộng quy mô nhưng không phải là sự thay thế cho thăm dò thủ công."
Sự phát triển này diễn ra khi Protect AI tiết lộ nhiều lỗ hổng nghiêm trọng trong các nền tảng chuỗi cung ứng AI phổ biến như ClearML, Hugging Face, MLflow và Triton Inference Server có thể dẫn đến việc thực thi mã tùy ý và tiết lộ thông tin nhạy cảm.