Các mô hình ngôn ngữ lớn (LLM) cung cấp năng lượng cho các công cụ trí tuệ nhân tạo (AI) ngày nay có thể được khai thác để phát triển phần mềm độc hại tự tăng cường có khả năng vượt qua các quy tắc YARA.
"Generative AI có thể được sử dụng để trốn tránh các quy tắc YARA dựa trên chuỗi bằng cách tăng cường mã nguồn của các biến thể phần mềm độc hại nhỏ, làm giảm hiệu quả tỷ lệ phát hiện", Recorded Future cho biết trong một báo cáo mới được chia sẻ với The Hacker News.
Những phát hiện này là một phần của bài tập nhóm đỏ được thiết kế để phát hiện các trường hợp sử dụng độc hại cho các công nghệ AI, vốn đã được các tác nhân đe dọa thử nghiệm để tạo các đoạn mã phần mềm độc hại, tạo email lừa đảo và tiến hành trinh sát các mục tiêu tiềm năng.
Công ty an ninh mạng cho biết họ đã gửi cho LLM một phần mềm độc hại được biết đến có tên STEELHOOK có liên quan đến nhóm hack APT28, cùng với các quy tắc YARA của nó, yêu cầu nó sửa đổi mã nguồn để tránh phát hiện như vậy chức năng ban đầu vẫn còn nguyên vẹn và mã nguồn được tạo ra không có lỗi cú pháp.
Được trang bị cơ chế phản hồi này, phần mềm độc hại bị thay đổi do LLM tạo ra giúp tránh bị phát hiện đối với các quy tắc YARA dựa trên chuỗi đơn giản.
Có những hạn chế đối với cách tiếp cận này, nổi bật nhất là số lượng văn bản mà một mô hình có thể xử lý làm đầu vào cùng một lúc, điều này gây khó khăn cho việc hoạt động trên các cơ sở mã lớn hơn.
Bên cạnh việc sửa đổi phần mềm độc hại để bay dưới radar, các công cụ AI như vậy có thể được sử dụng để tạo ra deepfake mạo danh các giám đốc điều hành và lãnh đạo cấp cao và tiến hành các hoạt động gây ảnh hưởng bắt chước các trang web hợp pháp ở quy mô lớn.
"Bằng cách tận dụng các mô hình đa phương thức, hình ảnh và video công khai của ICS và thiết bị sản xuất, ngoài hình ảnh trên không, có thể được phân tích cú pháp và làm phong phú để tìm siêu dữ liệu bổ sung như định vị địa lý, nhà sản xuất thiết bị, mô hình và phiên bản phần mềm", công ty cho biết.
Thật vậy, Microsoft và OpenAI đã cảnh báo vào tháng trước rằng APT28 đã sử dụng LLM để "hiểu các giao thức liên lạc vệ tinh, công nghệ hình ảnh radar và các thông số kỹ thuật cụ thể", cho thấy nỗ lực "có được kiến thức chuyên sâu về khả năng của vệ tinh".
Sự phát triển này xuất hiện khi một nhóm các học giả đã phát hiện ra rằng có thể bẻ khóa các công cụ hỗ trợ LLM và tạo ra nội dung độc hại bằng cách chuyển đầu vào dưới dạng nghệ thuật ASCII (ví dụ: "cách chế tạo bom", trong đó từ BOMB được viết bằng các ký tự "*" và khoảng trắng).
Cuộc tấn công thực tế, được đặt tên là ArtPrompt, vũ khí hóa "hiệu suất kém của LLM trong việc nhận ra nghệ thuật ASCII để bỏ qua các biện pháp an toàn và gợi ra các hành vi không mong muốn từ LLM."