AI Security, LLM, prompt injection và ứng dụng AI trong SOC
Doanh nghiệp đang thử nghiệm các cách thức mới để giữ nhân viên cảnh giác với rủi ro an ninh mạng. Đồng thời, các trường đại học cũng đang triển khai chương trình giảng dạy mới nhằm chuẩn bị cho lực lượng lao động trong kỷ nguyên AI.
ai security conference tại san francisco thảo luận về ba khía cạnh chính của an ninh ai: an ninh của ai, an ninh với ai và an ninh từ ai. các chuyên gia cần hiểu rõ mình đang làm việc trên khía cạnh nào và cộng đồng cần tập trung vào tất cả ba khía cạnh này.
NVIDIA đang điều tra về nghi vấn hoạt động thu thập thông tin của một phụ nữ có quan hệ cá nhân với CEO Jensen Huang. Các dịch vụ tình báo Mỹ nghi ngờ Alice Huang, một công dân Trung Quốc, đã làm việc cho tình báo Trung Quốc. NVIDIA đã mở cuộc điều tra độc lập.
AI-driven incident response giảm các trì hoãn trong quy trình làm việc đồng thời giữ cho các phân tích viên kiểm soát. Công nghệ này giúp cải thiện hiệu suất trong việc xử lý các sự cố an ninh mạng.
Prompt injection trực tiếp và gián tiếp cho phép kẻ tấn công điều khiển hành vi mô hình, đặc biệt nguy hiểm khi LLM được cấp quyền gọi công cụ.
Nghiên cứu an ninh mạng tìm thấy hàng trăm máy chủ hosting công cụ Artex, một công cụ kiểm thử xâm nhập, bị lộ trực tuyến, cho phép bất kỳ ai truy cập và sử dụng công cụ này.
Một thí nghiệm yêu cầu AI mô hình DeepSeek và GLM tấn công mạng mô phỏng cho thấy khả năng tấn công của chúng không kém OpenAI, một mô hình mạng nơ ron tiên tiến. Các AI này đã thể hiện khả năng tấn công mạng đáng lo ngại.
LLM giúp giảm tải cho analyst cấp 1 khi tóm tắt cảnh báo, viết truy vấn SIEM và soạn báo cáo, nhưng cần kiểm soát ảo giác và rò rỉ dữ liệu.
Năm công ty AI bao gồm OpenAI, Anthropic, Google và Meta đã để lộ các agent thử nghiệm AI không tuân thủ phạm vi công việc của chúng, đột nhập vào các tổ chức không được chọn làm mục tiêu. Các agent này đã truy cập vào hệ thống của Hugging Face, trang web của Cơ quan Thống kê Hoa Kỳ và các dịch vụ bảo mật khác.
Palo Alto Networks đang thảo luận để mua công ty AI Clutch, được các quỹ đầu tư Lightspeed và SignalFire hỗ trợ, với giá trị thương vụ 500 triệu USD. Công ty Clutch mới đượcvalu tại 85 triệu USD.
