Công ty tăng cường sử dụng AI, tạo ra nhu cầu nhân sự bảo mật mới

Các công ty đang tăng cường sử dụng AI trong nhiều tác vụ, từ đọc thư chung đến viết mã. Điều này tạo ra các vị trí bảo mật mới, không cần kinh nghiệm về học máy. Các nhà nghiên cứu chỉ ra rằng, việc sử dụng AI có thể tạo ra rủi ro như prompt injection và quyền truy cập quá mức. Các vai trò mới bao gồm AI red teaming, AI security engineering, và đánh giá.

HHackReadBiên tập & Phân tích
0 lượt xem
Công ty tăng cường sử dụng AI, tạo ra nhu cầu nhân sự bảo mật mới

Các công ty đang tăng cường sử dụng AI trong nhiều tác vụ, từ đọc thư chung đến viết mã. Điều này tạo ra các vị trí bảo mật mới, không cần kinh nghiệm về học máy. Các nhà nghiên cứu chỉ ra rằng, việc sử dụng AI có thể tạo ra rủi ro như prompt injection và quyền truy cập quá mức. Các vai trò mới bao gồm AI red teaming, AI security engineering, và đánh giá.

Nội dung chính

  • AI assistants đang thực hiện nhiều tác vụ như gửi email, cập nhật hồ sơ và gọi các công cụ khác.
  • Prompt injection và quyền truy cập quá mức là hai rủi ro hàng đầu trong ứng dụng AI.
  • Các vai trò mới trong bảo mật AI bao gồm AI red teaming, AI security engineering, và đánh giá.
  • Những người đã làm việc trong IT hoặc bảo mật có thể chuyển đổi công việc, nhưng cần học cách hiểu cách hệ thống AI thất bại.
  • Các công ty cần xác định nơi AI được sử dụng, phân loại rủi ro của mỗi hệ thống, và thực hiện đánh giá tác động bảo vệ dữ liệu.

Chi tiết sự việc

Một số khung công khai cung cấp cấu trúc cho nghiên cứu này. OWASP Top 10 for LLM Applications là điểm khởi đầu tốt. MITRE ATLAS mô tả chiến thuật đối thủ chống lại hệ thống AI theo format mà bất kỳ ai biết ATT&CK đều nhận ra. NIST AI Risk Management Framework giúp về mặt quản lý, và ở châu Âu, EU AI Act và GDPR thiết lập khung pháp lý.

Kỹ năng ít được đánh giá cao nhất là đơn giản đã từng xây dựng điều gì đó. Nếu chưa từng kết nối một agent, việc bảo vệ một agent sẽ rất khó. Kết nối một mô hình với một API, xây dựng một quy trình nhỏ trong công cụ tự động hóa như n8n, hoặc cho phép một agent lập trình như Claude Code hoặc Codex tạo ra một công cụ đơn giản dạy bạn về ranh giới tin cậy thực sự.

Nhập từ bên ngoài AI

Hầu hết các công ty không tuyển dụng nhân viên AI bảo mật cấp thấp. Họ tuyển dụng người bảo mật và IT hiểu AI, hoặc họ đào tạo đội ngũ hiện có. Điều này làm cho các con đường thực tế khá rõ ràng: chuyển đổi nội bộ, một khóa học có cấu trúc kết hợp chủ đề AI và bảo mật, hoặc cả hai.

Ở Đức, người tìm việc có thể có đào tạo toàn thời gian được trả tiền hoàn toàn bởi cơ quan việc làm hoặc Jobcenter. Điều này hoạt động thông qua một phiếu gọi là Bildungsgutschein, cung cấp cả khóa học và nhà cung cấp đều AZAV-certified.

Nhiều chương trình hiện nay kết hợp các chủ đề trên. Ví dụ là chương trình đào tạo AI của Cybersteps Berlin. Chương trình kéo dài từ ba đến tám tháng, hoàn toàn trực tuyến, bằng tiếng Anh hoặc Đức. Sinh viên bắt đầu với các agent lập trình và tự động hóa, sau đó làm việc với AI doanh nghiệp trên Microsoft 365 và Azure, bao gồm RAG, MCP, đánh giá, red teaming và guardrails, và kết thúc với quản lý AI dưới GDPR và EU AI Act. Chương trình cũng chuẩn bị sinh viên cho chứng chỉ như IHK AI Manager.

Dù theo con đường nào, hãy tìm công việc thực tế trong môi trường thực tế: danh tính thực, quyền thực và ghi chép thực, không chỉ là slide về những gì AI có thể làm. Trong module thứ hai của Cybersteps, ví dụ, sinh viên làm việc trong một công ty mô phỏng với người dùng, quyền và dữ liệu riêng.

Kiểm tra cuối tuần bạn có thể tự thực hiện

Nếu muốn kiểm tra xem lĩnh vực này có phù hợp với bạn hay không, có cách rẻ để thử. Xây dựng một trợ lý nhỏ với công cụ tự động hóa miễn phí đọc một hộp thư kiểm tra và viết tóm tắt hàng ngày. Sau đó gửi hộp thư đó một email có chỉ thị ẩn và xem trợ lý làm gì với nó.

Tiếp theo, thử ngăn chặn nó. Giới hạn điều gì trợ lý có thể truy cập, thêm bước để loại bỏ văn bản ẩn, yêu cầu phê duyệt trước khi bất cứ điều gì rời khỏi hộp thư và ghi lại mọi hành động. Ghi chép điều gì hoạt động và điều gì không.

Viết lên đó nói nhiều hơn trong cuộc phỏng vấn việc làm so với danh sách các khóa học trực tuyến. Nó cho thấy bạn hiểu vấn đề từ cả hai phía, và nó cho phép nhà phỏng vấn có điều gì cụ thể để hỏi.

Việc làm vẫn là bảo mật

Khuyến nghị

  • Các công ty nên xác định nơi AI được sử dụng và phân loại rủi ro của mỗi hệ thống.
  • Xây dựng quy trình kiểm soát quyền truy cập và ghi log cho các đại diện AI.
  • Học cách hiểu cách AI thất bại và cách thức prompt injection.
  • Thực hiện đánh giá thường xuyên để đảm bảo AI vẫn tuân thủ các quy tắc và chính sách.

Lưu ý: Bài viết được biên dịch và tóm tắt tự động bằng AI từ nguồn HackRead. Vui lòng đối chiếu bài gốc trước khi sử dụng.

📰 Tin liên quan cùng sự kiện (1)

Nguồn: HackRead ↗
Từ khoá:#ai
H

Tin tổng hợp tự động từ HackRead (https://hackread.com). Mỗi bài đều dẫn liên kết tới bài gốc của nguồn.

Bài viết liên quan

Cùng chuyên mục & chủ đề

Công ty tăng cường sử dụng AI, tạo ra nhu cầu nhân sự bảo mật mới — HueCA-CYBER