Garante chia sẻ ý kiến về AI trong trường học

Garante đã đưa ra ý kiến về việc sử dụng trí tuệ nhân tạo (AI) trong trường học. Họ đề xuất các biện pháp bảo vệ dữ liệu học sinh, bao gồm việc sử dụng tên người dùng ẩn danh và tách biệt thông tin cá nhân. Garante cũng yêu cầu Bộ Giáo dục đưa ra hướng dẫn cho các nhà cung cấp dịch vụ.

Nội dung chính

• Garante đã đưa ra ý kiến về việc sử dụng AI trong trường học.
• Họ đề xuất sử dụng tên người dùng ẩn danh và tách biệt thông tin cá nhân.
• Garante yêu cầu Bộ Giáo dục đưa ra hướng dẫn cho các nhà cung cấp dịch vụ.
• Hướng dẫn này nhằm giảm rủi ro liên quan đến việc sử dụng AI trong trường học.

Chi tiết sự việc

Dữ liệu ra khỏi không gian kinh tế châu Âu và trách nhiệm của việc xử lý

Trong sơ đồ bộ trưởng, có đề xuất về việc chuyển giao dữ liệu cá nhân: tránh chuyển giao ra khỏi không gian kinh tế châu Âu và, nếu cần thiết, áp dụng các biện pháp bảo vệ theo các điều 45 và tiếp theo của GDPR. Đối với các trường học sử dụng dịch vụ đám mây và nền tảng AI quốc tế, việc kiểm tra phải bao gồm các điểm cuối, vị trí của log và quyền truy cập của hỗ trợ kỹ thuật, ngoài vị trí trung tâm dữ liệu được tuyên bố trong brochure thương mại.

Trường học phải làm rõ mục đích sử dụng dịch vụ và xác định vai trò bảo mật cá nhân của các đối tượng liên quan, chỉ định nhà cung cấp chịu trách nhiệm về việc xử lý khi hành động thay mặt chủ sở hữu và kiểm tra bất kỳ việc xử lý nào độc lập. Trong các dự án có thể gây nguy hiểm cao cho người, phải thực hiện đánh giá tác động theo điều 35 GDPR. Thông tin, thỏa thuận, quản lý quyền và biện pháp kỹ thuật phải phù hợp với những gì sản phẩm thực sự làm.

Prompt injection, tài khoản bị chiếm dụng và rò rỉ dữ liệu: những rủi ro cần quản lý

Mối đe dọa chính cho nền tảng giáo dục đến từ sự kết hợp của thông tin của trẻ em, công cụ tạo và chia sẻ tài liệu. Một trợ lý có quyền truy cập vào tài liệu giảng dạy, thư mục chung hoặc dịch vụ bên ngoài có thể xử lý tệp chứa dữ liệu bí mật; chỉ dẫn độc hại ẩn trong một tài liệu có thể cố gắng khiến nó truy cập vào tài nguyên ngoài phạm vi công việc được phép. Mekanism này, được gọi là prompt injection gián tiếp, đặc biệt quan trọng khi AI có công cụ đọc hoặc truyền tải thông tin.

Các biện pháp phòng ngừa bao gồm phân cách quyền, kiểm tra kết nối, lọc tài liệu trước khi gửi, ghi lại các hoạt động, kiểm tra kết quả và quy trình thu hồi quyền truy cập. Giáo viên và quản lý cũng phải có khả năng nhận ra một đáp án sai hoặc yêu cầu của hệ thống để nhập thông tin không cần thiết. Bảo vệ dữ liệu chuyển đổi thành các lựa chọn cấu hình và mua, cũng như đào tạo nhân viên.

AI Act và trường học: không phải tất cả các công cụ đều có cùng chế độ

Luật pháp châu Âu thêm một phân biệt cho mục đích sử dụng. Quy định châu Âu về trí tuệ nhân tạo coi một số ứng dụng được sử dụng cho việc chấp nhận, phân bổ vào các khóa học, đánh giá học tập hoặc giám sát bài kiểm tra là cao nguy hiểm, theo điều kiện của phụ lục III. Sử dụng một trợ lý chung để chuẩn bị tài liệu giảng dạy yêu cầu một đánh giá khác. Vai trò thực tế của AI trong quyết định giáo dục ảnh hưởng đến nghĩa vụ áp dụng, không phải chỉ đơn thuần có mặt của một chatbot trong trường.

Luật pháp cấm, ngoại trừ các trường hợp được quy định để lý do y tế hoặc an ninh, sử dụng các hệ thống AI để suy đoán cảm xúc trong phạm vi các cơ sở giáo dục. Kiểm tra tương thích phải bắt đầu từ chức năng đã mua và điều gì giáo viên muốn làm với các kết quả, duy trì các yêu cầu AI Act, quyền của học sinh và nghĩa vụ bảo mật đã áp dụng.

Tiếp theo cho Bộ và các cơ sở

Việc của Garante chuyển sự chú ý đến khả năng của các trường riêng biệt đánh giá các dịch vụ phức tạp. Bộ có thể chuẩn bị các tiêu chuẩn chung, tiêu chí cho việc chọn nhà cung cấp và một trung tâm hỗ trợ; các cơ sở, trong khi đó, cần lập danh sách các công cụ đã sử dụng, làm rõ các xử lý và phân công nhiệm vụ kiểm soát. Một nền tảng được cấu hình để hạn chế thu thập dữ liệu cung cấp nhiều bảo vệ hơn một dịch vụ được kích hoạt mà không có hướng dẫn chia sẻ và không có điều khoản hợp đồng đã xem xét.

Ý kiến đồng ý cho phép quá trình bộ tiếp tục. Các bước tiếp theo sẽ là việc thông qua các biện pháp cuối cùng, việc xác định có thể là yêu cầu quốc gia cho các nhà cung cấp và việc chuyển đổi chúng thành hợp đồng, cấu hình và quy trình kiểm tra có thể thực hiện trong các trường.

Faraday bag, một công cụ giúp bảo vệ thông tin cá nhân trên smartphone, có giá 2,49 €. Từ mã hóa zero-knowledge đến sử dụng alias cho email, công cụ này giúp bảo vệ tài khoản trực tuyến.

Cyber security vẫn đang thảo luận về những vấn đề cũ kỹ, cho thấy ngành công nghiệp vẫn chưa tìm ra giải pháp bền vững cho những thách thức an ninh mạng.

Shadow AI, khi nhà phát triển giỏi nhất trở thành mối đe dọa cho dữ liệu doanh nghiệp, là một hiện tượng đáng lo ngại. Nightspire đã công bố tấn công vào IMD Group, làm nổi bật rủi ro an ninh mạng và tầm quan trọng của quản trị.

Sovranità dei dati và cyber security: kiểm soát không dừng lại ở giới hạn của đám mây, nhấn mạnh tầm quan trọng của việc nắm giữ quyền kiểm soát dữ liệu.

Phishing, hacker đang nhắm vào AI: mối đe dọa từ CAPTCHA giả mạo, làm tăng nguy cơ rò rỉ thông tin cá nhân.

GPT-6 Cyber đã tìm ra 81 lỗi trong Firefox, cho thấy khả năng, giới hạn và rủi ro của AI trong lĩnh vực an ninh mạng.

Khuyến nghị

• Bộ Giáo dục nên đưa ra hướng dẫn cụ thể cho các nhà cung cấp dịch vụ AI.
• Các trường học cần thực hiện các biện pháp bảo vệ dữ liệu học sinh.
• Các nhà quản lý và giáo viên nên nhận thức về rủi ro liên quan đến việc sử dụng AI.

Lưu ý: Bài viết được biên dịch và tóm tắt tự động bằng AI từ nguồn Cybersecurity360 (Ý). Vui lòng đối chiếu bài gốc trước khi sử dụng.