Đánh giá độ tin cậy của phần mềm phát hiện AI

Các tác giả

DOI:

10.46223/HCMCOUJS.tech.vi.20.1.3589.2025

Từ khóa:

hiệu quả phần mềm phát hiện văn bản do AI tạo sinh; phân tích ROC; văn bản AI tạo sinh

Tóm tắt

Nghiên cứu này đã đánh giá hiệu quả của phần mềm phát hiện AI trong việc phân biệt giữa văn bản do con người tạo ra và AI, sử dụng mô hình Vistral-7B-Chat. Đánh giá bao gồm 30 công cụ phát hiện được thử nghiệm trên 10 mẫu văn bản, được phân chia đều giữa nguồn người và AI. Thống kê mô tả và phân tích đường cong ROC đã được sử dụng để đánh giá độ chính xác của các công cụ này. Các phát hiện cho thấy phần mềm phân biệt hiệu quả giữa AI và văn bản do con người tạo ra, đạt được điểm AUC là 1, biểu thị độ chính xác gần như hoàn hảo. Nghiên cứu đã xác định sự thay đổi trong hiệu suất của công cụ, nhấn mạnh sự cần thiết của các cải tiến liên tục để giải quyết các thách thức diễn giải và lảng tránh. Nghiên cứu này góp phần vào sự hiểu biết về phát hiện văn bản AI, nhấn mạnh nhu cầu cấp bách về các công cụ mạnh mẽ để bảo vệ tính toàn vẹn của nội dung do con người tạo ra khi các công nghệ AI tiến bộ.

Tải xuống

Dữ liệu tải xuống chưa có sẵn.

Tài liệu tham khảo

Akram, A. (2023). An empirical study of AI generated text detection tools. https://doi.org/10.33140/AMLAI

Alshahrani, A. (2024). Artificial intelligence technologies utilization for detecting explosive materials. International Journal of Data and Network Science, 8(1), 617-628.

Bellini, V., Semeraro, F., Montomoli, J., Cascella, M., & Bignami, E. (2024). Between human and AI: Assessing the reliability of AI text detection tools. Current Medical Research and Opinion, 40(3), 353-358. https://doi.org/10.1080/03007995.2024.2310086

Chakraborty, S., Bedi, A. S., Zhu, S., An, B., Manocha, D., & Huang, F. (2023). On the possibilities of AI-generated text detection. https://doi.org/10.48550/arXiv.2304.04736

Cui, W., Zhang, L., Wang, Q., & Cai, S. (2023). Who said that? Benchmarking social media AI detection. http://arxiv.org/abs/2310.08240

Tải xuống

Các tệp bổ sung

Ngày nộp: 26-07-2024
Ngày duyệt đăng: 11-10-2024
Ngày xuất bản: 18-10-2024

Thống kê

Trang tóm tắt: 792
(English): 0
PDF: 556
Appendix: 153

FWCI: ---

Cách trích dẫn

Cảnh, T. Q., & Chỉnh, H. T. (2024). Đánh giá độ tin cậy của phần mềm phát hiện AI. Tạp Chí Khoa học Đại học Mở Thành phố Hồ Chí Minh - Kỹ thuật Và Công nghệ, 20(1), 81–91. https://doi.org/10.46223/HCMCOUJS.tech.vi.20.1.3589.2025

Các bài báo tương tự

Bạn cũng có thể bắt đầu một tìm kiếm tương tự nâng cao cho bài báo này.