--

20(1)2025

Đánh giá độ tin cậy của phần mềm phát hiện AI


Tác giả - Nơi làm việc:
Trần Quang Cảnh - Trường Đại học Kinh tế - Luật, Thành phố Hồ Chí Minh Đại học Quốc gia Thành phố Hồ Chí Minh, Thành phố Hồ Chí Minh , Việt Nam
Hoàng Thị Chỉnh - Trường Đại học Kinh tế - Luật, Thành phố Hồ Chí Minh Đại học Quốc gia Thành phố Hồ Chí Minh, Thành phố Hồ Chí Minh , Việt Nam
Tác giả liên hệ, Email: Trần Quang Cảnh - tranquangcanh3110@gmail.com
Ngày nộp: 26-07-2024
Ngày duyệt đăng: 11-10-2024
Ngày xuất bản: 18-10-2024

Tóm tắt
Nghiên cứu này đã đánh giá hiệu quả của phần mềm phát hiện AI trong việc phân biệt giữa văn bản do con người tạo ra và AI, sử dụng mô hình Vistral-7B-Chat. Đánh giá bao gồm 30 công cụ phát hiện được thử nghiệm trên 10 mẫu văn bản, được phân chia đều giữa nguồn người và AI. Thống kê mô tả và phân tích đường cong ROC đã được sử dụng để đánh giá độ chính xác của các công cụ này. Các phát hiện cho thấy phần mềm phân biệt hiệu quả giữa AI và văn bản do con người tạo ra, đạt được điểm AUC là 1, biểu thị độ chính xác gần như hoàn hảo. Nghiên cứu đã xác định sự thay đổi trong hiệu suất của công cụ, nhấn mạnh sự cần thiết của các cải tiến liên tục để giải quyết các thách thức diễn giải và lảng tránh. Nghiên cứu này góp phần vào sự hiểu biết về phát hiện văn bản AI, nhấn mạnh nhu cầu cấp bách về các công cụ mạnh mẽ để bảo vệ tính toàn vẹn của nội dung do con người tạo ra khi các công nghệ AI tiến bộ.

Từ khóa
hiệu quả phần mềm phát hiện văn bản do AI tạo sinh; phân tích ROC; văn bản AI tạo sinh

Toàn văn:
PDF Appendix

Trích dẫn:

Tran, C. Q., & Hoang, C. T. (2025). Đánh giá độ tin cậy của phần mềm phát hiện AI [Evaluate the reliability of AI detection software]. Tạp chí Khoa học Đại học Mở Thành phố Hồ Chí Minh – Kỹ thuật và Công nghệ, 20(1), 81-91. http://doi.org/10.46223/HCMCOUJS.tech.vi.20.1.3589.2025


Tài liệu tham khảo

Akram, A. (2023). An empirical study of AI generated text detection tools. https://doi.org/10.33140/AMLAI


Alshahrani, A. (2024). Artificial intelligence technologies utilization for detecting explosive materials. International Journal of Data and Network Science, 8(1), 617-628.


Bellini, V., Semeraro, F., Montomoli, J., Cascella, M., & Bignami, E. (2024). Between human and AI: Assessing the reliability of AI text detection tools. Current Medical Research and Opinion, 40(3), 353-358. https://doi.org/10.1080/03007995.2024.2310086


Chakraborty, S., Bedi, A. S., Zhu, S., An, B., Manocha, D., & Huang, F. (2023). On the possibilities of AI-generated text detection. https://doi.org/10.48550/arXiv.2304.04736


Cui, W., Zhang, L., Wang, Q., & Cai, S. (2023). Who said that? Benchmarking social media AI detection. http://arxiv.org/abs/2310.08240


Hu, X., Chen, P. Y., & Ho, T. Y. (2023). RADAR: Robust AI-text detection via adversarial learning. https://doi.org/10.48550/arXiv.2307.03838


Krishna, K., Song, Y., Karpinska, M., Wieting, J., & Iyyer, M. (2023). Paraphrasing evades detectors of AI-generated text, but retrieval is an effective defense. https://doi.org/10.48550/arXiv.2303.13408


Kumarage, T., Sheth, P., Moraffah, R., Garland, J., & Liu, H. (2023). How reliable are AI-generated-text detectors? An assessment framework using evasive soft prompts. https://doi.org/10.48550/arXiv.2310.05095


Legaspi, J. B., Licuben, R. J. O., Legaspi, E. A., & Tolentino, J. A. (2024). Comparing AI detectors: Evaluating performance and efficiency. International journal of Science and Research Archive, 12(2), 833-838.


Lu, N., Liu, S., He, R., & Tang, K. (2023). Large language models can be guided to evade AI-generated text detection. https://doi.org/10.48550/arXiv.2305.10847


Miller, I., & Lin, D. (2022). Developing self-evolving deepfake detectors against AI attacks [Paper presentation]. 2022 IEEE 4th International Conference on Trust, Privacy and Security in Intelligent Systems, and Applications (TPS-ISA), Atlanta, GA. https://ieeexplore.ieee.org/abstract/document/10063474/


Pandita, V., Mujawar, A. M., Norbu, T., Verma, V., & Patil, P. (2024). Text origin detection: Unmasking the source - AI vs human [Paper presentation]. 2024 5th International Conference for Emerging Technology (INCET), Belgaum, India. https://ieeexplore.ieee.org/abstract/document/10592990/


Rashidi, H. H., Fennell, B. D., Albahra, S., Hu, B., & Gorbett, T. (2023). The ChatGPT conundrum: Human-generated scientific manuscripts misidentified as AI creations by AI text detection tool. Journal of Pathology Informatics, 14, Article 100342.


Sadasivan, V. S., Kumar, A., Balasubramanian, S., Wang, W., & Feizi, S. (2023). Can AI-generated text be reliably detected? https://doi.org/10.48550/arXiv.2303.11156


Verma, V., Fleisig, E., Tomlin, N., & Klein, D. (2023). Ghostbuster: Detecting text ghostwritten by large language models. https://doi.org/10.48550/arXiv.2305.15047


Walters, W. H. (2023). The effectiveness of software designed to detect AI-generated writing:
A comparison of 16 AI text detectors. Open Information Science, 7. https://doi.org/10.1515/opis-2022-0158


Wang, Y. (2024). Survey for detecting AI-generated content. Advances in Engineering Technology Research, 11(1), 643-643.


Weber-Wulff, D., Anohina-Naumeca, A., Bjelobaba, S., Foltýnek, T., Guerrero-Dib, J., Popoola, O., Šigut, P., & Waddington, L. (2023). Testing of detection tools for AI-generated text. International Journal for Educational Integrity, 19(1), Article 26. https://doi.org/10.1007/s40979-023-00146-z



DOI: https://doi.org/10.46223/HCMCOUJS.tech.vi.20.1.3589.2025
Creative Commons License
© The Author(s) 2025. This is an open access publication under CC BY NC licence.