Đánh giá độ tin cậy của phần mềm phát hiện AI
Các tác giả
-
Trần Quang Cảnh
tranquangcanh3110@gmail.com
Trường Đại học Kinh tế - Luật, Thành phố Hồ Chí Minh Đại học Quốc gia Thành phố Hồ Chí Minh, Thành phố Hồ Chí Minh, Việt Namhttps://orcid.org/0000-0001-6513-9319
- Hoàng Thị Chỉnh
Trường Đại học Kinh tế - Luật, Thành phố Hồ Chí Minh Đại học Quốc gia Thành phố Hồ Chí Minh, Thành phố Hồ Chí Minh, Việt Namhttps://orcid.org/0009-0007-4402-0408DOI:
10.46223/HCMCOUJS.tech.vi.20.1.3589.2025Từ khóa:
hiệu quả phần mềm phát hiện văn bản do AI tạo sinh; phân tích ROC; văn bản AI tạo sinhTóm tắt
Nghiên cứu này đã đánh giá hiệu quả của phần mềm phát hiện AI trong việc phân biệt giữa văn bản do con người tạo ra và AI, sử dụng mô hình Vistral-7B-Chat. Đánh giá bao gồm 30 công cụ phát hiện được thử nghiệm trên 10 mẫu văn bản, được phân chia đều giữa nguồn người và AI. Thống kê mô tả và phân tích đường cong ROC đã được sử dụng để đánh giá độ chính xác của các công cụ này. Các phát hiện cho thấy phần mềm phân biệt hiệu quả giữa AI và văn bản do con người tạo ra, đạt được điểm AUC là 1, biểu thị độ chính xác gần như hoàn hảo. Nghiên cứu đã xác định sự thay đổi trong hiệu suất của công cụ, nhấn mạnh sự cần thiết của các cải tiến liên tục để giải quyết các thách thức diễn giải và lảng tránh. Nghiên cứu này góp phần vào sự hiểu biết về phát hiện văn bản AI, nhấn mạnh nhu cầu cấp bách về các công cụ mạnh mẽ để bảo vệ tính toàn vẹn của nội dung do con người tạo ra khi các công nghệ AI tiến bộ.Tải xuống
Dữ liệu tải xuống chưa có sẵn.Tài liệu tham khảo
Akram, A. (2023). An empirical study of AI generated text detection tools. https://doi.org/10.33140/AMLAI
Alshahrani, A. (2024). Artificial intelligence technologies utilization for detecting explosive materials. International Journal of Data and Network Science, 8(1), 617-628.
Bellini, V., Semeraro, F., Montomoli, J., Cascella, M., & Bignami, E. (2024). Between human and AI: Assessing the reliability of AI text detection tools. Current Medical Research and Opinion, 40(3), 353-358. https://doi.org/10.1080/03007995.2024.2310086
Chakraborty, S., Bedi, A. S., Zhu, S., An, B., Manocha, D., & Huang, F. (2023). On the possibilities of AI-generated text detection. https://doi.org/10.48550/arXiv.2304.04736
Cui, W., Zhang, L., Wang, Q., & Cai, S. (2023). Who said that? Benchmarking social media AI detection. http://arxiv.org/abs/2310.08240
Hu, X., Chen, P. Y., & Ho, T. Y. (2023). RADAR: Robust AI-text detection via adversarial learning. https://doi.org/10.48550/arXiv.2307.03838
Krishna, K., Song, Y., Karpinska, M., Wieting, J., & Iyyer, M. (2023). Paraphrasing evades detectors of AI-generated text, but retrieval is an effective defense. https://doi.org/10.48550/arXiv.2303.13408
Kumarage, T., Sheth, P., Moraffah, R., Garland, J., & Liu, H. (2023). How reliable are AI-generated-text detectors? An assessment framework using evasive soft prompts. https://doi.org/10.48550/arXiv.2310.05095
Legaspi, J. B., Licuben, R. J. O., Legaspi, E. A., & Tolentino, J. A. (2024). Comparing AI detectors: Evaluating performance and efficiency. International journal of Science and Research Archive, 12(2), 833-838.
Lu, N., Liu, S., He, R., & Tang, K. (2023). Large language models can be guided to evade AI-generated text detection. https://doi.org/10.48550/arXiv.2305.10847
Miller, I., & Lin, D. (2022). Developing self-evolving deepfake detectors against AI attacks [Paper presentation]. 2022 IEEE 4th International Conference on Trust, Privacy and Security in Intelligent Systems, and Applications (TPS-ISA), Atlanta, GA. https://ieeexplore.ieee.org/abstract/document/10063474/
Pandita, V., Mujawar, A. M., Norbu, T., Verma, V., & Patil, P. (2024). Text origin detection: Unmasking the source - AI vs human [Paper presentation]. 2024 5th International Conference for Emerging Technology (INCET), Belgaum, India. https://ieeexplore.ieee.org/abstract/document/10592990/
Rashidi, H. H., Fennell, B. D., Albahra, S., Hu, B., & Gorbett, T. (2023). The ChatGPT conundrum: Human-generated scientific manuscripts misidentified as AI creations by AI text detection tool. Journal of Pathology Informatics, 14, Article 100342.
Sadasivan, V. S., Kumar, A., Balasubramanian, S., Wang, W., & Feizi, S. (2023). Can AI-generated text be reliably detected? https://doi.org/10.48550/arXiv.2303.11156
Verma, V., Fleisig, E., Tomlin, N., & Klein, D. (2023). Ghostbuster: Detecting text ghostwritten by large language models. https://doi.org/10.48550/arXiv.2305.15047
Walters, W. H. (2023). The effectiveness of software designed to detect AI-generated writing:
A comparison of 16 AI text detectors. Open Information Science, 7. https://doi.org/10.1515/opis-2022-0158Wang, Y. (2024). Survey for detecting AI-generated content. Advances in Engineering Technology Research, 11(1), 643-643.
Weber-Wulff, D., Anohina-Naumeca, A., Bjelobaba, S., Foltýnek, T., Guerrero-Dib, J., Popoola, O., Šigut, P., & Waddington, L. (2023). Testing of detection tools for AI-generated text. International Journal for Educational Integrity, 19(1), Article 26. https://doi.org/10.1007/s40979-023-00146-z
Các tệp bổ sung
Ngày nộp: 26-07-2024Ngày duyệt đăng: 11-10-2024Ngày xuất bản: 18-10-2024Thống kê
Trang tóm tắt: 792 (English): 0 PDF: 556 Appendix: 153
FWCI: ---Cách trích dẫn
Cảnh, T. Q., & Chỉnh, H. T. (2024). Đánh giá độ tin cậy của phần mềm phát hiện AI. Tạp Chí Khoa học Đại học Mở Thành phố Hồ Chí Minh - Kỹ thuật Và Công nghệ, 20(1), 81–91. https://doi.org/10.46223/HCMCOUJS.tech.vi.20.1.3589.2025Tải xuống trích dẫnGiấy phép
Bản quyền (c) 2024 Trần Quang Cảnh; Hoàng Thị Chỉnh
Tác phẩm này được cấp phép theo Giấy phép quốc tế Creative Commons Attribution-NonCommercial 4.0 .
Các bài báo tương tự
- Nguyễn Thị Thùy Dương, Trần Thị Phấn, Lê Thị Huỳnh Trâm, Đinh Anh Hòa, Trần Thùy Trang, Trần Chí Hiếu, Nguyễn Thành Lễ, Nguyễn Thị Thủy Tiên, Hà Thị Loan, Tối ưu hóa môi trường nhân nuôi lỏng chủng vi khuẩn Sporosarcina luteola có khả năng chịu mặn và phân giải lân , Tạp chí Khoa học Đại học Mở Thành phố Hồ Chí Minh - Kỹ thuật và Công nghệ: 21(2)2026 (ONLINE FIRST)
- Võ Thị Minh Thảo, Nguyễn Minh Khánh, Nguyễn Thị Hạnh Nguyên, Trần Tuấn Anh, Phạm Thị Ái Niệm, Nguyễn Tấn Đức, Ảnh hưởng của nhiệt độ nhiệt phân đến tính chất hóa lý của than sinh học từ trấu , Tạp chí Khoa học Đại học Mở Thành phố Hồ Chí Minh - Kỹ thuật và Công nghệ: 16(1)2021
- Dương Hồng Thẩm, Mô hình phân tích kết cấu nhà nhiều tầng với phần mềm ETABS , Tạp chí Khoa học Đại học Mở Thành phố Hồ Chí Minh - Kỹ thuật và Công nghệ: 19(2)2024
- Nguyễn Thị Thanh Tuyền, Trần Thái Hà, Hồ Trâm Quốc Triệu, Đặng Thị Đoan Dung, Văn Từ Nhật Huy, Khảo sát hiệu quả xử lý nước sông Sa Đéc - Đồng Tháp bằng PAC kết hợp than hoạt tính , Tạp chí Khoa học Đại học Mở Thành phố Hồ Chí Minh - Kỹ thuật và Công nghệ: 17(2)2022
- Nguyễn Trọng Bình, Phan Ngọc Uyên Phương, Phạm Lê Bửu Trúc, Hiệu quả của Protein tái tổ hợp FGF-7 (fibroblast growth factor 7) đối với việc kích thích tăng sinh nguyên bào sợi , Tạp chí Khoa học Đại học Mở Thành phố Hồ Chí Minh - Kỹ thuật và Công nghệ: 21(1)2026
- Trần Kiên Cường, Huỳnh Trần Thục Đoan, Phan Tiến Dũng, Nguyễn Thành Luân, Phạm Thị Hải Hà, Hiện trạng kháng thuốc kháng sinh của một số chủng vi khuẩn gây bệnh phân lập từ cá rô đồng (Anabas testudineus) ở các trang trại trên địa bàn Thành Phố Hồ Chí Minh , Tạp chí Khoa học Đại học Mở Thành phố Hồ Chí Minh - Kỹ thuật và Công nghệ: 17(2)2022
- Nguyễn Hoàng Anh Tuấn, Thiều Hồng Huệ, Lao Đức Thuận, Lê Huyền Ái Thuý, Phân tích tổng hợp ba nhóm họ gen EBNAS LMPS và EBERS của Epstein-Barr virus - Một trong những nguyên nhân chính dẫn đến bệnh ung thư vòm họng , Tạp chí Khoa học Đại học Mở Thành phố Hồ Chí Minh - Kỹ thuật và Công nghệ: 14 (1) 2019
- Phan Nguyễn Tường, Hoàng Thanh Trang, Cao Thị Mỹ Tiên, Trần Thái Hà, Khảo sát hiệu quả xử lý nước thải chăn nuôi heo sau bể biogas bằng công nghệ lọc sinh học kết hợp bãi lọc thực vật , Tạp chí Khoa học Đại học Mở Thành phố Hồ Chí Minh - Kỹ thuật và Công nghệ: 15 (1) 2020
- Trịnh Văn Hạnh, Lao Đức Thuận, Lê Huyền Ái Thúy, Thiều Hồng Huệ, Vương Lợi, Lê Anh Duy, Trương Bình Nguyên, Đinh Minh Hiệp, Phát hiện loài nấm polycephalomyces nipponicus ký sinh trên ấu trùng ve sầu tại thị trấn Ea Knốp, Tỉnh Đăk Lăk, Việt Nam , Tạp chí Khoa học Đại học Mở Thành phố Hồ Chí Minh - Kỹ thuật và Công nghệ: 17(2)2022
- Võ Thị Minh Thảo, Nguyễn Thị Cành, Nguyễn Lữ Nguyệt Hằng, Vũ Cao Lan Anh, Nguyễn Minh Khánh, Nguyễn Ngọc Phi, Trần Tuấn Anh, Phạm Thị Ái Niệm, Nguyễn Tấn Đức, Nghiên cứu đặc tính hóa lý và ảnh hưởng của pH đến khả năng hấp phụ ammonium, nitrite và nitrate của than sinh học từ xơ dừa , Tạp chí Khoa học Đại học Mở Thành phố Hồ Chí Minh - Kỹ thuật và Công nghệ: 18(1)2023
Bạn cũng có thể bắt đầu một tìm kiếm tương tự nâng cao cho bài báo này.
- Hoàng Thị Chỉnh