AI Crawler — GPTBot, ClaudeBot, PerplexityBot và robots.txt là gì? Cách kiểm tra & tối ưu

Tóm tắt

Bot của các công ty AI đọc trang web để huấn luyện mô hình, xây chỉ mục cho tìm kiếm AI, hoặc lấy trang khi người dùng hỏi. Bot huấn luyện và bot tìm kiếm là các token riêng trong robots.txt, nên bạn có thể được AI trích dẫn mà không cho nội dung vào dữ liệu huấn luyện.

Giải thích đơn giản

Hãy hình dung ba người cùng một công ty đến thư viện của bạn: một người chép sách để dạy học trò (huấn luyện), một người làm phiếu mục lục để người khác tìm thấy sách (chỉ mục tìm kiếm), và một người mượn sách vì có độc giả đang cần ngay (truy cập theo yêu cầu). robots.txt cho phép bạn đồng ý với người này và từ chối người kia.

AI crawler là bot mà các hãng AI gửi ra web. Mỗi hãng tách bot theo vai trò:

Huấn luyện: GPTBot (OpenAI), ClaudeBot (Anthropic), CCBot (Common Crawl). Google-Extended và Applebot-Extended chỉ là token kiểm soát: chúng không tự crawl, mà quyết định nội dung Googlebot hay Applebot đã đọc có được dùng huấn luyện Gemini hoặc mô hình của Apple không.

Chỉ mục tìm kiếm: OAI-SearchBot (ChatGPT search), Claude-SearchBot, PerplexityBot. Chặn các bot này thì trang không xuất hiện trong câu trả lời AI của công cụ đó.

Truy cập theo yêu cầu người dùng: ChatGPT-User, Claude-User, Perplexity-User lấy một trang vì người dùng yêu cầu. OpenAI nói robots.txt có thể không áp dụng cho ChatGPT-User; Perplexity nói Perplexity-User thường bỏ qua robots.txt.

Nhóm trong robots.txt (RFC 9309): crawler chỉ tuân theo nhóm cụ thể nhất khớp với nó. Nhóm User-agent: GPTBot với Allow: / thay thế nhóm * đối với GPTBot, nên các dòng Disallow trong nhóm * không còn áp dụng cho nó.

Phần lớn AI crawler không chạy JavaScript: nội dung chỉ hiện ra sau khi JS chạy là vô hình với chúng.

⚡Tại sao quan trọng

Chặn nhầm token là lỗi phổ biến nhất: chặn GPTBot không làm website biến mất khỏi ChatGPT search, và Google-Extended không ảnh hưởng việc có mặt hay thứ hạng trong Google Search. Lỡ chặn bot tìm kiếm, hoặc vô tình mở thư mục riêng vì sai nhóm, sẽ mất khả năng hiển thị hoặc lộ trang bạn muốn giấu.

🔍CiteStat kiểm tra thế nào

CiteStat tải robots.txt và đọc theo quy tắc nhóm của RFC 9309 cho 10 token AI (GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, anthropic-ai, PerplexityBot, CCBot, Bytespider, Google-Extended, cohere-ai). Kết quả liệt kê từng crawler bị chặn khỏi trang gốc, và một quy tắc kiểm tra robots.txt có ghi tên AI crawler rõ ràng không.

Điểm CiteStat

Thẻ GEO / AI Visibility: −1 điểm cho mỗi AI crawler bị chặn, tối đa −3 trên 10. Bộ quy tắc: "AI crawler không nên bị chặn trong robots.txt" (info, trọng số 3) và "robots.txt nên ghi tên AI crawler rõ ràng" (info, trọng số 3).

Độ khó sửa

Biên tập viên: Dễ | Lập trình viên: Dễ | AI Agent: Dễ

Bài viết hướng dẫn

Thuật ngữ liên quan

Robots.txt CiteStat Bot (trình thu thập của chúng tôi)AI Citability (Khả năng trích dẫn AI)llms.txt & Truy cập AI Crawler JavaScript SEO — nội dung do JS hiển thị với Google và AI crawler Content Signals — Content-Signal: search, ai-input, ai-train trong robots.txt