CiteStat Bot (trình thu thập của chúng tôi)
Tóm tắt
Bot của CiteStat tự xưng là ERPFitSEOBot / CiteStat, tuân thủ robots.txt khi thu thập thêm trang ngoài trang bạn yêu cầu, và chỉ chạy khi có người yêu cầu quét.
Giải thích đơn giản
Bot của chúng tôi giống một vị khách biết gõ cửa. Trước khi vào các phòng khác trên website, nó đọc biển 'Chỉ dành cho nhân viên' trong robots.txt và không vào nơi bị cấm.
CiteStat chỉ tải trang khi người dùng yêu cầu quét một URL. Quét một trang chỉ tải đúng URL đó, cùng các tệp gốc chuẩn (robots.txt, sitemap.xml, llms.txt) mà báo cáo kiểm tra.
Quét nhiều trang (chế độ quick, sample hoặc full) tìm thêm URL từ sitemap và liên kết trên trang chủ. Trước khi tải bất kỳ URL nào trong số đó, bot đọc robots.txt và bỏ qua mọi URL mà robots.txt chặn đối với bot của chúng tôi. Báo cáo liệt kê các URL bị bỏ qua là "bị chặn bởi robots.txt", vì trang đã bị chặn thì cũng không thể được lập chỉ mục.
User-agent: khi tải trang gửi "AiSEO/2.0", khi kiểm tra trạng thái gửi "ERPFitSEOBot/1.0"; cả hai đều kèm liên kết đến trang này. Nhóm robots.txt dành cho một trong hai token này sẽ áp dụng cho chúng tôi; nếu không có, chúng tôi theo nhóm "User-agent: *". Mỗi lần thu thập nhỏ (10–50 trang) và chạy với số kết nối đồng thời thấp.
Mô phỏng bot là tính năng riêng: để cho thấy Googlebot hoặc Bingbot sẽ nhận được gì, CiteStat tải MỘT URL duy nhất mà người dùng gửi với chuỗi user-agent của trình thu thập đó. Đây là mô phỏng của CiteStat — chúng tôi không phải Google hay Microsoft — và các user-agent này không bao giờ được dùng khi thu thập nhiều trang.
⚡Tại sao quan trọng
Bot bỏ qua robots.txt sẽ làm tốn tài nguyên máy chủ của bạn và đọc những trang bạn đã chọn không đưa lên tìm kiếm. Tuân thủ robots.txt là quy ước cơ bản giữa website và mọi bot — đồng thời giúp báo cáo chỉ ra chính xác URL nào đang bị quy tắc của bạn ẩn khỏi công cụ tìm kiếm.
🔍CiteStat kiểm tra thế nào
Để chặn CiteStat thu thập nhiều trang, thêm nhóm sau vào robots.txt:
User-agent: ERPFitSEOBot Disallow: /
User-agent: CiteStat Disallow: /
Quy tắc theo đường dẫn như "Disallow: /admin/" chỉ chặn chúng tôi khỏi khu vực đó. URL mà người dùng nhập trực tiếp vẫn được tải một lần, giống như một lượt truy cập bằng trình duyệt.
Điểm CiteStat
Không tính điểm. URL bị robots.txt chặn hiển thị là vấn đề toàn site mức thông tin trong các lần quét nhiều trang.
Độ khó sửa
Biên tập viên: Không áp dụng | Lập trình viên: Dễ | AI Agent: Dễ