Content Signals — Content-Signal: search, ai-input, ai-train trong robots.txt
Tóm tắt
Content Signals là một dòng trong robots.txt, Content-Signal: search=yes, ai-input=yes, ai-train=no, cho biết nội dung được dùng thế nào sau khi tải về: để lập chỉ mục tìm kiếm, làm đầu vào cho câu trả lời AI, hay để huấn luyện mô hình AI. Allow/Disallow nói ai được tải; Content-Signal nói họ được làm gì với nội dung.
Giải thích đơn giản
Allow và Disallow là cổng: ai được vào. Content-Signal là tấm biển sau cổng: được chụp ảnh để in sách hướng dẫn (search), được trích lời khi có người hỏi (ai-input), không được sao chép cả ngôi nhà để xây nhà riêng (ai-train).
Cú pháp: một dòng nằm trong một nhóm User-agent của robots.txt, cạnh Allow và Disallow:
User-Agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /Mỗi khóa nhận yes hoặc no, cách nhau bằng dấu phẩy. Tính năng Markdown for Agents của Cloudflare cũng gửi cùng danh sách này qua header HTTP Content-Signal.
Ba cách dùng (Content Signals Policy của Cloudflare, giấy phép CC0):
- search — lập chỉ mục tìm kiếm và hiển thị liên kết cùng đoạn trích ngắn. Không bao gồm bản tóm tắt do AI tạo.
- ai-input — đưa nội dung vào mô hình AI để trả lời câu hỏi: RAG, grounding, câu trả lời tìm kiếm bằng AI.
- ai-train — huấn luyện hoặc tinh chỉnh mô hình AI.
Khóa bạn bỏ trống không cho phép cũng không hạn chế cách dùng đó — nó không có nghĩa là "no".
Ai khởi xướng: Cloudflare công bố chính sách ngày 24/9/2025 và thêm Content-Signal: search=yes, ai-train=no vào robots.txt được quản lý của khách hàng (hơn 3,8 triệu tên miền). Zone gói Free chưa có robots.txt riêng chỉ nhận phần chữ của chính sách dưới dạng comment, không có tín hiệu. Bộ nhãn được viết thành bản nháp IETF cá nhân (draft-romm-aipref-contentsignals-00, hết hạn tháng 4/2026); nhóm AI Preferences (aipref) của IETF đang soạn một cú pháp khác, Content-Usage: train-ai=n (nhãn search, ai-use, train-ai; giá trị y hoặc n; dạng dòng robots.txt có thể kèm đường dẫn, hoặc header HTTP — bản thảo draft-ietf-aipref-attach-05 và vocab-08, chưa phải chuẩn chính thức).
Không phải là: meta robots và X-Robots-Tag quyết định việc index và đoạn trích của một trang; chúng không nói gì về việc huấn luyện AI. Tín hiệu viết trong comment # bị bỏ qua — crawler không đọc comment.
⚡Tại sao quan trọng
Content-Signal là một mong muốn, không phải ổ khóa: crawler phải tự chọn đọc và tuân theo — robots.txt không có cách nào buộc họ. Dù vậy nó chỉ tốn một dòng, ghi lại lựa chọn của bạn ở nơi máy đọc được, và theo văn bản chính sách đó là sự bảo lưu quyền rõ ràng theo Điều 4 Chỉ thị EU 2019/790. Muốn thật sự chặn một crawler, dùng Disallow cho user-agent của nó (xem AI crawlers).
🔍CiteStat kiểm tra thế nào
CiteStat đọc robots.txt của site và header phản hồi của trang. Đạt khi một dòng Content-Signal (hoặc header) có ít nhất một cặp đọc được cho search, ai-input hoặc ai-train — hoặc một dòng Content-Usage của IETF (hoặc header) có một cặp cho search, ai-use hoặc train-ai — và liệt kê từng nhóm khai báo gì. Dòng không có cặp nào đọc được, tín hiệu chỉ nằm trong comment #, hoặc không có tín hiệu nào là lỗi mức thấp. meta robots và X-Robots-Tag không còn được tính là content signals.
Điểm CiteStat
Một trong 9 check chính của thẻ Agent Readiness (điểm = số check chính đạt / 9 × 10). Không làm thay đổi điểm SEO tổng.
Độ khó sửa
Biên tập viên: Dễ | Lập trình viên: Dễ | AI Agent: Dễ