robots.txt cho bot AI: nên cho phép bot nào và chặn bot nào

Hướng dẫn thực tế về các trình thu thập dữ liệu AI mà một website doanh nghiệp nhỏ gặp phải, mục đích của từng loại theo lời chủ sở hữu, và các quy tắc robots.txt giúp bạn vẫn có mặt trong câu trả lời tìm kiếm AI trong khi từ chối việc huấn luyện nếu muốn.

Các công ty AI giờ gửi đi nhiều trình thu thập dữ liệu khác nhau, và mỗi cái có một nhiệm vụ riêng. Có cái thu thập dữ liệu huấn luyện. Có cái xây dựng chỉ mục tìm kiếm mà câu trả lời liên kết ngược về. Có cái chỉ tải một trang vì người dùng yêu cầu. Chặn tất cả bằng một dòng nghe có vẻ an toàn nhưng có thể âm thầm loại doanh nghiệp khỏi những câu trả lời tìm kiếm AI vốn mang lại khách hàng thật.

robots.txt hoạt động thế nào

robots.txt là một tệp văn bản thường đặt ở thư mục gốc của tên miền. Mỗi nhóm bắt đầu bằng dòng User-agent nêu tên một trình thu thập dữ liệu, theo sau là các quy tắc Allow hoặc Disallow. Định dạng này được chuẩn hóa trong RFC 9309. Nó là một lời đề nghị, không phải ổ khóa: các trình thu thập dữ liệu uy tín tuân theo nó, nhưng nó không bảo vệ nội dung riêng tư, và tài liệu của Google lưu ý rằng chỉ chặn thu thập dữ liệu thôi thì không gỡ được một trang khỏi chỉ mục.

Các trình thu thập dữ liệu AI chính và chủ sở hữu nói chúng làm gì

  • OAI-SearchBot (OpenAI): dùng để hiển thị website trong kết quả tìm kiếm của ChatGPT. Tài liệu về trình thu thập dữ liệu của OpenAI cho biết website chặn nó sẽ không được hiển thị trong câu trả lời tìm kiếm của ChatGPT, dù vẫn có thể xuất hiện dưới dạng liên kết điều hướng đơn thuần.
  • GPTBot (OpenAI): thu thập nội dung có thể được dùng để huấn luyện các mô hình của OpenAI. Chặn nó là cách được OpenAI ghi trong tài liệu để từ chối việc huấn luyện, và nó độc lập với OAI-SearchBot.
  • ChatGPT-User (OpenAI): tải một trang khi yêu cầu của một người cần đến nó. OpenAI lưu ý rằng quy tắc robots.txt có thể không áp dụng cho những lượt truy cập do người dùng khởi tạo này.
  • Google-Extended (Google): không phải một trình thu thập dữ liệu riêng mà là một mã định danh sản phẩm. Chặn nó là báo cho Google không dùng nội dung của bạn để huấn luyện các mô hình Gemini trong tương lai hoặc làm căn cứ cho một số hệ thống AI khác của họ. Google Search Central cho biết nó không ảnh hưởng đến việc được đưa vào hay xếp hạng trên Google Search, và AI Overviews chịu sự điều chỉnh của Googlebot cùng các thiết lập đoạn trích thông thường.
  • PerplexityBot (Perplexity): lập chỉ mục trang cho câu trả lời của Perplexity và, theo tài liệu của Perplexity, không được dùng để huấn luyện mô hình. Perplexity-User tải trang thay mặt người dùng và thường bỏ qua robots.txt.
  • Bingbot (Microsoft): cung cấp dữ liệu cho Bing, nền tảng mà Microsoft Copilot dựa vào. Chặn nó là loại bạn khỏi cả hai.
  • ClaudeBot và Claude-SearchBot (Anthropic): Anthropic có tài liệu về các agent riêng cho huấn luyện và cho tìm kiếm, và nói rằng chúng tuân thủ robots.txt.
  • Applebot và Applebot-Extended (Apple): Applebot vận hành các tính năng tìm kiếm trong Spotlight, Siri và Safari; Applebot-Extended cho phép bạn từ chối việc Apple dùng nội dung để huấn luyện các mô hình nền tảng của họ, mà không ảnh hưởng đến tìm kiếm.

Thiết lập hợp lý cho doanh nghiệp địa phương

Phần lớn doanh nghiệp nhỏ muốn được tìm thấy và được nêu tên trong câu trả lời. Một thiết lập phổ biến, cân bằng là cho phép các trình thu thập dữ liệu tìm kiếm và quyết định riêng về việc huấn luyện. Ví dụ, để vẫn có mặt trong tìm kiếm của ChatGPT và Perplexity trong khi từ chối việc huấn luyện của OpenAI và Google:

User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: *
Allow: /

Sitemap: https://www.example.com/sitemap.xml

Có từ chối việc huấn luyện hay không là lựa chọn kinh doanh. Có mặt trong dữ liệu huấn luyện có thể giúp mô hình quen thuộc hơn với tên của bạn; từ chối thì giữ nội dung của bạn ngoài các bản mô hình tương lai. Không lựa chọn nào ảnh hưởng đến thứ hạng trên Google Search.

Những chỗ khác có thể chặn bot

Hãy kiểm tra cài đặt CDN và bảo mật ngoài robots.txt. Một số tường lửa của nhà cung cấp hosting và tính năng quản lý bot chặn trình thu thập dữ liệu AI theo mặc định, ghi đè lên một tệp robots.txt đang mở. Nếu bạn dùng chúng, hãy tìm phần cài đặt cho trình thu thập dữ liệu AI và xác nhận các agent tìm kiếm bạn muốn đều được cho phép.

Kiểm tra tệp của bạn

Mở yoursite.com/robots.txt trên trình duyệt để xác nhận nó tải được. Google Search Console có báo cáo robots.txt cho thấy phiên bản Google đã tải và mọi lỗi. Bing Webmaster Tools có công cụ kiểm tra robots.txt. Hãy kiểm tra lại sau khi đổi nhà cung cấp hosting hoặc cài plugin bảo mật.

Khi các bot phù hợp đã truy cập được, chúng cần những trang đáng đọc, và đó là chỗ SEO God Mode phát huy trên website We.Inc, gợi ý chủ đề hằng tuần từ chính dịch vụ của bạn và soạn nháp các bài viết để bạn phê duyệt.

Câu hỏi thường gặp

Nếu chặn GPTBot, tôi có biến mất khỏi tìm kiếm của ChatGPT không?

Theo OpenAI thì không. GPTBot là trình thu thập dữ liệu để huấn luyện; tìm kiếm của ChatGPT dùng OAI-SearchBot. Cho phép cái này trong khi chặn cái kia là hoàn toàn được.

Chặn Google-Extended có loại tôi khỏi AI Overviews không?

Không. Google cho biết Google-Extended kiểm soát việc dùng nội dung để huấn luyện Gemini và không ảnh hưởng đến Google Search, kể cả AI Overviews, vốn dùng Googlebot.

robots.txt có đủ để giữ nội dung riêng tư không?

Không. Nó là lời đề nghị mà các trình thu thập dữ liệu tử tế tuân theo. Bất cứ thứ gì thực sự riêng tư cần đăng nhập hoặc mật khẩu bảo vệ, còn noindex là công cụ để giữ một trang khỏi kết quả tìm kiếm.

Bắt đầu miễn phí · Không cần thẻ tín dụng

Liên quan: Hướng dẫn

Sản phẩm

Dành cho ai

Tính năng

Tài nguyên

Công ty

Sơ đồ trang