Website JavaScript và trình thu thập dữ liệu AI: chúng có thấy trang của bạn không?

Vì sao một website trông ổn trên trình duyệt lại có thể trống trơn với trình thu thập dữ liệu AI, Google nói gì về việc hiển thị JavaScript, cách kiểm tra bot nhận được gì, và những cách sửa hiệu quả cho website doanh nghiệp nhỏ.

Nhiều website hiện đại gửi cho trình duyệt một tệp HTML gần như trống cùng một gói JavaScript dựng nên trang khi tải xong. Người dùng không bao giờ để ý. Trình thu thập dữ liệu thì có thể. Nếu một bot đọc HTML mà không chạy script, trang dịch vụ bạn viết cẩn thận, với bot đó, chỉ là một tờ giấy trắng có logo.

Google xử lý thế nào

Tài liệu JavaScript SEO cơ bản của Google Search Central giải thích rằng Googlebot thu thập dữ liệu một trang, xếp nó vào hàng đợi để hiển thị bằng một phiên bản Chromium gần đây, rồi lập chỉ mục kết quả đã hiển thị. Vậy Google có thể thấy nội dung JavaScript, dù việc hiển thị có thể diễn ra sau lần thu thập đầu tiên, và Google vẫn khuyến nghị hiển thị phía máy chủ hoặc hiển thị trước vì nhanh hơn cho người dùng và cho mọi trình thu thập dữ liệu. Hướng dẫn cũng cảnh báo rằng liên kết phải là thẻ neo thật có href thì mới được đi theo.

Trình thu thập dữ liệu AI xử lý thế nào

Các công ty AI nói ít hơn về việc hiển thị. OpenAI có tài liệu về OAI-SearchBot và GPTBot, Perplexity có tài liệu về PerplexityBot, và không trang nào trong số đó cam kết rằng trình thu thập dữ liệu chạy JavaScript. Phân tích của Vercel vào tháng 12 năm 2024 về lưu lượng trình thu thập dữ liệu trên mạng của họ cho thấy không trình thu thập dữ liệu AI lớn nào được đo có hiển thị JavaScript, trong đó nêu tên trình thu thập dữ liệu của OpenAI và Anthropic cùng PerplexityBot. Phân tích tìm thấy hai ngoại lệ: Gemini, vốn dùng hạ tầng của Googlebot, và Applebot. Trình thu thập dữ liệu thay đổi, nên hãy coi đó là ảnh chụp tại một thời điểm, không phải lời hứa.

Giả định an toàn: nếu nội dung chữ không nằm trong HTML mà máy chủ của bạn gửi đi, tìm kiếm của ChatGPT, Perplexity và các công cụ tương tự có thể không thấy chúng.

Kiểm tra trình thu thập dữ liệu nhận được gì

  1. Mở trang của bạn và chọn Xem nguồn trang (không phải Kiểm tra, vì nó hiển thị trang sau khi script đã chạy). Tìm một câu trong tiêu đề chính. Nếu có, nội dung chữ nằm trong HTML gốc.
  2. Trong Google Search Console, dùng Kiểm tra URL rồi Xem trang đã thu thập dữ liệu để thấy HTML mà Google lưu và ảnh chụp màn hình bản hiển thị.
  3. Từ cửa sổ dòng lệnh, tải trang bằng một yêu cầu đơn giản và đọc những gì trả về. Nếu bạn chỉ thấy một thẻ div gốc và các thẻ script, trình thu thập dữ liệu không hiển thị trang sẽ chẳng nhận được gì.
  4. Tắt JavaScript trong cài đặt trình duyệt và tải lại. Những gì còn lại gần giống thứ một bot không hiển thị trang đọc được.

Cách sửa, từ vững chắc nhất đến kém nhất

  • Hiển thị phía máy chủ hoặc tạo trang tĩnh. Máy chủ gửi đi HTML hoàn chỉnh. Các framework như Next.js, Nuxt và Astro hỗ trợ điều này, và nhiều công cụ tạo website vốn đã tạo trang tĩnh.
  • Hiển thị trước. Một bước build hoặc dịch vụ lưu lại bản chụp HTML đầy đủ của từng trang. Google chấp nhận cách này miễn là bot và người dùng nhận được cùng nội dung.
  • Đưa thông tin quan trọng vào HTML ban đầu. Nếu không thể xây dựng lại, ít nhất hãy hiển thị tên, dịch vụ, khu vực, giờ mở cửa và thông tin liên hệ ngay trên máy chủ.

Tránh hiển thị động khiến bot nhận một trang khác với người dùng. Google mô tả hiển thị động là giải pháp tạm thời, không phải giải pháp lâu dài, và nội dung khác nhau giữa bot và khách truy cập sẽ thành che giấu nội dung.

Những cái bẫy thường gặp trên website doanh nghiệp nhỏ

  • Chữ đặt trong hình ảnh hoặc thanh trượt, thứ mà không trình thu thập dữ liệu nào đọc như chữ.
  • Menu dựng từ nút bấm có trình xử lý sự kiện nhấp thay vì liên kết, khiến các trang con không bao giờ được phát hiện.
  • Đánh giá, giá hoặc câu hỏi thường gặp được tải từ tiện ích bên thứ ba sau khi trang tải xong.
  • Trang chủ hiển thị trên máy chủ trong khi các trang con thì không.

Kiểm tra sau mỗi lần thiết kế lại

Lỗi hiển thị thường đến cùng giao diện hoặc plugin mới. Sau mọi thay đổi lớn, hãy lặp lại bước xem nguồn trang trên trang chủ và hai trang con.

Website We.Inc phục vụ các trang con dưới dạng HTML mà Google đọc được, và SEO God Mode xây dựng tiếp trên nền đó bằng cách thêm những trang mới, dễ đọc từ chính dịch vụ của bạn mỗi tuần.

Câu hỏi thường gặp

Googlebot có chạy JavaScript không?

Có. Google hiển thị trang bằng một phiên bản Chromium gần đây trước khi lập chỉ mục, dù việc hiển thị có thể chậm hơn lần thu thập đầu tiên. Google vẫn khuyến nghị hiển thị phía máy chủ hoặc hiển thị trước khi có thể.

Trình thu thập dữ liệu của ChatGPT và Perplexity có chạy JavaScript không?

Tài liệu của họ không nói là có, và phân tích trình thu thập dữ liệu năm 2024 của Vercel cho thấy chúng không hiển thị JavaScript. Hãy đặt nội dung quan trọng trong HTML mà máy chủ của bạn gửi đi.

Làm sao để thấy những gì trình thu thập dữ liệu thấy?

Dùng Xem nguồn trang trong trình duyệt, hoặc Kiểm tra URL và Xem trang đã thu thập dữ liệu trong Google Search Console. Nếu nội dung của bạn thiếu ở đó, các bot không hiển thị trang cũng sẽ bỏ lỡ nó.

Bắt đầu miễn phí · Không cần thẻ tín dụng

Liên quan: Hướng dẫn

Sản phẩm

Dành cho ai

Tính năng

Tài nguyên

Công ty

Sơ đồ trang