File robots.txt chuẩn cho wordpress website

2
534

Chắc hẳn nhiều bạn khi đọc bài viết này sẽ cho rằng “ôi đơn giản quá, cần gì phải nói nhiều” hay đại loại là file robots.txt ai chả biết…. thế nhưng ít ai hiểu rằng tầm quan trọng của nó và để set up sao cho đúng (nhất là các bạn đang sử dụng wordpress) thì là một vấn đề cần phải lưu ý đó!

File Robots.txt là gì? và tầm quan trọng của nó đối với SEO của website

Robots Exclusion Standard được phát triển từ năm 1994, nhằm giúp các webmaster có thể “tư vấn” cho các công cụ tìm kiếm cách thu thập thông tin từ blog/ website của họ. Nó hoạt động theo cách tương tự như các robot meta tag. Điểm khác biệt chính giữa chúng là các file robots.txt sẽ ngăn cản việc công cụ tìm kiếm truy cập vào một trang hoặc thư mục, trong khi các robot meta tag chỉ kiểm soát việc lúc nào thì trang hoặc thư mục đó được lập chỉ mục (index).

Cách tạo file robots.txt: Sử dụng trình soạn thảo văn bản notepad/ notepad++ hay thậm chí word cũng có thể tạo được (chỉ cần lưu file vs tên robots.txt là được)

+ Lưu ý quy tắc cơ bản khi đọc file robots.txt:

  • User-agent – Xác định các công cụ tìm kiếm mà quy tắc được áp dụng.
  • Disallow – Ngăn cản các công cụ tìm kiếm không thu thập thông tin và lập chỉ mục một tập tin, trang hoặc thư mục.
  • Allow: Cho phép con bọ của công cụ tìm kiếm có thể truy xuất vào thư mục nào của website
  • dấu (*): ký tự đại diện cho tất cả các công cụ tìm kiếm, có nghĩa là bạn cho phép các công cụ tìm kiếm có quyền truy cập vào website của mình
  • dấu (/): để biểu thị một trang web có thể được thu thập dữ liệu

ví dụ: Để ngăn chặn việc thu thập dữ liệu với các thư mục hoặc đường dẫn cụ thể, bạn chỉ cần thêm đường dẫn hoặc tên thư mục vào sau chữ “Disallow” . Trong ví dụ dưới đây, tôi đã quy định các công cụ tìm kiếm không được phép thu thập thông tin về thư mục /images/ và toàn bộ các tập tin chứa trong nó.

User-agent: *
Disallow: /images/

Sau khi tạo xong file robots.txt bạn chỉ cần upload nó lên thư mục gốc của website là được

file-robots-txt-chuan-cho-wordpress-2017

 Bạn đã set up file robots.txt cho wordpress website của mình chuẩn hay chưa?

Để trả lời cho câu hỏi của các bạn, hôm nay mình xin cập nhật mẫu file robots.txt cho wordpress mà mình đang sử dụng và cảm thấy khá hiệu quả.

Tùy vào mục địch sử dụng mà mỗi website lại có một mẫu file robots.txt khác nhau! Nên các bạn nên cân nhắc khi sử dụng sao cho hợp lý nhé!

Chúc các bạn thành công

File robots.txt chuẩn cho wordpress website
5 (100%) 1 vote

2 COMMENTS

BÌNH LUẬN

Please enter your comment!
Please enter your name here