File robots.txt chuẩn cho wordpress website

2
603

Chắc hẳn nhiều bạn khi đọc bài viết này sẽ cho rằng “ôi đơn giản quá, cần gì phải nói nhiều” hay đại loại là file robots.txt ai chả biết…. thế nhưng ít ai hiểu rằng tầm quan trọng của nó và để set up sao cho đúng (nhất là các bạn đang sử dụng wordpress) thì là một vấn đề cần phải lưu ý đó!

File Robots.txt là gì? và tầm quan trọng của nó đối với SEO của website

Robots Exclusion Standard được phát triển từ năm 1994, nhằm giúp các webmaster có thể “tư vấn” cho các công cụ tìm kiếm cách thu thập thông tin từ blog/ website của họ. Nó hoạt động theo cách tương tự như các robot meta tag. Điểm khác biệt chính giữa chúng là các file robots.txt sẽ ngăn cản việc công cụ tìm kiếm truy cập vào một trang hoặc thư mục, trong khi các robot meta tag chỉ kiểm soát việc lúc nào thì trang hoặc thư mục đó được lập chỉ mục (index).

Cách tạo file robots.txt: Sử dụng trình soạn thảo văn bản notepad/ notepad++ hay thậm chí word cũng có thể tạo được (chỉ cần lưu file vs tên robots.txt là được)

+ Lưu ý quy tắc cơ bản khi đọc file robots.txt:

  • User-agent – Xác định các công cụ tìm kiếm mà quy tắc được áp dụng.
  • Disallow – Ngăn cản các công cụ tìm kiếm không thu thập thông tin và lập chỉ mục một tập tin, trang hoặc thư mục.
  • Allow: Cho phép con bọ của công cụ tìm kiếm có thể truy xuất vào thư mục nào của website
  • dấu (*): ký tự đại diện cho tất cả các công cụ tìm kiếm, có nghĩa là bạn cho phép các công cụ tìm kiếm có quyền truy cập vào website của mình
  • dấu (/): để biểu thị một trang web có thể được thu thập dữ liệu

ví dụ: Để ngăn chặn việc thu thập dữ liệu với các thư mục hoặc đường dẫn cụ thể, bạn chỉ cần thêm đường dẫn hoặc tên thư mục vào sau chữ “Disallow” . Trong ví dụ dưới đây, tôi đã quy định các công cụ tìm kiếm không được phép thu thập thông tin về thư mục /images/ và toàn bộ các tập tin chứa trong nó.

User-agent: *
Disallow: /images/

Sau khi tạo xong file robots.txt bạn chỉ cần upload nó lên thư mục gốc của website là được

file-robots-txt-chuan-cho-wordpress-2017

 Bạn đã set up file robots.txt cho wordpress website của mình chuẩn hay chưa?

Để trả lời cho câu hỏi của các bạn, hôm nay mình xin cập nhật mẫu file robots.txt cho wordpress mà mình đang sử dụng và cảm thấy khá hiệu quả.

Tùy vào mục địch sử dụng mà mỗi website lại có một mẫu file robots.txt khác nhau! Nên các bạn nên cân nhắc khi sử dụng sao cho hợp lý nhé!

Chúc các bạn thành công

File robots.txt chuẩn cho wordpress website
5 (100%) 1 vote
5 năm trước, khi kiếm được $5 đầu tiên từ MMO (kiếm tiền trực tuyến), tôi đã nhận ra tiềm năng to lớn của Digital Marketing và tìm hiểu sâu về nó cũng như những ứng dụng tuyệt vời trong việc triển khai mô hình Digital Marketing tự động hoá, đem lại doanh thu Bứt Phá cho doanh nghiệp. Tôi bắt đầu các thử nghiệm digital marketing của mình trên các mô hình kinh doanh quy mô nhỏ và nâng cấp chúng để phù hợp với cấp độ doanh nghiệp lớn hơn, ứng dụng để xây dựng hệ thống liên kết nội dung quy mô lớn Bằng những kinh nghiệm của mình, tôi mong muốn giúp cho các bạn, từ cá nhân đang hoạt động trong lĩnh vực marketing cũng như doanh nghiệp đang ứng dụng digital trong kinh doanh có thể triển khai một hệ thống digital marketing bền vững nhằm đạt hiệu quả bứt phá trong kinh doanh

2 COMMENTS

BÌNH LUẬN

Please enter your comment!
Please enter your name here