Hướng dẫn cấu hình robots.txt trong seo

Hướng dẫn cấu hình robots.txt trong seo

Khi các con bọ tìm kiếm đến một Website nào đó, nó sẽ tìm đến file robots.txt đầu tiên. Vậy file đó là gì, nó có tác dụng như thế nào? Sau đây, tôi sẽ giải thích chi tiết file robots.txt  và hướng dẫn cấu hình cụ thể file đặc biệt này!

File Robots.txt

Vậy robots.txt là gì?

  • Robots.txt – là một loạt các luật lệ của gia chủ đặt ra cho khách: khách không được sử dụng chung bàn trải đánh răng, quần áo …với chủ.
  • Còn với website thì robots.txt  sẽ tạo ra những luật lệ cho google boot khi truy cập vào website: cấm hay cho phép truy cập tài nguyên.

Đào tạo seo DAW luôn là số 1

  • Tại sao phải tạo ra file robots.txt? Thực tế, đôi lúc bạn không muốn khách tò mò về ngôi nhà của bạn như phòng riêng của 2 vợ chồng.
  • Trên website cũng vậy không phải cái gì mình cũng muốn google mò vào, ví dụ: khu vực quản trị Admin. Chính vì những lý do đó mà robots.txt ra đời.
  • Cấu hình file robots.txt rất quan trọng trong SEO, nó giúp bạn điều hướng Google Boot theo ý muốn.

Cấu hình robots.txt thì làm thế nào?

robots.txt là một file văn bản hết sức đơn giản, có thể được tạo bởi công cụ  notepad.

Cấu trúc của robots.txt có dạng sau:

Cấu trúc file robots.txt

Cú pháp câu lệnh trong robots.txt :

Ví dụ trên – robots.txt cấm các con bọ truy cập vào các file :bin, admin, includes, comment, author. Các tài nguyên còn lại – sẽ được truy cập bình thường.

Robots.txt

Khi bạn tạo ra file robots.txt rất dễ mắc sai lầm. Các bạn nên chú ý những điều sau :

  • Phân biệt chữ hoa chữ thường.
  • Không được viết dư, thiếu khoảng trắng.
  • Mỗi một câu lệnh viết trên 1 dòng.

Cách sử dụng file robots.txt

Sau khi cấu hình xong robots.txt , các bạn upload nó ngang hàng với index của website.

Hoặc có thể sử dụng Plugin SEO Ultimate có hỗ trợ sẵn việc tạo ra file robots.txt

Bạn có thể kiểm tra file robots.txt của site bằng cách vào Webmaster Tools của google (phải đăng nhập tài khoản) vào Site configuration->Crawler access.
Copy nội dung file robots.txt dán vào ô đầu tiên. Nhấn vào nút Test. Kết quả sẽ hiển thị ở dưới cùng.

Xem thêm

>> Code robots.txt tốt nhất cho seo website WP

Như vậy là các bạn đã tự tạo file robots.txt cho riêng mình rồi đấy. Chúc các bạn thành công! Nếu khó quá nên đi học seo ngay và luôn chứ tự tìm hiểu mất thời gian lắm.

Trả lời