Cách dùng Robots.txt bảo vệ blog khỏi lỗi Duplicate content

Hướng dẫn các bạn tránh lỗi duplicate content cho WordPress bằng cách xử lí file robots.txt



Robots.txt rất có lợi trong việc “điều hướng” con Bot index site chúng ta. Với robots.txt bạn có thể cho phép hoặc không cho phép search engine index blog hoặc 1 phần blog bạn dễ dàng chỉ với 1 dòng lệnh.

Bài viết này hướng dẫn các bạn dùng robots.txt để chặn không cho Google index 1 vài thành phần của blog – điều dẫn tới Duplicate content.

1. Vào Google Webmaster Tools ( các bước đăng nhập, đăng kí, add site,… thì tìm hiểu ở các bài cũ nhé )

2. Vào Site Configuration > Crawler Access > Generate robots.txt

3. Nhìn xuống phần Specify additional rules (optional) , ở đây bạn có thể tùy chỉnh Allow hay Block thành phần nào của trang web. Theo bài viết này thì tránh duplicate content nên chúng ta chọn

Action là Block
User-Agent: ALL
Dicrectory and Files: nhập các path bạn không muốn Google index, cụ thể trg hợp này là các thư mục như wp-admin, wp-content, wp-includes,…..

4. Sau đó download rồi upload lên thư mục chính (root).

Để cho đơn giản, các bạn có thể tải robots.txt sau rồi upload lên host là xong, đỡ phải xem các bước trên



*Chú ý: thay link sitemap bên trong file txt này thành link của bạn nhé.

Vậy là đã hoàn thành, từ giờ Google sẽ “hiểu” phần nào nên và không nên index.

Theo minhmeo.info

bác ơi , với blogspot thì làm sao để có thể tùy biến robot.txt
và làm sao redirect 301 cho blogspot

Nếu vậy mình chỉnh luôn file robot ở host luôn được chứ nhỉ,có nhất thiết vào quản trị webmasters không bác ?

Làm sao tránh lỗi này ở blogspot nhỉ các bác?