Robots.txt cho nhiều tên miền

Như các bạn đã biết, các Doanh nghiệp thường hay mua nhiều tên miền cho website của họ. Ở đây tôi không thảo luận về lý do tại sao họ lại làm như vậy, nhưng thực tế rõ ràng là có rất nhiều tên miền trỏ về cùng 1 hosting (1 website có nhiều tên miền khác nhau). Thế thì xét theo nguyên tắc của SEO, chúng ta sẽ có nhiều website và những website này trùng lặp nội dung.


Tôi được 1 số bạn đặt vấn đề cụ thể như sau:
- Họ có 3 domain: abc.com | def.com | xyz.com
- 3 domain này cùng 1 hosting
- Họ chọn abc.com là tên miền chính, họ không muốn spider index các URL xuất phát từ 2 tên miền còn lại


Oh, quá dễ, dùng robots.txt chặn (disallow) là xong.
Nhưng khổ nỗi, robots.txt không phân biệt được tên miền, nên chúng ta không thể


- Disallow: /def.com
- Disallow: /zyz.com

Làm sao?

Và đây là giải pháp. Chúng ta chuẩn bị 3 file robots.txt tương ứng cho từng tên miền và kiểm tra nếu request của user xuất phát từ tên miền nào thì “gọi” file robots.txt cho tên miền đó.


robots_abc.txt <– file robots.txt cho tên miền abc.com
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/

robots_def.txt <– file robots.txt cho tên miền def.com
User-agent: *
Disallow: /

robots_xyz.txt <– file robots.txt cho tên miền xyz.com
User-agent: *
Disallow: /

Nhiệm vụ còn lại của chúng ta là viết lại đường dẫn file robots.txt tương ứng cho từng tên miền tại file .htaccess


RewriteCond %{HTTP_HOST} ^abc.com$ [NC]
RewriteRule ^robots\.txt$ robots_abc.txt [L]
RewriteCond %{HTTP_HOST} ^def.com$ [NC]
RewriteRule ^robots\.txt$ robots_def.txt [L]
RewriteCond %{HTTP_HOST} ^xyz.com$ [NC]
RewriteRule ^robots\.txt$ robots_xyz.txt [L]

Đến đây thì các bạn an tâm, spider chỉ có thể index như chỉ dẫn trong file robots_abc.txt, còn với những URL xuất phát từ tên miền def.com và xyz.com sẽ không bao giờ được index nên việc trùng lặp nội dung không thể xảy ra.

Link gốc: Robots.txt cho nhiều tên miền

Giải pháp này khá tốt cho cách bạn đang sử dụng nhiều tên cho 1 website mà không muốn bị duplicate content...Cảm ơn thuongnm đã chia sẻ

Bài viết khá hay, giờ mình mới biết, vì trước mình cũng không để ý đến vấn đề này, joint gần 10 domain vào 1 domain chính ... hichic ! Thank you thuongnm nhá !

Trường hợp này mình thường xử lý bằng code
vd: mình có 2 domain "mayanh.com" và "maychuphinh.com"
mình xử lý như sau:

define('DOMAIN_NAME', $_SERVER['SERVER_NAME']);

switch (DOMAIN_NAME)
{
case 'mayanh.com':
case 'www.mayanh.com':
define('DOMAIN_NAME_SEO', 'MayAnh.com');
define('KEY_WORD_SEO', 'may anh');
define('KEY_WORD_SEO_VN', 'máy ảnh');
break;
case 'maychuphinh.com':
case 'www.maychuphinh.com':
define('DOMAIN_NAME_SEO', 'MayChupHinh.com');
define('KEY_WORD_SEO', 'may chup hinh');
define('KEY_WORD_SEO_VN', 'máy chụp hình');
break;
//v...v....
}

Trong template hình sẽ nhét DOMAIN_NAME_SEO, KEY_WORD_SEO, KEY_WORD_SEO_VN vào các phần meta title, discription, keyword
Ngoài ra trong phần content của site mình sẽ nhét KEY_WORD_SEO, KEY_WORD_SEO_VN vào attribute title của thẻ a, alt của thẻ img v...v...
Trước khi post 1 bài viết trong site mình sẽ xử lý replace tất cả các từ "máy ảnh" "máy chụp hình" bằng KEY_WORD_SEO_VN
v....v....
Cứ với if, else trong code bạn có thể có 2 site khác nhau về cả template, logo, banner, css, menu, resource path, sitemap v....v.
Cuối cùng mình có 2 site không hề duplicate hoàn toàn dynamic, site mayanh.com seo cho kw "may anh", site maychuphinh.com seo cho kw "may chup hinh"

Ý kiến chủ quan của mình là 2 site sẽ ko bị duplicate, mong nhận những ý kiến đóng góp của mọi người về cách này.
Thân chào.

Trường hợp này là chỉ 1 file robots.txt:

.htaccess

Mã:

RewriteEngine On
RewriteRule ^robots.txt$ robots.php [L]

robots.php

PHP:

<php?
$site = $_SERVER['SERVER_NAME'];
header("Content-Type:text/plain");
if($site=="www.thegioiseo.com"){
echo <<<EOF
User-agent: *
Disallow: /seo/
EOF
} 
elseif($site=="*******.us"){
echo <<<EOF
User-agent: *
Disallow: /***/
Disallow: /video/
EOF
}
else {
echo <<<EOF
User-agent: *
EOF
}
?>

Hơ hơ. Lại có cả Lx dot us nữa kìa. Pác Vavietnam này thiệt là...

Công phu thế. mà tạo chi nhiều domain rồi lại mất công thế? Cứ nhét dòng 301 redirect trong htaccess lên 2 domain phụ hoặc vào cpanel 301 cho nó lành

Nó dính đến thương hiệu nữa nên họ không làm redirect

DẠ, em quan tâm tới vấn đề này nhưng là asp.net ạ

Nhìn cm của bác em mới thấy , ví dụ nhạy cảm quá . Thanks vì bài viết rất bổ ích

Cách nhanh lẹ gọn là: 301 redirect trong htaccess, còn sợ ảnh hưởng đến thương hiệu mà không redirect như bác giaiphaplienket.com nói thì xài iframe thôi, đơn giản