1. Hiện tại có một số member mạo danh BQT để giao dịch trên diễn đàn và đã LỪA ĐẢO khá nhiều tại chuyên mục Adwords... Mọi người cảnh giác và đọc bài: Giới thiệu giao dịch đảm bảo bởi @Admin

Các công cụ để kiểm tra x-robot-tag với các chỉ thị noindex và nofollow

Thảo luận trong 'Onpage Seo - Tối ưu các yếu tố trên trang web' bắt đầu bởi thegioiseo, 25/12/15.

Lượt xem: 3,138
  1. thegioiseo

    thegioiseo Điều Hành Viên

    Gia nhập:
    22/5/11
    Bài viết:
    1,206
    Đã được thích:
    2,687
    (Thegioiseo) - Tôi đã từng viết về sức mạnh (và mối nguy hiểm) của thẻ meta robots. Nó có sức mạnh hết sức phi thường.

    Nó sẽ là hữu ích khi cần thiết nhưng thẻ meta robots cũng có thể phá hủy SEO của bạn nếu bạn sử dụng không đúng cách. Ví dụ, nếu bạn nhầm lẫn khi thêm thẻ meta robots vào các trang để noindex. Nếu điều đó xảy ra và nếu nó phổ biến thì trang của bạn sẽ bắt đầu bị giảm khỏi chỉ mục của Google. Và khi điều đó xảy ra, bạn có thể mất đi thứ hạng của các trang này và tiếp theo là lưu lượng truy cập. Trong trường hợp xấu nhất, lưu lượng truy cập tìm kiếm tự nhiên của bạn có thể giảm mạnh trong một thời gian.

    slide

    Tôi đã nhìn thấy điều đó xảy ra với một số công ty trong sự nghiệp của tôi. Nó có thể là lỗi của con người, các vấn đề CMS, quay trở lại với một phiên bản cũ hơn của trang web...Đó là lý do tại sao nó rất quan trọng để kiểm tra sự hiện diện của thẻ meta robots để đảm bảo các chỉ thị đúng được sử dụng.

    Ngoài thẻ meta robots, bạn cũng có thể sử dụng x-robot-tag trong header. Bằng cách sử dụng phương pháp này, bạn không cần phải có thẻ meta để thêm vào mỗi URL, thay vào đó bạn có thể cung cấp các chỉ thị thông qua phản hồi máy chủ.

    Dưới đây là 2 ví dụ của x-robot-tag:

    x-robots
    Một lần nữa, những chỉ thị đó không được chứa trong code html. Chúng đang có trong header nhưng vô hình với mắt thường. Bạn cần phải kiểm tra đặc biệt với header để xem nếu sử dụng x-robot-tagvà chỉ thị đó đang được sử dụng.

    Hãy tưởng tượng việc kiểm tra một trang web với thẻ meta robots, suy nghĩ tất cả đều ok khi bạn không thể nhìn thấy nó nhưng x-robot-tagđược dùng với “noindex, nofollow” trên mỗi URL. Điều đó là không tốt.

    Làm thế nào để kiểm tra x-robot-tag trong header response?

    Dựa trên những gì tôi đã giải thích ở trên, tôi quyết định viết bài này để giải thích bốn cách khác nhau để kiểm tra x-robot-tag. Bằng cách thêm vào danh sách kiểm tra này, bạn có thể đảm bảo rằng các chỉ thị quan trọng là chính xác và rằng bạn đang noindex và nofollow các trang ngay trên trang web của bạn. Danh sách dưới đây có chứa các plugin trình duyệt và các công cụ trực tuyến để kiểm tra URL duy nhất cũng như công cụ thu thập dữ liệu để kiểm tra các URL với số lượng lớn.

    1. Plugin trình duyệt

    Plugin Web Developer

    Plugin web developer là một trong những plugin yêu thích của tôi để kiểm tra một số item quan trọng và nó có sẵn cho cả FirefoxChrome. Bằng cách click vào plugin trong trình duyệt của bạn sau đó “Information” và sau đó chọn “Response Headers”, bạn có thể xem giá trị http header cho các URL. Và nếu x-robot-tagđược sử dụng, bạn sẽ nhìn thấy giá trị được liệt kê.

    x-robots-web-developer
    SEO Site Tools

    Tôi sử dụng phần mở rộng chrome SEO Site Tools thường xuyên để kiểm tra các yếu tố SEO cụ thể cho từng trang cụ thể. Các chỉ thị x-robots bị ẩn trong plugin này nhưng bạn vẫn có thể tìm thấy chúng khá dễ dàng. Chỉ cần click plugin trong Chrome, sau đó chọn tab “Page Elements” và sau đó di chuyển tất cả xuống phía dưới cùng của cửa sổ. Bạn sẽ nhìn thấy header response, bao gồm các chỉ thị x-robot-tagnếu thẻ đang được sử dụng cho trang đó.

    x-robots-seo-site-tools

    LiveHTTPHeaders

    Nếu bạn muốn kiểm tra các header một cách nhanh chóng thì các LiveHTTPHeaders là một lựa chọn tuyệt vời. Nó có sẵn cho cả ChromeFirefox và nó dễ dàng cho phép bạn xem các header response cho mỗi trang khi bạn duyệt web. Ví dụ, bạn có thể kiểm tra các header và theo dõi các vấn đề khi đi qua một trang cụ thể.

    Kể từ khi nó cung cấp header response cho mỗi trang, bạn cũng sẽ thấy các chỉ thị x-robot-tagcho mỗi URL. Chỉ cần click vào URL mà bạn muốn, bạn có thể xem được header response. X-robot-tagsẽ được liệt kê nếu nó được sử dụng cho các URL.

    x-robots-livehttp-headers

    2. Các công cụ trực tuyến để kiểm tra Header Response

    Ngoài plugin, bạn có thể sử dụng một số công cụ trực tuyến. Cũng giống như plugin, đây là một lựa chọn tốt khi bạn đang kiểm tra URL đơn hoặc chỉ thử nghiệm một mẫu các URL.

    SEO Tools Server Header Checker

    Có hai lựa chọn khi sử dụng SEO Tools Server Header Checker. Bạn có thể kiểm tra một URL duy nhất hoặc bạn có thể sử dụng URL tùy chọn với số lượng lớn để kiểm tra nhiều URL cùng một lúc. Với tùy chọn URL duy nhất, bạn chỉ cần nhập một địa chỉ để kiểm tra và click “Check Headers”. Công cụ sẽ trả về header response cho URL đó, bao gồm các chỉ thị x-robot-tag.

    Với việc kiểm tra header với số lượng lớn, bạn nhập vào một loạt các UR và click vào “Check Headers”. Bạn sẽ nhìn thấy mỗi response cho mỗi URL được liệt kê cùng với x-robot-tagnếu nó đang được sử dụng.

    x-robots-seotools

    URI Valet

    URI Valet được coi là một công cụ trực tuyến đa năng, nó trả về một số thông tin quan trọng cho URL. Ví dụ, header response, thông tin hiệu suất, các liên kết internal, external, xác nhận thông tin...Bạn cũng có thể chọn một tác nhân người dùng để kiểm tra response dựa trên các trình duyệt, thiết bị và các bot tìm kiếm khác nhau. Có khá nhiều chức năng được tích hợp vào công cụ trực tuyến này nhưng tôi sẽ không đi vào chi tiết tất cả các báo cáo ở đây. Đó là bởi vì chúng tôi đang tập trung vào header response (để tìm x-robot-tag).

    Đơn giản bạn chỉ cần nhập URL, chọn một tác nhân người dùng (hoặc giữ nguyên mặc định được chọn), click vào nút “I’m not a robot” và sau đó click vào submit. Header response sẽ được liệt kê dưới đây cùng với các chỉ thị x-robot-tagnếu nó được sử dụng.
    x-robots-urivalet
    3. Crawling Tools

    Tôi đã đưa cho bạn một số công cụ trực tuyến có thể giúp bạn kiểm tra x-robots-tag và bây giờ hãy kiểm tra một số công cụ thu thập dữ liệu mạnh mẽ. Ví dụ, nếu bạn muốn thu thập nhiều URL với số lượng lớn (như 10K, 100K hay hơn 1M trang) để kiểm tra sự hiện diện của x-robots-tag, những công cụ sau đây có thể là rất hữu ích.

    DeepCrawl

    Đây là công cụ thu thập dữ liệu cho các doanh nghiệp. Tôi là một fan của DeepCrawl.com bởi tôi thường sử dụng nó để tư vấn cho khách hàng của tôi.

    Sau khi thu thập dữ liệu một trang web, bạn có thể dễ dàng kiểm tra báo cáo "Noindex Pages" để xem tất cả các trang được noindex qua thẻ meta robots, x-robots-tag header response hoặc bằng cách sử dụng noindex trong robots.txt. Bạn có thể export danh sách và sau đó filter trong Excel để cô lập các trang noindex thông qua x-robots-tag.
    x-robots-deepcrawl

    Screaming Frog

    Tôi cũng là một fan hâm mộ lớn của Screaming Frog trong một thời gian dài. Đây là một công cụ thiết yếu trong kho vũ khí SEO của tôi và tôi thường sử dụng Screaming Frog kết hợp với DeepCrawl. Ví dụ, tôi có thể thu thập dữ liệu một trang web quy mô lớn (sử dụng DeepCrawl) và sau đó cô lập khu vực cụ thể để thu thập dữ liệu (sử dụng Screaming Frog).

    Khi bạn thu thập thông tin một trang web bằng cách sử dụng Screaming Frog, bạn có thể chỉ cần nhấp vào tab Directives và sau đó tìm cột x-robots. Nếu bất kỳ trang nào đang sử dụng x-robot-tag thì bạn sẽ thấy các chỉ thị được sử dụng trên mỗi URL.

    x-robots-screaming-frog

    Tóm lại - Có nhiều cách để Noindex một trang

    Nếu bạn nhận thấy các trang không được index nhưng thẻ meta robots không xuất hiện trong code html thì ban nên kiểm tra sự hiện diện của x-robot-tag. Bạn chỉ có thể tìm thấy các trang quan trọng được noindex thông qua header response. Và một lần nữa, nó có thể là một vấn đề tiềm ẩn gây ra các vấn đề SEO nghiêm trọng.

    Sau đó, tôi khuyên bạn nên kiểm tra các plugin, công cụ trực tuyến và các trình thu thập mà tôi đã liệt kê trong bài viết này. Tất cả có thể giúp bạn phát hiện ra những vấn đề có thể ảnh hưởng đến những nỗ lực SEO của bạn.

    Lưu ý: Bài viết dành cho người đọc có kiến thức về code, html... để hiểu rõ bản chất bài viết hơn


    Last edited: 25/12/15
    Admin thích bài này.
  2. thanglongjsc

    thanglongjsc Top 9

    Gia nhập:
    19/10/15
    Bài viết:
    64
    Đã được thích:
    2
    Thẻ robot đúng là quan trọng không thể chối cãi, thường thường mình toàn check theo kiểu domain/robots.txt cho nhanh :D
  3. Muabuon123

    Muabuon123 Top 9

    Gia nhập:
    12/11/14
    Bài viết:
    162
    Đã được thích:
    5
    Em được biết thẻ robot này rất quan trọng nhưng chưa thực sự hiểu sâu về thẻ này, có gì đó hơi trừu tượng.
  4. khamphadisan

    khamphadisan Top 9

    Gia nhập:
    15/12/14
    Bài viết:
    50
    Đã được thích:
    1
    Web:
    mình vẫn đang còn mơ hồ về nó quá,
  5. huylinh62

    huylinh62 Seo Newbie

    Gia nhập:
    24/12/15
    Bài viết:
    3
    Đã được thích:
    0
    có 1 bài viết hướng dẫn chi tiết về cái thẻ robot thì hay quá
  6. leeanhtuanhp

    leeanhtuanhp Top 9

    Gia nhập:
    29/8/12
    Bài viết:
    52
    Đã được thích:
    2
    Trước mình cũng bị dính chưởng do cái VPS. Về sau mãi mới tìm ra nguyên nhân :3
  7. cogiaoloan

    cogiaoloan Top 9

    Gia nhập:
    9/10/15
    Bài viết:
    175
    Đã được thích:
    22
    Web:
    em đọc xong vẫn không hiểu mấy có ai giải thích cho em với
  8. haikv240987

    haikv240987 Top 8

    Gia nhập:
    20/11/13
    Bài viết:
    503
    Đã được thích:
    45
    Web:
    mình chẳng biết gì về cái robot này
  9. JupiterWind

    JupiterWind Seo Newbie

    Gia nhập:
    5/10/15
    Bài viết:
    28
    Đã được thích:
    1
    mình chỉ biết robot.txt @@
  10. nguyenhuutinh1992

    nguyenhuutinh1992 Top 7

    Gia nhập:
    26/9/13
    Bài viết:
    1,778
    Đã được thích:
    165
    Web:
    mình chỉ biết cài Plugin thôi chứ ít khí biết hết tác dụng của nó ném
  11. Thanh Vân

    Thanh Vân Top 8

    Gia nhập:
    16/11/15
    Bài viết:
    328
    Đã được thích:
    35
    Web:
    Thẻ roboot quan trọng nhưng mà có hay động đến nó đâu, chỉnh sửa 1 lần rồi vất đấy cả năm chứ làm gì.
  12. QuanNH

    QuanNH Top 9

    Gia nhập:
    26/3/15
    Bài viết:
    189
    Đã được thích:
    8
    Web:
    Có nhiều khái niệm mới ở đây quá, đọc hết và hiểu cũng thấy mất nhiều thời gian.
  13. kimchungmoz

    kimchungmoz Top 9

    Gia nhập:
    24/12/15
    Bài viết:
    91
    Đã được thích:
    4
    Web:
    giờ iem mới biết đến công cụ này, công cụ này dùng khá là tuyệt với, thks for share
  14. toandacsouth

    toandacsouth Seo Newbie

    Gia nhập:
    15/12/15
    Bài viết:
    15
    Đã được thích:
    0
    Hình như dùng scream fog cũng được. Mà cái này muốn biết thì chỉ cần view source lên là được mà bác ơi :3
  15. thienbao

    thienbao Top 9

    Gia nhập:
    24/8/15
    Bài viết:
    444
    Đã được thích:
    14
    mình chưa rõ vấn đề này cho lắm và cũng chưa sử dụng lần nào cả, có ai hiểu ko tóm lược lại với :(
  16. seoseo92

    seoseo92 Top 9

    Gia nhập:
    20/11/15
    Bài viết:
    170
    Đã được thích:
    2
    Web:
    đọc xong nhưng vẫn hiểu mơ hồ quá chắc phải đọc đi đọc lại mấy lần mất
  17. minhquan1910

    minhquan1910 Seo Newbie

    Gia nhập:
    27/6/14
    Bài viết:
    15
    Đã được thích:
    0
    đùa chứ mấy lần đọc về robot thấy mỗi thím một kiểu :))
    để ngâm cứu xem cái robot của thớt đã nếu hay sẽ áp dụng :p thk thớt
  18. 123seopro

    123seopro Top 9

    Gia nhập:
    17/12/15
    Bài viết:
    96
    Đã được thích:
    2
    Web:
    mình gà quá nên đọc xong cũng không hiểu chắc cũng phải đánh dấu lại đọc tìm hiểu dần thôi ạ
  19. niemdamme23

    niemdamme23 Top 9

    Gia nhập:
    22/11/15
    Bài viết:
    49
    Đã được thích:
    0
    bài viết hay quá, cũng dần hiểu ra vấn đề rồi
  20. nhangui24h

    nhangui24h Top 9

    Gia nhập:
    17/10/14
    Bài viết:
    35
    Đã được thích:
    2
    Web:
    biết làm gì hơn với robot này. nhưng dù sao cũng cám ơn bài của bạn

Nội quy khi thảo luận:

Dù bạn có cố tình spam bằng cách nào khi BQT diễn đàn phát hiện sẽ lập tức banned nick và xoá toàn bộ bài viết của bạn. Ngoài ra khi phát hiện ra Spam hãy gửi thông báo cho BQT diễn đàn. Hãy suy nghĩ trước khi hành động..!
✓ Khi muốn trả lời ai đó, bạn gõ @ cộng thêm nick diễn đàn của người đó phía sau @, giống như tag tên trên Facebook.
✓ Yêu cầu khi bình luận, bạn phải gõ chữ rõ ràng, không viết tắt, gõ tiếng Việt đầy đủ dấu câu.
✓ Nên dùng font chữ mặc định của diễn đàn, không tô màu lòe loẹt hay dùng size chữ quá lớn khi bình luận.
✓ Bài viết, comment... không được phép quảng cáo dịch vụ, rao vặt, pr... Loại trừ ở chuyên mục Rao vặt đã cho phép.
✓ Nghiêm cấm các chủ đề dạng: Cứu em với, help me, giật tít, câu view... dưới mọi hình thức.
✓ Tất cả các thành viên tham gia diễn đàn cần đọc kỹ Nội quy chung và nghiêm túc tuân thủ.


Chia sẻ trang này

Đang tải...