Hướng dẫn Tạo file Robots.txt cho WordPress nhanh chóng chuẩn xác

Tạo file robots.txt cho wordpress là gì? Vì sao nên tạo file robots.txt cho WordPress? Nội dung này sẽ mang đến cho bạn một số tri thức về cách mà bạn có thể tạo file robots.txt.

Robots.txt là một tệp văn bản được sử dụng để điều khiển trình thu thập thông tin web.

Tệp Robots.txt được sử dụng để cho trình thu thập thông tin của công cụ tìm kiếm biết họ có thể truy cập những trang nào trên trang web của bạn và những trang nào họ không nên truy cập. Tệp cho trình thu thập thông tin biết những phần nào trên trang web của bạn bị giới hạn và những phần nào được phép lập chỉ mục.

Nếu bạn có một trang web WordPress, thì bạn cũng cần tạo tệp robots.txt cho nó để trình thu thập thông tin biết phải làm gì khi họ xem trang web của bạn.

Bạn đang xem: tạo robots txt cho wordpress

Cách tạo các quy tắc không giống nhau cho các Bots khác nhau trong Robots.txt

Cách sử dụng Robots.txt để cho phép truy nhập vào một file rõ ràng và cụ thể trong thư mục không được phép

Vì sao chúng ta nên Note tới việc tạo file robots.txt cho wordpress website của mình?

Tạo file robots.txt cho wordpress là gì? Vì sao nên tạo file robots.txt cho WordPress? Nội dung này sẽ mang đến cho bạn một số tri thức về cách mà bạn có thể tạo file robots.txt cho wordpress cũng như các phương pháp để vận dụng file robots.txt trong quá trình quản lý website.

File robots.txt là gì?

Vì sao nên tạo file robots.txt cho WordPress?

Khi một Website được tạo mới, Search Engine sẽ mang những con Bots (con bọ PC) đến quét website và làm ra bản đồ các trang trong trang Website đó. Điều đấy giúp Search Engine nhận thấy Website nào cần trình bày kết quả khi có người tìm Từ khóa có liên quan.

Hướng dẫn Tạo file Robots.txt cho WordPress nhanh chóng chuẩn xác

 

WordPress cho phép Plugins xử lý vấn đề nảy sinh khi Website chứa nhiều thành phần không trọng yếu. Việc tạo file robots.txt cho wordpress giúp Search Engine Bots chỉ truy cập vào những trang trọng yếu mà bạn cho phép truy cập trên trang Website. Ngay cả khi không cài file robots.txt thì trình tìm kiếm sẽ vẫn thực hiện việc quét Website của các bạn, tuy nhiên hiệu quả sẽ không cao. Bởi vì, Bots sẽ index đầy đủ nội dung và quét đến cả những nơi bạn không muốn người khác truy cập vào.

Nếu không tạo file robots.txt cho wordpress thì sẽ có rất đông Bots đến để quét toàn thể thông tin trên Trang Website. Điều đấy tác động tiêu cực đến hiệu năng hoạt động của trang Website đó, vận tốc load trang sẽ bị chậm hơn nhiều. Vì vậy, tạo file robots.txt cho WordPress chuẩn thực sự trọng yếu nếu như muốn Website của các bạn hoạt động hiệu quả.

Vì sao chúng ta nên chú ý tới việc tạo file robots.txt cho wordpress website của mình?

Với hầu như các quản lý Website, ích lợi của file robot.txt có cấu hình tốt thường sẽ mạng lại hai tác dụng chính sau đây:

  • Với sự gia tăng của tự động hóa, giờ đây chúng ta có thể tự động hóa các công việc mà trước đây chúng ta thường làm theo cách thủ công. Ví dụ: bạn có thể sử dụng chương trình để tạo tệp robots.txt cho trang web wordpress của mình. Điều này sẽ đảm bảo rằng không ai được phép truy cập vào trang web của bạn và nó cũng sẽ ngăn những kẻ gửi thư rác kiếm tiền từ trang web của bạn.Như tên cho thấy, bài viết này nói về tệp robots.txt được sử dụng trong các trang web khác nhau như một phần của các biện pháp bảo mật như ngăn chặn sự truy cập của bot và tin tặc hoặc ngăn một số người dùng xem nội dung nhất định. Bạn có thể đọc thêm về nó tại đây: https://en.wikipedia.org/wiki/Robots_%26_Other_Filters
Xem Thêm  Top những Plugin bình luận trên Facebook tốt nhất cho WordPress 2022 (Miễn phí và trả phí)

File robots.txt nằm ở đâu?

Mặc định sẽ tự động tạo file robots.txt cho wordpress ngay dưới thư mục gốc của máy chủ khi bạn tạo Website WordPress. truy nhập file robots.txt cơ bản ở đường dẫn:

User-agent: *

Disallow: /wp-admin/

Disallow: /wp-includes/

=> Phần sau dấu * là quy tắc được ứng dụng cho mọi loại Bots. Tệp sẽ thông báo cho Bots biết là chúng không được phép vào trong thư mục /wp-admin/ và /wp-includes/. Không được truy cập vào 2 tệp này là vì chúng chứa rất nhiều nội dung riêng tư, nhạy cảm.

File robots.txt là một tệp ảo do WordPress tự tạo thành và mặc định khi thiết lập. Dù tệp vẫn đang hoạt động bình thường thì quý khách hàng hàng cũng không thể chỉnh sửa được. Thường thì, file robots.txt có thể được đặt ở thư mục gốc (public_html và www hoặc tên website). Nếu như muốn tạo thêm file robots.txt thì cần tạo một tệp mới để thay thế tệp cũ trong folder gốc đấy.

Tao file Robots.txt cho WordPress như thế nào?

Quy tắc nên chèn vào khi tạo file robots.txt cho wordpress

Một khi tạo file robots.txt cho wordpress, bạn phải cần mở một trình soạn thảo văn bản và lưu một tệp trống có tên robot.txt. Tiếp theo, bạn phải cần thêm một vài quy tắc vào tập tin đấy, lưu lại và upload lên folder gốc của Tên miền. Search Engine sẽ tiến hành xác minh file robot.txt mỗi khi chúng thu thập thông tin từ blog hay trang Website. Với mỗi Tên miền phụ và các giao thức khác nhau nên tạo các file robots.txt độc nhất. Các quy tắc cơ bản nên chèn vào tệp robots.txt là:

  • User-agent:
  • Allow: cho phép bộ máy tìm kiếm tiếp nhận thông tin, lập chỉ mục
  • Disallow: không cho phép công cụ tìm kiếm tiếp nhận thông tin, lập chỉ mục

Tao file Robots.txt cho WordPress như thế nào?

Dấu * có thể được dùng để đại diện cho toàn thể bộ máy tìm kiếm. Bạn có thể chèn vào sau tệp robots.txt dòng sau để ngăn chặn các dụng cụ tìm kiếm kết nối thông tin trên phần nhiều Website hay blog:

User-agent:*

Disallow: /

Công cụ tìm kiếm có thể truy cập vào đầy đủ Website hay blog nếu Website hay blog đấy dùng chỉ thị Disallow không có dấu (/).

Để ngăn chặn việc thu thập dữ liệu với các đường dẫn hay thư mục rõ ràng và cụ thể, bạn chỉ cần thêm folder hay đường dẫn vào phía sau Disallow. Bởi vì Robots.txt vận dụng đường dẫn tương đối chứ không phải đường dẫn tuyệt đối. Dấu (/) thay thế cho folder gốc hoặc Tên miền nên ứng dụng quy tắc này cho phần đa số Website hay blog của các bạn. Sau đây là ví dụ quy định dụng cụ tìm kiếm không được phép truy nhập thông tin của thư mục images:

Xem Thêm  Top những Plugin bình luận trên Facebook tốt nhất cho WordPress 2022 (Miễn phí và trả phí)

User-agent:*

Disallow:/images/

Mẫu file robots.txt tối ưu cho wordpress

Tao file Robots.txt cho WordPress như thế nào?

 

Sau đây, giới thiệu tới bạn mẫu file robots.txt tối ưu cho WordPress và được rất nhiều Blogger WordPress ưu ái vận dụng. Bạn hoàn toàn có thể dùng nó cho Website hay blog WordPress của mình nhưng chúng ta nên quan tâm tùy biến nó sao cho thích hợp với hoàn cảnh tách biệt của chính mình. Mẫu file robots.txt tối ưu dành riêng cho WordPress như sau:

 

Hướng dẫn tạo file robots.txt cho WordPress

Tạo tệp robots.txt cho wordpress bằng Yoast SEO

Có rất nhiều phương pháp để làm ra tệp này, một cách dễ hiểu là sử dụng plugin Yoast SEO – Plugin khớp SEO tổng hợp. Ngoài công việc trợ giúp tạo nhanh robots.txt, bạn có thể phân tích thêm những tính năng SEO vô cung có ích từ Yoast SEO.

Tại Website (Bảng điều khiển) giao diện → Plugin → Thêm mới. Bạn cần tải về plugin Yoast SEO free tại đây hoặc tìm kiếm trong kho thư viện của WordPress với từ khóa “Yoast SEO” và tiến hành thiết lập Website.

Tại SEO → Dụng cụ.

Click chọn File Editor, tiếp tục nhấn Lưu thay đổi vào robots.txt để hoàn thiện quá trình tạo tệp hoặc chỉnh sửa robots.txt.

Use Plugin All in One SEO Pack để tạo tệp robots.txt cho WordPress

Trong WordPress SEO, All in one SEO Pack là Plugin rất nổi tiếng. This plugin bao gồm các tính năng tổng hợp của Yoast SEO nhưng lại nhẹ hơn. By vậy, create file robots.txt with this Plugin sẽ rất đơn giản và rất nhanh. Các bước thiết lập tệp robots.txt cho WordPress bằng Plugin All in One Pack như sau:

    • Trang tổng quan = > Trình quản lý thiết lập
    • Tìm robots.txt

Tùy chọn

  • Click vào Kích hoạt
  • Nhấp vào Robots.txt mới
  • Thêm mới quy tắc, lưu

 

Tao file Robots.txt cho WordPress như thế nào?

 

Robots.txt chẳng phải là một cách đơn giản để kiểm tra các trang bộ máy tìm kiếm lập chỉ mục. Nếu như mục tiêu chính của các bạn là ngăn các trang nhất định không được mang vào kết quả của bộ máy tìm kiếm, cách tiếp xúc thích hợp là dùng thẻ meta noindex hoặc một phương pháp trực tiếp tương tự khác.

Việc này là do Robots.txt của các bạn không trực tiếp đòi hỏi các dụng cụ tìm kiếm không lập chỉ mục nội dung – nó chỉ bảo họ không thu thập dữ liệu. Mặc dù Google sẽ không lấy dữ liệu các khu vực được đánh dấu từ bên trong Website của các bạn, nhưng chính Google tuyên bố rằng nếu một Website bên ngoài link đến một trang mà bạn ngoại trừ với file Robots.txt của các bạn, Google vẫn có khả năng lập chỉ mục trang đấy.

John Mueller, Nhà phân tích quản lý Website của Google, cũng từng thừa nhận rằng nếu một trang có các link được trỏ đến nó, kể cả những lúc nó bị chặn bởi file robots.txt, vẫn sẽ được lập chỉ mục.

Tùy chỉnh Robots.txt theo từng trường hợp.

Giả sử bạn muốn chặn toàn bộ quyền truy cập trình lượm nhặt thông tin vào Website của mình. Việc này thông thường ứng dụng cho một Website mới phát triển, bạn sẽ không muốn Google hay Bing index những nội dung tạm thời của các bạn đâu, vì sau thời điểm bạn thay đổi và bổ sung nội dung mới bạn có thể thu được hàng tá các yêu cầu xử lý lỗi 404… Để làm điều đấy, bạn có thể thêm mã này vào file robots.txt của WordPress:

User-agent:*Disallow:/

Điều gì đang xảy ra trong mã đó?

Xem Thêm  Những thủ thuật WordPress tuyệt vời mà bạn không thể bỏ qua

Dấu sao (*) bên cạnh User-agent là ký tự đại diện, có nghĩa là nó ứng dụng cho mọi User-agent. Dấu gạch chéo bên cạnh Disallow nói rằng bạn không cho phép truy cập vào toàn thể các trang có chứa “tenmiencuaban.com/” (này là trang độc nhất trên Website của các bạn).

Trong VD này, tôi sẽ mang ra trường hợp rằng bạn không thích việc Bing thu thập dữ liệu các trang của các bạn. Bạn đang muốn để Google index càng nhiều càng tốt và thậm chí không cho phép Bing nhìn vào Website của các bạn. Để chỉ chặn Bing thu thập dữ liệu Trang Website của các bạn, bạn có thể thay dấu sao (*) bằng Bingbot:

User-agent:BingbotDisallow:/

Về cơ bản, đoạn mã trên nói rằng chỉ ứng dụng quy tắc Disallow cho các bot với User-agent là Bing Bingbot. Trường hợp thực tiễn bạn không muốn chặn truy cập vào Bing – nhưng kịch bản này sẽ ích lợi nếu như có một bot nhất định mà bạn không muốn truy nhập Website của mình.

Trong ví dụ này, giả sử rằng bạn chỉ muốn chặn quyền truy nhập vào một tệp hoặc thư mục nhất định (và toàn bộ các thư mục con của thư mục đó). Để ứng dụng điều này cho WordPress, giả sử bạn muốn chặn:

  • Hoàn toàn thư mục wp-admin

  • wp-login.php

Bạn có thể vận dụng các lệnh sau:

User-agent:*Disallow:/wp-admin/Disallow:/wp-login.php

Giờ đây trường hợp có thể bạn muốn chặn hoàn toàn thư mục, tuy nhiên bạn vẫn muốn cho phép truy nhập vào một file nhất định trong thư mục đấy. Đây chính là nơi lệnh Disallow có ích, và nó thực sự rất thích hợp với WordPress. Theo thực tiễn, tệp robot.txt ảo của WordPress minh họa hoàn hảo VD này:

User-agent:*Disallow:/wp-admin/Allow:/wp-admin/admin-ajax.php

Đoạn này chặn truy cập vào hết cả thư mục / wp-admin /  trừ tập tin /wp-admin/admin-ajax.php .

Một điều chỉnh dành riêng cho WordPress mà bạn có thể muốn tiến hành là ngăn các trình thu thập tìm kiếm lượm nhặt dữ liệu các trang kết quả của tìm kiếm của các bạn. Theo mặc định, WordPress dùng tham số truy vấn tên? Ş =. bởi vậy, để chặn truy cập, toàn thể những gì bạn phải cần làm là thêm quy tắc sau:

User-agent:*Disallow:/?s=Disallow:/search/

 

Cho đến hiện thời, toàn thể các VD đã khắc phục một quy tắc tại một thời điểm. Nhưng nếu bạn muốn ứng dụng các quy tắc khác nhau cho các bot khác nhau thì sao? Bạn chỉ cần thêm từng bộ quy tắc theo khai báo User-agent cho mỗi bot. Ví dụ: nếu như bạn muốn tạo một quy tắc ứng dụng cho toàn thể các bot và quy tắc khác ứng dụng cho chỉ Bingbot , bạn sẽ thực hiện như sau:

User-agent:*Disallow:/wp-admin/User-agent:BingbotDisallow:/

Trong VD này, toàn thể các bot sẽ bị chặn truy nhập / wp-admin /, nhưng Bingbot sẽ bị chặn truy nhập hoàn toàn trên Website của các bạn.

Tổng kết:

Như vậy bạn đã hiểu được nguyên nhân vì sao cần phải tao file Robots.txt cho WordPress và phương pháp để sử dụng cũng như cấu hình các file này. Chúc các bạn thành công và có thể tạo file tao file Robots.txt cho WordPress phù phù hợp với muốn.

Xem thêm các nội dung khác thuộc thể loại: Kiến thức WordPress