Cách tạo file robots.txt cho WordPress

Để có một website chuẩn SEO thì bắt buộc phải có file robots.txt. Vậy cách tạo file robots.txt cho WordPress như thế nào hay cùng Jay tìm hiểu trong bài viết này.

File Robots.txt quan trọng như thế nào

tạo file robots.txt cho wordpress

Đây là một file điều hướng cho những con bọ của các công cụ tìm kiếm hoặc track website. Đây là file đầu tiên mà con bọ đọc khi đi vào một website.

Bạn cứ tưởng tượng con bọ hay bot này nó sẽ đọc danh sách coi mình có được đi vô website hay không. Nếu vô tình bạn không cho con bot Google vô thì cả đời cũng không có thứ hạng trên công cụ tìm kiếm này.

Ngoài việc chặn các loại bọ khác nhau. Bạn cũng có thể chặn một thư mục hoặc một trang cụ thể nào đó thông qua file Robots.txt này. Ví dụ như một trang thương mại điện tử. Sẽ được phân chia ra thành nhiều page khác nhau khi mà người dùng muốn phân chia theo giá cả hay là loại sản phẩm. Điều này khiến cho website bị trùng lặp nội dung trong mắt của các Serach Engine.

Có file robots.txt bạn chỉ việc chặn các trang không có ý nghĩa hoặc content ngắn là xong.

Cách tạo file robots.txt

Nếu bạn sử dụng WordPress thì sau khi cài đặt nó đã có mặc định 1 file robots.txt rồi và nội dung của nó như sau:

User-agent: *

Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.php

Ở trên bạn có thể hiểu là tất cả các thể loại bot đều được truy cập vào website này: User-agent: *

Disallow: /wp-admin/ tức là đừng có mà vô những trang có đường dẫn như có chứa đoạn wp-admin này.

Allow: /wp-admin/admin-ajax.php tuy nhiên thì bot à một trường hợp ngoại lệ đó là mày có thể đọc file này mặc dù có wp-admin.

Như vậy file robots.txt mặc định này vừa có mục đích làm website wordpress chuẩn chỉ hơn. Vừa có mục đích hướng dẫn người sử dụng với 2 dòng lệnh cơ bản nhất là: Disallow và Allow.

Tuy nhiên thì nếu muốn điều chỉnh file này thì bạn phải tạo file robots.txt cho website wordpress của mình.

Cách 1: Tạo trực tiếp trên hosting

Bạn vô thư mục gốc của website. Thêm một file và gõ tên robots.txt. Sau đó click edit để điền nội dung cho file robots.txt.

Cách tạo file robots.txt

Cách 2: Sử dụng Plugin SEO by Yoast

SEO by Yoast là plugin hỗ trợ SEO tốt nhất hiện nay và được nhiều người lựa chọn. Nó có phiên bản miễn phí và trả phí. Jay còn chưa bao giờ được xài bản trả phí cả cơ bản là nó giá cao và thứ hai là bản miễn phí đã quá đủ để xài rồi.

Để tạo file robots.txt với Yoast bạn chỉ cần tìm tới mục Công cụ của Yoast.

Sử dụng Plugin SEO by Yoast

Sau đó ấn chọn Trình chỉnh sửa tập tin.

trình chỉnh sửa tập tin

Ở đây có một nút tạo file robots.txt bạn chỉ việc click vào là xong.

Nó sẽ tạo cho website một file mặc định với nội dung như sau:

User-agent: *

Disallow: /

Vâng Yoast rất ngu vì làm luôn quả chặn toàn bộ bot vào website. Giờ đây bạn phải vào thư mục gốc của website và edit lại file này.

Cách 3: Upload một file robots.txt lên hosting

Bạn tạo sẵn một file Text document và đổi tên nó thành robots.txt.

Upload một file robots.txt lên hosting

Sau đó điền nội dung của file robots vào sau đó ấn Save.

Up file vừa chuẩn bị lên host bằng FPT hay công cụ upload file có sẵn của Cpanel tùy thuộc vào cái nào bạn quen hơn.

Và đó là cách tạo file robots.txt cho website WordPress. Bài này mình chỉ hướng dẫn cách tạo thôi còn việc để làm nội dung chuẩn cho file robots.txt thì bạn đón đọc vào các bài sau nhé.

Đọc thêm: Quản lý hình ảnh trong WordPress