Google Không Index Website? Nguyên Nhân Và Cách Khắc Phục

Đối với các Seoer, trong quá trình thực hiện seo website thì nhiều bạn đã từng rơi vào trường hợp website không được Index hoặc bị mất Index. Đây là sự cố không mong muốn cho website và là điều xấu đối với người đang làm SEO cho trang web đó.

Để khắc phục tình trạng Google không index website hoặc không index bài viết, các bạn cần tìm ra được nguyên nhân từ đó có phương án xử lý. Trong bài viết dưới đây, chúng tôi sẽ liệt kê ra một số nguyên nhân phổ biến nhất để các bạn có thể tham khảo thêm.

1. Thiết kế website của bạn không có cả tên miền www và không www

Thông thường, khách hàng khi truy cập vào website họ không phân biệt được sự khác nhau của URL được bắt đầu bằng http:// hay http://www. Bởi cả hai tên miền này đều trả kết quả về cùng một website.

Tuy nhiên, nếu bạn đang sở hữu website và đang thực hiện SEO cho trang web thì cần hiểu rõ hai tên miền này hoàn toàn khác nhau, không phải là một. Trong đó, www là tên miền con của Root domain và các robot của Google sẽ xem đây là hai website độc lập.

Do đó, bạn cần cẩn trọng trong việc quy đổi trang đích của hai tên miền này về một trang web. Nếu không sẽ dính phải lỗi Duplicate content và khiến Google không index website.

2. Google không tìm thấy website của bạn

Những website mới thường gặp phải hiện tượng này. Bạn cần phải dành thời gian để Google cập nhật và rà soát dữ liệu. Đợi khoảng 1 tuần nhưng website của bạn vẫn chưa được lập chỉ mục thì điều này đồng nghĩa với việc sitemap đang gặp sự cố. Từ đó dẫn đến việc robot của Google không truy cập được.

Bạn cần kiểm tra xem đã tạo sitemap và đã khai báo với Google chưa. Nếu đã thực hiện hai việc này thì cần kiểm tra file sitemap xem có gặp sự cố nào không.

3. Lỗi trong file robots.txt của website sẽ chặn con bot Google lại

Để ngăn không cho Google Bot lập chỉ mục của một thư mục hay một link nào đó thì bạn dùng câu lệnh “Disallow” trong file robots.txt. Bạn chỉ cần thêm dòng sau vào file robots.txt để Google Bot không lập chỉ mục:

User-agent: *
            Disallow: /directory/ten-file.html

Để không lập chỉ mục thư mục nào đó sử dụng câu lệnh:

User-agent: *
            Disallow: /first-directory/
 Disallow: /second-directory/

Bạn cần kiểm tra kỹ file robots.txt để chắc chắn rằng Google Bot lập chỉ mục các thư mục mà bạn muốn thấy trên kết quả tìm kiếm của Google.

4. Website của bạn có bị lỗi thu thập thông tin?

Khi Google boot không thể thu thập được thông tin trên website thì nó sẽ không thể lập chỉ mục cho trang web của bạn. Để khắc phục điều này, bạn hãy vào Google Webmaster Tool => lựa chọn website của bạn => click mục “thu thập dữ liệu” => “lỗi thu thập dữ liệu”. Tại đây, các đường link bị lỗi sẽ được thống kê.

Bạn cần click trực tiếp vào mỗi link rồi click tìm nạp như Google để các đường link bị lỗi được index trên cơ sở dữ liệu của Google.

5. Website của bạn có quá nhiều nội dung trùng lặp

Một trong những lý do khiến Google không index bài viết là do trang web của bạn có nội dung bị trùng lặp quá nhiều.

Để website xuất hiện trên trang kết quả tìm kiếm của Google, bạn cần hạn chế tối đa việc sao chép nội dung. Những nôi dung bị trùng lặp cần được xóa ngay. Hoặc bạn có thể dùng file robot.txt để chặn Google bot vào các trang này.

6. Bạn đã bỏ chế độ riêng tư trên trang web của mình chưa?

Hiện nay, WordPress có tính năng bảo mật theo chế độ riêng tư. Nó giúp bạn có thể xây dựng nội dung mà không index khi cấu trúc chưa hoàn chỉnh. Do đó, có thể vì điều này mà Google sẽ không index trang web của bạn.

Để loại bỏ chế độ riêng tư, bạn chỉ cần vào phần quản trị => settings => Search Engine Visibility và bỏ chọn ở phần này.

7. Website của bạn bị chặn index bởi .htaccess

Bất cứ web site nào cũng tồn tại tập tin .htaccess. Các tập tin này có thể cho chặn index bất cứ danh mục nào. Do đó, khi gặp sự cố website không được index, bạn cần kiểm tra tập tin này.

8. Website của bạn có noindex trong meta tag

Đây cũng là một trong những nguyên nhân khiến Google không index website. Thẻ noindex cho phép bạn nói với robots của bộ máy tìm kiếm một trang riêng lẻ trong website không nên được đánh chỉ mục.

Nếu muốn Google index tất cả các trang, bạn cần loại bỏ thẻ này đi. Để kiểm tra các lỗi liên quan đến thẻ meta robot noindex, bạn có thể dùng công cụ đánh giá trang web là seoprofiler.

9. Nếu trang web của bạn dùng Cookie hay Javascript, Google có thể không lập chỉ mục được trang web của bạn

Javascript và Cookie có thể giữ Robots của bộ máy tìm kiếm tránh xa website của bạn. Để ẩn nội dung, bạn chỉ cho phép các User Agents chấp nhận Cookie mới được truy cập.

Đa số robots của bộ máy tìm kiếm đều không thực thi Javascript phức tap. Do đó, nếu website của bạn dùng Javascript hoặc Cookie thì có thể đây cũng là lý do Google không index được website của bạn.

10. Tốc độ load trang của bạn quá lâu

Những trang web có tốc độ load trang quá chậm cũng là lý do khiến Google không index bài viết. Bởi điều này khiến Google boot mất quá nhiều thời gian để lấy thông tin. Và thông thường, nó sẽ rời khỏi website của bạn luôn.

11. Hosting của bạn có vấn đề

Tốc độ hosting có vấn đề hoặc một số hosting ngăn chặn sự truy cập của Google boot sẽ khiến website không được index. Trong trường hợp này, bạn cần kiểm tra băng thông của hosting đồng thời yêu cầu đơn vị cung cấp phải kiểm kiểm tra và loại bỏ tính năng ngăn chặn truy cập của Google boot.

12. Ngôn ngữ website chưa được tối ưu

Để thiết kế website có thể sử dụng một trong các ngôn ngữ sau: AJAX, Javascript và HTML. Trong đó, HTML là ngôn ngữ được Google index nhanh nhất, còn 2 ngôn ngữ còn lại thời gian index sẽ lâu hơn.

Do đó, nếu website được thiết kế bằng ngôn ngữ AJAX hoặc Javascript mà cấu trúc trang web chưa đúng thì Google có thể sẽ tạm hoãn index trang web của bạn.

13. Website của bạn bị mất index hoàn toàn

Đối với những người kinh doanh bán hàng trên website, thật tồi tệ khi chỉ sau một đêm, website tự nhiên bị mất index và hầu như toàn bộ lượng tìm kiếm tự nhiên trên Google bị “bốc hơi” không để lại dấu vết.

Và trường hợp xấu nhất có thể xảy ra là trang web của bạn đang bị dính hình phạt của thuật toán.

Dù đó là trang web cá nhân hay của khách hàng thì điều bạn cần làm ngay lúc này là tìm ra nguyên nhân và khắc phục nó càng sớm càng tốt. Hầu hết các trường hợp khi website mất index, thì bạn vẫn có thể lấy lại gần như lượng tìm kiếm trong thời gian ngắn.

Nếu bạn đã sẵn sàng để khắc phục bất cứ hình phạt nào và lấy lại index cho website của mình thì hãy bắt đầu bằng cách thực hiện các bước theo chỉ dẫn dưới đây của tôi!

Dù đó là trang web cá nhân hay của khách hàng thì điều bạn cần làm ngay lúc này là tìm ra nguyên nhân và khắc phục nó càng sớm càng tốt. Hầu hết các trường hợp khi website mất index, thì bạn vẫn có thể lấy lại gần như lượng tìm kiếm trong thời gian ngắn.

Nếu bạn đã sẵn sàng để khắc phục bất cứ hình phạt nào và lấy lại index cho website của mình thì hãy bắt đầu bằng cách thực hiện các bước theo chỉ dẫn dưới đây của tôi!

Bước 1: 2 loại hình phạt khiến website mất index và cách nhận biết bạn nhận loại hình phạt nào

Thách thức đặt ra trong tình huống này là phải xác định chính xác website của mình đang dính hình phạt nào. Một số trường hợp xác định nguyên nhân khá đơn giản. Tuy nhiên, đôi khi cần phải “mổ xẻ” mới tìm ra.

Điều này sẽ được trình bày chi tiết trong các phần dưới đây!

Loại hình phạt số 1 – Thủ công

Hiện nay, Google vẫn sử dụng các bộ đo chất lượng thủ công vì các thuật toán không thể phát hiện chính xác mọi lỗi vi phạm. Các trang web khi bị gắn cờ, sẽ bị những người có chuyên môn trực tiếp đánh giá website trên từng yếu tố.

Nếu phát hiện thấy website vi phạm, họ sẽ đưa ra một hình phạt bất kỳ phụ thuộc vào lỗi nặng hay nhẹ. Do đó, để kiểm tra chính xác website bạn đang nhận “bản án” nào hãy thực hiện theo các chỉ dẫn dưới đây.

Trước tiên, bạn cần đăng nhập vào Google Search Console. Trong bảng điều khiển nhấp vào mục “All Messages” hoặc “Messages” trên menu ở phía bên trái.

Ngoài ra, bạn có thể kiểm tra trong phần “Search Traffic > Manual Actions” của menu. Hy vọng nó sẽ thông báo rằng website của bạn “trắng án”. Tuy nhiên, trong trường hợp xấu nhất, nếu thấy hiển thị một cái gì đó như hình ảnh minh họa dưới đây, thì xin chia buồn, trang web của bạn đã dính hình phạt của Google.

Thông thường sẽ có nhiều hình phạt thủ công khác nhau. Một số chỉ ảnh hưởng đến các trang cụ thể, trong khi một số khác sẽ ảnh hưởng trên toàn trang web.

Loại hình phạt số 2 – Thuật toán

Để phát hiện các vi phạm, Google sẽ tạo ra các thuật toán khác nhau. Và khi nhận thấy một nội dung nào đó trái với chính sách, nó sẽ ra án phạt với trang web đó. Đây cũng có thể là lý do khiến website mất index.

Điều khó chịu nhất của những hình phạt này là bạn không nhận được thông điệp rõ ràng trong Google Search Console(SC) hay bất cứ nơi nào. Do đó, bạn cần phải bỏ ra chút thời gian để điều tra rõ hình phạt website của mình là gì.

Đối với việc website bị mất lưu lượng truy cập, đầu tiên cần đăng nhập vào Google Analytics(GA) và chọn ngày rộng trong bảng tổng quan đối tượng mặc định. Cần ghi rõ ngày bạn bị phạt bởi hình phạt của Google.

Nếu là sự cố lập chỉ mục, bạn di chuyển đến “Google Index> Index Status” trong SC đồng thời xem xét nơi xảy ra sụt giảm traffic.

Tại đây, bạn có hai tùy chọn để biết được chính xác thuật toán nào gây ra án phạt cho website.

Trước tiên là tùy chọn thủ công. Hãy truy cập đến Moz’s algorithm calendar để xem các thuật toán trong quá khứ được chạy từ bao giờ. Tìm kiếm ngày mà lưu lượng truy cập bị giảm và xem thuật toán nào đã xảy ra trước đó hoặc là vào ngày đó.

Ngoài tùy chọn thủ công, bạn có thể thực hiện tùy chọn khác. Tùy chọn này sử dụng công cụ tương tự Penguin Tool. Đầu tiên, bạn cần đăng nhập bằng tài khoản GA. Sau đó, nó sẽ sắp xếp một biểu đồ lưu lượng truy cập với các dòng thông báo khi nào thuật toán được chạy:

Giờ đây, bạn có thể xác định chính xác hình phạt của trang web mình là thủ công hay thuật toán. Mỗi thuật toán sẽ đánh vào một loại vi phạm khác nhau. Do đó, hiểu rõ thuật toán ảnh hưởng sẽ giúp bạn khắc phục sự cố nhanh chóng nhất.

Bước 2: Hiểu về hình phạt của bạn 

Hãy bắt đầu với các hình phạt thuật toán phổ biến nhất hiện nay.

1. Thuật toán Penguin – Phạt website có nhiều liên kết giả

Thông thường, Google sẽ đếm các backlink trỏ đến trang web của bạn. Và trong Seo, mỗi backlink được ví như 1 phiếu bầu, website càng có nhiều backlink thì chứng tỏ website đó càng uy tín. Nhưng Google lại chỉ muốn đếm các backlink “tự nhiên” đã được tạo.

Vì thế thuật toán Penguin được ra đời. Với mục đích tìm kiếm các mẫu liên kết giả.

2. Thuật toán Panda – Phạt website có nội dung thưa thớt / trùng lặp

Google ra đời với nhiệm vụ là giúp người dùng tìm thấy thông tin hữu ích, đúng với ý định tìm kiếm. Do đó, nếu kết quả trả về các trang được sao chép lại, điều này sẽ không có ích cho người tìm kiếm. Do đó, Google sẽ đánh giá các trang website này ít giá trị hoặc không có giá trị.

Panda là thuật toán đánh giá chất lượng nội dung của trang web. Nó được tạo ra để ngăn chăn những nội dung không có giá trị hoặc chất lượng thấp trong kết quả tìm kiếm của người dùng.

Và thật sự, uy lực của nó tấn công vào các trang web vi phạm cực kỳ mạnh:

Hiện nay, Penguin và Panda là những thuật toán phạt website phổ biến nhất. Tuy nhiên, chúng chưa phải là thuật toán duy nhất. Mỗi năm, Google lại cập nhật hơn 500 thuật toán khác nhau và một trong số đó lại ảnh hưởng đến những thuật toán khác.

Dưới đây là một số thuật toán khác có thể ảnh hưởng đến lưu lượng truy cập công cụ tìm kiếm và là lý do khiến website mất index:

• Thuật toán Payday – Đây là bản cập nhật đặc biệt nhằm vào các truy vấn Spam.
• Thuật toán Pigeon – Thuật toán này thay đổi cách Google cung cấp kết quả cho các tìm kiếm cục bộ.
• Bản cập nhật thân thiện với thiết bị di động – Chủ yếu đánh vào việc trả kết quả thân thiện về với thiết bị di động.

Bước 3: Cách xử lý website bị phạt, mất index HIỆU QUẢ

Để xử lý tình trạng website bị phạt, mất index, các chủ website cần thực hiện 8 bước chuyên sâu dưới đây:

Bước 1: Kiểm tra website của bạn có bị spam link hay không?

Bước 2: Kiểm tra file robots.txt có chặn index không?

Bước 3: Xóa sitemap cũ đồng thời thiết lập sitemap mới.

Bước 4: Tiến hành Submit lại sitemap mới và submit lại website.

Bước 5: Khắc phục Audit lại Content và Link nội bộ. Đồng thời Submit lại những link mà bạn đã sửa.

Bước 6: Viết Content mới với thông tin hữu ích, hướng tới người dùng. Tuyệt đối không copy.

Bước 7: Làm Entity cho website. (Nên tìm các web index nhanh)

Bước 8: Với trường hợp khó, bạn cần kiểm tra xem website có thông báo hay nguyên nhân như thế nào, từ đó có giải pháp xử lý thích hợp.

Nếu là chủ doanh nghiệp, bạn hoàn toàn có thể áp dụng các hướng dẫn trên để khắc phục các “bản án” của Google đồng thời bảo vệ trang web của mình trong tương lai.

Điều này có thể mất khá nhiều thời gian cũng như phải sử dụng kiến thức chuyên môn. Do đó, nếu bạn là người “ngoại đạo”, khi wesbsite bị “lĩnh án” từ Google, tốt nhất hãy nhờ sự giúp đỡ của một chuyên gia SEO.

Các chủ công ty, doanh nghiệp nếu đang gặp phải tình huống tương tự như trên, đừng ngần ngại, hãy chia sẻ với tôi qua facebook cá nhân: Lê Hưng hoặc qua số điện thoại: 034.304.5555. Với tư cách là một SEOer, tôi sẽ đưa ra cho bạn các lời khuyên hữu ích, đồng thời giúp bạn khắc phục mọi sự cố. Đảm bảo website của bạn luôn được bảo vệ an toàn và phát triển bền vững.

Google không index website hoặc bài viết không phải là tình trạng hiếm gặp hiện nay. Tuy nhiên, nếu không biết cách khắc phục nhanh chóng thì nó có thể là “ÁN TỬ” với trang web của bạn. Hi vọng những chia sẻ về các lỗi cơ bản và cách khắc phục trên đây sẽ giúp các có thể “kéo” lại traffic cho website. Chúc các bạn thành công!