Страницы сайта на Next.js не индексируются в Google

У меня есть сайт на next.js. Я хочу индексировать сайт для SEO, чтобы сам сайт был виден в Google. Когда я запрашиваю индексацию в консоли Google, он сообщает, что страницу нельзя индексировать из-за несанкционированного запроса (401).

У меня есть файл robots.txt и sitemap.xml в публичной папке.

Вот мой robots.txt:

User-agent: *
Disallow:

Sitemap: https://cardcounter21.com/sitemap.xml

Карта сайта:

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
   <!-- Главная страница -->
   <url>
      <loc>https://cardcounter21.com/home</loc>
      <lastmod>2024-09-08</lastmod>
      <changefreq>ежемесячно</changefreq>
      <priority>1.0</priority>
   </url>

   <!-- Страница "Как учиться" -->
   <url>
      <loc>https://cardcounter21.com/learnhow</loc>
      <lastmod>2024-09-08</lastmod>
      <changefreq>ежемесячно</changefreq>
      <priority>0.9</priority>
   </url>

   <!-- Страница справочника -->
   <url>
      <loc>https://cardcounter21.com/handbook</loc>
      <lastmod>2024-09-08</lastmod>
      <changefreq>ежемесячно</changefreq>
      <priority>0.8</priority>
   </url>

   <!-- Страница премиум-справочника -->
   <url>
      <loc>https://cardcounter21.com/premiumhandbook</loc>
      <lastmod>2024-09-08</lastmod>
      <changefreq>ежемесячно</changefreq>
      <priority>0.8</priority>
   </url>

   <!-- Страница upsell Card Counter -->
   <url>
      <loc>https://cardcounter21.com/cardcounterupsell</loc>
      <lastmod>2024-09-08</lastmod>
      <changefreq>ежемесячно</changefreq>
      <priority>0.7</priority>
   </url>
</urlset>

Вот мой middleware.ts:

import { authMiddleware } from "@clerk/nextjs";
import { NextResponse, NextRequest } from "next/server";

const isBot = (req: NextRequest) => { 
  const userAgent = req.headers.get('user-agent') || '';
  const botUserAgents = [
    'Googlebot',
    'Bingbot',
    'Yahoo! Slurp',
    'DuckDuckBot',
    'Baiduspider',
    'YandexBot',
    'Sogou',
    'Exabot',
    'facebot',
    'ia_archiver'
  ];

  return botUserAgents.some((bot) => userAgent.includes(bot));
};

export default authMiddleware({
  afterAuth(auth, req, evt) {
    if (isBot(req)) {
      return NextResponse.next();
    }

    if (!auth.userId && !auth.isPublicRoute) {
      const home = new URL("/home", req.url);
      return NextResponse.redirect(home);
    }
  },
  publicRoutes: [
    "/sitemap",
    "/home", 
    "/learnhow",
    "/handbook", 
    "/premiumHandbook", 
    "/CardCounterUpsell",
    "/sitemap.xml", 
    "/robots.txt", 
    "/api/simulation", 
    "/Images/Logo", 
    "/test",
    "/api/webhook",
    "/api/welcomeemails",
    "/api/handbookEmails"
  ],
});

export const config = {
  matcher: ["/((?!.+\\.[\\w]+$|_next).*)", "/", "/(api|trpc)(.*)"],
};

Вот фотография ошибки:

Любая помощь будет очень appreciated!

Спасибо!

Пример robots.txt:

User-agent: Googlebot
Disallow: /nogooglebot/

User-agent: *
Allow: /

Sitemap: https://www.example.com/sitemap.xml

Ссылка https://developers.google.com/search/docs/crawling-indexing/robots/create-robots-txt

У нас также есть интернет-магазин на Next.js.

В начале у нас также была такая же проблема с индексацией. Я думаю, что URL карты сайта, который вы упомянули выше, неверен.

Проверьте правильный URL карт сайта в Next.js.

И вы можете исправить эту проблему.