IndexNow: как сообщить поисковикам о новой странице за секунду

Как было

Поисковик узнаёт о новой странице, когда его робот до неё доберётся. Для крупных сайтов это минуты, для небольших — дни. Sitemap помогает, но робот всё равно ходит по расписанию, а не по событию. Опубликовали статью утром — в выдаче она к вечеру, если повезёт.

Что предлагает IndexNow

IndexNow — открытый протокол, по которому сайт сам сообщает поисковой системе, что страница появилась, изменилась или удалена. Один запрос — одна или сразу несколько ссылок. Уведомление, отправленное одному участнику, передаётся всем остальным: Bing, Яндекс, Seznam, Naver и другие поисковики, присоединившиеся к протоколу, получат его без дополнительных вызовов.

Google в протоколе не участвует и продолжает полагаться на собственный краулер и sitemap.

Как подключить

1. Сгенерируйте ключ — любую строку от 8 до 128 символов из букв, цифр и дефисов.
2. Положите файл с ключом в корень сайта: https://example.com/<ключ>.txt, содержимое — сам ключ. Это доказательство, что уведомления шлёт владелец домена.
3. При публикации отправьте запрос:

curl "https://api.indexnow.org/indexnow?url=https://example.com/p/new-post&key=<ключ>"

Для пачки ссылок — POST с JSON-телом:

{
  "host": "example.com",
  "key": "<ключ>",
  "urlList": [
    "https://example.com/p/first",
    "https://example.com/p/second"
  ]
}

Ответ 200 или 202 означает, что уведомление принято. Дальше поисковик сам решает, когда обойти страницу, но на практике это происходит гораздо быстрее обычного расписания.

Что учесть

• Отправляйте только канонические адреса: без www, если каноничен домен без него, без параметров отслеживания.
• Не шлите один и тот же URL много раз подряд — это не ускорит индексацию, а лимиты у поисковиков есть.
• Ключ должен оставаться доступным по HTTPS постоянно, не только в момент отправки.
• Удалённые страницы тоже стоит отправлять: поисковик быстрее уберёт их из выдачи.

Кто уже поддерживает

Плагины для WordPress, модули для крупных CMS, Cloudflare умеет отправлять уведомления автоматически при изменении кеша. В своём приложении это десяток строк: после сохранения публикации — фоновая задача с HTTP-запросом.

Стоит ли

Да, если ваш сайт публикует что-то регулярно и вам важна скорость появления в выдаче Яндекса и Bing. Затраты — час работы и один файл в корне. Отдача — минуты вместо дней для новых материалов.