• UAUA
    • EN EN

WEB DEV & SEO

  • Головна
  • Портфоліо
  • Послуги
    • Розробка сайту
    • SEO
    • UI/UX Дизайн
    • Реклама
  • Відгуки
  • Контакти
  • Про нас
  • Блог
  • UAUA
    • EN EN
  • Home
  • Блог
  • SEO просування сайтів
  • Що таке robots.txt, і навіщо він потрібен сайту.
Admin
Понеділок, 25 Січня 2021 / Published in SEO просування сайтів

Що таке robots.txt, і навіщо він потрібен сайту.

Файл robots.txt зберігається в форматі тексту на сервері. Він складається з латинських символів і знаків, за допомогою яких створюються команди для роботів про те, які сторінки потрібно індексувати, а які не можна. Robots.txt створюється за стандартним синтаксисом, його директиви розуміють роботи всіх пошукових систем. Якщо не використовувати цей файл, всі сторінки сайту будуть проскановані без розбору. Це може негативно позначитися на результатах пошукової видачі.

1. Що таке robots.txt

Це файл, в якому знаходиться звичайний текст, що складається мінімум з двох рядків. Точна кількість слів визначається в індивідуальних потребах заборонити або дозволити обхід конкретних сторінок. Кожен рядок файлу – одна команда в формі директиви. Вона описує конкретний розділ, категорію або сторінку. Кожен розділ починається з нового рядка.

Robots.txt редагується в будь-який час, якщо виникає потреба закрити від індексу дублі, персональні дані, призначені для користувача угоди або нові сторінки. Для цього він вивантажується через файловий менеджер і редагується на комп’ютері. Після внесення правок оновлений robots.txt потрібно знову завантажити на сервер і перевірити його за посиланням yoursite.ua/robots.txt , де yoursite.ua – назва сайту.

Файл також можна створити для заборони або дозволу індексації відразу всіх сторінок сайту. З його допомогою також можна приховувати розділи ресурсу для різних роботів. Якщо прописані директиви стосуються всіх роботів, в кінці першого рядка ставиться знак «*». При зверненні до конкретного пошуковика необхідно прописати його назву в першому рядку директиви User-agent.

User-agent: *
Allow: / - допустити сканування всіх сторінок 

Приклад robots.txt:

або так

User-agent: Google
Disallow: / - заборонити сканування всіх сторінок 

1.1. Для чого потрібен robots.txt

  • визначення переліку індексованих сторінок;
  • зменшення навантаження на сервер при обході сайту пошуковими роботами;
  • вказівка ​​головного дзеркала сайту;
  • вказівка ​​шляху до карти сайту (Sitemap);
  • визначення додаткових правил обходу сторінок через директиви.

Іноді роботи не враховують директиви з robots.txt. Таке трапляється через помилки в синтаксисі. Найбільш поширені:

  • розмір файлу перевищує (512 КБ для Google);
  • опечатки в прописаних директивах або посиланнях;
  • формат файлу не є текстовим і / або містить неприпустимі символи;
  • файл може застосовуватися в разі запиту до сервера.

Час від часу слід перевіряти коректність і доступ до robots.txt, а також дослідити його на помилки в синтаксисі. До речі, в деяких CMS і хостинг-панелях є можливість редагувати файл з адмінки.

2. Синтаксис robots.txt

Синтаксис файлу складається з обов’язкових і необов’язкових директив. Для правильного зчитування роботами їх потрібно прописувати в певній послідовності: перша директива в кожному розділі – User Agent, далі Disallow, Allow, в кінці – головне дзеркало і карта сайту.

Незважаючи на стандартні правила створення, пошукові боти по-різному зчитують інформацію з файлу. Наприклад, заборона індексації параметрів сторінки розуміє тільки Yandex, а Googlebot пропустить цей рядок.

Важливе правило – не допустити помилки в директивах. Один невірний символ може привести до некоректної індексації.

Щоб мінімізувати ризик помилок, дотримуйтеся основних правил складання синтаксису:

  • в одному рядку прописується максимум одна директива;
  • кожна директива – новий рядок;
  • на початку рядків і між рядками не повинно бути пробілів;
  • в описі параметра не повинно бути переносів на інший рядок;
  • в назві robots.txt і параметрах директив не використовуються символи верхнього регістру;
  • присутній знак «/» перед кожною Директорією. Приклад: / products;
  • в описі директив можуть бути символи тільки латинського алфавіту;
  • тільки один параметр в директивах Allow і Disallow;
  • Disallow без опису рівнозначно Allow / – дозволити обхід всіх сторінок;
  • Allow без опису той же, що і robots.txt disallow / – означає заборону індексації всіх сторінок.

2.1. Основні директиви синтаксису

1. User-agent – обов’язкова директива, вказується в початковому рядку і означає звернення до пошукових ботів. Приклад:

Що таке robots.txt ✔️ Для чого він потрібен ✔️ Синтаксис robots.txt ✔️ Як створити та перевірити robot.txt ✔️ | WebDev&SEO #

2. Disallow – заборона на обхід папок, розділів або окремих сторінок сайту. Приклад:

Що таке robots.txt ✔️ Для чого він потрібен ✔️ Синтаксис robots.txt ✔️ Як створити та перевірити robot.txt ✔️ | WebDev&SEO #

3. Allow – індексація всіх сторінок і їх розділів. Приклад:

Що таке robots.txt ✔️ Для чого він потрібен ✔️ Синтаксис robots.txt ✔️ Як створити та перевірити robot.txt ✔️ | WebDev&SEO #

4. Noindex – заборона на індексацію частини контенту на сторінці. Відрізняється від Disallow тим, що Noindex використовується безпосередньо в коді сторінки і виглядає так:

Що таке robots.txt ✔️ Для чого він потрібен ✔️ Синтаксис robots.txt ✔️ Як створити та перевірити robot.txt ✔️ | WebDev&SEO #

5. Clean-param – заборона на індексацію параметрів в адресі сторінки. Цю директиву видно тільки Яндекс-боту. Наприклад, з її допомогою можна закрити від індексу UTM-мітки:

Що таке robots.txt ✔️ Для чого він потрібен ✔️ Синтаксис robots.txt ✔️ Як створити та перевірити robot.txt ✔️ | WebDev&SEO #

6. Crawl-Delay – визначення мінімального періоду часу між обходами сторінок. Наприклад:

Що таке robots.txt ✔️ Для чого він потрібен ✔️ Синтаксис robots.txt ✔️ Як створити та перевірити robot.txt ✔️ | WebDev&SEO #

7. Host – вказівка ​​основного дзеркала сайту. Приклад:

Що таке robots.txt ✔️ Для чого він потрібен ✔️ Синтаксис robots.txt ✔️ Як створити та перевірити robot.txt ✔️ | WebDev&SEO #

8. Sitemap – розташування карти сайту. Приклад:

Що таке robots.txt ✔️ Для чого він потрібен ✔️ Синтаксис robots.txt ✔️ Як створити та перевірити robot.txt ✔️ | WebDev&SEO #

3. Як створити robots.txt

Файл robots.txt створюється в текстовому редакторі на комп’ютері або генерується автоматично за допомогою онлайн сервісів. Відредагувати його можна в звичайному блокноті. Приклад robots.txt:

User-agent: *
Disallow: / bin / - НЕ індексувати посилання з товарного кошика;
Disallow: / search / - НЕ індексувати посилання з пошукового рядка;
Disallow: / admin / - НЕ індексувати посилання адміністративні елементи;
Sitemap: http://yoursite.com/sitemap - адреса карти сайту;

У директивах іноді додають коментарі для веб-майстрів, які вставляють в файл після знака # з нового рядка. Роботи не враховують ці дані. Приклад robots.txt з коментарем:

User-agent: *
Allow: /
Host: www.yoursite.com
# Через 3 дня головне дзеркало буде замінено

Якщо ви сумніваєтеся або не маєте можливості створити файл самостійно, скористайтеся віртуальним сервісом. Генератори robots.txt створюють файли по заданих параметрах, які потрібно відразу прописати. Приклади інструментів для генерації: pr-cy і Seolib .

4. Як перевірити robots.txt

Протестувати готовий документ можна в сервісах Google і Yandex . Перевірка robots.txt можлива лише після завантаження остаточної версії в корінь сайту. Якщо файл не завантажений в кореневій каталог, сервіс видасть помилку.

При виявленні і успішній перевірці файлу з’являється відповідне повідомлення:

Як перевірити коректність файлу robots.txt

Протестувати robots.txt можна в Netpeak Spider . Для цього:

  1. Відкрийте «Налаштування» → «Віртуальний robots.txt», відзначте пункт «Використовувати віртуальний robots.txt».
  2. Помістіть вміст файлу у вікно і збережіть налаштування.Як вставити віртуальний файл robots.txt для тестування в Netpeak Spider
  3. В поле «Початковий URL» введіть домен сайту і почніть сканування.
  4. Дані, актуальні для прописаного вами віртуального файлу, ви побачите в основній таблиці.Як протестувати віртуальний файл robots.txt в Netpeak Spider

Підводимо підсумки

Файл robots.txt складається з текстових директив і зберігається в корені сайту на сервері. Він використовується для дозволу і заборони індексації пошуковими системами сторінок, розділів, каталогів і окремих параметрів.

Додатково в файлі можна прописати головне дзеркало і посилання на карту сайту. Умови індексації можуть стосуватися всіх пошуків або кожного окремо. Через robots.txt можна задати унікальні умови для кожного пошукача.

При складанні файлу важливо дотримуватися стандартних правил. Створити його можна вручну або за допомогою онлайн-генератора. Для перевірки і тестування готового файлу використовуються онлайн-сервіси або десктопні програми, наприклад Netpeak Spider.

Tagged under: Важливо

What you can read next

Як підготувати сайт-лендинг до періоду розпродажів.
Google дав поради щодо складання заголовків і описів для результатів пошуку.
Google-аналітик Джон Мюллер розповів про алгоритм BERT і його ролі в ранжуванні сайтів.

Останні записи

  • Органічний пошук – це безкоштовні результати пошуку, які пошукова система вважає найбільш релевантними до пошукового запиту користувача ᐉ Детальніше в статті #

    Що таке органічний пошук

    Органічний пошук – це безкоштовні результати по...
  • З 16 липня всі сайти та інтерфейси програм в Україні мають бути українською мовою, — це черговий етап імплементації «мовного закону», який ухвалили у 2019 році #

    З 16 липня всі українські сайти мають бути державною мовою

    З 16 липня всі сайти та інтерфейси програм в Ук...
  • Грайливості в дизайні можна досягти, вільно експериментуючи з формою, кольором і типом, а також шляхом введення дитячих тем у свою роботу #

    Що таке грайливість у дизайні?

    Грайливості в дизайні можна досягти, вільно екс...
  • Один із ефективних способів залучити постійних клієнтів – програми лояльності ⭐ Які бувають програми лояльності ⭐ Яка вигода для вашого бізнесу #

    Програми лояльності клієнтів для інтернет-магазину

    Один із ефективних способів залучити постійних ...
  • Як вибрати ключовий колір для сайту ⭐ Що означають кольори? ⭐ Найкращі кольори для вашого бізнесу | WebDev&SEO #

    Як підібрати кольори для сайту?

    💭Як вибрати ключовий колір? -Червоний, ...

Категорії

  • SEO просування сайтів
  • Без категорії
  • Веб-дизайн
  • Новини в ІТ
  • Розробка сайтів

Ми завжди
на зв'язку!

Ми завжди на зв'язку!

Зателефонувати
DigitalOcean Referral Badge
Розробка та просування сайтів - WEB DEV & SEO
Розробка та просування сайтів
WEB DEV & SEO
TOP
  • Головна
  • Портфоліо
  • Послуги
    ▼
    • Розробка сайту
    • SEO
    • UI/UX Дизайн
    • Реклама
  • Відгуки
  • Контакти
  • Про нас
  • Блог