Багато операторів веб -сайтів незадоволені. Мабуть, вам обов’язково потрібно мати файл із назвою robots.txt. Що це?
Windows + Linux / англійська / з відкритим кодом. Якщо у вас є домашня сторінка, ви зазвичай хочете, щоб вас знайшли. Існує велике розчарування, коли ваша власна сторінка не з’являється в Google. Це може бути пов'язано з файлом robots.txt. Але тільки якщо вона є. Цей файл може зробити лише одне: заборонити.
У файлі robots.txt можна заборонити автоматичним програмам, які цілодобово переглядають Інтернет, доступ до ваших сторінок. Ви можете оголосити заборону повсюдно для всіх цих роботів або для певних. Ви можете повністю заблокувати свої сторінки або лише певні області.
Якщо файл не існує, відповідно немає заборон. Ваші сторінки відкриті для всіх пошукових систем. Якщо ви все ще не з'являєтесь у Google, виникає зовсім інше питання: Ви вже зареєстрували свої сторінки? Найкраще - це зробити негайно. Просто введіть тут адресу:
https://www.google.com/webmasters/tools/submit-url
Для цього вам потрібно увійти до свого облікового запису Google.
Для того, щоб відсутній файл robots.txt став проблемою, сервер також слід неправильно налаштувати. Тоді робот міг спробувати отримати доступ до файлу та зіткнутися з незвичайними повідомленнями про помилки, що призвело б до припинення процесу. Але цей випадок дуже малоймовірний.
Якщо ви хочете створити файл robots.txt, збережіть його в головній папці веб -сервера. Якщо ви хочете дозволити всім робити все, напишіть у нього таке:
Агент користувача: *
Заборонити:
Рядок "User-Agent" вказує, на кого поширюється заборона. * означає: для всіх. Рядок "Disallow" виражає заборону. Якщо більше нічого немає, це означає, що всі доступу дозволені.
Детальніше на цю тему:Закрийте, ось ваш веб -сайт: Як створити веб -сайт без особливих зусиль
