Як запросити повторне сканування сторінок. Як запросити повторне сканування сторінок Видалити Sitemap з Вебмайстра

Додавання сайту на індексацію у Rambler.

"З 23 червня 2011 року "Рамблер-Пошук" використовує пошукові технології компанії "Яндекс", що доповнюються власними сервісами. Додати сайт в індекс пошукової системи можна через систему Яндекса".

Не забудьте додати свій сайт до Топ100.Rambler, зайвим не буде.

Додавання сайту на індексацію у Mail.ru.

Додати сайт дуже просто, відправляєте URL і чекаєте, не забудьте подати БЕЗКОШТОВНО заявку на влучення в каталог Mail.ru, якщо схвалять, це буде добре. Не закриваючи сторінку додавання сайту в пошук, переходьте за посиланням на додавання в каталог Mail.ru і заповнюєте форму (у цьому випадку з'явиться можливість подати безкоштовно заявку в каталог).

Додавання сайту на індексацію до каталогу Aport.ru.

Для додавання сайту доведеться пройти 5 нескладних кроку. На першому додати URL сайту. На першому етапі перевіряється на відповідь сайту та на наявності сайту в каталозі, якщо його немає, то з'явиться другий крок. На другому кроці заповнюєте дані про сайт, назву, опис, ключові слова і т.д. На третьому етапі вибираєте розділ (розділи нагадали як у каталозі Майл.ру). Четвертий крок додаємо регіон сайту (теж чимось нагадав Майл.ру). П'ятий крок, вводьте капчу (великі враховуються) і перевіряєте введені дані, якщо все правильно, тиснемо далі. Вас додали, чекаємо на модерацію на Поштова скринька.

Додавання сайту на індексацію у GOGO.ru.

Щодо значущості даного ресурсуі знаходження у ньому я не можу сказати, але можу сказати одне, не завадить, а раптом і з нього зайдуть (у практиці такого не було, але все змінюється). Щоб додати в інтернеті є посилання http://gogo.ru/wmaster/add_site.html перейшовши по ній, я зрозумів що це вже пошуковик Mail.ru, (посилання залишив, про всяк випадок).

Додавання сайту на індексацію у NIGMA.ru.

Наступна система www.nigma.ru. По ній пишуть що вона дає приплив народу, я не помітив, але додав, може буде толк. Тим більше, це швидко. Вказуєте URL, поштову скриньку та періодичність оновлення, зберегти і все.

Додавання сайту на індексацію у TAGOO.

Пошукова система того як видно спеціалізується медійному контенті, якщо у вас він є або може бути з'явиться, додаємо . На значимість даного пошукача не беруся судити, не знаю його, але додав.

Додавання сайту на індексацію Turtle (Черепаха).

Система орієнтована на ресурси країн Співдружності Незалежних Держав СНД будь-якою мовою, а також російськомовні ресурси інших країн. Додати можна. Але у зв'язку зі смертю його засновника Дмитра Крюкова ресурс тимчасово призупинив свою діяльність. Як написано на сайті ТИМЧАСОВО, значить не прибираємо його з рахунків.

Ось ми й дійшли до зарубіжних пошукових систем.

Додавання сайту на індексацію Yahoo (Яху) та Bing (Бінг).

Яху об'єднала свою пошукову систему з Bing і перекидає на Bing старий URL для додавання http://search.yahoo.com/info/submit.html. Додаємо в Bing. Додаємо та радіємо, можемо також зареєструватися та отримати панель вебмайстра, я там не реєструвався, але це не показник. Для наочності спробуйте.

У цій інструкції ми розглянемо питання додавання нового сайту на індексацію до різних пошукових систем.

Я вирішив згадати як популярні пошукові системи, так і ті, про які ви можливо і не чули.

Індексація сайту в Яндексі

Щоб додати сайт на індексацію, достатньо ввести url головної сторінкита капчу. Капча – це кілька цифр, які захищають від автоматичних реєстрацій. Після того, як ви натиснете кнопку «додати», можливо кілька варіантів розвитку подій.

1) Повідомлення «ваш сайт доданий» сигналізує про успішне додавання ресурсу в чергу на індексацію в Яндекс.
2) Якщо з'явився напис "Ваш хостинг не відповідає" - значить, ваш сервер лежить у цей момент. Можна спробувати додати сайт пізніше або знайти якісніший хостинг.
3) А от якщо з'явилося повідомлення, що «зазначена URL-адреса заборонена до індексації» то справи погані. Це говорить про те, що на ваш ресурс накладено санкції у вигляді бана сайту. Цілком можливо, що на купленому вами домені вже був сайт, який і отримав санкції. За допомогою addurl вебмайстра часто перевіряють сайти на бан в Яндексі.

Індексація сайту в Google (Гуглі)

Наступна за значимістю для нашого сайту йде Пошукова система Google (Гугл). Процес додавання на індексацію сайту в Google такий самий як на Yandex. У Гуглі теж є своя адуринка, яка розташована за адресою: https://www.google.com/webmasters/tools/submit-url.

Також треба ввести капчу при додаванні. Але є дві відмінності. Якщо в Яндексі можна просто додати урл без зайвих рухів тіла, то в Google треба бути залогіненим у своєму акаунті. Інакше не вийде. Відповідно якщо облікового запису у вас там ще немає, його доведеться завести. Друга відмінність Google від Яндекса – це швидкість індексації. Google швидко індексує сайти.

Індексація сайту в Рамблері (Rambler.ru)

Звичайно, Рамблер вже не той, що раніше, як скаже багато хто, і дає зовсім небагато трафіку. І все одно, навіщо їм нехтувати? Процес індексації сайту в Rambler найзатяжніший, серед інших вітчизняних пошукових систем. Та й його адуринка вже давно не працює, вона була за адресою: robot.rambler.ru/cgi-bin/addsite.cgi

Він уже давно використовує пошукову базу Яндекса. Тому, щоб потрапити в індекс Rambler.ru, достатньо додатися в Яндекс.

Індексація сайту у Mail.ru (Майл)

Пошукова система Mail.ru також має кабінет вебмайстра. Додавання сайту на індексацію в Mail.ru відбувається через форму addurl, яка розташована за адресою: go.mail.ru/addurl

Причому як і в гугла, щоб зробити заявку на індексування, потрібно завести свій аккаунт і увійти до нього. Інакше не вийде. Майл останнім часом намагається розвивати власні інструменти для вебмайстрів.

Вище ми розглянули основні вітчизняні пошукові системи, в яких нам бажано проіндексувати свій сайт. ПС, що йдуть далі, наведу швидше для вашої спільної SEO-ерудиції, ніж для конкретних дій.

Пошукова система Aport.ru (Апорт)

Aport.ru колись був пошуковою системою, зі своєю індексною базою та адурилкою. Нині з нього зробили товарний пошуковик, у якому можна порівнювати ціни на товари та послуги.

Пошукова система Nigma.ru (Нігма)

Nigma.ru - це наша російська інтелектуальна пошукова машина. Сумарний обсяг її трафіку становить близько трьох мільйонів запитів на добу. Очевидно, що не треба нехтувати трафіком з Нігми. Додати свій сайт на індексацію у Нігму можна на сторінці nigma.ru/index_menu.php?menu_element=add_site.

Медіа навігатор.

Система Tagoo.ru є медійною пошуковою системою, яка шукає медіа дані. Це музичний контент, відеоролики та програми. Щоб ваш сайт був проіндексований системою Tagoo, потрібно скористатися формою додавання: tagoo.ru/ru/webmaster.php?mode=add_site.

Пошукова система Turtle.ru (Черепаха)

Міжнародна пошукова система Turtle (Черепаха) здійснює пошук країнами СНД будь-якою мовою. Для індексації приймаються ресурси на таких доменних зонах як: ru, su, ua, am, az, ge, by, kz, kg, uz, md. Щоб додати сайт на індексацію в черепаху потрібно скористатися адурилкою: http://www.turtle.ru/add.html. Бажано дочекатися виведення повідомлення про ухвалення вашого сайту. Може не додати, а ви й не знатимете.

Зарубіжні пошукові системи

Якщо вищими були вітчизняні пошукові системи, то нижче буде список зарубіжних пошукових систем.

Пошукова система Yahoo.com (Яху)

Пошукова система Bing.com (Бінг)

Пошукова система Bing належить корпорації Microsoft і була створена для заміни Live Search. Майкрософ сподівається, що нове дітище виявиться набагато популярнішим за попередника. Якщо ви хочете індексувати свій сайт ПС Bing.com, це можна зробити на сторінці http://www.bing.com/toolbox/submit-site-url .

Українські пошукові системи

І на завершення мого огляду наведу дві популярні пошукові системи в Україні.

Українська пошукова система Meta.ua (Мета)

Яндекс Вебмайстер дозволяє:

• додати Sitemap;
• оновити;
• видалити;
• аналізувати.

Як додати Sitemap в Яндекс Вебмайстер

Щоб додати файл Sitemap в чергу на індексування, вам потрібно, як завжди, зайти в сервіс Вебмайстра - webmaster.yandex.ru. Далі:

1. У розділі "Індексування" ви знайдете пункт "Файли Sitemap".
2. Додайте повну адресу файлів Sitemap, наприклад, https://сайт/sitemap.xml.
3. Натисніть «Додати».
4. Чекайте, доки Яндекс Вебмайстер перевірить файл.

Після додавання файл потрапляє в чергу на обробку. Робот додасть його протягом двох тижнів. Кожен доданий файл, зокрема вкладений в індекс Sitemap, обробляється роботом окремо.

Після завантаження навпроти кожної карти сайту ви побачите в Яндекс Вебмайстрі один із статусів:

Оновити Sitemap

Коли в Sitemap відбуваються зміни, його не потрібно видаляти з Яндекс Вебмайстра та додавати наново. Пошуковик час від часу сам перевіряє його на зміни та помилки.

Якщо ваш Sitemap не проіндексований, це можна прискорити. Потрібно зайти до розділу «Індексування», далі у пункті «Файли Sitemap». Натиснути на значок оновлення навпроти потрібної карти сайту. Яндекс завантажить дані протягом трьох днів. Використовувати функцію можна до 10 разів для одного хоста.

Коли ви витратите всі спроби, наступна буде доступна через 30 днів після першої. Точна дата відображається в інтерфейсі вебмайстра.

Видалити Sitemap з Вебмайстра

В інтерфейсі Яндекс.Вебмайстра можна видалити ті файли, які були додані на сторінці «Файли Sitemap»:

Якщо до Sitemap було додано директиву у файлі robots.txt, видаліть її. Після внесення змін інформація про Sitemap пропаде з бази робота та Яндекс.Вебмайстра протягом кількох тижнів.

Підтримувані Яндекс Вебмайстром формати

Яндекс приймає Sitemap у форматах:

XML-формат Sitemap

Переважно передавати в формат XML, т.к. у ньому можна передати додаткові дані.

Яндекс підтримує протокол Sitemap. Використовуйте цей формат, якщо хочете повідомити про:

• даті останнього оновленнясторінки (елемент lastmod);
• частоті зміни сторінки (елемент changefreq);
• Значення сторінки (елемент priority) - робот завантажує сторінки по черзі з урахуванням наявності та значення коефіцієнта від 0.0 до 1.0. Вкажіть коефіцієнт для тих URL, які є найбільш важливими для сайту.

https://сайт/ssylki-v-yandex-webmaster/ 2018-06-06 monthly 0.8 ...

TXT-формат Sitemap

У даному форматіможна надіслати лише адреси сторінок. І все. Так, сум і сум, краще використовуйте XML 🙂

Використовуйте цей формат, щоб повідомити лише адреси сторінок.

https://сайт/ssylki-v-yandex-webmaster/ https://сайт/zerkala-sajta-v-yandex-webmaster/

Щоб передавати інформацію про відео, в Sitemap вкажіть посилання на XML-фіди (докладно в Допомозі сервісу Я.Відео).
Пошук не підтримує передачу інформації про зображення, RSS та Atom-фідів за допомогою файлу Sitemap.

У яких випадках потрібний файл Sitemap

Яндекс розробляє спеціальні алгоритми, за якими робот, що індексує, дізнається про сайт. Наприклад, за допомогою внутрішніх та зовнішніх посилань- Переходячи з однієї сторінки на іншу. Іноді робот може пропустити сторінки. Використовуйте Sitemap, якщо на сайті:

• велика кількість сторінок;
• окремі сторінки без навігаційних посилань;
• глибока вкладеність.

Як створити файл

Додати Sitemap.xml до Яндекс Вебмайстер — відео

Для зручності вебмайстрів та пошукових систем був розроблений спеціальний формат карти сайту – sitemap. Це список посилань на внутрішні сторінки сайту, що подається у форматі XML. Цей формат підтримує Яндекс. У спеціальному розділі сервісу можна завантажити sitemap для вашого сайту. Це дозволить впливати на пріоритет обходу роботом деяких сторінок вашого сайту. Наприклад, якщо якісь сторінки оновлюються набагато частіше, ніж інші, слід зазначити цю інформацію, щоб робота Яндекса правильно планувала свою роботу.

Яндекс індексує основні типи документів, поширених у Мережі. Але існують обмеження, від яких залежить, як буде проіндексовано документ, і чи буде проіндексовано взагалі:

• Велика кількість cgi-параметрів в URL, велика кількість вкладених директорій, що повторюються, і занадто велика загальна довжина URL може призвести до погіршення індексування документів.

  Для індексування важливий розмір документа – документи більше 10Мб не індексуються.

  Індексування flash:

  1. індексуються файли *.swf, якщо на них є пряме посилання або вони вбудовані в html тегами object або embed;

     якщо flash містить корисний контент, вихідний HTML документ може бути знайдений за контентом, проіндексованим в swf файлі .

У документах PDFіндексується лише текстовий вміст. Текст, поданий як картинок, не індексується.

Яндекс коректно індексує документи у форматі Open Office XML та OpenDocument (зокрема, документи Microsoft Office та Open Office). Але слід враховувати, що впровадження підтримки нових форматів може тривати деякий час.

Допустимо використання тегів і , робот Яндекса індексує контент, що підвантажується в них, і дозволяє знайти вихідний документ за вмістом кадрів.

Якщо ви перевизначили поведінку сервера для неіснуючих URL, переконайтеся, що сервер повертає код помилки 404. Отримавши код відповіді 404, пошукова система видаляє цей документ з індексу. Слідкуйте, щоб усі потрібні сторінкисайту віддавали код 200 OK.

• Сканування може тривати кілька днів, і кілька тижнів. Про його перебіг можна дізнатися за допомогою спеціального звіту або інструмента перевірки URL .
• Терміни обробки запитів, поданих будь-яким із перерахованих способів, практично однакові.
• Для запитів сканування окремих URL-адрес існують квоти.
• Якщо запитувати повторне сканування одного і того ж URL або файлу Sitemap багато разів, воно не буде виконано швидше.

Як запросити сканування сторінок

Щоб запросити сканування URL, виконайте такі дії:

1. Перевірте URLза допомогою цього інструменту.
2. Виберіть Запросити індексування. Інструмент перевірить сторінку на наявність проблем із індексуванням. Якщо вони не виявляться, сторінка буде додана в чергу на індексування. Якщо інструмент виявить проблеми, спробуйте їх вирішити.

Існує кілька способів запитати сканування файлу Sitemap:

• Скористатися спеціальним звітом.
• Виконати запит ping.У браузері або командному рядкувідправте запит GETна наведену нижче адресу, вказавши повний URL файлу Sitemap і переконавшись, що цей файл доступний:
  http://www.google.com/ping?sitemap=
  приклад
  http://www.google.com/ping?sitemap=https://example.com/sitemap.xml
• Вставити в будь-якому місці файлу robots.txt рядок, що вказує на розташування файлу Sitemap (вона буде виявлена ​​при наступному скануванні). Приклад:
  Sitemap: http://example.com/my_sitemap.xml