Як додати файл sitemap в яндекс вебмастер. Як створювати та відправляти файли Sitemap. Чи можна без Sitemap

Файл Sitemap- це файл з інформацією про сторінки сайту інакше звана Карта сайту. За допомогою файлу Sitemap ви можете повідомити пошукову систему, які сторінки вашого сайту потрібно індексувати, як часто оновлюється інформація на сторінках, а також індексація яких сторінок найважливіша.

Тут ви можете сформувати необхідний Google та Yandex XML-код для карти сайту. А також створити візуальну карту сайту онлайн, яку зможете розмістити на одній із ваших сторінок.

Докладніше про XML-формат файлу Sitemap можна прочитати на sitemaps.org

Новачок Експерт VIP Інформація Структура XML Історія FAQ

Технічні подробиці sitemap

Мітки файлу sitemap.xml:

• changefreq- Найімовірніша частота зміни контенту зазначеного URL;
• lastmod- фактична дата останнього оновлення URL;
• loc- сам URL;
• priority- пріоритетність зазначеної сторінки щодо інших сторінок сайту;
• url- цей тег є батьківським для зазначених перших чотирьох тегів;
• urlset- цей тег поєднує теги перших п'яти типів.

Особливістю застосування формату XML є необхідність заміни всіх службових символів на їхнє безпечне представлення. Нижче наведено таблицю символів, які зустрічаються в URL і підлягають обов'язковій заміні:

• & - Амперсанд;
• " - Поодинокі лапки;
• " - подвійні лапки;
• > - Знак "більше";
• < - Знак "менше".

Файл Sitemap має обмеження на розмір індексного файлу 10 мегабайт. Для того, щоб це обмеження не зачепило власників невеликих веб-сайтів, передбачена можливість стиснення файлів, які призначені для Sitemap за допомогою відкритого архівного формату gz (gzip-архіватор).

Можна вказати розташування файлу Sitemap, використовуючи файл robots.txt. Для цього просто додайте файл robots.txtнаступний рядок:

Sitemap: http://ДОМЕН.ru/sitemap.xml
URL має бути повним URL для файлу Sitemap.

Для передачі пошуковим системам нового Sitemapвикористовуйте рядок виду:
Пошукова система/ping?sitemap=http://ДОМЕН.ru/sitemap.xml
Для Google: http://www.google.com/webmasters/sitemaps/ping?sitemap=http://ДОМЕН.ru/sitemap.xml

Для перевірки коректності складання картки вашого сайту слід заздалегідь перевірити його на правильність. Найпростіше це зробити за допомогою однієї з утиліт, розміщених на веб-сайтах або xml.org. При цьому вам знадобиться XML-схема даних індексного файлу Sitemap. Щоб вказати у XML файлі посилання на схему перевірки, встановіть прапорець " Додавати посилання на XSD схему для перевірки". Після цього при відкритті Sitemap.xml файлу у браузері, за наявності помилок у структурі, ви отримаєте відповідне повідомлення.

Історія розвитку Sitemap

Скільки себе пам'ятає Інтернет, веб-майстри завжди намагалися догодити пошуковим павукам - допомогти їм зібрати детальну інформацію про структуру сайту, що просувається.

Першим, найдавнішим і цілком природним способом було створення спеціальної сторінки, на якій були розміщені всі посилання сайту. Називалися та називаються такі сторінки картами сайту. Принцип їх роботи простий: пошуковий робот під час візиту на цю сторінку автоматично пройде за опублікованими там посиланнями та занесе їх до індексу.

Подібна схема була зручна до певного часу. Пізніше, коли сайти перестали являти собою виключно статичні сторінки з малою кількістю сторінок, виникла нова проблема, пов'язана з неефективністю методу публікації класичного варіанту карти сайту, т.к. місць для посилань не вистачало, сторінки виходили більшими за розміром, незручними.

На деяких сайтах кількість сторінок перевищила 1000, природно, що абсолютно всі посилання розмістити на карті сайту стало неможливо. Коефіцієнт проіндексованості таких сайтів став знижуватися. Світ потребував нового ефективного вирішення проблеми.

І проблему було вирішено. У червні 2005 року компанією Googleбуло створено новий зручний формат опису нових сторінок сайту для покращення якості їх індексації пошуковими системами.

Стандарт отримав назву Sitemaps 0.84. За основу було прийнято принцип текстової бази даних XML, що дозволяє компактно в текстовому файлі описати структуру сайту, включаючи нові та опубліковані раніше сторінки сайту з можливістю надання додаткової META-інформації. Ефективне рішення Sitemaps, запропоноване Google, стало користуватися шаленою популярністю

Популярність далася взнаки і на думці інших пошукових систем до нового підходу створення карт сайту. Так, у листопаді 2006 року до підтримки стандарту приєдналися такі пошукові гіганти, як MSNі Yahoo, а у квітні та Ask.com. На радощах формат Sitemapsотримав нову версію Sitemap 0.90, що розширює функціональні можливості.

У травні 2007 року було офіційно оголошено про підтримку підключення стандарту Sitemapsу файлі robots.txtпошукачами Ask, Googleі Yahoo, тобто знайти карту сайту Sitemapстало простіше: достатньо вказати його місце розташування в цьому файлі, а за джерело інформації для Sitemapвикористовувати RSS-стрічки чи звичайні текстові файли.

2 червня 2008 року, через 3 роки після оголошення протоколу Googleна блозі Яндекса для вебмайстрів з'явилося повідомлення про підтримку цього протоколу Яндексом.

Як зробити, щоб на вашому сайті завжди була найсвіжіша карта? Для цього створено безкоштовний сервіс підтримки картки сайту.

Також Ви можете придбати готовий універсальний

За допомогою нашого генератора карти сайту створіть файли у форматі XML, які можуть бути представлені в Google, Яндекс, Bing, Yahoo та інших пошукових системах, щоб допомогти індексувати ваш сайт.

Зробіть це за три прості кроки:

Припустимо у вас є сайт, забитий унікальним контентом, на якому проведена SEO оптимізація і сидите ви, потираючи долоні в очікуванні, коли ваше дітище почне відвідуватися пошуковим роботом, індексуватися і приносити заповітний трафік. Йде час, а результат ваших старань не надто видно. У чому ж справа? Можливо, щось усе-таки було втрачено з поля зору, щось та забулося в гонитві за ніштяками. Припустимо, що сайт, як і раніше, унікальний і оптимізатори з вас хоч куди. Тоді потрібно розбиратися, чому пошуковик так неохоче вас відвідує і чому все відбувається так повільно.

Кожен web-проект повинен мати два важливі, а може й основні файли: це роботс (robots.txt) і карта сайту (). Якщо якийсь із них відсутній чи неправильно заповнений, велика ймовірність, що ресурс не дасть того результату, на який ви розраховували. Адже пошукові боти мають задані обмеження як за часом знаходження на ресурсі, так і за кількістю документів, які вони можуть перевірити і занести до бази. А це все до того, що якщо вами не були задані шляхи переміщення для пошукового робота, то він може дістатися контенту дуже нескоро, перед цим побродивши у файлах движка.

Щоб уникнути подібної плутанини, у файлі роботс ми говоримо, на що ботам не варто витрачати час, а за допомогою карти сайту, навпаки, підказуємо куди слід заглянути і де поблукати.

Припустимо, що у нас все зрослося і пошукові системи почали індексувати наш проект, а ось відсутність другого може затягнути досягнення поставленої мети. А тепер докладніше про створення sitemap.

XML та HTML версії карти сайту

Sitemap.html виступає в ролі навігації для гостей нашого ресурсу, яка допомагає зрозуміти структуру сайту і знайти цікавий для них розділ.

Sitemap.xml підказує та допомагає пошуковим роботам виявити та почати індексувати сторінки нашого проекту. Якщо ми маємо великий рівень вкладеності та численну кількість веб-сторінок на сайті, XML гарантує, що роботи не прогавлять, то що потрібно проіндексувати. Як приємний бонус ми отримуємо плюсик до карми як збільшення довіри до ресурсу з боку пошукових систем.

Позитивні сторони присутності сітіmap. xml на сайті

• прискорене індексування нещодавно створених сторінок;
• стовідсоткова ймовірність того, що пошуковик знайде необхідні сторінки;
• можливість вказати пріоритети під час перевірки, частоту та дату останнього оновлення сторінки;
• трохи збільшується довіра до ресурсу.

Важливо!

• використовуйте для картки сайту кодування UTF-8;

• вага файлу має бути не більше 10 MB і його вміст не повинен бути більше 50 тисяч URL.

Як створити та додати sitemap. xml на сайт

Беремо будь-який текстовий редактор, наприклад Notepad++, і починаємо творити.

Першим блоком іде стандартна частина, в якій ми вказуємо:

http://Наш сайт.ru/ 2016-05-23T23:45:36+00:00 daily 1.0

Значення тегів:

• «loc» - у нього ми уклали адресу сторінки нашого сайту, яку незабаром мають проіндексувати пошукові роботи;
• "lastmod" - відображається остання дата оновлення сторінки, зазначеної в першому тегу;
• «changefreq» - показує, як часто буде оновлюватися контент (у нашому випадку щодня);
• "priority" - задає пріоритетність до індексації сторінки (від 0 до 1)

Зберігаємо файлик, що вийшов, у форматі XML і поміщаємо його в . Далі вказуємо шлях до нього у robots. txt прописуючи цей рядок:

http://Наш сайт/sitemap.xml

Або ми можемо використовувати один із онлайн-генераторів. Наприклад,, який розрахований на створення не більше 500 сторінок. Але часто більше й не треба, тож працюємо з ним.

У перший рядок вписуємо повну URL-адресу нашого сайту зhttp://Наш сайт.

Другий рядок, який називається « Change frequency », показує пошуковим роботам, як часто оновлюватимуться веб-сторінки. Можемо вибрати:never, weekly, daily, hourly, monthly, yearly.

Третій рядок « Last modification » показує, коли останній раз оновлювалася сторінка, можемо вибрати або дату, коли ми вирішили створити карту сайту, або вибрати « Use server’s response - тоді генератор автоматично внесе дату останньої зміни.

І четвертий рядок Priority », як ми вже раніше обговорювали, дозволяє вибрати пріоритет до індексації, вибираємо «Automatically Calculated Priority».

Натискаємо кнопку «Start» і чекаємо, коли згенеруєтьсякартка сайту у форматі XML, Потім знову робимо маніпуляції з поміщенням в корінь і вказівки шляху в robots.txt.

Як повідомити про файл sitemap після створення Google та Яндекс

Заходимо у Вебмайстер і діємо в такий спосіб.

Вибираємо перевірку карти сайту:

І задаємо шлях до нашого файлу sitemap.

Перевіряємо що вийшло:

Переконуємося, що все гаразді вирушаємо на уклін до Google.

Для того щоб потрапити до Search Console Google, в якій, власне, і можна повідомити про нашу карту, переходимо

Оновлюємо сторінку- Перед нами результат перевірки і якщо в колонці «Проблеми» стоїть прочерк, значить, ми все зробили правильно.

Підведемо підсумки

Створити та розмістити файл sitemap. xml на ресурсі за фактом хвилинна справа, для цього можна використовувати будь-який текстовий редактор або онлайн-генератор. Якщо у вас є карта сайту на своєму ресурсі ви прискорюєте та спрощуєте життя пошуковому роботу, який слідує по вказаному шляху та індексує потрібні сторінки. Це означає, що результат вашої роботи з оптимізації має шанс стати помітним. Але важливо не забувати про карту сайту і періодично оновлювати її, т.к. сторінка може перестати брати участь у просуванні, а боти продовжуватимуть відвідувати, що позначиться на позиціях. Також наш XML-провідник може бути помічником не тільки роботам, а й злодюжкам контенту, адже в sitemap ми вказуємо потрібні нам документи, що значно спрощує життя копіпастерам. Тому рекомендуємо періодично перевіряти контент вашого ресурсу на унікальність. Дотримуючись цих правил, ви підвищуєте довіру пошукових систем Google і Яндекс до свого ресурсу.

За допомогою файлу Sitemap можна повідомити Яндекс про актуальну структуру сайту, вказавши спеціальну директиву в robots.txt або додавши в Яндекс.Вебмайстер.

Вебмайстер дозволяє:

Завантаження Sitemap

Виберіть зі списку сайт.

У полі впишіть URL, за яким доступний файл. Наприклад, https://example.com/sitemap.xml.

Натисніть кнопку Додати.

Після додавання файл потрапляє у чергу на обробку. Робот завантажить його протягом двох тижнів. Кожен доданий файл, у тому числі вкладений у файл індексу Sitemap обробляється роботом окремо.

Після завантаження навпроти кожного файлу ви побачите один із статусів:

Оновлення Sitemap

Якщо ви змінили доданий в Яндекс.Вебмастер файл Sitemap, його не треба видаляти і завантажувати знову - робот регулярно перевіряє файл на оновлення та помилки.

Щоб прискорити обхід файлу, натисніть . Якщо ви використовуєте файл індексу Sitemap, можна запустити обробку кожного перерахованого в ньому файлу. Робот завантажить дані протягом трьох днів. Використовувати функцію можна до 10 разів для одного хоста.

Коли ви витратите всі спроби, наступна буде доступна через 30 днів після першої. Точна дата відображається в інтерфейсі вебмайстра.

Вилучення Sitemap

В інтерфейсі Яндекс.Вебмайстра можна видалити ті файли, які були додані на сторінці Файли Sitemap: Якщо для Sitemap була додана директива у файлі robots.txt, видаліть її. Після внесення змін інформація про Sitemap пропаде з бази робота та Яндекс.Вебмайстра протягом кількох тижнів.

Питання та відповіді

Sitemap відображається у сервісі як виключена сторінка зі статусом «Неправильний формат документа»

Відображення файлу Sitemap (як і інших XML-файлів) як виключених сторінок має лише інформативний характер і ніяк не впливає на індексування сайту або обробку Sitemap.

Файл Sitemap може відображатися в групі виключених сторінок, оскільки робот спробував проіндексувати його як звичайну сторінку, тоді як файли формату XML не індексуються в пошуковій системі Яндекса і результати пошуку не беруть участі.

При обробці Sitemap виникла помилка "Невідомий тег"

Файл Sitemap може містити лише певні XML-елементи. Якщо веб-майстер виявить у файлі інші елементи (наприклад, вказівку на мобільну або мультимовну версію, адреси картинок), у вебмайстрі з'явиться помилка «Невідомий тег». Непідтримувані елементи ігноруються роботом під час обробки Sitemap , у своїй дані з підтримуваних елементів враховуються. Тому змінювати файл Sitemap необов'язково.

Якщо буде змінено вміст файлу, потрібно буде до двох тижнів на оновлення інформації у Вебмайстрі.

Файл Sitemap знаходиться у статусі «Не проіндексовано»

Файл Sitemap може бути не проіндексований з кількох причин:

Робот обійшов файл Sitemap нещодавно і ще не встиг опрацювати його. Зачекайте два тижні. Якщо ви використовуєте файл індексу Sitemap з кількома файлами, їх обробка може зайняти більше часу, ніж одного файла Sitemap .

Сайт раніше був недоступний для індексуючого робота. Необхідно дочекатися наступного відвідування сайту роботом.

Доступ до Sitemap заборонено у файлі

Карта сайту (sitemap) - це html сторінка сайту або спеціальний xml файл, в якому відображено посилання на всі важливі сторінки сайту. Щоб зрозуміти, що таке карта сайту, достатньо уявити книжковий зміст і відразу ж стане ясно, навіщо потрібна карта сайту. Карта сайту допомагає відвідувачу, будь то людина або пошуковий робот, швидко знайти будь-яку сторінку сайту, здійснюючи мінімальну кількість переходів. На простих, невеликих сайтах всі сторінки можуть бути доступні через 1-2 кліки від головної сторінки, але що робити, якщо сайт великий і його структура непроста? Подібний сайт буде незручним не тільки відвідувачам, але й неочевидним для пошукових систем.

Які бувають карти сайту

Пошукові системи індексують сайт поступово, рівень за рівнем починаючи з головної сторінки. Якщо на сайті багато рівнів вкладеності сторінок, то поки всі сторінки сайту проіндексуються пройдуть багато місяців. Значить, потрібно створити карту сайту, на якій будуть всі посилання на всі сторінки сайту відразу, щоб робот не витрачав час на переходи за рівнями вкладеності, чи не так? І так і ні. Відповідь залежить від того, навіщо робиться карта і якою вона буде. Давайте розглянь, які бувають карти сайту.

Карта сайту HTML Sitemap

Карти сайту поділяються на 2 основні види або формати: карта сайту htmlі мапа сайту файл xml. HTML карта сайту - це сторінка сайту, де перераховані посилання. Зазвичай це посилання на найважливіші розділи та сторінки сайту. HTML карта сайту більше розрахована на людей, ніж на роботів і допомагає швидше орієнтуватися в основних розділах сайту. Для карти сайту у вигляді html-сторінки існують серйозні обмеження за кількістю посилань на одній сторінці. Якщо на сторінці буде занадто багато посилань, далеко не всі посилання можуть бути проіндексовані або сторінка карти сайту може бути виключена з пошуку за надмірну кількість посилань, нехай навіть .

Для того, щоб карта сайту правильно індексувалася і адекватно сприймалася відвідувачами, не варто розміщувати на сторінці більше 100 посилань. Цього достатньо, щоб розмістити на сторінці всі розділи та підрозділи, які не влізли в основне меню.

Зазвичай, карта сайту у форматі HTMLмає деревоподібну структуру, де вказані розгорнуті розділи та підрозділи. Надмірно громіздкі HTML карти сайту, часто оформлюються графічними елементами, CSS-стилями та доповнюються Java-script. Однак, мапа сайту html не має великого значення для пошукових систем.

HTML карта сайту — це повноцінний sitemap. Як бути, якщо на сайті сотні, тисячі, десятки тисяч сторінок? Для цього необхідно розмістити посилання на всі сторінки у карті сайту у форматі xml.

Карта сайту XML Sitemap

XML карта сайту - це файл формату xml, виду sitemap.xml, Який зазвичай знаходиться в корені сайту. У карти сайту у форматі xml є безліч переваг перед html картою сайту. Sitemap xml – це спеціальний формат карти сайту, що визначається всіма популярними пошуковими системами, наприклад Google та Яндекс. У xml sitemap можна вказати до 50 000 посилань. Більше того, у sitemap xml можна вказати відносний пріоритет та частоту оновлення сторінок.

Варто зазначити, що вміст карти сайту є лише рекомендацією для пошукового робота. Наприклад, якщо встановити для сторінки сайту щорічну частоту оновлення, пошукові роботи все одно ходитимуть частіше. А якщо встановити частоту оновлення сторінки щогодини, це не означає, що роботи індексуватиме сторінку щогодини.

Карта сайту xml має певний синтаксис, давайте розглянемо структуру xml карти сайту детальніше.

Приклад файлу картки сайту sitemap.xml

Правильний sitemap.xml повинен мати кодування UTF8. Вміст файлу картки сайту sitemap.xml виглядає так:

http://mysite.ru/ 2014-09-18T18:54:13+04:00 always 1.0 http://mysite.ru/category/ 2014-09-18T18:57:09+04:00 hourly 0.8 http://mysite.ru/page/ 2014-09-18T18:59:37+04:00 daily 0.6

Де використовуються такі обов'язкові теги:

• - Батьківський тег, в нього полягають всі URL-адреси;
• - тег, в якому вказуються відомості про конкретну URL-адресу;
• - У цьому тегу вказується безпосередньо url.

• — цей тег містить дату останньої зміни сторінки;
• — тег використовується, щоб вказати, наскільки часто змінюється сторінка: always, hourly, daily, weekly, monthly, yearly, never;
• — вказує пріоритет певної сторінки щодо інших сторінок сайту від 0,1 – низький пріоритет, до 1 – високий пріоритет.

Також, у файлі картки сайту у форматі xml має міститися вказівка ​​на простір імен мови XML:

Xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"

Якщо файл карти сайту містить понад 50 тисяч посилань або розмір sitemap.xml перевищує 10 мб, рекомендується розділити карту сайту на кілька файлів. У такому випадку, у картці сайту необхідно вказати кілька посилань на різні файли карток.

http://mysite.ru/sitemaps/sitemap01.xml 2014-09-18T18:54:13+04:00 http://mysite.ru/sitemaps/sitemap02.xml 2014-09-18T18:54:13+04:00

Тут використовуються вже знайомі нам теги і , а також обов'язкові теги:

• - Батьківський тег, в який полягають адреси всіх карт сайту;
• - Тег, в якому полягає параметри для кожної картки сайту.

Приклад файлу картки сайту sitemap.txt

Ще одним способом оформлення картки сайт у вигляді файлу може бути картка сайту у форматі txt:

1. http://mysite.ru/ 2. http://mysite.ru/page/ 3. http://mysite.ru/page1/

Все просто. У файлі sitemap.txt рядково перераховуються всі потрібні посилання. Карта сайту у форматі txt – це «варіант для лінивих». Тут працює аналогічне sitemap xml обмеження 50.000 посилань. Однак, TXT карта сайту позбавлена ​​можливостей вказати дати останньої зміни та пріоритету сторінки.

Як створити карту сайту

Створення картки сайтуважливий процес, у якому необхідно чітко вказати, які сторінки сайту потрібно індексувати та як краще їх індексувати. Залежно від того про який тип карти сайту йдеться, використовуються різні способи створення картки сайту. Як створити html карту сайту обговорювати окремо сенсу немає. Розглянемо як зробити карту карту у форматі xml файлу. Існує кілька основних способів створення карти сайту, але їх об'єднує те, де знаходиться карта сайту і як файл sitemap визначається пошуковими системами.

Як уже було написано вище файл картки сайту розміщується в корені сайту. Пошукові системи здатні самостійно виявити файл карти сайту. Але існує кілька способів вказати пряме посилання на файл(и) карти сайту(ів) для більш швидкого виявлення пошуковими системами. Найпростіший спосіб вказати місце розташування файлу картки сайту – це безпосередня вказівка ​​посилання або кількох посилань на файли карток сайту в інструментах для вебмайстрів від Yandex та Google. Там же можна перевірити картку сайтупровести аналіз картки сайту на коректність, відповідність того, які сторінки з карти сайту знайдені пошуковою системою і скільки їх знаходиться в індексації.

Другий спосіб вказати пошуковим системам на розташування файлу карти сайту – це .

Sitemap: http://mysite.ru/sitemap.xml

У robots.txt можна вказати кілька файлів sitemap, після чого він автоматично буде додано до інструментів для вебмайстрів. Як знайти мапу сайту ми розглянули, тепер перейдемо до того, як створити мапу сайту.

Основні способи створення картки сайту

1. Генерація картки сайтусилами системи керування сайту, якщо CMS має подібну вбудовану можливість.
2. Завантажити карту сайтузі стороннього онлайн сервісу. Існує безліч online генераторів карт сайту з різними можливостями та обмеженнями. Наприклад xml-sitemaps.com має можливість налаштування параметрів карти сайту, але має обмеження за кількістю посилань у файлі sitemap.xml в 500 штук.
3. Завантажити програму-генератор карти сайту. Подібні програми генератори зазвичай платні, але за їх допомогою можна регулярно генерувати sitemap xml для одного або кількох сайтів. Ось кілька прикладів подібних програм-генераторів: SiteMap XML Dynamic SiteMap Generator, WonderWebWare SiteMap Generatior.
4. Автоматичне створення sitemap картки сайтуу Joomla (Джумла), WordPress (Вордпрес), Bitrix (Бітрікс).
5. Створення картки сайту вручну.

Карта сайту - один з найважливіших інструментів. Не важливо, як буде створено карту сайту. Важливо, які посилання будуть перераховані в карті сайту і як часто вона оновлюватиметься. Іноді, в карту сайту вивантажується все поспіль і навіть посилання, які заборонені в robots.txt або . А оновлення карти сайту відбувається раз на місяць чи рідше. Подібне ставлення до карти сайту може не просто зробити її марною, але ще гірше — заплутати пошукового робота, що негативно позначиться на індексації та позиціях сайту в пошуку.

Створити картку сайту для свого ресурсу. Але будьте уважні і добре подумайте, що вивантажувати в sitemap, а що ні.