Пошукові системи Інтернет: Яндекс, Google, Rambler, Yahoo. Склад, функції, принцип роботи. Що таке пошукова система, як вона працює? 1 що розуміють під пошуковою системою коротко

Здрастуйте, шановні читачі блогу сайт. Займаючись чи, інакше кажучи, пошуковою оптимізацією як на професійному рівні (просуваючи за гроші комерційні проекти), так і на аматорському рівні (), ви обов'язково зіткнетеся з тим, що необхідно знати принципи роботи в цілому для того, щоб успішно оптимізувати під них свій чи чужий сайт.

Ворога, як кажуть, треба знати в обличчя, хоча, звичайно ж, вони (для рунету це Яндекс і) для нас зовсім не вороги, а скоріше партнери, бо їхня частка трафіку є в більшості випадків превалюючою та основною. Є, звичайно ж, винятки, але вони лише підтверджують це правило.

Що таке сніпет і принципи роботи пошукових систем

Але тут спочатку потрібно буде розібратися, а що таке сніпет, навіщо він потрібен і чому його вміст такий важливий для оптимізатора? У результатах пошуку розташовується відразу під посиланням на знайдений документ (текст якого береться вже писав):

Як сніпет використовуються зазвичай шматки тексту з цього документа. Ідеальний варіант покликаний надати користувачеві можливість скласти думку про вміст сторінки, не переходячи на неї (але це якщо він вийшов вдалим, а це не завжди так).

Сніппет формується автоматично і які фрагменти тексту будуть використовуватися в ньому вирішує, і, що важливо, для різних запитів у однієї і тієї ж веб-сторінки будуть різні сніпети.

Але є ймовірність, що саме вміст тега Description іноді може бути використаний (особливо в Google) як сніпет. Звичайно ж, це ще залежатиме і від того, у видачі якого він показується.

Але вміст тега Description може виводитися, наприклад, при збігу ключових слів запиту та слів, які ви вживали в дескрипшині або у випадку, коли алгоритм сам ще не знайшов на вашому сайті фрагменти тексту для всіх запитів, за якими ваша сторінка потрапляє у видачу Яндекса або Гугла .

Тому не лінуємося та заповнюємо вміст тега Description для кожної статті. У WordPress це можна зробити, якщо ви використовуєте описаний (а його використовувати я вам рекомендую).

Якщо ви фанат Джумли, то можете скористатися цим матеріалом.

Але Сніппет не можна отримати зі зворотного індексу, т.к. там зберігається інформація лише про використані на сторінці слова та їх положення в тексті. Ось саме для створення сніпетів одного і того ж документа в різних пошукових видачах (за різними запитами) наші улюблені Яндекс і Гугл, крім зворотного індексу (потрібного безпосередньо для пошуку — про нього читайте нижче), зберігають ще й прямий індекс, тобто. копію веб-сторінки.

Зберігаючи копію документа в основі їм потім досить зручно нарізати з них потрібні сніпети, не звертаючись при цьому до оригіналу.

Т.о. виходить, що пошукові системи зберігають у своїй базі і прямий, і зворотний індекс веб-сторінки. До речі, формування сниппетов можна опосередковано впливати, оптимізуючи текст веб-сторінки таким чином, щоб алгоритм вибирав як його саме той фрагмент тексту, який ви задумали. Але про це поговоримо вже в іншій статті.

Як працюють пошукові системи загалом

Суть оптимізації полягає в тому, щоб «допомогти» алгоритмам пошукових систем підняти сторінки тих сайтів, які ви просуваєте, на максимально високу позицію у видачі за тими чи іншими запитами.

Слово «допомогти» у попередній пропозиції я взяв у лапки, т.к. своїми оптимізаторськими діями ми не зовсім допомагаємо, а часто й зовсім заважаємо алгоритму зробити повністю релевантну запиту на видачу (про загадкові).

Але це хліб оптимізаторів, і доки алгоритми пошуку не стануть досконалими, існуватимуть можливості за рахунок внутрішньої та зовнішньої оптимізації покращити їхні позиції у видачі Яндекса та Google.

Але перш, ніж переходити до вивчення методів оптимізації, потрібно буде хоча б поверхово розібратися в принципах роботи пошукових систем, щоб усі подальші дії робити усвідомлено і розуміючи навіщо це потрібно і як на це відреагують ті, кого ми намагаємося трохи обдурити.

Ясна річ, що зрозуміти всю логіку їхньої роботи від і до нас не вийде, бо багато інформації не підлягає розголошенню, але нам спочатку буде достатньо й розуміння основоположних принципів. Отже, почнемо.

Як же працюють пошукові системи? Як не дивно, але логіка роботи у них усіх, в принципі, однакова і полягає в наступному: збирається інформація про всі веб-сторінки в мережі, до яких вони можуть дотягнутися, після чого ці дані хитромудрі обробляються для того, щоб по них зручно було б вести пошук. Ось, власне, і все, на цьому статтю можна вважати завершеною, але все ж таки додамо трохи конкретики.

По-перше, уточнимо, що документом називають те, що ми зазвичай називаємо сторінкою сайту. При цьому він повинен мати свою унікальну адресу () і, що примітно, хеш-посилання не призводитимуть до появи нового документа (про те, ).

По-друге, варто зупинитись на алгоритмах (спосібах) пошуку інформації у зібраній базі документів.

Алгоритми прямих та зворотних індексів

Очевидно, що метод простого перебору всіх сторінок, що зберігаються в базі даних, не буде оптимальним. Цей метод називається алгоритмом прямого пошукуі при тому, що цей метод дозволяє, напевно, знайти потрібну інформацію не пропустивши нічого важливого, він абсолютно не підходить для роботи з великими обсягами даних, бо пошук буде займати занадто багато часу.

Тому для ефективної роботи з великими обсягами даних було розроблено алгоритм зворотних (інвертованих) індексів. І, що цікаво, саме він використовується всіма великими пошуковими системами у світі. Тому на ньому ми зупинимося докладніше та розглянемо принципи його роботи.

При використанні алгоритму зворотних індексіввідбувається перетворення документів у текстові файли, що містять список всіх слів, що є в них.

Слова в таких списках (індекс-файлах) розташовуються в алфавітному порядку і поряд з кожним з них вказані у вигляді координат місця в веб-сторінці, де це слово зустрічається. Окрім позиції у документі для кожного слова наводяться ще й інші параметри, що визначають його значення.

Якщо ви згадаєте, то в багатьох книгах (в основному технічних або наукових) на останніх сторінках наводиться список слів, що використовуються в цій книзі, із зазначенням номерів сторінок, де вони зустрічаються. Звичайно ж, цей список не включає взагалі всіх слів, що використовуються в книзі, але може служити прикладом побудови індекс-файлу за допомогою інвертованих індексів.

Звертаю вашу увагу, що пошукові системи шукають інформацію не в інтернеті, а зворотних індексах оброблених ними вебсторінок мережі. Хоча і прямі індекси (оригінальний текст) вони також зберігають, т.к. він згодом знадобиться для складання сніпетів, але про це ми вже говорили на початку цієї публікації.

Алгоритм зворотних індексів використовують усіма системами, т.к. він дозволяє прискорити процес, але при цьому будуть неминучими втрати інформації за рахунок спотворень, внесених перетворенням документа в індекс-файл. Для зручності зберігання файли зворотних індексів зазвичай хитрим способом стискаються.

Математична модель, що використовується для ранжування.

Для того, щоб здійснювати пошук за зворотними індексами, використовується математична модель, що дозволяє спростити процес виявлення потрібних вебсторінок (за введеним запитом) і процес визначення релевантності всіх знайдених документів цього запиту. Чим більше він відповідає даному запиту (чим він більш релевантний), тим вище він повинен стояти в пошуковій видачі.

Значить основне завдання, що виконується математичною моделлю - це пошук сторінок у своїй базі зворотних індексів відповідних даному запиту та їх подальше сортування в порядку зменшення релевантності даному запиту.

Використання простої логічної моделі, коли документ буде знайденим, якщо в ньому зустрічається фраза, що шукається, нам не підійде, в силу величезної кількості таких вебсторінок, що видаються на розгляд користувачеві.

Пошукова система повинна не лише надати список усіх веб-сторінок, на яких трапляються слова із запиту. Вона має надати цей список у такій формі, коли на самому початку будуть знаходитись найбільш відповідні запиту користувача документи (здійснити сортування за релевантністю). Це завдання не тривіальне і за умовчанням не може бути виконане ідеально.

До речі, неідеальністю будь-якої математичної моделі і користуються оптимізатори, впливаючи тими чи іншими способами на ранжування документів у видачі (на користь сайту, що просувається ними, природно). Матмодель, що використовується всіма пошуковими системами, відноситься до класу векторних. У ній використовується таке поняття, як вага документа стосовно заданого користувачем запиту.

У базовій векторній моделі вага документа за заданим запитом обчислюється виходячи з двох основних параметрів: частоти, з якою в ньому зустрічається дане слово (TF - term frequency) і тим, наскільки рідко це слово зустрічається на всіх інших сторінках колекції (IDF - inverse document frequency ).

Під колекцією мається на увазі вся сукупність сторінок, відомих пошуковій системі. Помноживши ці два параметри один на одного, ми отримаємо вагу документа на заданий запит.

Природно, що різні пошукові системи, крім параметрів TF і IDF, використовують безліч різних коефіцієнтів для розрахунку ваги, але суть залишається незмінною: вага сторінки буде тим більше, чим частіше слово з пошукового запиту зустрічається в ній (до певних меж, після яких документ може бути визнаний спамом) і чим рідше зустрічається це слово в інших документах проіндексованих цією системою.

Оцінка якості роботи формули асесорами

Таким чином виходить, що формування видач за тими чи іншими запитами здійснюється повністю за формулоюбез участі людини. Але ніяка формула не буде працювати ідеально, особливо спочатку, тому потрібно здійснювати контроль за роботою математичної моделі.

Для цих цілей використовуються спеціально навчені люди, які переглядають видачу (конкретно тієї пошукової системи, яка їх найняла) за різними запитами та оцінюють якість роботи поточної формули.

Всі внесені ними зауваження враховуються людьми, які відповідають за налаштування моделі. У її формулу вносяться зміни чи доповнення, у результаті якість роботи пошуковика підвищується. Виходить, що асесори виконують роль такого своєрідного зворотного зв'язку між розробниками алгоритму та його користувачами, який необхідний поліпшення якості.

Основними критеріями щодо оцінки якості роботи формули є:

1. Точність видачі пошукової системи - відсоток релевантних документів (які відповідають запиту). Чим менше веб-сторінок (наприклад, дорвеїв), що не стосуються теми запиту, буде присутнім, тим краще
2. Повнота пошукової видачі — відсоткове відношення відповідних запиту (релевантних) вебсторінок до загальної кількості релевантних документів, що є у всій колекції. Тобто. виходить так, що у всій базі документів, які відомі пошуку веб-сторінок, що відповідають заданому запиту, буде більше, ніж показано в пошуковій видачі. У цьому випадку можна говорити про неповноту видачі. Можливо, що частина релевантних сторінок потрапила під фільтр і була, наприклад, прийнята за дорвеї або ще якийсь шлак.
3. Актуальність видачі - ступінь відповідності реальної веб-сторінки на сайті в інтернеті тому, що про нього написано в результатах пошуку. Наприклад, документ може вже не існувати або бути сильно зміненим, але при цьому у видачі за заданим запитом він буде присутній, незважаючи на його фізичну відсутність за вказаною адресою або на його поточну невідповідність даному запиту. Актуальність видачі залежить від частоти сканування пошуковими роботами документів зі своєї колекції.

Як Яндекс та Гугл збирають свою колекцію

Незважаючи на простоту індексації веб-сторінок, що здається, тут є маса нюансів, які потрібно знати, а згодом і використовувати при оптимізації (SEO) своїх або замовних сайтів. Індексація мережі (збір колекції) здійснюється спеціально призначеною для цього програмою, яка називається пошуковим роботом (ботом).

Робот отримує початковий список адрес, які він повинен буде відвідати, скопіювати вміст цих сторінок і віддати цей вміст на подальшу переробку алгоритму (він перетворює їх на зворотні індекси).

Робот може ходити не тільки за заздалегідь даним йому списком, але й переходити за посиланнями з цих сторінок і індексувати документи, що знаходяться за цими посиланнями. Т.о. робот поводиться так само, як і звичайний користувач, що переходить за посиланнями.

Тому виходить, що за допомогою робота можна проіндексувати все те, що зазвичай доступно користувачеві, що використовує браузер для серфінгу (пошуковики індексують документи прямої видимості, які може побачити будь-який користувач інтернету).

Є низка особливостей, пов'язаних з індексацією документів у мережі (нагадаю, що ми вже обговорювали).

Першою особливістю можна вважати те, що крім зворотного індексу, що створюється з оригінального документа завантаженого з мережі, пошукова система зберігає ще й його копію, інакше кажучи, пошукові системи зберігають ще й прямий індекс. Навіщо це потрібно? Я вже згадував трохи раніше, що це потрібно для складання різних сніпетів залежно від введеного запиту.

Скільки сторінок одного сайту Яндекс показує у видачі та індексує

Звертаю вашу увагу на таку особливість роботи Яндекса, як наявність у видачі за заданим запитом лише одного документа з кожного сайту. Такого, щоб у видачі були присутні на різних позиціях дві сторінки з одного ресурсу, бути не могло до недавнього часу.

Це було одне з основних правил Яндекса. Якщо навіть на одному сайті знайдеться сотня релевантних заданому запиту сторінок, у видачі буде присутня лише одна (найрелевантніша).

Яндекс зацікавлений у тому, щоб користувач отримував різноманітну інформацію, а не перегортав кілька сторінок пошукової видачі зі сторінками одного й того самого сайту, який цьому користувачеві виявився нецікавим з тих чи інших причин.

Однак, поспішаю одужати, бо коли дописав цю статтю дізнався новина, що виявляється Яндекс став допускати відображення у видачі другого документа з того ж ресурсу, як виняток, якщо ця сторінка виявиться «дуже хороша і доречна» (іншими словами сильно релевантна запиту).

Що примітно, ці додаткові результати з того самого сайту теж нумеруються, отже, через це з топу випадуть деякі ресурси, що займають нижчі позиції. Ось приклад нової видачі Яндекса:

Пошуковці прагнуть поступово індексувати всі сайти, але часто це буває не просто через зовсім різну кількість сторінок на них (у когось десять, а в когось десять мільйонів). Як бути у цьому випадку?

Яндекс виходить із цього положення обмеженням кількості документів, яку він зможе загнати до індексу з одного сайту.

Для проектів з доменним ім'ям другого рівня, наприклад сайт, максимальна кількість сторінок, яка може бути проіндексована дзеркалом рунета, знаходиться в діапазоні від ста до ста п'ятдесяти тисяч (конкретне число залежить від ставлення до цього проекту).

Для ресурсів із доменним ім'ям третього рівня – від десяти до тридцяти тисяч сторінок (документів).

Якщо у вас сайт із доменом другого рівня (), а вам потрібно буде загнати в індекс, наприклад, мільйон вебсторінок, то єдиним виходом із цієї ситуації буде створення безлічі піддоменів ().

Піддомени для домену другого рівня можуть мати такий вигляд: JOOMLA.сайт. Кількість піддоменів для другого рівня, який може проіндексувати Яндекс, становить десь трохи більше 200 (іноді начебто й до тисячі), тому в такий нехитрий спосіб ви зможете загнати в індекс дзеркала рунета кілька мільйонів веб-сторінок.

Як Яндекс ставиться до сайтів у неросійськомовних доменних зонах

У зв'язку з тим, що Яндекс донедавна шукав лише російськомовною частиною інтернету, то й індексував він в основному російськомовні проекти.

Тому, якщо ви створюєте сайт не в доменних зонах, які він за умовчанням відносить до російськомовних (RU, SU та UA), то чекати на швидку індексацію не варто, т.к. він, швидше за все, його знайде не раніше ніж за місяць. Але вже наступна індексація відбуватиметься з такою самою частотою, що й у російськомовних доменних зонах.

Тобто. доменна зона впливає лише на час, який пройде до початку індексації, але не впливатиме надалі на її частоту. До речі, від чого ця частота залежить?

Логіка роботи пошукових систем із переіндексації сторінок зводиться приблизно до наступного:

1. знайшовши та проіндексувавши нову сторінку, робот заходить на неї наступного дня
2. порівнявши вміст із тим, що було вчора, і не знайшовши відмінностей, робот прийде на неї ще раз через три дні
3. якщо і цього разу на ній нічого не зміниться, він прийде вже через тиждень і т.д.

Т.о. згодом частота приходу робота на цю сторінку зрівняється із частотою її оновлення або буде порівнянна з нею. Причому час повторного заходу робота може вимірюватися для різних сайтів як у хвилинах, так і в роках.

Такі вони розумні пошукові системи, складаючи індивідуальний графік відвідування для різних сторінок різних ресурсів. Можна, правда, змусити пошукові системи переіндексувати сторінку за нашим бажанням, навіть якщо на ній нічого не змінилося, але про це в іншій статті.

Продовжимо вивчати принципи пошуку в наступній статті, де ми розглянемо проблеми, з якими стикаються пошукові системи, розглянемо нюанси . Ну, і багато іншого, звичайно ж, так чи інакше допомагає.

Удачі вам! До швидких зустрічей на сторінках блогу сайт

Вам може бути цікаво

Rel Nofollow та Noindex - як закрити від індексації Яндексом та Гуглом зовнішні посилання на сайті
Облік морфологія мови та інші проблеми розв'язувані пошуковими системами, а також відмінність ВЧ, СЧ та НЧ запитів
Траст сайту - що це таке, як його виміряти в XTools, що впливає на нього і як збільшити авторитетності свого сайту
СЕО термінологія, скорочення та жаргон
Релевантність та ранжування - що це таке та які фактори впливають на становище сайтів у видачі Яндекса та Гугла
Які фактори пошукової оптимізації впливають на просування сайту та якою мірою
Пошукова оптимізація текстів - оптимальна частота вживання ключових слів та його ідеальна довжина
Контент для сайту - як наповнення унікальним та корисним контентом допомагає у сучасному просуванні сайтів
Мета теги title, description та keywords заважають просуванню
Апдейти Яндекса - які бувають, як відслідковувати ап Тіц, зміни пошукової видачі та всі інші оновлення

Пошукові системи (ПС) вже час є обов'язковою частиною інтернету. Сьогодні вони величезні та найскладніші механізми, які є не тільки інструментом для знаходження будь-якої необхідної інформації, але й досить захоплюючими сферами для бізнесу.

Функції та поняття ПС

Розглянемо детальніше саме значення запиту для пошуку, взявши для прикладу систему Яндекс.

Запит повинен бути сформульований користувачем у повній відповідності до предмета його пошуку, максимально просто і коротко. Наприклад, ми хочемо знайти інформацію в даному пошуковику: "як вибрати автомобіль для себе". Щоб зробити це, відкриваємо головну сторінку та вводимо запит для пошуку "як вибрати авто". Потім наші функції зводяться до того, щоб зайти за наданими посиланнями на інформаційні джерела у мережі.

Найголовніше завдання кожної пошукової системи – доставити людям саме той вид інформації, який їм потрібний. А привчити користувачів створювати «правильний» вид запитів до пошукових систем, тобто фрази, які відповідатимуть їхнім принципам роботи, практично неможливо.

Саме тому фахівці-розробники пошукачів роблять такі принципи та алгоритми їх роботи, які б давали користувачам знаходити цікаві для них відомості. Це означає, що система повинна «думати» так само, як мислить людина при пошуку необхідної інформації в інтернеті.

Коли він вводить свій запит у пошукову машину, він бажає знайти те, що йому треба, якнайпростіше і швидше. Отримавши результат, користувач становить оцінку роботі системи, керуючись кількома критеріями. Чи вдалося йому знайти потрібну інформацію? Якщо ні, то скільки разів йому довелося переформатувати текст запиту, щоб його знайти? Наскільки актуальна інформація була отримана? Як швидко пошукова система опрацювала його запит? Наскільки зручно було надано пошукові результати? Чи був потрібний результат першим, чи перебував на 30-му місці? Скільки «сміття» (непотрібної інформації) було знайдено разом із корисними відомостями? Чи знайдеться актуальна йому інформація, під час використання ПС, за тиждень, чи за місяць?

Основні характеристики пошукових систем

Повнота.

Точність.

Чим пошук точніше, тим швидше користувач знайде необхідну йому інформацію, тим менше різноманітного «сміття» зустрічатиметься серед результатів, тим менше знайдених документів не відповідатиме змісту запиту.

Актуальність.

Наприклад, наступного дня після появи інформації про вихід нового iPad, багато користувачів звернулися до пошуку з відповідними видами запитів. У більшості випадків інформація про цю новину вже доступна у пошуку, хоча часу з моменту її появи минуло дуже мало. Це відбувається завдяки наявності у великих пошукових систем швидкої бази, яка оновлюється кілька разів на день.

Швидкість пошуку.

Наочність.

Це означає, що людині часто доводиться здійснювати свій пошук серед наданих результатів. Різноманітні компоненти сторінок видачі ПС допомагають орієнтуватися у пошукових результатах.

Історія розвитку пошукових систем

Одним із перших методів організації широкого доступу до ресурсів інформації стало створення каталогів сайтів, причому посилання на них почали групувати за тематикою. Таким першим проектом став ресурс Yahoo.com, який відкрився навесні 1994 року. Згодом, коли кількість сайтів у Yahoo-каталозі істотно збільшилася, було додано опцію пошуку необхідних відомостей по каталогу. Це ще не було повною мірою пошуковою системою, оскільки область такого пошуку була обмежена лише сайтами, що входять до цього каталогу, а не всіма ресурсами в інтернеті. Каталоги посилань вельми широко використовувалися раніше, але нині, практично повною мірою втратили своєї популярності.

Адже навіть сьогоднішні, величезні за своїми обсягами каталоги мають інформацію про незначну частину сайтів в інтернеті. Найвідоміший і найбільший каталог у світі має інформацію про п'ять мільйонів сайтів, коли база Google містить інформацію про більш ніж 25 мільярдів сторінок.

Наступного року з'явилися AltaVista та Lycos. Причому перша була лідером із пошуку інформації дуже тривалий час.

• Google – 69,24 %;
• Bing – 12,26 %;
• Yahoo! - 9,19%;
• Baidu – 6,48%;
• AOL – 1,11 %;
• Ask - 0,23%;
• Excite - 0,00%

За даними на грудень 2016 року, частки пошукових систем у Рунеті:

• Яндекс - 48,40%
• Google – 45,10%
• Search.Mail.ru - 5,70%
• Rambler – 0,40%
• Bing – 0,30%
• Yahoo - 0,10%

Принципи роботи пошукової системи

Модуль індексування.

Spider(по англ. павук) – програма, яка призначена для того, щоб завантажувати веб-сторінки. "Павук" завантажує певну сторінку, одночасно витягуючи з неї всі посилання. Завантажується код html практично з кожної сторінки. Для цього роботи використовують HTTP-протоколи.

• URL завантаженої сторінки;
• дата, коли здійснювалося завантаження сторінки;
• заголовок http-відповіді сервера;
• html-код, "тіла" сторінки.

Indexer(Робот-індексатор) - це програма, що аналізує сторінки, які скачали павуки.

Аналіз проводиться над різноманітними частинами сторінки, такими як заголовки, текст, посилання, стильові та структурні особливості, теги html та ін.

Таким чином, модуль індексування дає можливість проходити за посиланнями заданої кількості ресурсів, завантажувати сторінки, отримувати масу посилань на нові сторінки з отриманих документів і робити докладний їх аналіз.

База даних

Пошуковий сервер

Пошуковий сервер працює наступним чином:

• Запит, що йде від користувача, піддається морфологічному аналізу. Інформаційне оточення будь-якого документа, що є в базі, генерується (воно й надалі відображатиметься як сніпет, тобто інформаційне поле тексту, що відповідає даному запиту).
• Отримані дані передають як вхідні параметри спеціалізованого ранжування модуля. Вони обробляються за всіма документами, й у результаті кожному такого документа розраховується свій рейтинг, який характеризує релевантність такого документа запиту користувача, та інших складових.
• Залежно від умов, заданих користувачем, цей рейтинг цілком може бути підкоригований додатковими.
• Потім генерується сам сніпет, тобто. для будь-якого знайденого документа з відповідної таблиці витягують заголовок, анотацію, що найбільше відповідає запиту, і посилання на цей документ, при цьому знайдені словоформи та слова підсвічують.
• Результати отриманого пошуку передаються людині, яка її здійснила, у вигляді сторінки, на яку видають пошукові результати (SERP).

Інтернет необхідний багатьом користувачам для того, щоб отримувати відповіді на запити, які вони вводять.

Якби не було пошукових систем, користувачам довелося самостійно шукати потрібні сайти, запам'ятовувати їх, записувати. У багатьох випадках знайти «вручну» щось потрібне було б дуже складно, а часто й просто неможливо.

За нас всю цю рутинну роботу з пошуку, зберігання та сортування інформації на сайтах.

Почнемо з відомих пошукових систем Рунета.

Пошукові системи в Інтернеті російською

1) Почнемо з вітчизняної пошукової системи. Яндекс працює не тільки в Росії, але також працює в Білорусії та Казахстані, в Україні, Туреччині. Також є Яндекс англійською мовою.

2) Пошуковик Google прийшов до нас з Америки, має російськомовну локалізацію:

3) Вітчизняний пошуковик Майл ру, який одночасно представляє соціальну мережу ВКонтакте, Однокласники, також Мій світ, відомі Відповіді Mail.ru та інші проекти.

4) Інтелектуальна пошукова система

Nigma (Нігма) http://www.nigma.ru/

З 19 вересня 2017 року інтелектуалка nigma не працює. Вона перестала для її творців представляти фінансовий інтерес, вони перейшли на іншу пошукову систему під назвою CocCoc.

5) Відома компанія Ростелеком створила пошукову систему Супутник.

Є пошукач Супутник, розроблений спеціально для дітей, про який я писала.

6) Рамблер був одним із перших вітчизняних пошуковиків:

У світі є інші відомі пошукові системи:

• Bing,
• Yahoo!,
• Baidu,
• Ecosia,

Спробуємо розібратися, як працює пошукова система, а саме, як відбувається індексація сайтів, аналіз результатів індексації і формування пошукової видачі. Принципи роботи пошукових систем приблизно однакові: пошук інформації в Інтернеті, її зберігання та сортування для видачі у відповідь на запити користувачів. А ось алгоритми, за якими працюють пошукові системи, можуть сильно відрізнятися. Ці алгоритми тримаються в таємниці та заборонено її розголошення.

Ввівши той самий запит у пошукові рядки різних пошукових систем, можна отримати різні відповіді. Причина в тому, що всі пошукові системи використовують власні алгоритми.

Мета пошукових систем

Насамперед потрібно знати про те, що пошукові системи – це комерційні організації. Їхня мета – отримання прибутку. Прибуток можна отримувати з контекстної реклами, інших видів реклами, з просування необхідних сайтів на верхні рядки видачі. Загалом способів багато.

Залежить від того, який розмір аудиторії у нього, тобто скільки людина користується даною пошуковою системою. Чим більша аудиторія, тим більшій кількості людей показуватиметься реклама. Відповідно, коштуватиме ця реклама буде більше. Збільшити аудиторію пошукові системи можуть за рахунок власної реклами, а також залучаючи користувачів за рахунок покращення якості своїх сервісів, алгоритму та зручності пошуку.

Найголовніше і найскладніше тут – це розробка повноцінного функціонуючого алгоритму пошуку, який би надавав релевантні результати на більшість запитів користувача.

Робота пошуковика та дії вебмайстрів

Кожна пошукова система має свій власний алгоритм, який повинен враховувати величезну кількість різних факторів при аналізі інформації та складанні видачі у відповідь на запит користувача:

• вік того чи іншого сайту,
• характеристики домену сайту,
• якість контенту на сайті та його види,
• особливості навігації та структури сайту,
• юзабіліті (зручність для користувачів),
• поведінкові чинники (пошуковик може визначити, чи знайшов користувач те, що він шукав на сайті, чи користувач повернувся знову до пошукової системи і там знову шукає відповідь на той самий запит)
• і т.д.

Все це потрібно саме для того, щоб видача на запит користувача була максимально релевантною, що задовольняє запити користувача. При цьому алгоритми пошукових систем постійно змінюються, допрацьовуються. Як кажуть, немає межі досконалості.

З іншого боку, вебмайстри та оптимізатори постійно винаходять нові способи просування своїх сайтів, які далеко не завжди є чесними. Завдання розробників алгоритму пошукових машин – вносити до нього зміни, які б не дозволяли «поганим» сайтам нечесних оптимізаторів опинятися у ТОПі.

Як працює пошукова система?

Тепер про те, як відбувається безпосередня робота пошукової системи. Вона складається як мінімум із трьох етапів:

• сканування,
• індексування,
• ранжування.

Число сайтів в інтернеті досягає просто астрономічної величини. І кожен сайт – це інформація, інформаційний контент, який створюється читачам (живих людей).

Сканування

Це блукання пошукача Інтернетом для збору нової інформації, для аналізу посилань і пошуку нового контенту, який можна використовувати для видачі користувачу у відповідь на його запити. Для сканування у пошукових систем є спеціальні роботи, яких називають пошуковими роботами або павуками.

Пошукові роботи – це програми, які в автоматичному режимі відвідують сайти та збирають із них інформацію. Сканування може бути первинним (робот заходить на новий сайт вперше). Після первинного збору інформації з сайту та занесення його до бази даних пошуковика, робот починає з певною регулярністю заходити на його сторінки. Якщо відбулися якісь зміни (додався новий контент, пішов старий), то всі ці зміни будуть пошуковиком зафіксовані.

Головне завдання пошукового павука – знайти нову інформацію та віддати її пошуковику на наступний етап обробки, тобто на індексування.

Індексування

Пошуковик може шукати інформацію лише серед тих сайтів, які вже занесені до його бази даних (проіндексовані ним). Якщо сканування – це процес пошуку та збору інформації, яка є на тому чи іншому сайті, то індексація – процес занесення цієї інформації до бази даних пошуковика. На цьому етапі пошуковик автоматично приймає рішення, чи варто заносити ту чи іншу інформацію до своєї бази даних і куди її заносити, до якого розділу бази даних. Наприклад, Google індексує практично всю інформацію, знайдену його роботами в Інтернеті, а Яндекс більш вибагливий і індексує далеко не всі.

Для нових сайтів етап індексування може бути довгим, тому відвідувачів із пошукових систем нові сайти можуть чекати довго. А нова інформація, яка з'являється на старих, розкручених сайтах, може індексуватися майже миттєво і практично відразу потрапляти до «індексу», тобто до бази даних пошукових систем.

Ранжування

Ранжування – це вибудовування інформації, яка була раніше проіндексована та занесена до бази того чи іншого пошуковика, за рангом, тобто, яку інформацію пошуковик буде показувати своїм користувачам насамперед, а яку інформацію поміщатиме «рангом» нижче. Ранжування можна віднести до етапу обслуговування пошуковою системою свого клієнта – користувача.

На серверах пошукової системи відбувається обробка отриманої інформації та формування видачі за величезним спектром різноманітних запитів. Тут вже входять у роботу алгоритми пошукача. Усі занесені до бази сайти класифікуються за тематиками, тематики поділяються на групи запитів. По кожній із груп запитів може складатися попередня видача, яка згодом коригуватиметься.

Здрастуйте, шановні читачі блогу сайт. , то його нечисленним користувачам було достатньо власних закладок. Однак, як ви пам'ятаєте, відбувався в геометричній прогресії, і незабаром орієнтуватися у всьому її різноманітті стало складніше.

Тоді з'явилися каталоги (Яху, Дмоз та інші), в яких їх автори додавали та сортували за категоріями різні сайти. Це одразу полегшило життя тодішнім, ще не дуже численним користувачам глобальної мережі. Багато з цих каталогів живі й досі.

Але через деякий час розміри їх баз стали настільки більшими, що розробники спочатку задумалися про створення пошуку всередині них, а потім уже й про створення автоматизованої системи індексації всього вмісту інтернету, щоб зробити його доступним для всіх бажаючих.

Основні пошукові системи російськомовного сегменту інтернету

Як ви розумієте, ця ідея реалізувалася з приголомшливим успіхом, але, правда, все склалося добре тільки для жменьки обраних компаній, яким вдалося не згинути на просторах інтернету. Майже всі пошукові системи, які з'явилися на першій хвилі, зараз або зникли, або животіють, або були куплені вдалими конкурентами.

Пошукова система являє собою дуже складний і, що важливо, дуже ресурсомісткий механізм (маються на увазі не тільки матеріальні ресурси, а й людські). За зовні простим, або її аскетичним аналогом від Гугла, стоять тисячі співробітників, сотні тисяч серверів і багато мільярдів вкладень, які необхідні для того, щоб ця махіна продовжувала працювати і залишалася конкурентоспроможною.

Вийти на цей ринок зараз і почати з нуля — це радше утопія, ніж реальний бізнес-проект. Наприклад, одна з найбагатших у світі корпорацій Мікрософт десятиліттями намагалася закріпитися на ринку пошуку, і тільки зараз їхній пошуковик Бінг починає потихеньку виправдовувати їхні очікування. А до цього була ціла низка провалів та невдач.

Що вже казати про те, щоб вийти на цей ринок без особливих фінансових впливів. Наприклад, наша вітчизняна пошукова система Нігма має багато чого корисного та інноваційного у своєму арсеналі, але їх відвідуваність у тисячі разів поступається лідерам ринку Росії. Наприклад погляньте на добову аудиторію Яндекса:

У зв'язку з цим можна вважати, що список основних (кращих і найудачливіших) пошуковиків рунета і всього інтернету вже сформувався і вся інтрига полягає лише в тому, хто кого зрештою зжере, ну або яким чином розподілиться їхня процентна частка, якщо всі вони вціліють. і залишаться на плаву.

Ринок пошукових систем Росіїдуже добре проглядається і тут, напевно, можна виділити двох або трьох основних гравців і кілька другорядних. Загалом у рунеті склалася досить унікальна ситуація, яка повторилася, як я розумію, тільки ще у двох країнах у світі.

Я говорю про те, що пошуковик Google, прийшовши до Росії в 2004 році, не зміг досі захопити лідерство. Насправді вони намагалися приблизно в цей період купити Яндекс, але щось там не склалося і зараз «наша Раша» разом з Чехією та Китаєм є тими місцями, де всемогутній Гугл, якщо не зазнав поразки, то принаймні, зустрів серйозний опір.

Насправді, побачити поточний стан справ серед кращих пошуковиків рунетуможе будь-хто. Достатньо буде вставити цей Урл в адресний рядок вашого браузера:

http://www.liveinternet.ru/stat/ru/searches.html?period=month;total=yes

Справа в тому, що більшість використовує на своїх сайтах, а даний Урл дозволяє побачити статистику заходу відвідувачів з різних пошукових систем на всі сайти, що належать доменній зоні RU.

Після введення наведеного Урла ви побачите не дуже привабливу і презентабельну, зате добре відображає суть справи картинку. Зверніть увагу на першу п'ятірку пошукових систем, з яких сайти російською мовою отримують трафік:

Так, звичайно ж, не всі ресурси з російськомовним контентом розміщуються у цій зоні. Є ще і SU, і РФ, та й загальних зонах типу COM або NET повно інтернет проектів орієнтованих на рунет, але все ж таки, вибірка виходить досить-таки репрезентативна.

Цю залежність можна оформити і барвистіше, як, наприклад, зробив хтось у мережі для своєї презентації:

Сутності це не змінює. Є пара лідерів і кілька сильно відстаючих пошукових систем. До речі, про багатьох із них я вже писав. Іноді буває досить цікаво поринути в історію успіху або, навпаки, покопатися в причинах невдач колись перспективних пошукових систем.

Отже, як значимість для Росії і рунета в цілому, перерахую їх і дам їм короткі показники:

Пошук у Гуглі став для багатьох жителів планети вже загальним — про те, ви можете прочитати за посиланням. Мені в цьому пошуковій системі подобався варіант «переклад результатів», коли відповіді ви отримували з усього світу, але своєю рідною мовою, проте зараз він, на жаль, не доступний (принаймні на google.ru).



Так само останнім часом мене спантеличує і якість їх видачі (Search Engine Result Page). Особисто я завжди спочатку використовую пошукову систему дзеркала рунеті (там є, та й звик я до неї) і тільки не знайшовши там зрозумілої відповіді звертаюся до Гугла.

Зазвичай їх видача мене радувала, але останнім часом тільки спантеличує — часом таке марення вилазить. Можливо, що їхня боротьба за підвищення доходу з контекстної реклами та постійне перетасовування видачі з метою дискредитувати Seo просування можуть призвести до зворотного результату. Принаймні в рунеті конкурент у цього пошуковика є, та ще який.

Думаю, що навряд чи хтось спеціально заходитиме на Go.mail.ru для пошуку у рунеті. Тому трафік на розважальних проектах з цієї пошукової системи може бути значно більшим, ніж десять відсотків. Власникам таких проектів варто звернути увагу на цю систему.

Однак, крім яскраво виражених лідерів на ринку пошукових систем російськомовного сегменту інтернету, існує ще кілька гравців, частка яких досить низька, проте сам факт їхнього існування змушує сказати про них пару слів.

Пошукові системи рунету з другого ешелону

Пошукові системи масштабу всього інтернету

За великим рахунком, у масштабах усього інтернету серйозний гравець лише один. Гугл. Це безумовний лідер, проте деяка конкуренція у нього все ж таки є.

По-перше, це все той же Бінг, Який, наприклад, на американському ринку має дуже хороші позиції, особливо, якщо враховувати, що його двигун використовується так само і на всіх сервісах Яху (майже третину від усього ринку пошуку США).

Ну, а по-друге, через величезну частку, яку складають користувачі з Китаю в загальній кількості користувачів інтернету, їхня головна пошукова система під назвою Baiduвклинюється у розподіл місць на світовому олімпі. Він з'явився на світ у 2000 році і зараз його частка складає близько 80% від усієї національної аудиторії Китаю.

Важко про Байду сказати ще щось зрозуміле, але на просторах інтернету зустрічаються міркування, що місця в його Топі займають не тільки найбільш релевантні запиту сайти, але й ті, хто за це заплатив (безпосередньо пошуковику, а не Сео конторі). Звичайно ж, це стосується насамперед комерційної видачі.

Загалом дивлячись на статистику стає зрозуміло, чому Google там легко йде на те, щоб погіршувати свою видачу в обмін на збільшення прибутку з контекстної реклами. Фактично вони не бояться відтоку користувачів, бо в більшості випадків їм йти особливо і нема куди. Така ситуація трохи засмучує, але подивимося, що буде далі.

До речі, щоб ще більше ускладнити життя оптимізаторам, а можливо, щоб підтримати спокій користувачів цього пошуковика, Google з недавніх пір застосовує шифрування при передачі запитів з браузера користувачів в пошуковий рядок. Скоро вже не можна буде побачити в статистиці лічильників відвідувачів, за якими запитами приходили користувачі з Гугла.

Звичайно ж, крім озвучених у цій публікації пошукових систем існує ще не одна тисяча інших — регіональних, спеціалізованих, екзотичних тощо. Намагатися їх перерахувати і описати в рамках однієї статті буде не можливо, та й, напевно, не потрібно. Давайте краще скажу пару слів про те, як нелегко створити пошуковикі як не просто і не дешево підтримувати його в актуальному стані.

Переважна більшість систем працюють за схожими принципами (читайте про те, і про ) і переслідують одну і ту ж мету - дати користувачам відповідь на їх запитання. Причому відповідь ця має бути релевантною (відповідною до питання), вичерпною і, що не важливо, актуальною (першою свіжістю).

Вирішити це завдання не так вже й просто, особливо враховуючи, що пошуковій системі потрібно буде нальоту проаналізувати вміст мільярдів інтернет сторінок, відсіяти зайві, а з тих, що залишилися сформувати список (видачу), де спочатку будуть йти відповіді, що найбільш підходять під питання користувача.

Це надскладне завдання вирішується попереднім збором інформації з цих сторінок за допомогою різних індексуючих роботів. Вони збирають посилання з вже відвіданих сторінок і завантажують інформацію в базу пошукової системи. Бувають боти, що індексують текст (звичайний і швидкий, який живе на новинних і часто оновлюваних ресурсах, щоб у видачі завжди були представлені найсвіжіші дані).

Крім цього бувають роботи індексатори зображень (для подальшого їх виведення в ), фавіконок, дзеркал сайтів (для їх подальшого порівняння і можливої ​​склеювання), боти перевіряють працездатність інтернет сторінок, які користувачі або через інструменти для вебмайстрів (тут можете почитати про , і ) .

Сам процес індексації та наступний за ним процес оновлення індексних баз досить час витратний. Хоча Google робить це значно швидше за конкурентів, принаймні Яндекса, якому на цю справу вимагає тиждень-другий (читайте про ).

Зазвичай текстовий вміст інтернет-сторінки пошуковик розбиває на окремі слова, які призводить до базових основ, щоб потім можна було давати правильні відповіді на запитання, поставлені в різних морфологічних формах. Весь зайвий обвіс у вигляді Html тегів, прогалин тощо. речей видаляється, а слова, що залишилися, сортуються за алфавітом і поруч з ними вказується їх позиція в даному документі.

Така шняга називається зворотним індексом і дозволяє шукати вже не за вебсторінками, а за структурованими даними, що знаходяться на серверах пошукової системи.

Число таких серверів у Яндекса (який шукає в основному тільки по російськомовних сайтах і трохи українськими та турецькими) обчислюється десятками або навіть сотнями тисяч, а у Google (який шукає сотнями мов) — мільйонами.

Багато серверів мають копії, які служать як підвищення збереження документів, і допомагають збільшити швидкість обробки запиту (з допомогою розподілу навантаження). Оцініть витрати на підтримку всього цього господарства.

Запит користувача надсилатиметься балансувальником навантаження на той серверний сегмент, який найменше зараз навантажений. Потім проводиться аналіз регіону, звідки користувач пошукової системи відправив свій запит, і робиться його морфологічний аналіз. Якщо аналогічний запит нещодавно вводили в пошуковому рядку, то користувачеві підсовують дані з кешу, щоб вкотре не вантажити сервера.

Якщо запит ще не був закешований, його передають в область, де розташована індексна база пошуковика. У відповідь буде отримано список усіх інтернет-сторінок, які мають хоч якесь відношення до запиту. Враховуються як прямі входження, а й інші морфологічні форми, а як і , тощо. речі.

Їх потрібно відранжувати,і цьому етапі у справу вступає алгоритм (штучний інтелект). Фактично запит користувача розмножується за рахунок усіх можливих варіантів його інтерпретації та шукаються одночасно відповіді на безліч запитів (за рахунок використання операторів мови запитів, деякі з яких доступні звичайним користувачам).

Як правило, у видачі є по одній сторінці від кожного сайту (іноді більше). Сьогодні дуже складні і враховують багато чинників. До того ж для їх коригування використовуються і , які вручну оцінюють реперні сайти, що дозволяє скоригувати роботу алгоритму в цілому.

Загалом, ясна річ, що справа темна. Говорити про це можна довго, але й так зрозуміло, що задоволення користувачів пошуковою системою досягається, ох як не просто. І завжди знайдуться ті, кому щось не подобається, як, наприклад, нам із вами, шановні читачі.

Удачі вам! До швидких зустрічей на сторінках блогу сайт

Вам може бути цікаво

Яндекс Піпл - як шукати людей соціальними мережами Апометр - безкоштовний сервіс з відстеження змін видачі та апдейтів пошукових систем DuckDuckGo – пошукова система, яка не стежить за тобою
Як перевірити швидкість Інтернету (Спідтест, Інтернетометр від Яндекса)
Віджети Яндекса - як налаштувати та зробити головну сторінку більш інформативною та зручною саме вам
Яндекс і Google картинки, а також пошук по файлу зображення в Tineye (тинай) і Google Порівняння сайтів у SEObuilding.RU для безкоштовного аналізу потенційних донорів при купівлі посилань Google Alerts - що це таке та як його використовувати, приклади створення корисних оповіщень
Моя справа – огляд онлайн бухгалтерії або електронний документообіг через інтернет
Безкоштовні файлообмінники - як залити фото та отримати посилання на картинку