Структура пошукових систем, показники ефективності пошуку (стр. 2 из 2)

N (P=R/N)

Обхват «а» характеризується відношенням числа релевантних документів у вибірці R до загального числа релевантних документів в базі даних

Т (a=R/T)

У разі ідеального пошуку всі вибрані документи повністю придатні і вичерпують список придатних документів в базі даних, тобто а=1 і P=1. Проте численні дослідження, виконані різними фахівцями, показали що точність і обхват зв'язані один з одним зворотною залежністю, а максимальне значення суми P+а близько до 1,4.

Такий результат виглядає цілком осмисленим. Дійсно, якщо ми хочемо збільшити точність Р ми повинні якомога точніше сформулювати запит, включивши в нього велику кількість різних термів, зв'язаних за допомогою операторів І, щоб виключити можливість попадання в результати пошуку непридатних документів. Проте в цьому випадку загальна кількість вибраних видань не може бути великою, точніше – вона буде малою. Природно, що не всі релевантні документи, що містяться в базі даних, потраплять в число вибраних.

Навпаки, якщо ми хочемо збільшити обхват, тобто постаратися вибрати найбільшу кількість релевантних видань із загального їх числа в базі, слід сформулювати запит якнайширше. В цьому випадку у вибірку неминуче потрапить значне число непридатних видань, точність виявиться порівняно малою величиною.

У останньому випадку, збільшення кількості вибраних видань неминуче збільшить час обробки результатів пошуку. Реально, якщо кількість вибраних видань складає сотні значень, то час оцінки їх придатності стає надмірно великим, в результаті користувач стомлюється, увага його розсівається, що неминуче приводить до неточностей і помилок.

Таким чином, атрибутивна вибірка виглядає більш переважно як з погляду ефективності і швидкості вибірки, так і економії дискового простору. Проте для її практичного застосування необхідно знати пошукові атрибути, що можливо далеко не у всіх випадках.

У багатьох випадках слідує зупиниться на проміжному варіанті, коли разом з атрибутами в пошуковому середовищі зберігається набір ключових слів і термінів, кожен з яких пов'язаний з визначеним довкола видань. При включенні нового видання в пошукову структуру з набору ключових слів відбирається декілька, що найбільшою мірою відповідають тематиці і змісту видання. При пошуку інформації користувач також проглядає список ключових слів і відбирає ті з них, які, на його думку, найбільшою мірою відповідають його вимогам.

Крім забезпечення можливості ефективної вибірки потрібного видання, дуже важливе те, як слід організувати зберігання видань, щоб гарантувати тільки санкціонований доступ до цього сховища. Додаткові труднощі на організацію процесу зберігання накладає використання в багатьох виданнях мультимедійних компонентів.

3. Організація пошуку інформації за допомогою тематичних каталогів та пошукових машин

Найбільш популярним в усьому світі визнаний тематичний каталог, згідно зі статистикою Alexa Internet и Netcraft, - Yahoo! (http://www.yahoo.com ). Глобальна мережа веб-сайтів Yahoo! опрацьовує 3,4 млрд. запитів веб-сторінок в день. Він являє собою величезну базу даних URL-адрес сайтів усілякої тематики. Yahoo! пропонує вам скористатися ієрархічним деревом при пошуку інформації. Тобто, ви обираєте спочатку загальну тематику, що задовольняє вашому запиту інформації, і далі конкретизуєте, випливаючи підказкам каталогу. Звичайно в результаті ви одержуєте список сайтів, що містять інформацію, що відповідає вашому запиту. Yahoo! (NASDAQ: YHOO) — американська компанія, яка володіє другою за популярністю (12.46 %) в світі пошуковою системою та представляє ряд сервісів, які з’єднані інтернет-порталом Yahoo! Directory; портал вміщує популярний сервіс електронної пошти Yahoo! Mail, один із найстаріших та найпопулярніших в Інтернеті. Не так давно була запущена нова версія поштового інтерфейсу, яка заснована на AJAX.

Компанія Yahoo! була заснована аспірантами Стенфордського університету Девідом Філо (англ. David Filo) та Джеррі Янгом (англ. Jerry Yang) в січні 1994 року; стала корпорацією 2 березня 1995 року. Головний офіс компанії знаходиться в місті Саннівейл (англ. Sunnyvale), штат Каліфорнія, США.

Якщо ж ви шукайте інформацію свідомо україномовну, то має сенс використовувати українські каталоги, наприклад, "Сузір'я Інтернет", що містить тільки обрані (найцікавіші) ресурси. Принцип роботи з ними ідентичний тому, який ми розглянули на прикладі з Yahoo!. Для пошуку російськомовної інформації слід відзначити перший російський каталог Russіa on the Net (http://www.ru), один з найбільших російськомовних каталогів Lіst.RU (http://www.lіst.ru), російський варіант Yahoo! (http://www.yahoo.ru).

Пошукові машини улаштовані трохи інакше. По суті це сервер з величезною базою даних URL-адрес, що автоматично звертається до сторінок WWW по всіх цих адресах, вивчає вміст цих сторінок, формує і прописує ключові слова зі сторінок у свою базу даних (індексує сторінки). Більш того, цей сервер звертається по всім, що зустрічаються на сторінках посиланнями і переходячи до нових сторінок, проробляє з ними теж саме. Тому що майже будь-яка сторінка WWW має безліч посилань на інші сторінки, то при подібній роботі пошукова машина в кінцевому результаті теоретично може обійти всі сайти в Інтернет. Одна з популярних пошукових машин AltaVіsta (http://www.altavіsta.com) містить 11 мільярдів слів, витягнутих з 30 мільйонів WWW-сторінок. Як користатися цим сервісом? Необхідно продумати рядок запиту інформації (не більш ніж 5 слів), як у випадку з Yahoo! і також набрати її в поле введення. Над кнопкою Search (Пошук) знаходиться спадаюче меню з вибором мови. Перед натисканням Enter чи кнопки Search необхідно вибрати мову представлення інформації. Крім того, у запит інформації можна включати спеціальний символ *, що розширює діапазон пошуку. Скажемо, що б Altavіsta могла знайти не тільки усі входження слова "легка", але слова "легку", "легкої" і т.д., у запиті треба писати "легк**", тобто букви закінчення заміняємо на символ *. Для пошуку в російськомовному Інтернет Altavіsta не дуже підходить. Якщо на запит "Lіght іndustry" Altavіsta формує список з 2917 URL-адрес, то по запиті "Легка промисловість" з'являється список посилань на всього 9 сайтів.

Проблема більше полягає в тому, що пошукова машина в результаті вашого запиту генерує гігантський список адрес URL з короткими описами. Варто також відзначити інші російськомовні пошукові машини Апорт (http://www. aport.ru) і АУ (http://www.au.ru).

Читаючи про всі перераховані пошукові служби, по неволі задумаєшся: "а якщо для пошуку необхідної мені інформації не досить однієї пошукової служби, та невже мені доведеться входити на всі тут перераховані сервера і щораз повторювати той самий запит?!". Найбільш якісний результат саме буде саме при такому підході. Але можна, виходячи з економії часу і грошей, скористатися системами позначка пошуку. Найбільш популярна у світі система такого класу Search.com (http://www.search.com), але якщо ми працюємо переважно з російськомовними документами, то можна використовувати Savvy Search. Це досить могутня система відсилає ваш запит на 13 найбільших пошукових машин (у тому числі і російських) і повертаючи вам їхні звіти.

4. Приклади пошукових систем

Пошукова система YANDEX

У 1996 році, на виставці InternetCom, офіційно об’явлено про створений компанією CompTek, зі 100% американською участю, пошукової системи YANDEX. Ця система незамінна, коли потрібно задати складні зв’язки між ключовими словами в якості критерія пошуку. Яндекс підтримує запит по рисунках, а запит оброблений при посиланні на family.yandex.ru буде мати фільтри ненормованої лексики. З вікном пошукової системи Яндекс можна ознайомитись на сайті www.yandex.ru

Знайомство з Rambler

Варто згадати про ще одну популярну російську пошукову машину Rambler (http://www.rambler.ru ). Цей сервер має ще більш повну базу даних URL-адрес, чим у Yandex. Відмітною рисою Rambler є те, що цей сервер веде статистику частоти відвідування посилань із власної бази даних. Ви завжди можете зайти в розділ "Рейтинг" на головній сторінці Rambler і побачити вміст тематичного каталогу, який відсортований по убуванню числа відвідувань сайтів (їхньої популярності). Тим самим відтинаються явні аутсайдери і ви не витрачаєте на них свій час. Rambler також як і Yandex, дозволяє, крім простого запиту, запит із мовою запитів. Підтримуються ті ж логічні оператори І, ЧИ, НЕ, метасимвол «*» (аналогічний символу «*», який розширює діапазон запиту у AltaVіsta), коефіцієнтні символи «+» і «-», для збільшення або зменшення значимості слів, що вводяться в запит.

Перша частина пошукової системи Rambler є роботом, який може отримувати адреси документів через проксі-сервер або безпосередньо з вказаного вузла, індексує зміст документа і поміщає результати цього індексування в базу даних. Другою частиною Rambler є власне сама пошукова система по серверах Росії і країн СНД, що містить мільйони документів з більш ніж 15,000 сайтів (імен DNS)

Знайомство з Google

Google (www.google.ru) – це найбільша пошукова система в світі з відвідуваністю приблизно 500,000 чоловік в день (рис.1). У відповідь на більшість запитів ця система видає набагато більш короткий список посилань, ніж, наприклад, Яndex (Yandex), але головне — серед перших позицій цього списку майже завжди є точна відповідь на заданий запит. Відбувається це завдяки використанню для оцінки релевантності (ступені відповідності запиту) веб-сторінок (Web Page) технології PageRank.

PageRank — це числова величина, яка характеризує «важність» сторінки в Google. Чим більше посилань на сторінку, тим вона стає «поважнішою». Крім того, «вага» сторінки А визначається вагою посилання, надісланого сторінкою B. Таким чином, PageRank — це метод розрахунку ваги сторінки шляхом підрахунку важності посилань на неї. PageRank є одним з допоміжних факторів при ранжируванні сайтів в результатах пошуку. PageRank не єдиний, але дуже важний спосіб визначення положення сайту в результатах пошуку Google.

Рисунок 1 – Українська пошукова машина Google

Пошукова система Google може знаходити інформацію 101 мовою. Google наприкінці серпня 2004 року складалась з 132 тис. машин, розташованих в різних точках планети. Інтерфейс Google містить досить складну мову запитів, що дозволяє обмежити область пошуку окремими доменами, мовами, типами файлів тощо.

Висновок

Сьогодення існує безліч пошукових систем. Серед них Google, Rambler та багато інших. Всі вони різняться своєю структурою та ефективністю пошуку, але кожен має право обирати саме ту, яка подобається йому найбільше і яка є назручнішою для нього.

Пошукові машини і тематичні каталоги сьогодні мають багато спільного. У каталогах присутня можливість пошуку інформації з рядка запиту з використанням логічних операторів, а пошукові машини містять свої власні тематичні каталоги. І, проте найкраще ці пошукові системи виявляють себе у своїй первісній категорії.

Список використаних джерел

1. http://uk.wikipedia.org/wiki/Пошукова_система#

2. http://itb.ucoz.ru/publ/struktura_poshukovikh_sistem/5-1-0-300

3. http://buklib.net/component/option,com_jbook/task,view/