ПОИСКОВЫЕ РЕСУРСЫ ИНТЕРНЕТА

Главная » Статьи » Справочный материал » Публикации в прессе

(Поиск WWW-адресов)

Поиск WWW-адресов в Интернете

Замечания по терминологии

WWW-адрес, WWW-ссылка

Для некоторого единообразия терминологии далее вместо термина URL (Universal Resource Locator) используется термин "WWW-адрес". При необходимости будут различаться WWW-адрес сервера и WWW-адрес документа. В качестве синонима будет использоваться термин "ссылка на WWW-сервер" или "ссылка на WWW-документ".

Search engine

Поисковый WWW-сервер, отрабатывающий запросы на поиск WWW-АДРЕСОВ ДОКУМЕНТОВ. В WWW-технологии каждый WWW-документ при его создании может быть снабжен набором ключевых слов по усмотрению автора. Поисковые сервера считывают эти ключевые слова, находят такие же в своих больших словарях и добавляют ссылку на данный WWW-документ в список уже имеющихся ссылок для каждого такого слова. Кроме поиска по ключевым словам, все большие поисковые сервера имеют универсальные иерархические классификаторы, охватывающие все отрасли знаний, сферы деятельности, области интересов, стороны общественной жизни и т.п.

Некоторые поисковые сервера содержат внутри себя Yellow и White pages WWW-адресов серверов.

WWW Yellow Pages

Поисковый WWW-сервер, отрабатывающий запросы на поиск WWW-АДРЕСОВ СЕРВЕРОВ (Home page организаций). Все большие Yellow Pаges WWW системы позволяют находить не только WWW-адрес искомой организации, но вместе с ним показывают сразу и телефон, факс, телекс, обычный и e-mail адрес, Иногда дается и краткое описание профиля организации.

Index sites

WWW-сервера, содержащие большое количество ссылок на другие WWW-сервера или на WWW-документы. Могут быть специализированными или универсальными. Если предметная область сложна или универсальна, то ссылки обычно иерархически расклассифицированы, в простом случае они просто упорядочены по алфавиту. От Search engines и Yellow Pages WWW отличаются ограниченным числом ссылок (часто это круглое число: 100 или 1000), их тщательным подбором и отсутствием поиска по ключевым словам.

Reference Sites

Собирательное название для Search engines, Index sites, WWW Yellow pages и других похожих источников WWW-адресов.

Задачи, средства и способы поиска WWW-адресов

Поиск WWW-адресов интересен как сам по себе (поиск WWW-документы на заданную тему), так и как задача поиска организаций в сети. В свою очередь, найденный WWW-сервер конкретной организации может быть интересен как сам по себе, так и в качестве источника адресной информации (телефоны и e-mail адреса самой организации и ее подразделений).

Типичные поисковые задачи:

поиск WWW-адреса сервера конкретной организации или конкретного человека;
поиск WWW-адреса сервера какой-то организации по определенным условиям;
поиск новых WWW-адресов серверов;
поиск новых WWW-адресов документов.

Основные средства поиска (reference sites):

большие универсальные поисковые WWW-системы (search engines);
поисковые WWW-системы по нескольким search engines;
остальные универсальные и специализированные search engines и index sites;
справочные системы Yellow Pages по WWW-адресам серверов;
MetaReference sites (каталоги search engines, index sites, Yellow Pages WWW).

Дополнительные способы поиска:

персональные и тематические подборки ссылок на WWW-сервера;
newsletters и guides на WWW-серверах, объявления в телеконференциях, списки рассылки
запрос к абонентам какой-либо массовой службы;

Важное замечание

Следует отметить, что число даже основных поисковых средств (различных reference sites) достигает нескольких сотен, если не больше. Кроме широкоизвестных references sites, перечисленных ниже, Ниже перечислены либо наиболее известные из них, либо те, сообщения о существовании или появлении которых просто привлекли внимание по той или иной причине. Порядок их перечисления, а также само присутствие в списке никоим образом не отражает их полезность, оценить которую невозможно при беглом обзоре.

Ответ на вопрос почему их столько, очевиден, на вопрос - зачем их столько, и какими из них стоит пользоваться - пока совершенно не ясен. Понятно только, что пользоваться ими всеми по очереди можно только от отчаяния. Желающие обозреть все величие проблемы приглашаются в недра иерархии References поискового сервера Yahoo.

Большие универсальные поисковые WWW-системы (search engines)

Поисковые WWW-сервера позволяют найти отдельные WWW-документы (WWW-страницы), относящиеся к заданным тематикам или снабженные заданными ключевыми словами или их комбинациями. На больших поисковых серверах имеются оба эти способа поиска (по иерархии понятий и по ключевым словам).

Наполнение поисковых серверов происходит либо автоматически (они непрерывно обозревают все WWW-сервера в мире), либо вручную (с отбором материала).

Поисковый сервер обычно имеет ссылки и на остальные большие поисковые сервера, но не передает им автоматически запрос на поиск (см. ниже).

Наиболее известные поисковые WWW-сервера:

http://www.yahoo.com

Один из первых и самых известных search engine, отличающийся развитой иерархической классификацией. Наполняется вручную, имеет наименьшее количество ссылок по сравнению с другими search engines (по некоторым темам примерно в 10 раз меньше Webcrawler-а, но по другим - больше его).

Кроме WWW-адресов, содержит ссылки на ftp- и gopher- ресурсы.

Имеется иерархический классификатор и поиск по ключевым словам, поддерживающий операции "и", "или", но только одного типа в одном запросе. Найденные по ключевым словам ссылки снабжаются еще и указанием их положения в иерархической классификации сервера. Для сокращения диапазона поиска предусмотрена возможность искать в пределах текущей подтемы классификатора.

На первом уровне иерархии имеется раздел "References", содержащий много ссылок на разного рода reference sites.

Имеет развитой сервис новостей.

http://www.lycos.com

Один из самых известных и самых больших по количеству ссылок search engine.

Имеется иерархический классификатор и поиск по ключевым словам, поддерживающий операции "и", "или", но только одного типа в одном запросе. Операция "и" вообще не работает, операция "или" работает неверно - возвращает количество ссылок, равное максимальному из количеств ссылок по отдельным аргументам).

http://www.webcrawler.com

Относительно небольшой search engine, по-видимому, наполняется вручную - примерно в 10 раз меньше Lycos-а.

Имеется иерархический классификатор и поиск по ключевым словам, поддерживающий операции "и", "или", "не" и их комбинации, которые, однако, отрабатываются не всегда верно (находятся документы, совершенно не подходящие под условия поиска).

http://www.inktomi.com

Новый и, вероятно, самый большой по количеству ссылок search engine - наполняется автоматически и хранит все найденные ссылки (примерно в 5 раз больше Lycos-а).

Имеется иерархический классификатор и поиск по ключевым словам, поддерживающий операции "и", "или", но только одного типа в одном запросе.

Кроме собственно поиска документов имеет Yellow Pages по разным категориям.

http://www.infoseek.com

Средний по количеству ссылок search engine (по некоторым темам чуть больше Webcrawler-а, но по некоторым - больше Lycos-а).

Имеет иерархическую классификацию и поиск по ключевым словам, не поддерживающий операций "и", "или".

Поиск может производится: по всему WWW-пространству, лишь среди серверов, отобранных экспертами данного сервера (в этом случае каждая найденная ссылка снабжена краткой аннотацией), лишь среди серверов компаний (yellow-поиск, каждая найденная ссылка снабжена кратким описанием профиля компании), среди статей USENET, среди e-mail адресов, среди свежих новостей (сервер имеет дополнительный очень развитой сервис новостей). Результат поиска дополнительно снабжается и списком подходящих тем из иерархической классификации (общий список тем для данного запроса, а не конкретные иерархические пути для каждой найденной ссылки, как у Yahoo).

http://www.altavista.com

Большой search engine (немного меньше Lycos-а по числу ссылок). Имеет лишь поиск по ключевым словам, поддерживающий только операцию "и". Поиск может проводиться по всему WWW-пространству или среди статей USENET.

http://www.dejanews.com

Считается наиболее мощным средством поиска новостей Usenet. Поиск может выполняться по дате, автору, теме и группе

http://www.hotbot.com

Средний по количеству ссылок search engines, с довольно устойчивой связью. Производит поиск по ключевым словам, поддерживающий операции "и", "или", но только одного типа в одном запросе. Однако логика не всегда работает корректно.

http://www.mckinley.com/

Поисковая система Magellan - очень неплохая система, типа Yahoo. Возможен поиск как по ключевому слову, так и по темам. Можно искать по ключевому слову в рамках выбранной темы.

Имеет сервис новостей.

http://www.excite.com

http://www.opentext.com

http://www.nlightn.com

Поиск по ключевому слову.

Поисковые WWW-системы по нескольким search engines

Для проведения "тотального" поиска сразу по нескольким большим серверам имеются специальные средства - сервера, транслирующие запрос на поиск в формы, походящие для каждого из охватываемых поисковых серверов.

http://www.w3com.com/fsearch/ FrameSearch

http://ds2.internic.net/tools/web-subject.html Internuc

http://www.albany.net/~wcross/all1srch.html All-in-One-Search-Page

http://members.aol.com/markwelch/search.htm

http://nln.com Accu Find

Позволяет производить поиск по ключевому слову на различных поисковых системах. После ввода ключевого слова выбираешь где искать, и вперед... Имеет в списке довольно много поисковых систем.

Другие универсальные и специализированные search engines, большие index sites

http://www.cs.colorado.edu/home/mcbryan/wwww.html WWWWorm

Поиск по: всем URL references, адресам, заголовкам документов, адресам документов. Возможность использования функций OR, AND, но только одного типа в запросе.

http://www.miyawaki.pair.com/ Bingo!

Имеет в списке несколько поисковых серверов, однако ищет, похоже, только на первом в списке отмеченных Вами.

http://info.cern.ch/hypertext/DataSources/bySubject/Overview.html

http://sailfish.peregrine.com/WebWorld/welcome.html WebWorld

http://gagme.wwa.com/~boba/spider1.html

http://www.digitmark.net/wow Webot Wonder

http://pubweb.nexor.co.ukpublic/cusi/cusi.html CUSI Search Engine

http://www.quantumsoft.com/form Homology search

http://netcenter.com/netcentr/roadmap/index.html

http://schiller.wustl.edu/DACLOD/daclod DA-CLOD

http://galaxy.einet.net/galaxy.html GalaxyWWW

http://www.stir.ac.uk/jsbin/jsii

http://www.ozemail.com.au/%7Ehugom/other.html Hugo Milenkovic's Internet Resource

Подборки ссылок на WWW-сервера (маленькие index sites)

Очень многие home pages содержат подборки WWW-ссылок по какой-либо специальной тематике, либо по нескольким темам. Эти подборки не претендуют на полноту, так как являются результатом ручного отбора, но как раз по этой причине они могут быть особенно полезны для начального ознакомления с какой-либо темой.

http://www.tricky.com/liz

Страничка, "разбитая" на несколько тематик, в каждой из которых имеются ссылки. Содержит темы:бизнес, политика, компьютеры и Интернет, interactive media, развлечения, поиск пропавших детей и др.

http://www.tstimpreso.com/hotsheet/ HOT SHEET

Имеет разбиение на множество тем и подтем. Большое число ссылок по каждой теме! Ссылки как на поисковые системы (Yellow Pages), серверы новостей, так и на каждую из подтем (спорт, software, игры, юмор, искусство и литература, наука, пища, образование).

http://www.myanmar.com/myanmar/mother_of_all_link.html MOTHER_OF_ALL_LINK

http://www.hookup.net/~jmorris/cool/ Cool Links To Cool Sites.

http://www.tias.com/dealers.html "A-Z" - antique and collectible

http://www.island.net/~rednikki Linkland

http://www.vnet.net/users/voyager/CybernetVoyager.html

http://homepages.enterprise.net/kevinc/addrand.html Random link page

http://www.skylink.net/%7Eanytime/cool.html Cool Stuff Page

http://www.dublclick.com/coolLinks.html Dubl-Click Cool Links

http://cent.com/abetting/Links.html A&A Coolinks

http://btdqs.usgs.gov/index/coollink.html Links To Other Internet Sites

http://www.n-vision.com/Quazimoto/bookmark.htm Bookmarks

http://cactus.org/%7Ewoan/hotlist.html Woan's Bookmarks

http://totalweb.totalpc.com/cool.html Cool stuff on the net

http://www.craftstore.com/links.htm Series A Collection

http://www.dancon.com/cool.html Cool Links

http://www.gil.com.au/%7Etedb/fav.html List of favourite sites

http://www2.ecst.csuchico.edu/%7Ebeej/hotlist.html Beej!'s Bookmarks

http://felix.scvnet.com/%7Etimm/bkmk1.html Tim's Bookmarks

Системы Yellow pages по WWW-адресам серверов (WWW Yellow pages)

В отличии от поисковых WWW-серверов, системы Yellow pages с WWW-адресами, содержат ссылки не на отдельные WWW-документы, а на WWW-сервера различных организаций (home pages). Сами же организации подробным образом рассортированы по роду деятельности, по выпускаемой продукции и оказываемым услугам, по географическому признаку, просто по алфавиту (White pages).

http://www.gnn.com

Одна из первых и наиболее известных систем WWW Yellow pages. Содержит ссылки на 2500 WWW-серверов. Имеет универсальную иерархическую классификацию, а также алфавитный список тем и алфавитный список серверов (White pages). Каждая ссылка снабжается комментарием примерно в один абзац.

http://www.yellow.com

Известная система Yellow pages. Каждая ссылка снабжена комментарием с названием организации, почтовым адресом, телефоном, факсом, телексом.

http://www.directory.net

Поиск по паре ключевых слов, поддерживающий операции "и", "или", либо использующий эту пару как одну строку.

http://www.four11.com

Поисковый сервер - нечто среднее между Yellow и White Pages (сам себя называет White Pages). Довольно гибкая система поиска e-mail адреса человека по его имени, фамилии, домену, стране, штату, городу, хобби. На сервере можно оставить информацию о себе.

Похоже, что поиск работает только в графическом режиме, т.к. надо обязательно "грузить" кнопку "search".

http://www.whowhere.com

Быстрое и удобное средство поиска людей и организаций. Имеется возможность обработки неверно введенных или неполных имен и инициалов.

http://okra.ucr.edu/okra/

Поиск e-mail адреса человека по ключевым словам (имя, фамилия, должность и т.д.). Плохо, что все эти ключевые слова идут через связку OR.

http://www.lookup.com

http://ben.net/yellow/index.html

http://sunsite.oit.unc.edu/~masha/

MetaReference sites (каталоги search engines, index sites, WWW Yellow pages)

http://www.ontap.com/sub_serv.html On Tap Index

http://www.ncsa.uiuc.edu/SDG/Software/Mosaic/MetaIndex.html MetaIndex

http://cuiwww.unige.ch/meta-index.html Meta-Index

http://www.rit.edu/~djs4601/searcher.htm

http://www.page1.org/search/

http://www.virtualynx.com/whereisit Where-Is-It

http://ourworld.compuserve.com/homepages/frankvad/tools.htm

http://www.infohiway.com/way/search/index.html The Way

http://www.pegasus.oz.au/%7Ehomebuilder/search/search-engines/ Lightning Web

Newsletters и guides на WWW-серверах, списки рассылки, телеконференции

Newsletters - электронные бюллетени, размещаемые на WWW-сервере и информирующие о различных новостях на определенную тему. Многие Newsletters доступны и через список рассылки (см. ниже).

Guides - учебно-справочные руководства, обычно содержащие в качестве примеров полезные подборки ссылок.

Newsletters и Guides, посвященные новостям в WWW-мире:

http://www.elvis.ru/koi8/internet/journals

Путеводитель The Internet Press ( на русском ).

http://ourworld.compuserve.com/homepages/frankvad/Internet.htm

Virtual Internet Guide. This Site offers Virtual Internet tours, tutorials and guides to acquaint surfers to all avenues on the Internet and World Wide Web.

http://www.ibic.com/Digest

Internet Digest: Best Sites of the Week, HTML CGI and Programming Help, Internet News and Articles, Marketing your Site.

http://www.hw.ac.uk/libWWW/irn/irn.html

INTERNET RESOURCES - is a free WWW newsletter produced by Heriot-Watt University Library. It informs about new and recent Internet resources of interest to the higher education community.

Некоторые из Newsletters доступны и виде списков рассылки - рассылаются по подписчикам электронной почтой. Подписаться на любой список можно как традиционным способом, послав письмо с запросом на подписку по адресу списка, так и заполнив подписную форму на соответствующем WWW-сервере.

mailto: :listserv@lists.internic.net subscribe net-happenings

mailto: listserv@lists.internic.net help

mailto: NET-HAPPENINGS-REQUEST@lists.internic.net subscribe

Net-Happenings.

mailto: listserv@lists.internic.net subscribe scout-report firstname lastname

mailto: listserv@lists.internic.net help

mailto: infomag@lgrant.mipt.msk.su SUBSCRIBE SCOUT

http://rs.internic.net/scout/report

ftp://rs.internic.net/scout/

Scout Report. Полностью содержится и в Net-Happenings.

mailto: listserv@lists.internic.net SUBSCRIBE ROADMAP96

mailto: listserv@lists.internic.net help

ROADMAP96 - guide to Internet resources.

mailto: majordomo@colossus.net SUBSCRIBE TOURBUS

http://csbh.mhv.net/~bobrankin/tourbus

A ride on the TOURBUS stops at dozens of "must see" Internet sites (FTP, Gopher and WWW) but your guides have made sure that everything along the way is reachable by e-mail as well.

mailto: weekly@webcom.com Subject: Subscribe WeeklyB

http://www.webcom.com/weekly/wb/weekly.html

http://www.webcom.com/weekly/weekly-mail.html

http://www.webcom.com/weekly/wb/subscribe.html

WEEKLYB is a distribution list for the Weekly Bookmark - weekly newsletter that reviews and highlights new sites on the World Wide Web.

mailto: listserv@library.berkeley.edu subscribe Web4Lib your_name

http://sunsite.berkeley.edu/Web4Lib/archive.html

Web4Lib is a mailing list for WWW based library managers. Issues discussed include Web resource selection as it relates to overall collection development, cataloging and metadata information as it relates to Web resources. Web4Lib is not a moderated list, but only subscribers may post messages.

mailto: biztalk@ltbn.com Subscribe TUM Firstname Lastname Emailaddr

http://www.ltbn.com

TUM - The Ultimate Mastermind - is a free periodical newsletter that is published by the Let's Talk Business Network. This newsletter provides information on all aspects of running and operating a business with references to great resources in the marketplace both on-line and off.

http://www.internet-mall.com

gopher://peg.cwis.uci.edu:7000/Peg/Internet Guides

ftp://ftp.netcom.com/pub/Gu/Guides'

mailto: listserv@netcom.com subscribe imall-l

mailto: taylor@netcom.com Subject: send mall

THE INTERNET MALL. Shopping on the Information Highway - a list of commercial services available via the Internet.

mailto: JIBC-request@ARRAYdev.com subscribe

mailto: majordomo@ARRAYdev.com help

http://www.arraydev.com/commerce/JIBC/

Journal of Internet Banking and Commerce.

Объявления о вновь открываемых www-серверах, а также другая полезная информация помещается в USENET конференции:

comp.infosystems.www.announce