Web crawling
(также web crawl)
- автоматическое сканирование (просмотр) Web
#
служит средством сбора и предоставления самых актуальных данных; используется, например, для копирования всех посещённых веб-страниц, с тем чтобы ускорить их поиск впоследствии. Позволяет автоматизировать такие функции, как сбор особых видов информации, например адресов электронной почты. В настоящее время Интернет содержит громадные объёмы данных (web data), причём даже самые мощные поисковые системы индексируют сравнительно небольшую их часть; поэтому особенно важно, чтобы те страницы, которые выбирает поисковый агент (crawler), были наиболее релевантными, а не представляли собой просто случайную выборку веб-страниц. Синоним – Web spidering.
Связные термины
-
