基于Redis的分布式爬虫框架的设计

随着互联网的高速发展,在互联网搜索服务中,搜索引擎扮演着越来越重要的角色。网络爬虫是搜索引擎系统中十分重要的组成部分,它负责从互联网中搜集网页,这些页面用于建立索引,从而为搜索引擎提供支持。面对当前极具膨胀的网络信息,集中式的单机爬虫早已无法适应目前的互联网信息规模,因此高性能的分布式网络爬虫系统成为目前信息采集领域研究的重点。本文对网络爬虫原理、分布式架构设计以及网络爬虫中的关键模块、瓶颈问题及解决办法进行了相关研究。     

Google的常用技巧

Google是目前最优秀的搜索引擎之一，它能够提供网站、图像等多种资源的查询。它多达30亿网页的整理，为用户提供搜索结果，搜索时间通常不到半秒，因而受到广大用户的青睐。但是大多数用户在使用Google引擎时查询时仅输入单个关键字信息，其搜索信息浩如烟海，而且绝大部分并不符合自己的要求。只要我们知道Google的使用技巧进行较精确的搜索就会得到事半功倍的效果。Google常用技巧有：     

浅析网络搜索引擎

搜索引擎是指根据一定的策略,运用特定的计算机程序从互联网上搜集信息,在对信息进行组织和处理后,为用户提供检索服务,将用户检索相关的信息展示给用户的系统。一、发展现状(一)互联网的发展是搜索引擎产生的技术基础网络检索技术的需要和发展是搜索引擎模式的发展的基础。20世纪90年代,一些大型网络运营商在技术等方面的提高,就此开发诞生了分类目录型搜索引擎技术。并在商业化社会中体现了网络搜索模式的价值,于是就出现了搜索引擎模式。网络检索技术日益不断地更新变化,使搜索引擎策略向着针对性更强、更精准的深层次发展。     

网络搜索引擎在高校图书馆工作中的应用研究

网络搜索引擎可以对互联网上大量的信息进行组织和处理,是有效挖掘互联网信息,丰富图书馆馆藏资源的最佳途径,网络搜索引擎的各种搜索功能,比如google学术搜索是图书馆参考咨询等日常工作不可缺少的网络工具。     

网上搜索的加速方法及信息评估技巧

一、网上搜索的加速方法网上的信息搜索技术越来越多，怎样才能高效迅捷地找到问题的答案呢。没有一种技术是万能的，但将几种技术巧妙的结合使用会大大加快网页搜索进程。几乎所有流行的搜索引擎都提供按词组搜索的功能，按词组搜索是一种在浩瀚的网页搜索相关网页的最佳技术。1词组搜索如果只给出一个单词进行搜索，那么将发现数以千计甚至以百万计的匹配网页。然而如果再加上一个单词，那么搜索结果会更加切题。在搜索时，给出两个关键词，并将两个词用AND(与逻辑)结合起来，或者在每个词前面加上加号，这种与逻辑技术大大地缩小了命中…     

搜索引擎技术探密

搜索引擎是开启网络知识殿堂的钥匙,获取知识信息的工具.互联网信息量爆炸式增长,对搜索引擎提出了新要求.论文陈述了搜索引擎的基本工作流程,讨论了网页信息采集技术、网页存储器与分析索引器技术.     

一种面向农业领域垂直检索的研究与设计

为了改善农业领域海量信息的检索效率,采用垂直搜索技术利用混合学习方法的成员搜索引擎选择策略,构建一种元搜索引擎.利用正则表达式的方法,进行农业领域网页特征库的构建.基于农业领域网页特征库,对元搜索引擎初次检索结果集进行筛选排序处理,以此来达到去除非领域相关网页和按照规则重排序的目的,实现查准.利用此特征库对元搜索引擎检索结果进行结果处理操作,最终以统一格式将结果反馈给用户.     

农业信息化多种接入方式格式转换方法研究

互联网上的信息资源大部分都是针对电脑屏幕分辨率设计的,即在800×600或更高的分辨率下可以达到最佳效果,而农村用户通过电视机接入网络,由于屏幕分辨率较低,无法正常显示网页。以农村普及的电视为研究对象,针对低分辨率的电视机不能正常显示网页信息的问题,把网页分为导航页面和内容页面,针对于导航页面给出了采用缩略图进行网页格式转换的方法,并对网页缩略图转换进行了试验验证,证明了所给出方法能够有效的将现有的Web页面转换为适合于普通电视显示的页面。     

电子商务搜索引擎的发展展望

21世纪以来,用户对搜索引擎提供的信息更注重质量,而以往的通用搜索引擎只是简单的罗列信息,帮助用户发现信息.专业的电子商务搜索引擎紧跟时代的热点发展方向,更加符合商务用户的信息搜索习惯.     

中国农业信息网站的发展现状与评价

互联网农业信息网站的迅速发展目益受到人们的关注。搜索引擎技术的发展为在线统计农业信息网站信息提供了条件。本文采用元搜索结合网络爬行技术，采集互联网上农业网站信息，进行分类整理；对农业网站的数量、行业分布、地域分布、流量情况等进行了统计分析，对当前农业互联网发展现状进行了总结评价。     

www信息挖掘技术及其在农业信息领域中的应用

一、概述 随着互联网的快速发展，越来越丰富的信息呈现在用户面前，但同时伴随的问题是用户越来越难以获得其最需要的信息。早期为了解决此问题，出现了以雅虎（Yahoo）为代表的半自动化的网络搜索引擎（Search Engine）。网络搜索引擎主要由网络机器人（Robot）、索引数据库和查询服务三个部分组成。网络机器人对互联网资源进行遍历，尽可能多地发现并采集新的信息；采用全文检索技术对采集到的信息建立索引存到索引数据库中，能够极大地提高信息检索的速度；查询服务接收并分析用户的查询，即将用户查询作为数据库提问式，根据一定的匹…     

基于Nutch框架的农业信息垂直搜索引擎研究与设计

针对当前农业搜索引擎存在的查不全、查不准、死链等问题,在分析中国使用率比较高的农搜、搜农、华农在线和中国农业信息网站等搜索引擎的基础上,提出了基于Nutch框架的农业信息垂直搜索引擎。该搜索引擎对农业词语进行分类,并构建专门的农业词典,提高查询速度。此外,基于Nutch框架的搜索引擎采用了改进的Page Rank算法对网页进行排序得到权值最高的网页,呈现出具有价值搜索结果,达到初步的搜索结果的预期目标。     

基于用户模型的个性化信息检索研究

随着Internet的广泛应用,越来越多的信息以电子化方式存放在网上,但是信息获取手段的提高并没有满足信息增长的需要,导致了"信息过载"和"资源迷向"现象.虽然有许多信息检索和过滤工具被开发出来,然而,传统的搜索引擎信息服务系统没有有效的手段理解用户准确的信息需求,缺乏智能和个性.针对利用现有的搜索引擎进行信息检索的过程中存在的查准率低和用户无法跟踪网页信息变化的缺点,提出面向用户的个性化信息检索服务理念,在客户端建立基于关键词表的用户个性化信息检索模型,通过用户个性化信息检索模型内部各功能模块之间的通信     

中文搜索引擎的现状与展望

随着信息科学的进步与互联网络的发展，网络上的信息资源越来越多，公用数据库的飞速发展为用户查询各种信息提供了可能。我国有数以百万计的网络用户并且用户人数仍然在急剧的增加。随着计算机技术、网络技术及通信技术的发展 ，各种相关信息愈来愈多地通过网络为人们所利用。而用户深感困惑的是很难在浩瀚如海的信息网络空间里快速、准确的查找到所需要的信息。当用户面对成千上万的超级链接时便难以检索到合适的信息。于是，借助搜索引擎进行搜索就是一个非常重要的手段。 1国内各种搜索引擎的现状 搜狐 (http://www.sohu.com.cn) “搜…     

如何高效使用搜索引擎

有人说,会搜索才叫会上网,可见搜索引擎的重要性。要想在浩如烟海的互联网信息中找到自己所需的信息,需要一点技巧。搜     

基于ROBOT的农业信息搜索引擎设计

搜索引擎能够帮助人们从网上迅速获取所需要的信息或资源，但由于网络信息爆炸式的增长，每一次搜索所获取的结果中能满足用户要求的信息与大量的无用信息混杂在一起，需要用户手工挑选，严重的影响了工作效率。因此，开发出一种针对特定用户或特定行业的搜索引擎具有现实意义，本文介绍了一种基于ROBOT的农业信息搜索引擎的设计方法。     

在互联网上轻轻松松发布农产品信息

随着互联网的发展,越来越多的农民尝试在互联网上推销或求购产品,其中很重要的途径就是在互联网上发布信息。与在电 视、报纸上发布信息相比,在互联网上发布信息有速度快、范围广、持续时间长且费用低廉的特点。只要你输入需要发布的信息内容和你的联系地址,将其发送到网络服务器(网络服务器是一台高性能计算机,具有管理网络、确保网络正常运行及处理网络工作站各个成员发布的信息、命令的设备)上,就可以在一些网站提供的网页(网站是由若干个网页组成的,这些网页具有某些相同类型的信息,通过各种超链接互相连接在一起,用户就可以很方便地…     

不同搜索引擎在农业领域的应用效果对比

搜索引擎已成为用户从互联网获取信息的重要工具.本文在筛选测度评价指标和建立数据采集方法的基础上,以"苹果价格"、"玉米供求"和"奶牛养殖技术"为关键词,对比分析了各歌、百度和中国搜农在农业领域的应用效果.结果表明:谷歌和百度在搜索功能、搜索结果稳定程度、信息量等方面较中国搜索有一定优势,但在内容的专业化、搜索结果的时效性方面尚较欠缺.中国搜农在农产品价格,以及信息时效性等方面较谷歌、百度有明显优势,且其可视化搜索更是独具特色.     

基于用户搜索数据的农业安全预警

互联网及移动互联网的快速发展为农民提供了便捷,越来越多的农民学会了上网,更学会了使用网络为农业生产提供服务,网络搜索各种农业次生灾害的解决方案成为农民使用上网查询的首选。民众的搜索日志对于搜索引擎来说只须要稍加处理,便能使用当下流行的大数据技术为农业生产提供服务,本试验提出基于用户搜索行为的农业安全预警模型,能够比政府气象部门提前3~15 d预报各区域即将发生的影响农业生产的安全事件,既可以为农民提供预警行为,又不需要政府投入巨额资金,为我国农业发展作出贡献。     

评价搜索引擎的层次结构模型法

使用适当的搜寻引擎对提高网络搜索的效率和搜索结果的质量起着决定性的作用,有效地评估并进行自适应选择合适的搜索引擎需要系统可靠的方法.本文系统地分析了网络引擎的特性(包括性能和特征)参数,在此基础上提出了基于层次结构的搜寻引擎评价模型,从而帮助用户实现网络搜索引擎的自适应选择.最后,使用层次结构评价模型对几个常用的中文搜索引擎进行了比较分析,并通过搜索实例验证了网络搜索引擎的自适应选择.