基于本体的食品安全新闻爬虫的设计与实现

本文设计并实现了一个食品安全新闻的爬虫。为了提高爬虫爬取食品安全新闻数据的准确率,建立了本体模型,并用向量空间模型去除主题相关度小的新闻。结果表明该食品安全爬虫爬取有关食品安全新闻的准确率较高,达到了预期要求。     

基于协程模型的分布式爬虫框架

网络爬虫主要受到网络延迟和本地运行效率的限制,传统的基于多线程的网络爬虫架构主要为了消除网络延迟而没有考虑到本地运行效率。在高并发的条件下,多线程架构爬虫由于上下文切换开销增大而导致本地运行效率降低,同时使得网络利用率下降,如何能够在最大化利用网络资源的情况下减小系统本地开销是一个需要研究的问题。针对以上问题,本文提出基于协程的分布式网络爬虫框架来解决,从开销、资源利用率、网络利用率上对协程框架和多线程框架进行了分析,并基于协程实现了一个分布式网络爬虫。实验表明该框架无论从开销、资源利用率和网络利用率上相对于多线程框架有比较明显的优势。     

一种面向农业信息主题网络爬虫的设计

针对用户在进行农业信息主题或相关领域的网络查询时,通用搜索引擎返回的信息过多且主题相关性不强等不足,提出了一种面向农业信息的主题爬虫的设计方案,详细讨论了该主题爬虫的爬行策略、结构设计、原理及实现。初步试验结果表明,基于该设计方案的主题爬虫在抓取农业信息主题网页时的准确率、全面率及成功率明显优于普通爬虫。     

基于Redis的分布式爬虫框架的设计

随着互联网的高速发展,在互联网搜索服务中,搜索引擎扮演着越来越重要的角色。网络爬虫是搜索引擎系统中十分重要的组成部分,它负责从互联网中搜集网页,这些页面用于建立索引,从而为搜索引擎提供支持。面对当前极具膨胀的网络信息,集中式的单机爬虫早已无法适应目前的互联网信息规模,因此高性能的分布式网络爬虫系统成为目前信息采集领域研究的重点。本文对网络爬虫原理、分布式架构设计以及网络爬虫中的关键模块、瓶颈问题及解决办法进行了相关研究。     

网络爬虫恶意爬取行为的法律分析

近年来发生的多起运用网络爬虫技术恶意爬取网络数据的案件,这些案件涉及公民个人信息保护、网络数据权属界定等诸多法律问题,引发了网络从业人员和法律人士的广泛关注。善意爬虫会促进网络数据的有效流通和运用,进而促进互联网产业的健康快速发展。恶意爬虫则会影响被爬取方网站的正常运行,攫取被爬取网站的重要数据,甚至构成刑事犯罪。网络从业人员必须遵守相关法律规定、按照机器人协议的要求合法合理地进行公开数据爬取,防范爬虫行为可能带来的法律风险。     

农业新闻数据源增量爬虫的应用探析

随着农业新闻数据日益膨胀,以农业为主题的增量爬虫成为爬取农业信息的重要手段。增量爬虫可以依据农业新闻数据的更新爬取数据相关更新的内容,剔除已经爬取的重复内容。本文结合农业新闻数据信息的特点,提出了一种适用于农业新闻信息的基于Redis的布隆过滤器的增量去重方法,摆脱超大的持久化文件撑爆内存的问题。试验证明随着抓取相关农业信息的增加,该方法在保证内存不被撑爆的同时能有效提高增量爬取农业信息的效率,在增量信息爬取过程中具有很好的应用价值。     

农业新闻数据源增量爬虫的研究

随着农业新闻数据日益膨胀,保证以农业为主题的增量爬虫成为爬取农业信息的相关手段,增量爬虫的原理可以依据农业新闻数据的更新爬取数据相关更新的内容,剔除出已经爬取的重复内容[[]]。文章结合农业新闻数据信息的特点,提出了一种适用于农业新闻信息的基于Redis的布隆过滤器的增量去重方法,摆脱超大的持久化文件撑爆内存的问题。通过实验证明随着抓取相关农业信息的增加,该方法在保证内存不被撑爆同时能有效提高增量爬取农业信息的效率,在增量信息爬取的过程中具有很好的应用价值[[]]。     

基于网络爬虫的移动农业信息服务系统的设计与实现

应用网络爬虫技术、Bomb后端云和移动应用开发技术设计了一套移动农业信息服务系统。从农业数据获取、农业数据存储和农业数据显示3个方面分析了移动农业信息服务系统中数据传输处理的过程,得到了通过网络爬虫技术获取农业数据,借助Bmob移动云平台存储农业数据和通过移动终端将农业数据可视化具有一定优势的结论。     

面向网络爬虫的网站优化策略

随着我国科学技术水平的提升,网络的发展速度逐渐的变快,在这一时代发展背景下,不管是网页的预处理数量,还是网页的搜索引擎品质都产生了很大的变化,其水平有着极为显著化的提高。在设计搜索引擎时期,设计人员需要对网页的便利性进行分析,进一步的去优化网络爬虫。本文主要就网络爬虫的特征进行探究,制定出较为完善且合理的网站优化措施,使得数据信息的预处理工作可以进展的更为顺畅。为了更为深入的探究面向网络爬虫的网站优化措施,本文以我国,某一农业企业网站优化为例,对企业网站的更新频率以及网站链接等要素进行综合性的探究,进一步的优化设计方案的内容。     

基于自适应免疫进化算法的聚焦爬虫搜索策略

聚焦爬虫是主题搜索引擎的核心部件。针对目前聚焦爬虫搜索策略的不足,提出基于主题相关度和页面重要性相结合的综合相关度来判别页面主题相关性,并采用自适应免疫进化算法这种搜索策略指导聚焦爬虫的爬行,实验结果证明,该算法下载的主题相关网页数所占比例明显高于最佳搜索和广度优先搜索算法的比例,具有更高的搜索效率。     

基于BERT和深度主动学习的农业新闻文本分类方法

[目的/意义]当前农业新闻分类研究中的模型训练以被动学习方式居多,普遍存在数据无法即时标注及标注成本过高的问题,对农业新闻分析工作也造成了一定阻碍。为解决该问题,运用主动学习或者深度主动学习技术从未标注数据中选择更有价值和代表性的数据进行人工标注并构建标注数据集,提升农业新闻挖掘工作效率和效果。[方法/过程]将文本分类常用的机器学习模型结合主动学习方法分析提升效果,以及使用BERT模型结合3种采样策略进行深度主动学习训练,在共19 847条样本的新闻爬虫语料上以筛选出农业相关新闻为目标,通过每轮增加30个样本标注的迭代实验进行测试。[结果/结论]实验结果表明：主动学习方法的应用对各个模型的训练过程均有明显提升。其中BERT模型配合判别性主动学习采样函数,具有最优的新闻文本分类效果和最低的标注数据需求。     

1600t摩擦压力机上支重轮半体模锻成形模具设计

介绍了在1600 t摩擦压力机上模锻工程机械履带式推土机支重轮半体的工艺、成形模设计方法、工作原理及模具使用过程中注意事项等.     

一种可变形履带行走装置的设计

针对微型履带车辆在丘陵山区崎岖路面和坡地作业时存在稳定性减弱、爬坡性能变差等问题,提出了一种采用三连杆运动变形机构,由固定在行走架上的液压缸驱动变形机构变形,使得行走架在一定角度范围内处于水平的可变形履带行走装置设计方案。通过对变形机构的自由度计算和可变形履带行走装置的数学建模,分析了平衡状态下变形杆件的受力情况和机构的变形性能,确定了变形角度与构件之间的相对关系,以及坡地行驶过程中,变形与未变形状态下履带车辆的垂直越障和爬坡性能。结果表明:可变形履带行走装置可实现28°以下坡度自适应;变形后,能够提升车辆在坡地作业时3°左右的爬坡性能,但减弱了垂直越障能力。     

新型履带自走式联合收割机液压—机械行走系统方案设计

为解决传统履带式联合收割通常不能实现原地转向、水田通过性较差等问题,提出了新型的液压—机械行走系统方案设计。主要阐述了所采用的技术方案,即采用双联集成变量柱塞泵和2个定量摆线马达组成相互独立闭式液压传动系统;由定量摆线马达驱动安装在履带驱动轮上的单级行星轮减速器,通过单级行星轮减速器增加扭矩后,由履带驱动轮带动履带工作。该设计方案可以实现联合收割机的原地回转,并且提高了联合收割机的水田通过性。     

小型履带式采伐机转向理论分析与计算

为改善小型履带式采伐机转向性能和提高采伐机采伐作业时的工作效率,运用转向动力学和履带行走机构转弯理论对小型采伐机的履带行走机构进行转向阻力矩和转向受力分析,并推导出理论转弯半径、转向阻力矩、转向参数的数学表达式。以履带行走机构接地长度,轨距以及采伐机自重等参数为例进行计算,计算出理论转弯半径、理论转向阻力矩、转向系数、转向比。结果表明,当转向系数k＞0．5时,慢侧履带制动,快侧履带提供切线牵引力与实际工作情况完全吻合;同时验证了理论分析的准确性,为小型履带式采伐机的转向理论研究提供了理论依据。     

山地履带拖拉机纵向坡地越障性能仿真分析及试验验证

山地履带拖拉机作为一种农用动力机械,工作在地形复杂、条件恶劣的丘陵山区,因此,要求其不仅具有一般履带拖拉机的基本特点,而且应具有良好的坡地越障性能。利用Pro/E三维软件绘制山地履带拖拉机车体几何模型,并在多体动力学软件Recur Dyn中完成履带行走机构的选配及整机动力学模型的建立,同时利用Recur Dyn自带的地面Ground模块建立地面模型,基于以上3种模型对该机进行多体动力学仿真,分析速度、坡度角及拖拉机质心位置对其纵向坡地越障性能相关参数的影响。仿真结果表明,在车速与坡度角一定的情况下,质心位置越靠车体前端且越接近地面,越有利于纵向越障性能。相关的坡地实测试验所测得结果与仿真结果基本保持一致,验证了仿真模型的正确性,为山地履带拖拉机进一步的改进设计提供理论参考依据。     

新时期农业科研院所推进新闻宣传工作的思考 ——以河北省农林科学院植物保护研究所为例

文章阐述了农业科研院所新闻外宣工作的重要意义,分析了农业科研院所新闻宣传工作中存在的问题,如新闻宣传意识薄弱、宣传形式缺乏创新、宣传工作者综合素质有待提高等,针对问题提出了重视统筹规划、创新工作形式、强化党建政治引领、推进职工文化建设、加强队伍建设等加强农业科研单位科技宣传工作的对策.     

网络新闻真实性探析

在网络新闻短短的发展过程中，出现大量的虚假新闻，引起了人们的困惑。文幸分析了网络新闻失实产生的原因，提出了解决网络新闻真实性问题的方法，并对网络新闻真实性的发展前景作了乐观展望。