农业新闻数据源增量爬虫的应用探析

随着农业新闻数据日益膨胀,以农业为主题的增量爬虫成为爬取农业信息的重要手段。增量爬虫可以依据农业新闻数据的更新爬取数据相关更新的内容,剔除已经爬取的重复内容。本文结合农业新闻数据信息的特点,提出了一种适用于农业新闻信息的基于Redis的布隆过滤器的增量去重方法,摆脱超大的持久化文件撑爆内存的问题。试验证明随着抓取相关农业信息的增加,该方法在保证内存不被撑爆的同时能有效提高增量爬取农业信息的效率,在增量信息爬取过程中具有很好的应用价值。     

农业新闻数据源增量爬虫的研究

随着农业新闻数据日益膨胀,保证以农业为主题的增量爬虫成为爬取农业信息的相关手段,增量爬虫的原理可以依据农业新闻数据的更新爬取数据相关更新的内容,剔除出已经爬取的重复内容[[]]。文章结合农业新闻数据信息的特点,提出了一种适用于农业新闻信息的基于Redis的布隆过滤器的增量去重方法,摆脱超大的持久化文件撑爆内存的问题。通过实验证明随着抓取相关农业信息的增加,该方法在保证内存不被撑爆同时能有效提高增量爬取农业信息的效率,在增量信息爬取的过程中具有很好的应用价值[[]]。     

网络爬虫恶意爬取行为的法律分析

近年来发生的多起运用网络爬虫技术恶意爬取网络数据的案件,这些案件涉及公民个人信息保护、网络数据权属界定等诸多法律问题,引发了网络从业人员和法律人士的广泛关注。善意爬虫会促进网络数据的有效流通和运用,进而促进互联网产业的健康快速发展。恶意爬虫则会影响被爬取方网站的正常运行,攫取被爬取网站的重要数据,甚至构成刑事犯罪。网络从业人员必须遵守相关法律规定、按照机器人协议的要求合法合理地进行公开数据爬取,防范爬虫行为可能带来的法律风险。     

基于林产品贸易Web信息增量爬虫的研究

随着互联网信息的快速增长和大数据掀起的热潮,如何保证主题数量的增量爬取再次成为获取信息的必要手段,增量爬虫能够以较少的资源实现信息的快速更新,从而提高信息检索的准确率。文章结合林产品贸易Web信息的特点,提出了一种适用于林产品贸易Web信息的基于优先级增量爬取方法,网页更新的优先级伴随着抓取而动态改变。最后通过实验证明随着抓取信息的增加该方法在保证网页质量的同时能有效的降低系统的资源使用,在海量信息爬取的过程中具有很好的应用价值。     

网络爬虫技术在农业生产数据获取中的研究和应用

该文从各大网页中采集到农作物生长信息的数据,特征数据主要包括农作物生长信息、种植环境、生长周期等。为了更好地完成网络爬取的任务,收集到更多符合条件的网页信息,该文主要运用架构方式实现农作物生长数据的爬取,采用Nutch框架实现分布式网络爬虫,并运用二级哈希算法完成两次URL映射计算。实验结果表明,随着时间的推移,相对于单机,分布式网络爬取能够获取更大的数据信息量,工作效率更高。     

基于内容和支撑向量基算法的微博用户识别和分类

基于微博内容对用户进行分类,为建设健康绿色的社交平台提供技术参考。改进支撑向量基算法(SVM)实现多分类支持向量基模型,基于微博内容将用户分为4类,利用新浪微博API使用网络爬虫获取微博内容数据;然后对文本进行分词降维和特征词权重计算;最后设计一个微博内容实时爬取和识别系统,实现了基于支撑向量基算法的水军实时检测。研究结果表明,提出的方法能够成功识别出正常用户和3类水军。     

一种面向农业信息主题网络爬虫的设计

针对用户在进行农业信息主题或相关领域的网络查询时,通用搜索引擎返回的信息过多且主题相关性不强等不足,提出了一种面向农业信息的主题爬虫的设计方案,详细讨论了该主题爬虫的爬行策略、结构设计、原理及实现。初步试验结果表明,基于该设计方案的主题爬虫在抓取农业信息主题网页时的准确率、全面率及成功率明显优于普通爬虫。     

聚焦时尚智能新闻采集系统研究

针对网络新闻传播的特性,文章从聚焦爬虫的角度,重点分析了新闻实时搜索方法与技巧,同时也对新闻中的图片和音视频文件提取方法以及文本分类法进行简要论述。并针对网络爬虫易受到网站屏蔽的问题,给出一些解决方法。     

基于BERT和深度主动学习的农业新闻文本分类方法

[目的/意义]当前农业新闻分类研究中的模型训练以被动学习方式居多,普遍存在数据无法即时标注及标注成本过高的问题,对农业新闻分析工作也造成了一定阻碍。为解决该问题,运用主动学习或者深度主动学习技术从未标注数据中选择更有价值和代表性的数据进行人工标注并构建标注数据集,提升农业新闻挖掘工作效率和效果。[方法/过程]将文本分类常用的机器学习模型结合主动学习方法分析提升效果,以及使用BERT模型结合3种采样策略进行深度主动学习训练,在共19 847条样本的新闻爬虫语料上以筛选出农业相关新闻为目标,通过每轮增加30个样本标注的迭代实验进行测试。[结果/结论]实验结果表明：主动学习方法的应用对各个模型的训练过程均有明显提升。其中BERT模型配合判别性主动学习采样函数,具有最优的新闻文本分类效果和最低的标注数据需求。     

基于主题爬虫算法的养殖投入品质量信息监管系统

为了解决养殖投入品的质量信息匮乏、监管效率低下等问题,结合网络舆情信息发布与获取的特点,引入了信息抽取和行政监管并存的理念,构建了基于B/S架构的养殖投入品质量的信息发布与舆情监管系统。采用主题爬虫算法作为抓取网络舆情的信息关键步骤,避免下载大量与主题不相关的网页,提高了信息抓取的效率和准确率。并利用向量空间模型对主题爬虫算法中的内容相似度进行计算与评价,提高了该算法爬行的准确性,并在实际系统中得到了验证。同时该系统还提供了用户信息管理、质量安全信息管理、养殖投入品供求信息管理等功能。系统测试和应用结果表明,该系统具有功能丰富、运行稳定、信息抓取准确、可扩展性强等优点,能较好地满足不同角色对养殖投入品质量信息的需求。     

Virus Location and Lymphocyte Apoptosis in Lymph Nodes of Piglets Infected with PCV-2

The present study has been performed to understand the location of the virus, type of apoptotic cells, and their relation to lymph nodes of piglets infected with porcine circovirus type Ⅱ （PCV-2）. Nine 32-day-old conventional piglets free of infection with PCV-2 were used, and distributed into three groups： control group （n = 3）, piglets inoculated with PCV-2 alone （PCV-2, n = 3）, and PCV-2 inoculated and KLH immunostimulated group （PCV-2 ＋ KLH, n = 3）. Superficial inguinal lymph nodes from all piglets were collected for histological examination after 32 days postinoculation, and immunohistochemistry for PCV-2 detection. Location of apoptotic cells was detected with TdT-mediated dUTP nick end labeling （TUNEL） and cell cycle, and the apoptotic rates were measured by flow cytometry. The characteristic histopathological lesions of the piglets in PCV-2 and PCV-2 ＋ KLH were lymphocyte depletions in the cortex and paracortex of the lymph nodes, epithelioid-like macrophage infiltration, and intracytoplasmic inclusion bodies presented in epithelioid-like macrophages. PCV-2 was mainly found in epithelioid-like macrophages by immunohistochemistry. In the lymph nodes, lymphocytes presented higher apoptotic rates in the cortex by TUNEL, special B-cell areas, and similar apoptotic cells were found in this compartment in the control. The apoptotic rates of the lymph nodes were 0.41, 3.34, and 4.88% in the control, PCV-2, and PCV-2 ＋ KLH groups by flow cytometry, respectively. The apoptotic rates of lymph nodes for PCV-2 and PCV-2 ＋ KLH piglets were significantly higher than those for the control group （P〈0.05 and P〈0.01）. The proliferation index （PI） was 0.17_＋0.01, 0.12_＋0.01 and 0.12_＋0.04 in the control, PCV-2, and PCV-2 ＋ KLH group, the PI of the control group was higher than that of the other groups, but without the statistical difference. PCV-2 can induce lymphocyte depletion in lymph nodes of piglets by blocking cell proliferation and promoting apoptosis. This is one o     

不同授粉组合对‘富士’和‘新红星’苹果品质的影响

【目的】探讨不同授粉品种对苹果品质和香气物质成分差异的影响,为高效授粉树的选育和苹果品质的提高提供依据。【方法】采用自育高效授粉树‘红菱’‘红锦’‘红雾’的花粉,在‘富士’(Malus domestica‘Fuji’)、‘新红星’(M.domestica‘Starkrimson’)铃铛花期进行授粉,以授‘嘎拉’(M.domestica‘Gala’)花粉的果实为对照,对果实发育期间总类黄酮含量的变化进行研究,并在果实成熟时测定可溶性固形物、花色苷含量等品质指标及香气物质成分。【结果】不同的授粉品种条件下,‘富士’和‘新红星’苹果除可滴定酸外的各项品质指标均高于对照。‘富士’苹果经‘红菱’授粉后,其果形指数、硬度、花色苷、可溶性糖含量显著提高,分别为对照的1.12、1.15、1.28、1.12倍。‘新红星’苹果经‘红雾’授粉后,其单果重、果形指数、花色苷、可溶性固形物、可溶性糖含量均显著提高,分别为对照的1.22、1.12、2.48、1.10、1.11倍,其可滴定酸含量显著降低,仅为对照的75%。在果实发育的整个生长期内,不同授粉品种处理的‘富士’和‘新红星’苹果总类黄酮含量均高于对照,且不同品种间存在显著差异。在花后160 d,‘富士’经‘红菱’‘红锦’‘红雾’花粉授粉后,果实内总类黄酮含量与对照相比分别增长19.63%、28.72%、13.97%,‘新红星’在花后120 d分别增长14.18%、15.26%、4.24%,差异显著。‘红菱’‘红雾’‘红锦’和对照授粉处理的‘富士’和‘新红星’苹果总酯类挥发性物质的相对含量分别为50.20%、52.03%、42.68%、45.10%和71.08%、68.85%、71.83%、66.03%,‘红菱’授粉后‘富士’‘新红星’果实总酯类挥发性物质含量明显增加,其中2-甲基丁酸乙酯的含量分别为对照的1.14和203.91倍。‘富士’苹果中,‘红菱’‘红雾’‘红锦’授粉处理的果实乙酸-2-甲基丁酯的含量分别为对照的1.73、1.07、1.36倍;其己酸乙酯和乙酸丁酯的含量分别为对照的1.09、1.12、1.29倍和1.50、0.77、1.30倍。而在‘新红星’苹果中,经‘红菱’‘红雾’‘红锦’授粉后,乙酸-2-甲基丁酯和己酸乙酯的含量分别为对照的1.82、1.27、0.93倍和2.57、1.15、0.27倍;乙酸丁酯的含量分别为对照的7.83、3.48、3.30倍。此外,‘富士’和‘新红星’苹果经‘红菱’授粉后,其烃类物质含量明显高于对照,主要表现为法呢烯的增多。【结论】高效授粉树能显著提高‘富士’和‘新红星’苹果的外观和内在品质,并且与对照存在显著差异。不同授粉组合对‘富士’和‘新红星’苹果品质影响差异较大,经‘红菱’授粉,‘富士’和‘新红星’苹果品质有显著提高。     

不同温度LED光萎凋对铁观音MEP上游关键基因和香气的影响

【目的】萜类化合物是乌龙茶挥发性芳香物质的重要组分,2-C-甲基-D-赤藓醇-4-磷酸途径（MEP）上游关键基因直接参与调控萜类化合物前体物质的合成。而乌龙茶香气的形成与萎凋工序密切相关,光照和温度是影响萎凋的重要因子,探讨LED光与温度在乌龙茶萎凋过程中对香气的影响,为提高乌龙茶萎凋叶香气品质提供参考。【方法】基于转录组数据,根据KEGG筛选出响应光照的MEP上游关键基因（DXS、DXR、HDS、HDR）。对一芽三叶铁观音鲜叶进行LED白光和不同温度（20℃（L20）、25℃（L25）、30℃（L30）、35℃（L35）和40℃（L40））萎凋处理,黑暗下温度（20℃（D20）、25℃（D25）、30℃（D30）、35℃（D35）和40℃（D40））萎凋处理;分别测定铁观音萎凋叶的香气组分和MEP上游关键基因的相对表达量。【结果】L30处理萎凋叶各基因表达量达到最大值,萜类基因（DXS、DXR、HDS、HDR）表达量分别为XY组（对照）的4.31、5.28、11.77、1.59倍,为D30处理的2.24、2.39、1.86和1.60倍。D30组各基因表达量为黑暗处理组最大,依次为XY组的1.92、2.21、6.34和0.99倍。L20处理萎凋叶的α-法呢烯芳樟醇氧化物（I、II）含量最高,较XY依次提高了15.05%、4.92%和15.13%;L30处理萎凋叶的橙花叔醇、芳樟醇和香叶醇含量最高,较XY组依次提高了3.71%、6.14%和15.28%;LED组铁观音萎凋叶主要香气组分含量均高于相对应的温度处理组。通过主成分分析法建立数学模型,对萎凋叶香气组分进行评估,得出L20组萎凋叶得分最高,L30组萎凋叶次之;与香气分析得出结果一致。【结论】铁观音萎凋叶基因表达量与香气含量的变化趋势不存在同步性;L30处理萎凋叶基因表达量、主要萜类香气物质含量和主成分分析得分均较高,这与铁观音生产上的萎凋温度相一致。萎凋温度过高（40℃）不利于萎凋叶萜类关键基因的表达和萜类化合物的形成。     

喀斯特地区不同玫瑰混农林模式的土壤螨类群落结构特征

混农林业作为集约型土地利用和经营方式之一,运用于石漠化地区有利于土壤生物多样性的修复.2019年7月,对贵州省毕节市撒拉溪镇龙场村的玫瑰+大豆、玫瑰+苹果+大豆和玫瑰+玉米3种混农林模式样地中的土壤螨类进行了调查,以玫瑰单作为对照,共捕获土壤螨类1524头,隶属3目41科64属,以盖头甲螨属(Tectocepheus)...     

丙草胺与4种磺酰脲类除草剂混用对稻苗安全性的影响

室内测定了丙草胺分别与磺酰脲类除草剂甲磺隆、苄嘧磺隆、醚磺隆和吡嘧磺隆混用后，一叶一心期稻苗抑制50％株高的使用浓度(IC50)和抑制10％株高的使用浓度(IC50)，并用共害系数(CHC)对混用组合安全性的联合作用进行了评价．结果表明：所有混配处理的CHC10均小于12．0，表现出强烈的解毒效应；不同混用处理的CHC50值差异很大，丙草胺与甲磺隆混用的CHC50均小于25．0，解毒效应显著．丙草胺与苄嘧磺隆混配的CHC50为26．1—167．8，丙草胺与苄嘧磺隆混用的CHC50为52.2—115.5，丙草胺与醚磺隆混用的CHC50为80．0—110．2．     

不同阶段肉仔鸡能量需要模型的建立

试验研究了0~8周龄肉仔鸡胴体与羽毛蛋白、脂肪的生长曲线及0~3、4~6和7~8周龄3个阶段每日摄入不同水平的能量及蛋白对其体蛋白、体脂肪沉积的影响,旨在确定胴体与羽毛蛋白、脂肪动态的沉积规律及日粮能量沉积为体蛋白及体脂肪的效率。试验1,包括3个饲养试验分别选取体重相近的0、21和42日龄爱拔益加(AA)肉仔鸡324只,按性别及日粮随机分为18个处理,每处理3个重复,每重复6只鸡。肉仔鸡每日限量饲喂,饲喂水平分别为正常采食量的90%、70%和50%,每日定量供给肉仔鸡高、中、低3个水平的高蛋白质基础日粮及由饲喂水平决定的定量淀粉,进而使肉仔鸡每日采食能蛋质量比(代谢能/粗蛋白)不同的9种日粮;试验2,选取体重相近的0日龄AA肉仔鸡144只,按性别不同随机分为2个处理,每处理4个重复,每重复18只鸡。试验初和试验末分别进行屠宰,以测定肉仔鸡胴体和羽毛蛋白、脂肪和干物质含量。结果显示:1)Gompertz方程能很好的拟合不同性别肉仔鸡蛋白和脂肪的生长,不同性别间蛋白和脂肪极限重量、羽毛蛋白和脂肪的生长速率差异显著(P<0.05),而胴体蛋白和脂肪的生长速率差异不显著(P>0.05)。2)在0~3、4~6和7~8周...     

ICP-OES法同时测定果蔬中铅、砷、镉、铬、铜、锡含量

果蔬样品经混酸消化后,控制一定的酸度,定容后应用等离子体发射光谱法(ICP-OES)对果蔬中铅、砷、镉、铬、铜、锡六种有害重金属进行测定,研究了分析测定条件,方法简单快速。测定结果表明,五种元素的加标平均回收率在91.0%~107%之间。其RSD均小于3.5%。按该方法进行处理及测定铅、砷、镉、铬、铜、锡,在选择的测定条件下最低检出限分别为0.0006 mg/kg、0.0003 mg/kg、0.00003 mg/kg、0.00005 mg/kg、0.00003 mg/kg、0.0006 mg/kg。     

Characterisation of Neonicotinoid and Pymetrozine Resistance in Strains of Bemisia tabaci (Hemiptera: Aleyrodidae) from China

Four strains of the Q biotype and one of the B biotype of the whitefly Bemisia tabaci collected from China were characterised for resistance to four neonicotinoid insecticides and pymetrozine. Q biotype strains showed moderate to strong resistance to imidacloprid, thiamethoxam and acetamiprid, but little or no cross-resistance to dinotefuron. Resistance to neonicotinoids was consistently associated with resistance to pymetrozine, despite the latter having a distinct (though unresolved) mode of action. The single B biotype strain proved largely susceptible to all the insecticides investigated. Resistance in the Q biotype strains was associated with over-expression of a cytochrome P450 monooxygenase gene, CYP6CM1, whose substrate specificity presumably accounts for the observed cross-resistance profiles.     

贵州山区做好玉米区域试验的经验与方法

玉米区域试验是在不同生态条件下,对新育成品种的丰产性、稳产性、抗逆性、适应性及品质性状等进行全面鉴定和综合评价的中间环节,是新育成品种能否通过审定推广的重要过程,是农业科研与农业生产的重要纽带,是新品种是否能在本地区推广应用的科学依据,做好玉米区域试验事关重大.     

夹竹桃目植物新资料

本文根据国内外模式标本和文献资料,将亚洲、美洲和大洋洲夹竹桃目植物进行了部分整理和研究,对该目夹竹桃科和萝摩科18属37种作了订正,其中有11种分布新记录,17个新异名,建立15个新名称和1个新组合.