【摘要】针对单机爬虫效率低、可扩展性差等问题,本文设计并实现了一种基于MapReduce的网络爬虫系统。
【关键词】 Hadoop MapReduce 网络爬虫 信息抽取 文本去重
点亮你的头像 秀出你的观点
《软件工程师》
《中国公路》
《教学与研究》
《广州大学学报(自然科学版)》 2020-03-10
《山东科学》 2020-03-10
《河南科技大学学报(自然科学版)》 2020-05-08
核心(南大、北大)
知网、万方、维普
数据缺失
省级
Copyright © 2013-2016 ZJHJ Corporation,All Rights Reserved
京ICP备2021021570号-13
京公网安备 11011102000866号
发表评论
登录后发表评论 (已发布 0条)点亮你的头像 秀出你的观点