后羿采集器是一款功能强大非常专业的针对网页准【zhǔn】备的数【shù】据采集【jí】器,拥有数据可导【dǎo】出到本地文件、发布到网站和数据库等,让你【nǐ】轻松采【cǎi】集数据,有需要的赶快来试试吧!
后羿采集器是一款免【miǎn】费的【de】网页数据采集,具有可视【shì】化点选,一键采集网页数【shù】据的特点,是一款不需【xū】要开发,任何人都能用的网页数据采集器。后羿采集器导出数据无限【xiàn】制,数据可导出到本地文件、发布【bù】到网站和数据【jù】库等,十分方便,需要的朋友赶紧下载吧。
自定义采集百度搜索结果数据的方法
步骤1:创建采集任务
1)启动后羿采集器,进入主界面,选择自定义采集并点击创建任务按钮创建【jiàn】 "自定【dìng】义采【cǎi】集任务"
2)输入百度搜索的URL,包括三种方式
1、手动输入:在输入框【kuàng】中直接输入URL,多个URL时【shí】须要换行分割
2、点击从文件中读取方式:用户选择一个存放URL的文件,文件中可以有多个URL地【dì】址,地址须【xū】要换行分割。
3、批量添加方式:通过添加并调整地址参数生成多个有规律的地址
步骤2:自定义采集流程
1)点击创建后自动打开第一个【gè】URL进而进入自定义设置页面,默认已经创建了开【kāi】始、打开网页、结束的流程块。底部模【mó】板区用于拖拽到画布中【zhōng】生【shēng】成新的流程块;点击【jī】打开网页中的属性【xìng】按钮,可修改打开的网址
2)添加输入文字流程块:在【zài】底部模板区中拖拽输入文字【zì】块到打开网页块后面附近,当【dāng】出现阴影区域【yù】的时候可以松开鼠标,此时会自动连接,添加完成
3)生成【chéng】完整流程图:仿照上面添加输入文【wén】字流程块的拖拽流程添加新块:如【rú】下图所示:
关键步骤块设置介绍
步骤2:定时等待用于等待前面打开网页完成
步【bù】骤3:点击输入框Xpath属性按钮,在【zài】属性菜单中点击图标进行点选网页中的输入框,点击输入文【wén】本属性按钮,在菜单中输入要搜索的文【wén】本。
步骤4:用于设置点击开【kāi】始搜索按钮,点击元素的xpath属性按钮,在菜单中【zhōng】点【diǎn】击点选图标,然后点击网页中的百度一下按钮即【jí】可。
步骤5:用于设置循环【huán】加【jiā】载下一列表页。在循环块内【nèi】部的循【xún】环条件块中设置【zhì】详细条件,此处点击操作按钮,选择单个元素,然后在属性菜单中点击元素的xpath属性按钮,同上进行点选网【wǎng】页中的下一页按钮。循环次数属性【xìng】按【àn】钮可默认为0,即不限制点击下一页【yè】的次数。
步骤6:用于设置循环抽取列表页中的数据。在循环块内部的循环条件块中设置详细条【tiáo】件,此处点击操作按钮,选择不固定【dìng】元素列表【biǎo】,然后在属性菜单中点击元素的xpath属性按钮【niǔ】,然后在网页中连续点选两次抽取第【dì】一块和第二块元【yuán】素。循环次数属【shǔ】性按钮【niǔ】可默认为0,即【jí】不限制列表中收取字【zì】段【duàn】的数量。
步骤7:用于执行点击下一页按钮操作,点击元素xpath属性按钮,选择使用当前循【xún】环中元【yuán】素的【de】xpath选项。
步骤8:同理用于设置网页加载等待时间。
步骤9:用于设置在列表页抽取的字段【duàn】规【guī】则,点击属性按钮中使用循环中的元素按钮,选择使【shǐ】用【yòng】循环中的元素选【xuǎn】项。点击元素模板属【shǔ】性按钮在字段表格中点击加减进行添加删【shān】除【chú】字段,添加【jiā】字段使用点选操作,即点击加号后鼠标移动到网页元素上点击选择。
4)点击开始采集,启动采集
步骤3:数据采集及导出
1)采集任务运行中
2)采集完成后,选择“导出数据”可以把数据都导出到本地文件
3)选择“导出方【fāng】式”,将采集好的数据导出,这里可以选【xuǎn】择excel作为导出为格式
4)采集数据导出后如下图
可视化点选,一键采集网页数据
全程拖拽和点【diǎn】击操作,不需要开发更不需要懂技术【shù】任何人都能用的网【wǎng】页数据采集器
采集和导出全免费,无限制放心用
全免费【fèi】的采集软件,导出数据无限制数据可导出到本地文件、发布到网【wǎng】站和数据库等。
可后台运行,速度实时显示
可【kě】切换软件后台运行【háng】,不打【dǎ】扰您的其他前台工作悬浮窗【chuāng】口实时查看采集速度和采集数据等。
全平台,Win/Mac/Linux都可用
不同于其他采集器,后【hòu】羿支持所有【yǒu】操作系统版本更新和功能【néng】升级同步所有平台。
1、可视化自定义采集流程
全程问答式引导、可视化操作、自定义采集流程。
自动记录和模拟网页操作顺序
高级设置满足更多采集需求
2、点选抽取网页数据
鼠标点击选择要爬取的网页内容、操作简单。
可选择抽取文本、链接、属性、html标签等。
3、运行批量采集数据
软件按照采集流程和抽取规则自动批量采集
快速稳定,实时显【xiǎn】示采集【jí】速度和过程可【kě】切换软件后台运行,不打扰前台工作。
4、导出和发布采集的数据
采集的数据自动表格化,自由配置字段。
支持数据导出【chū】到Excel等本【běn】地文件和一键发布到CMS网站/数据库/微信公众号等媒体。