零基础性能测试实战直播班招生中,多种优惠进行中,优惠无套路,开课你决定       |       python自动化测试班-轻课模式,随到随学

咨询QQ:2083503238、1684129674、480934277(请勿重复咨询) 咨询微信:qiangfans

使用Web Scraper 插件,不需要编程,也能爬网

2018-02-19 11:33:00
大管家
转贴 1498 投稿得红包

使用Web Scraper 插件,不需要编程,也能爬网,使用Web Scraper插件,能够创建一个网站地图,并能遍历网站,抓取我们感兴趣的数据,比如,我们登陆淘宝,京东等商务网站,我们可以通过 Web Scraper,抓取某一类商品的规格说明,价格,厂家等信息,我们通过Web Scraper可以抓取我们进入头条上的最热门的文章,也可以抓取我们自己的所有文章列表,发布时间,阅读和浏览量等信息,当然也能抓取我们的粉丝列表。 最最最重要的是,你不需要写任何的代码,只需点击,点击,点击,最后还能把抓取的结果导出为Excel可以识别的CSV格式。这功能,爽!!!

其官方网站如下:http://webscraper.io/tutorials

使用Web Scraper 插件,不需要编程,也能爬网

Web Scraper Chrome 插件的安装

打开Chrome浏览器,输入下面的URL地址:

https://chrome.google.com/webstore/detail/web-scraper/jnhgnonknehpejjnehehllkliplmbmhn

使用Web Scraper 插件,不需要编程,也能爬网

点击“Added to Chrome”就安装了,安装后,在浏览器中按下F12或者点击右键,选择“检查(Inspect)”,在开发者工具下面就能看到WebScraper的Tab。

使用Web Scraper 插件,不需要编程,也能爬网

Web Scraper Chrome 插件的入门例子

下面以抓取京东上面的所有的手机信息为例子,使用Web Scraper演示一下其使用和操作方法。

Step1. 创建一个京东手机的SiteMap(网站站点图)

使用Web Scraper 插件,不需要编程,也能爬网

Step2. 在SiteMap上点击选择需要抓取的信息

如下图所示意,想抓取当前京东上,热门推荐的手机的网站和品牌信息,则抓取方法如下:命名一个id,这个id是自己定义的,然后选择抓取的类型,比如本例子中我们选择,“Link”

  • Link

  • PopupLink

  • Table

  • Element Attribute

  • Image

  • Groupped

  • HTML

  • Element

  • Element Click

  • Element Scroll down

然后选择你感兴趣元素,比如我选择了iPhone,荣耀,小米,华为,Vivo,Oppo,其会自动生成一个获取这些信息数据的表达式,我们可以称呼其为XPath,最后,点击保存。

使用Web Scraper 插件,不需要编程,也能爬网

Step3. 保存后,点击“Data Preview”预览数据。

使用Web Scraper 插件,不需要编程,也能爬网

Step4. 点击“Data Preview”预览的数据如下。

使用Web Scraper 插件,不需要编程,也能爬网

Step5. 点击“Scrape”,立马开始抓取数据。

当出现“Scraping Finished”的字样的时候,说明已经抓取成功。

使用Web Scraper 插件,不需要编程,也能爬网

Step6. 点击“Export Data as CSV”,导出为CVS的数据格式,这样Excel就能打开

使用Web Scraper 插件,不需要编程,也能爬网

写在最后的话

本文简单介绍总结了Web Scraper的插件的功能,安装以及一个简单的单页面例子。其实Web Scraper的功能远远不止于此,其实还能抓取分页,还能多页多元素的抓取,还能抓取二级页面,比如,所有iphone或者华为手机的价格,配置等信息

技术交流QQ群 229390571 测试帮日记接口测试群

电影下载QQ群 533341883 XQ电影下载圈