Web Scraper数据分析爬虫工具安装教程

Web Scraper分为chrome插件和云服务两种形态,云服务是收费的,chrome插件是免费的,我们这篇教程说的就是chrome插件这种。

Web Scraper是干嘛的

Web Scraper的用处就是通过chrome浏览器来抓取网页数据(比如豆瓣帖子,京东商品信息,网易新闻等),不需要你懂技术,不需要你写爬虫程序,可以让你像配置软件一样配置就好可以抓取了。
老猿这篇文章试图从零开始教你安装配置,然后运行起来抓取数据,到导出数据到本地。

Web Scraper使用条件
你得有一个chrome浏览器,Web scraper是通过插件安装在chrome浏览器上的。

Web Scraper的特点

一、优点
1.可以抓取动态加载的数据,比如通过ajax翻页的数据
2.抓取的数据可以CSV文件格式导出到本地。csv文件你可以直接使用excel打开的
3.抓取需要登录的数据较方便,因为这个插件是运行在浏览器上的。
4.只要抓取频率慢一点,被网站屏蔽的概率较小,也因为是浏览器的原因,这就像是真实的用户访问一样。

二、缺点
1.抓取效率较低,相对于爬虫程序来说,Web scraper没法大并发,快速切换IP等,所以大量级的数据抓取用Web Scrpaer不适合,慢慢抓大几千网页还是可以。
2.安装Web Scraper麻烦,对于咱们国人来说,安装chrome插件需要到墙外安装。不过也有好心人把这个插件放在墙里了,就是不是最新版。

Web Scraper安装

第一种安装方式:
如果你墙里墙外来去无阻,那就用这种方式直接在chrome浏览器里安装。

步骤1:用chrome浏览器打开这个链接
步骤2:打开后在左边红框处 输入 Web Scraper,然后按回车键。如下图:

Web Scraper数据分析爬虫工具安装教程

步骤3:在随后出现的界面找到Web Scraper,点击 添加至Chrome。如下图:

Web Scraper数据分析爬虫工具安装教程

步骤4:这时会弹出 是否要添加”Web Scraper”对话框,点击添加扩展程序,稍等几秒后,就安装成功了,安装成功后你会看到像截图一样,页面右上方有一个Web Scraper插件图标。如下图:

Web Scraper数据分析爬虫工具安装教程

第二种安装方式:
如果你只能在墙内游玩,可以这样离线安装Web Scrpaer插件。
步骤1:从这个云盘下载安装文件。(版本更新于2018年8月)
链接地址
提取码: jfgx
记住你下载文件的位置,后面还要用。

步骤2:下载完成后,在chrome浏览器里输入如下 chrome://extensions/ 进入到插件程序界面。如下图:

Web Scraper数据分析爬虫工具安装教程

步骤3:按照步骤2图标红处,勾选 开发者模式。
步骤4:打开你刚才下载文件的目录。如下图:

Web Scraper数据分析爬虫工具安装教程

把 web-scraper-0.3.8_0.crx文件用鼠标拖拽到chrome浏览器里,会弹出是否要添加,点击添加扩展程序,浏览器右上角也会出现 Web Scraper的图标,表示安装成功。如下图:

Web Scraper数据分析爬虫工具安装教程

未完待续。。。

Web Scraper数据分析爬虫工具安装教程Web Scraper数据分析爬虫工具安装教程Web Scraper数据分析爬虫工具安装教程

Web Scraper数据分析爬虫工具安装教程

版权声明:zisheng 发表于 2021-04-19 0:27:22。
转载请注明:Web Scraper数据分析爬虫工具安装教程 | Assistants-产品经理导航

暂无评论

暂无评论...