因为开发的需求经常需要访问国外的网站，就是因为国外的开发生态比较好，很多问题的解决方案国内只有烂透的CSDN和简书，掘金还能勉强用一下，不过都是通过搜索引擎进来的。很多新的问题新的sdk调用啥的基本上国内都没啥人问。（一度怀疑国内开发者这么多人都不问问题的吗）。 虽然我的英语水平很烂，但是基本上关于开发相关的词汇还是很快的能够看下去的，但是终归不如中文容易理解。而且在使用浏览器翻译的时候会有很多问题，比如你只能看到完整的中文翻译，但是很多词汇的位置发生了错乱，这对开发者语序要求比较强的环境下非常坑。我经常需要翻译成中文之后再翻译回来对照原来的英文，浪费了很多时间。 今天发现一个chrome浏览器插件（当然也有edge版）叫：沉浸式翻译。可能很多小伙伴早就听说了并且用过了，不过我确实是最近才了解到。试用了一下，可以肯定的是：这是一个可以让你抛弃自带翻译功能的插件。 翻译原理这个插件的翻译与浏览器自带的翻译不同。浏览器自带的翻译只是将所有翻译的内容替换掉之前的内容。例如： 而沉浸式翻译则是在段落之后添加了文本内容。让你能够看到双语内容。 当然这会产生一些问题，比如网页的版式都受到了影响 ...

谷歌对于中文的垃圾站点屏蔽能力远低于百度，所以你如果在谷歌中搜索中文内容就会发现，谷歌给小站带来搜索流量的同时，也给了大量爬虫网站的可乘之机。如果你搜索一些问题就会发现，大量相同的文章在不同的网站上疯狂转来转去。一个一个点下去完全就是浪费时间。谷歌搜索内容更全的优势就不复存在。 发现了一个插件「uBlacklist」可以有效的根据「关键词」「域名」进行屏蔽搜索结果。用了一个月感觉非常棒。对于我这种搜索引擎重度依赖的用户来说真的是个福音。 安装插件如果你使用的是chrome浏览器，可以在Google的插件市场中安装这个插件。（公众号用户可以回复「屏蔽谷歌」获取本页超链接） 安装订阅首先安装成功之后我们找到这个插件，进入选项页面。 如果没有这个图标可以到插件列表中将这个插件拖动到外面。 在下面的「订阅」选项中我们添加一下订阅 我的屏蔽列表（Heo）我的屏蔽列表屏蔽了正常和一些不正常的网站，存在误封正确结果的情况。因为包含了很多偏好，例如屏蔽了很多需要积分下载的破解软件站、很多爬虫站、一些无法访问的网站等等。为自用屏蔽列表，请谨慎订阅。 google-chinese-banlist ...

我们经常用IDM、迅雷等软件使用并行（多线程）下载来提升下载速度，但是有一些网站只限制了使用浏览器默认的下载器才能够下载，使用其他第三方下载器下载会被拦截。这也是对服务器资源的分配机制，但是作为撸羊毛就要给撸秃的原则下，Chrome自带的单线程下载实在是太慢了，那么怎么才能加快chrome的下载速度，让Chrome也像第三方软件一样高速的使用多线程来下载呢？ 进入配置页面使用Chrome浏览器访问chrome://flags/#enable-parallel-downloading 图片内容：并行下载 启用并行下载以加快下载速度。-Mac、Windows、Linux、Chrome OS、Android 重启浏览器在配置成功之后我们需要重启浏览器 配置前后配置前资源的下载速度受到服务器/网盘系统的限制，为 其他如果遇到下载速度不升反降，或者下载时间长了之后下降的情况可能开启了其他的保护措施，也可以通过相同的方式关闭这项功能。

有一些网页对于图片有一定的保存限制，比如右键单击无法保存图片，甚至一些网页都不允许右键单击。还有一些网站根本不允许复制，如何才能安心的复制网页内容而不被这些开发者为难呢？在这里介绍两种方式。 测试网站有些网站无法获取图片，例如App Store：App Store 上的“微信” - Apple 你会发现这个网站上所有的关于这个应用的图片都无法保存。 有些网站无法复制文字，例如百度文库：学校传染病防控工作方案 你会发现文档内的文字无法正常的复制。 获取图片的神器：图片助手 基本介绍一款用于嗅探、分析网页图片并提供批量下载等功能及在线收藏、检索、分享服务的浏览器扩展程序。 是一款运行于chromium(chrome环境下开发)及其衍生浏览器(如：360安全浏览器、360极速浏览器、猎豹浏览器、百度浏览器、UC浏览器等)提供分析、提取网页中的图片并以多种筛选方式辅助用户选取下载等功能的扩展软件。 不同于以往提供类似功能的浏览器扩展，本扩展融合了多种数据提取方式来保证在各种复杂结构页面中尽可能全面地提取到出现过的图片。更多关于扩展用法、快捷键及其他帮助说明请移步至项目主页。 安装方式官方网站： ...

这篇文章仅针对油猴的基本使用和操作，为从未尝试过油猴脚本相关内容的新用户铺开道路。具体油猴脚本推荐会在以后分享。 如果你对现有的很多网页有着很深的怨念，比如说不够智能、很多网页给你加了很多限制等等。或者你有很强的动手欲望，想要改造你经常访问的网站，那么你非常适合使用油猴啦！ 插件介绍这个是官方最标准的油猴插件了。可以把油猴插件当做医院中的手术刀，你作为做手术的医生对网页进行手术。使用油猴的很多用户他们会创造手术刀（打铁），这样一来，越来越多的人愿意使用手术刀，越来越多的人加入到创造手术刀的过程中来（感觉比喻不是很恰当。。）。总之，油猴插件是一个chrome浏览器必装插件。 但是官方的油猴插件对中国人并不是非常友好，所以在这里强烈推荐我一直在使用的对中国人非常友好的油猴插件，他的名字叫做「暴力猴」 安装方式暴力猴官方网站 引用站外地址，不保证站点的可用性和安全性 Violentmonkey Violentmonkey ...

发现有部分公众号文章没有搬到博客，导致一些外链不方便引用，所以将HooMagic系列搬过来。 平时上网使用的主流搜索引擎主要是 百度、搜狗、360、UC的移动搜索、bing、Google等。作为中国大陆地区，百度的搜索结果无疑是最全的、更新最快的。得益于相当长时间的技术积累以及中国本土化的优化。但是由于恰饭总是会出现影响使用效率广告信息、百家号信息、竞价的敲诈信息等。 那么提升效率有以下几个方法。 一、最有效的方法：换搜索引擎适用于对搜索结果不要求非常全面的用户、对自己隐私保护非常重视的用户。 在这里推荐一个非常好用的搜索引擎： 引用站外地址，不保证站点的可用性和安全性 lookao lookao 从简而生、千人一面。每个人搜索相同关键词的页面都会出现相同的结果，不会进行广告、搜索内容丰富大数据库等等行为。是一款可以当做主力搜索引擎的网站。但是因为我平时搜索还是需要更全的内容（例如生僻的网站）小众的搜索引擎并不能帮助我完成 ...

在注册Google账户的时候，需要更换浏览器语言才能让手机正确的获取验证码。 在终端运行以下命令可以进行切换 切换到简体中文1defaults write com.google.Chrome AppleLanguages '(zh-CN)' 切换到英文1defaults write com.google.Chrome AppleLanguages '(en-US)' 赶快试试吧！

代码： 1{"_id":"doubantop250","startUrl":["https://movie.douban.com/top250?start=[0-225:25]&filter="],"selectors":[{"id":"MovieCard","type":"SelectorElement","parentSelectors":["_root"],"selector":"div.item","multiple":true,"delay":0},{"id":"num","type":"SelectorText&q ...

本文为转载文章，以下内容来源于 Web Scraper 入门教程（第3课） 风巢 Web Scraper 是谷歌 Chrome 浏览器插件，可自动化提取网页数据，实现不敲代码，指哪爬哪的目标，属于居家出行杀人越货之必备神器。 聊聊如何 建立 Sitemap。 Sitemap 是什么呢？简单来说 Sitemap 就是你要抓取数据的网址。 说到这里你会觉得不过就是网址嘛，从浏览器地址栏复制粘贴不就好了？其实没那么简单，你要抓取的数据如果只有 1 页这么操作没啥问题，如果 10 页 1000 页 100000 页呢，这么简单粗暴的搞法会让你生无可恋的。 下面以第 1 课抓取知乎大V陈素封文章前 3 页标题、正文全文、点赞数为例，看下我是如何建立 Sitemap 的。 一、寻找规律先进入文章页，网址： https://www.zhihu.com/people/Feat/posts 如上图所示，首页（第一页）网址为： https:// ...

原文地址（已无法访问）：立即访问 为了让大家学习 web scraper 时有更好的体验，我搭建了一个 webscraper 中文网 ，大家以后有问题可以到上面翻翻。 可能有朋友不知道webscraper，我再介绍一下：webscraper 一一款谷歌插件，可以方便的抓取网页上的内容：文字、链接、图片、表格等，而无需写一行代码。 webscraper有如下优点—— 1.免费2.不受操作系统限制，只要安装Chrome浏览器即可运行3.操作简单，易上手。（很多没有技术背景的同学，都可以快速学会）4.功能强大：不仅可以抓静态网页，对于js动态加载的数据，也很容易抓取 根据已经测试的经历，下列类型网站均可抓取—— 1.58同城、大众点评、美团、链家等2.微信公众号、简书、知乎、博客等3.淘宝、阿里巴巴、网易严选等 可以在浏览器查看到的数据，95%均可抓取。 你可能会问，那剩下的5%是什么呢？—— 等你遇到再说吧，如果遇不到，那对你来说，就是100%了[微笑] 一、常见问题1、下载了webscraper安装包，但是无法安装，怎么办？如果你无法科学上网，可以从链接: https://pan.b ...

本文为转载文章，以下内容来源于 网页数据抓取工具 csdn Web Scraper 是一款免费的，适用于普通用户（不需要专业 IT 技术的）的爬虫工具，可以方便的通过鼠标和简单配置获取你所想要数据。例如知乎回答列表、微博热门、微博评论、电商网站商品信息、博客文章列表等等。 安装过程 在线安装方式 在线安装需要具有可FQ网络，可访问 Chrome 应用商店 1、在线访问 web Scraper 插件 ，点击 “添加至 CHROME”。 2、然后点击弹出框中的“添加扩展程序” 3、安装完成后在顶部工具栏显示 Web Scraper 的图标。 本地安装方式 1、打开 Chrome，在地址栏输入 chrome://extensions/ ，进入扩展程序管理界面，然后将下载好的扩展插件 Web-Scraper_v0.3.7.crx 拖拽到此页面，点击“添加到扩展程序”即可完成安装。如图： ...