小强博客 - Adolph Blog
  • 怎样寻找高质量的外链资源?
  • dedecms系统自定义变量删除方法
  • 此刻的心情
  • 得屌丝者,得天下。
  • localhost与127.0.0.1的区别
  • 反击爬虫,工程师的脑洞可以有多大?

    2018-11-25 02:18

    1. 前言

    对于一张网页,我们往往希望它是结构良好,内容清晰的,这样搜索引擎才能准确地认知它。

    而反过来,又有一些情景,我们不希望内容能被轻易获取,比方说电商网站的交易额,教育网站的题目等。因为这些内容,往往是一个产品的生命线,必须做到有效地保护。这就是爬虫与反爬虫这一话题的由来。

    2. 常见反爬虫策略

    但是世界上没有一个网站,能做到完美地反爬虫。

    如果页面希望能在用户面前正常展示,同时又不给爬虫机会,就必须要做到识别真人与机器人。因此工程师们做了各种尝试,这些策略大多采用于后端,也是目前比较常规单有效的手段,比如:

    User-Agent + Referer检测

    账号及Cookie验证

    验证码

    IP限制频次

    而爬虫是可以无限逼近于真人的,比如:

    chrome headless或phantomjs来模拟浏览器环境

    tesseract识别验证码

    代理IP淘宝就能买到

    所以我们说,100%的反爬虫策略?不存在的。

    更多的是体力活,是个难易程度的问题。

    不过作为前端工程师,我们可以增加一下游戏难度,设计出一些很(sang)有(xin)意(bing)思(kuang)的反爬虫策略。

    3. 前端与反爬虫

    3.1 font-face拼凑式

    例子:猫眼电影

    猫眼电影里,对于票房数据,展示的并不是纯粹的数字。 页面使用了font-face定义了字符集,并通过unicode去映射展示。也就是说,除去图像识别,必须同时爬取字符集,才能识别出数字。

    反击爬虫,工程师的脑洞可以有多大?

    并且,每次刷新页面,字符集的url都是有变化的,无疑更大难度地增加了爬取成本。

    反击爬虫,工程师的脑洞可以有多大?

    3.2 background拼凑式

    例子:美团

    与font的策略类似,美团里用到的是background拼凑。数字其实是图片,根据不同的background偏移,显示出不同的字符。

    反击爬虫,工程师的脑洞可以有多大?

    并且不同页面,图片的字符排序也是有区别的。不过理论上只需生成0-9与小数点,为何有重复字符就不是很懂。

    页面A:

    反击爬虫,工程师的脑洞可以有多大?

    页面B:

    反击爬虫,工程师的脑洞可以有多大?

    3.3 字符穿插式

    例子:微信公众号文章

    某些微信公众号的文章里,穿插了各种迷之字符,并且通过样式把这些字符隐藏掉。

    这种方式虽然令人震惊…但其实没有太大的识别与过滤难度,甚至可以做得更好,不过也算是一种脑洞吧。

    反击爬虫,工程师的脑洞可以有多大?

    对了,我的手机流量可以找谁报销吗?

    3.4 伪元素隐藏式

    例子:汽车之家

    汽车之家里,把关键的厂商信息,做到了伪元素的content里。

    这也是一种思路:爬取网页,必须得解析css,需要拿到伪元素的content,这就提升了爬虫的难度。

    反击爬虫,工程师的脑洞可以有多大?

    3.5 元素定位覆盖式

    例子:去哪儿

    还有热爱数学的去哪儿,对于一个4位数字的机票价格,先用四个i标签渲染,再用两个b标签去绝对定位偏移量,覆盖故意展示错误的i标签,最后在视觉上形成正确的价格…

    反击爬虫,工程师的脑洞可以有多大?

    这说明爬虫会解析css还不行,还得会做数学题。

    3.6 iframe异步加载式

    例子:网易云音乐

    网易云音乐页面一打开,html源码里几乎只有一个iframe,并且它的src是空白的:about:blank。接着js开始运行,把整个页面的框架异步塞到了iframe里面…

    反击爬虫,工程师的脑洞可以有多大?

    不过这个方式带来的难度并不大,只是在异步与iframe处理上绕了个弯(或者有其他原因,不完全是基于反爬虫考虑),无论你是用selenium还是phantom,都有API可以拿到iframe里面的content信息。

    3.7 字符分割式

    例子:全网代理IP

    在一些展示代理IP信息的页面,对于IP的保护也是大费周折。

    反击爬虫,工程师的脑洞可以有多大?

    他们会先把IP的数字与符号分割成dom节点,再在中间插入迷惑人的数字,如果爬虫不知道这个策略,还会以为自己成功拿到了数值;不过如果爬虫注意到,就很好解决了。

    3.8 字符集替换式

    例子:去哪儿移动侧

    同样会欺骗爬虫的还有去哪儿的移动版。

    反击爬虫,工程师的脑洞可以有多大?

    html里明明写的3211,视觉上展示的却是1233。原来他们重新定义了字符集,3与1的顺序刚好调换得来的结果…

    反击爬虫,工程师的脑洞可以有多大?
  • 上一篇:任何时候都能口若悬河(三维树)
  • 下一篇:没有了
  • 博主简介
    小强博客 - Adolph Blog

    小强哥Adolph

    我有一个梦想,且一直在为它努力!

    1990年人士,8年互联网经验。
    商业服务
  • (1)黑白帽SEO高端外包服务
  • (2)黑白帽SEO高端顾问
  • (3)中大型程序开发
  • (4)中大型数据库优化与开发
  • (5)高端培训(技术 & 思维 & 关门弟子)
  • (6)指定网站入侵扫描 & 安全检测
  • (7)指定服务器入侵扫描 & 安全检测
  • (8)黑灰色项目承接 & 合作 & 顾问
  • (9)开源CMS二次开发与BUG修复
  • (10)开源CMS模版设计开发与仿站
  • (11)小 & 中 & 大型网站从零开发
  • (12)品牌解决方案
  • (13)销量解决方案
  • (14)顾问与培训解决方案
  • 联系方式
  • QQ:97028048
  • 微信:zjkszq1990 & zZ683135
  • E-mail:adolph@timeandevent.com
  • 微博文

      在直播页面右键“源代码

      Ctrl+F搜索“sHlsUrl”,把后“sHlsUrl”的站点域名路径复制。

      如:http:\/\/ws4.streamhls.huya.com\/hqlive

      Ctrl+F搜索“sStreamName”

      把后“sStreamName”的地址复制

      如:90931-2681948790-11518882342596771840-3078561224-10057-A-0-1

      开始拼接:http:\/\/ws4.streamhls.huya.com\/hqlive/+90931-2681948790-11518882342596771840-3078561224-10057-A-0-1+m3u8(连起来就是直播源)

      也就是:http:\/\/ws4.streamhls.huya.com\/hqlive/90931-2681948790-11518882342596771840-3078561224-10057-A-0-1.m3u8 平台其它分类同理,

      2019-07-05 17:03:27

      我相信,错过了,仍然有机会补救。

      2019-02-18 17:33:04

      问我这个年过得咋样?你怎么不问问去年呢?

      1

      2019-02-04 10:31:55

      粘人的小妖精。。。

      1

      2019-01-28 15:37:54

      1d1d2fe1fea4328d3fa3964a22287356

      2018-12-07 17:02:32

      有时候,我们真的是无法选择。

      2018-12-05 11:44:36

      ee75005344645cb4a2d8c62cdd14b1f3

      2018-11-29 12:11:24

      wx_camera_1543335310011

      2018-11-28 02:38:07

      有些事。真的需要时间沉淀。急性子,是做不来的

      2018-11-25 07:59:56

      5e6297095fc025542d5a31b1dcf8c7e9

      2018-11-25 02:43:20

      36a2c4f3606e85ee52e9770daf942c37

      2018-11-25 02:07:29

      今天这小饭馆,大厨不在,她的姐姐在,我来了说,小伙子,吃什么呀,我只会炒米饭和煮面条[捂脸][捂脸][捂脸],我以为逗我呢,结果一看其他人,吃的不是炒米饭就是煮面条。。。

      2018-11-09 18:28:23

      1

      睡觉了。。。晚安。

      2018-10-12 00:53:08

      推荐首歌曲,Despacito,不错。。。点我去听听

      2018-10-11 11:52:51