«

»

Jul 02 2019

博客园(cnblogs)是个流氓站啊

每月月初,我都会拿自己开发的工具《Web-Log-Analyzer-IceFairy》,检查一遍这个月的流量情况。图床一直有一部分直接访问流量,而且流量还不小,不像是偶尔下载图片,更像是被引用。问题是被引用的流量应该有 Referrer 字段才对,这些奇怪的流量都是直接访问的。我也已经开启了强制 HTTPS ,不会出现 downgrade 的状况。

于是随便在网上搜了一下,果不其然,是有文章被盗,没有署名,只留了一个原链接和侵删QQ,图片链接没有改,用的是我的流量。

snap2459

我之前也写过文章《防盗链真是件很难办的事情啊》,我现在的解决办法就是黑名单。只把这些大平台的域名拖黑就好了,这样自己的网站可以正常访问,所有 RSS 阅读工具也不会受影响。

问题是把 cnblogs 加入黑名单之后一点效果都没有。怎么回事?难道是字段写错了?打开浏览器开发者工具检查了一下请求头,WTF!

snap2460

请求头里根本就没有 Referer !

原因

仔细看了一下 cnblogs 的 HTML 文档,卧艹这是什么?

snap2461

这 TMD 有点过分了,吃人不吐骨!杀人不沾血!

随便到主页上看了看,大量的盗文盗图。

问题是你这么晚了才耍流氓,你干得过百度?

解决方案

(注:此方法已经停用,请参见:使出反击盗链的终极办法

因为这是个浏览器行为,服务端没有能力要求浏览器强制发送 Refer 字段,这个方向没有办法。

不过考虑本身整个域名都是用作图床,本身就不需要允许直链请求,所以现在的做法就是把直接访问给取消了。

可能某些古董浏览器会有问题,尤其是一些国产手机浏览器。

snap2462

PS

怎么感觉自己的文章越来越玄幻了。

参考资料

【MDN】Referrer-Policy:https://developer.mozilla.org/zh-CN/docs/Web/HTTP/Headers/Referrer-Policy

17 comments

Skip to comment form

  1. 心灵博客
    Google Chrome 75.0.3770.80 Google Chrome 75.0.3770.80 Mac OS X  10.14.5 Mac OS X 10.14.5
    Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.80 Safari/537.36

    全部返回个自己制作的特定图片岂不更好?

    1. 石樱灯笼
      Google Chrome 75.0.3770.100 Google Chrome 75.0.3770.100 Windows 7 x64 Edition Windows 7 x64 Edition
      Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36

      不是很想这么做。我见过有人靠此方式发广告赚钱的,不过我不想以此渠道赚钱。
      现在返回的是一个比较神奇的图片。

  2. 静水流深
    Google Chrome 74.0.3729.169 Google Chrome 74.0.3729.169 Windows 10 x64 Edition Windows 10 x64 Edition
    Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36

    图片采用CDN ,在CDN上设置白名单图片防盗链,我是这么干的

    1. 石樱灯笼
      Google Chrome 75.0.3770.100 Google Chrome 75.0.3770.100 Windows 7 x64 Edition Windows 7 x64 Edition
      Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36

      Cloudflare 的 CDN 现在在广州延迟有 9 秒,我昨天已经迫不得已把原本用 CDN 的站全都换成直连了。

      1. 静水流深
        Google Chrome 74.0.3729.169 Google Chrome 74.0.3729.169 Windows 10 x64 Edition Windows 10 x64 Edition
        Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36

        腾讯云CDN有永久免费额度,不需要备案~我是用的这个,之前七牛需要备案换了腾讯云

        1. 石樱灯笼
          Google Chrome 75.0.3770.100 Google Chrome 75.0.3770.100 Windows 7 x64 Edition Windows 7 x64 Edition
          Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36

          官方文档中写着需要备案。

          1. 静水流深
            Google Chrome 74.0.3729.169 Google Chrome 74.0.3729.169 Windows 10 x64 Edition Windows 10 x64 Edition
            Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36

            如果不是整站cdn,只是图片外链的话是不需要备案的,我的是org域名,没法备案~站内图片都是用的腾讯的cdn,文字耗费不了多大流量,我就忽略了~

      2. 静水流深
        Google Chrome 74.0.3729.169 Google Chrome 74.0.3729.169 Windows 10 x64 Edition Windows 10 x64 Edition
        Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36

        Cloudflare 因软件部署错误遭遇全球性宕机
        以提供 CDN、DNS 代管服务为主要业务的 Cloudflare 于北京时间 7 月 2 日晚 9 时 42 分许发生全球性宕机事故,宕机导致 Discord、Feedly 在内的多个网站和互联网服务无法访问。宕机发生约 30 分钟后 Cloudflare 恢复了大部分地区的正常访问,随后通过官方博客中解释称此次宕机是软件部署错误、回滚过程中 CPU 性能耗尽所致,后续会改进测试和软件部署流程以避免类似事故再次发生

        1. 石樱灯笼
          Google Chrome 75.0.3770.100 Google Chrome 75.0.3770.100 Windows 7 x64 Edition Windows 7 x64 Edition
          Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36

          早上我已经收到 Cloudflare 的邮件了,得出的结论是:国内新闻顾头不顾腚,抄外网新闻都抄一半编一半。所以我很少看国内新闻,误导性太严重。
          现在我开着 Cloudflare 的在广州延迟仍然非常大,不能用的。

  3. 陈大猫
    Google Chrome 73.0.3683.86 Google Chrome 73.0.3683.86 Windows 10 x64 Edition Windows 10 x64 Edition
    Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36

    流氓果真是无处不在呀。

  4. tcdw
    Google Chrome 75.0.3770.100 Google Chrome 75.0.3770.100 Mac OS X  10.14.5 Mac OS X 10.14.5
    Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36

    我这种没啥营养、随便发发牢骚的个人博客都有人爬,其实也是挺服气的。。
    而且某(不存在了?)垃圾站把我博客分类为什么建站技术博客。。
    我:?????
    虽然大概率是 bot 干的好事?

  5. 灰狼
    Google Chrome 74.0.3729.169 Google Chrome 74.0.3729.169 Windows 7 x64 Edition Windows 7 x64 Edition
    Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36

    直接将这些垃圾黑名单

    1. 石樱灯笼
      Google Chrome 75.0.3770.100 Google Chrome 75.0.3770.100 Windows 7 x64 Edition Windows 7 x64 Edition
      Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36

      都说了黑名单没用。

  6. GlacJAY
    Firefox 73.0 Firefox 73.0 Android 9 Android 9
    Mozilla/5.0 (Android 9; Mobile; rv:73.0) Gecko/73.0 Firefox/73.0

    怪不得我现在在 RSS 客户端里边看到的都是那个比较神奇的图片😂️

    1. 石樱灯笼
      Firefox 73.0 Firefox 73.0 Windows 7 x64 Edition Windows 7 x64 Edition
      Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:73.0) Gecko/20100101 Firefox/73.0

      并没有继续使用这个方法。

      1. GlacJAY
        Firefox 73.0 Firefox 73.0 Windows 10 x64 Edition Windows 10 x64 Edition
        Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:73.0) Gecko/20100101 Firefox/73.0

        那就不清楚了……不过也无所谓了,反正我现在也习惯点开原文来看了,现在大部分的博客布局也都适应过手机了。

  7. 散森
    Google Chrome 81.0.4044.92 Google Chrome 81.0.4044.92 Windows 10 x64 Edition Windows 10 x64 Edition
    Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.92 Safari/537.36

    天哪,我以为cnblogs那么多技术文章都是真人写的,原来都是爬虫爬的?

发表评论

电子邮件地址不会被公开。 必填项已用*标注

此站点使用Akismet来减少垃圾评论。了解我们如何处理您的评论数据