每月月初,我都会拿自己开发的工具《Web-Log-Analyzer-IceFairy》,检查一遍这个月的流量情况。图床一直有一部分直接访问流量,而且流量还不小,不像是偶尔下载图片,更像是被引用。问题是被引用的流量应该有 Referrer 字段才对,这些奇怪的流量都是直接访问的。我也已经开启了强制 HTTPS ,不会出现 downgrade 的状况。
于是随便在网上搜了一下,果不其然,是有文章被盗,没有署名,只留了一个原链接和侵删QQ,图片链接没有改,用的是我的流量。
我之前也写过文章《防盗链真是件很难办的事情啊》,我现在的解决办法就是黑名单。只把这些大平台的域名拖黑就好了,这样自己的网站可以正常访问,所有 RSS 阅读工具也不会受影响。
问题是把 cnblogs 加入黑名单之后一点效果都没有。怎么回事?难道是字段写错了?打开浏览器开发者工具检查了一下请求头,WTF!
请求头里根本就没有 Referer !
原因
仔细看了一下 cnblogs 的 HTML 文档,卧艹这是什么?
这 TMD 有点过分了,吃人不吐骨!杀人不沾血!
随便到主页上看了看,大量的盗文盗图。
问题是你这么晚了才耍流氓,你干得过百度?
解决方案
(注:此方法已经停用,请参见:使出反击盗链的终极办法)
因为这是个浏览器行为,服务端没有能力要求浏览器强制发送 Refer 字段,这个方向没有办法。
不过考虑本身整个域名都是用作图床,本身就不需要允许直链请求,所以现在的做法就是把直接访问给取消了。
可能某些古董浏览器会有问题,尤其是一些国产手机浏览器。
PS
怎么感觉自己的文章越来越玄幻了。
参考资料
【MDN】Referrer-Policy:https://developer.mozilla.org/zh-CN/docs/Web/HTTP/Headers/Referrer-Policy
17 comments
Skip to comment form ↓
心灵博客
2019 年 7 月 3 日 在 上午 10:08 (UTC 8) Link to this comment
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.80 Safari/537.36
全部返回个自己制作的特定图片岂不更好?
石樱灯笼
2019 年 7 月 3 日 在 下午 12:20 (UTC 8) Link to this comment
Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36
不是很想这么做。我见过有人靠此方式发广告赚钱的,不过我不想以此渠道赚钱。
现在返回的是一个比较神奇的图片。
静水流深
2019 年 7 月 3 日 在 上午 10:17 (UTC 8) Link to this comment
Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36
图片采用CDN ,在CDN上设置白名单图片防盗链,我是这么干的
石樱灯笼
2019 年 7 月 3 日 在 下午 12:19 (UTC 8) Link to this comment
Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36
Cloudflare 的 CDN 现在在广州延迟有 9 秒,我昨天已经迫不得已把原本用 CDN 的站全都换成直连了。
静水流深
2019 年 7 月 3 日 在 下午 12:34 (UTC 8) Link to this comment
Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36
腾讯云CDN有永久免费额度,不需要备案~我是用的这个,之前七牛需要备案换了腾讯云
石樱灯笼
2019 年 7 月 3 日 在 下午 1:46 (UTC 8) Link to this comment
Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36
官方文档中写着需要备案。
静水流深
2019 年 7 月 3 日 在 下午 1:49 (UTC 8) Link to this comment
Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36
如果不是整站cdn,只是图片外链的话是不需要备案的,我的是org域名,没法备案~站内图片都是用的腾讯的cdn,文字耗费不了多大流量,我就忽略了~
静水流深
2019 年 7 月 3 日 在 下午 1:02 (UTC 8) Link to this comment
Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36
Cloudflare 因软件部署错误遭遇全球性宕机
以提供 CDN、DNS 代管服务为主要业务的 Cloudflare 于北京时间 7 月 2 日晚 9 时 42 分许发生全球性宕机事故,宕机导致 Discord、Feedly 在内的多个网站和互联网服务无法访问。宕机发生约 30 分钟后 Cloudflare 恢复了大部分地区的正常访问,随后通过官方博客中解释称此次宕机是软件部署错误、回滚过程中 CPU 性能耗尽所致,后续会改进测试和软件部署流程以避免类似事故再次发生
石樱灯笼
2019 年 7 月 3 日 在 下午 1:43 (UTC 8) Link to this comment
Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36
早上我已经收到 Cloudflare 的邮件了,得出的结论是:国内新闻顾头不顾腚,抄外网新闻都抄一半编一半。所以我很少看国内新闻,误导性太严重。
现在我开着 Cloudflare 的在广州延迟仍然非常大,不能用的。
陈大猫
2019 年 7 月 3 日 在 下午 6:34 (UTC 8) Link to this comment
Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36
流氓果真是无处不在呀。
tcdw
2019 年 7 月 3 日 在 下午 8:06 (UTC 8) Link to this comment
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36
我这种没啥营养、随便发发牢骚的个人博客都有人爬,其实也是挺服气的。。
而且某(不存在了?)垃圾站把我博客分类为什么建站技术博客。。
我:?????
虽然大概率是 bot 干的好事?
灰狼
2019 年 7 月 9 日 在 下午 4:48 (UTC 8) Link to this comment
Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36
直接将这些垃圾黑名单
石樱灯笼
2019 年 7 月 9 日 在 下午 4:51 (UTC 8) Link to this comment
Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36
都说了黑名单没用。
GlacJAY
2020 年 3 月 11 日 在 下午 11:44 (UTC 8) Link to this comment
Mozilla/5.0 (Android 9; Mobile; rv:73.0) Gecko/73.0 Firefox/73.0
怪不得我现在在 RSS 客户端里边看到的都是那个比较神奇的图片😂️
石樱灯笼
2020 年 3 月 12 日 在 上午 8:33 (UTC 8) Link to this comment
Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:73.0) Gecko/20100101 Firefox/73.0
并没有继续使用这个方法。
GlacJAY
2020 年 3 月 12 日 在 上午 10:12 (UTC 8) Link to this comment
Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:73.0) Gecko/20100101 Firefox/73.0
那就不清楚了……不过也无所谓了,反正我现在也习惯点开原文来看了,现在大部分的博客布局也都适应过手机了。
散森
2020 年 5 月 6 日 在 上午 5:51 (UTC 8) Link to this comment
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.92 Safari/537.36
天哪,我以为cnblogs那么多技术文章都是真人写的,原来都是爬虫爬的?