wget正常 curl、 应用报错301 Moved Permanently

301 Moved Permanently 是什么意思 301永久重定向是一种非常重要的“自动转向”技术，是网址重定向最为可行的一种办法。当用户或搜索引擎向网站
2023-10-24 技术
  1. 301 Moved Permanently 是什么意思
    • 301永久重定向是一种非常重要的“自动转向”技术，是网址重定向最为可行的一种办法。当用户或搜索引擎向网站服务器发出浏览请求时，服务器返回的HTTP数据流中头信息(header)中的状态码的一种，表示本网页永久性转移到另一个地址
    1. 简而言之，告诉用户我们搬家了
  2. 诡计
    1. 浏览器可以访问说明这个网址并没有搬家
  3. 真相
    1. 服务器为了防止被重复爬取
    2. 为了避免打扰，直接说自己搬家了，除非访问的人有凭证证明自己--cookie
  4. 解决方案
    1. 我是真的爬虫：爬虫在第一次访问网站时保存cookie，然后在第二次访问时带上cookie访问网站即可
    2. 我是应用请求方：换一种请求方式，当前我是用apache.HttpClient被服务器当做爬虫了
  5. 建议
    1. 你要清楚自己的网站为了防爬是要做到宁可错杀一千不可放过一个？还是宁可放过一千不可错杀一个

版权声明

本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处。如若内容有涉嫌抄袭侵权/违法违规/事实不符，请点击 举报 进行投诉反馈！

推荐阅读