python如何爬取sci论文_使用python爬取MedSci上的期刊信息

使用python爬取medsci上的期刊信息，通过设定条件，然后获取相应的期刊的的影响因子排名，期刊名称，英文全称和影响因子。主要过程如下：

首先，通过分析网站http://www.medsci.cn/sci的交互过程。可以使用谷歌或火狐浏览器的“审查元素-->Network”，然后就可以看到操作页面就可以看到网站的交互信息。当在网页上点击“我要查询”时，网页会发送一个POST消息给服务器，然后，服务器返回查询结果

然后，将查询到的结果使用正则表达式提取出需要的数据。

最后将提取出的数据输出到文件。

代码的关键在于分析POST数据报，找出需要发送到服务器的数据，以及HTTP的报文头的填写。

通过浏览器的“审查元素-->Network-->POST的链接-->Headers”，能够找到一个form Data的数据表格，这个数据表格保存着所有的查询条件。

在代码中通过对这些数据表格进行赋值，即可模拟浏览器发送post请求，然后将得到html代码。接下来只需对获取到的数据做进一步的处理即可。

代码中的部分变量做简单的说明：

num：表示要获取的期刊的数目

value中的参数保存着查询条件：每个子条件的参数名意义如下：

fullname：期刊关键字

province：期刊领域中的大类

city：期刊中的二级分类、

impact_factor_b：IF范围小于的值

impact_factor_s：IF范围大于的值

rank：排列方式

这个代码有个bug，当某个期刊的影响因子为空或未知时，则这个期刊

本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！