新闻爬虫1.0 在列表页获取列表和时间

材料:Pycharm,Chrome开发人员工具,infoLite插件,bs4,request

安装包

pip install requests
pip install beautifulsoup4

使用Chrome开发人员工具分析网站

  1. 右键或Ctrl+shift+I打开,F5刷新载入
  2. 打开network页签,点选第二排的小漏斗(filter),点入doc页面,因为新闻都有被检索到的需要,所以一般情况下都可以在第一个doc文档中找到需要的信息。我们现在第一个目标是获取这个页面里所有的国内新闻标题、时间、链接。选择第一个doc,通过responce看看是否有所需信息。

3.再通过查看header页面可以看到信息被得到的方式是GET,这说明我们可以通过get调用,而通过第一排的Request URL我们就可以知道想要得到网站信息的目标url是什么。

使用request调用网页

request是URL的撷取套件,可以用post\put\get\delete来存取网络资源

import requests
newurl = '目标网站'
res = requests.get(newurl)
res.encoding = 'utf-8'
# 申明编码避免res内容出现乱码

使用BeautifulSoup4进行加工

通过request的get得到了网页的所有内容,但是还有很多不需要用到的样式语言等,本来可以用正则表达式来进行删选,但是这里使用第三方包BeautifulSoup4对原材料进行处理。

soup = BeautifulSoup(res.text,'html.parser')
# 需要注释res的类型是HTML,使用parser对HTML进行解析。

这里需要稍微了解一点HTML/CSS里的DOM Tree知识。
(注:DOM Tree是指通过DOM将HTML页面进行解析,并生成的HTML tree树状结构和对应访问方法。)

这方面我自己是理解的,但是理解的不透彻讲不清。详参这里
总之,我们所需要的内容是在各种各样的元素中的,它们可能是含有特定标签的HTML元素,也有可能是含有特定CSS属性的元素。(我所理解的是HTML元素是HTML固有的,结构层次已经划分好了的。而特定CSS属性的元素则是因为特殊的格式需要设置的灵活性的一个元素。一般是通过id和类来设置。)
select
为了得到特定的元素,使用beautifulsoup4中的select
使用方法是:

# 含有特定标签的HTML元素
header = soup.select('h1')
# 含有特定css属性的元素 ID
header = soup.select('#title')
# 含有特定css属性的元素 class
link = soup.select('.link')

select的预设方法是传回一个list,所以用解开列表的方式解开并且取出来就可以。

使用infoLite插件获取

infoLite插件下载地址
接下来,我们就需要知道爬取目标的元素到底是什么。有两种方法,一是借助infoLite插件,一是借助开发工具的elements自己查找。为了保证查找的准确性,两种方法最好都掌握。
首先是使用infoLite插件,点击就可以知道元素的类型。但是有时候情况会比较复杂,比如说,会遇到css类里使用HTML元素的情况。在这种情况下先select CSS 最大共性元素再select出HTML元素。

标题


(网页其他部分也有h2,可以结合开发工具看更清晰。)

时间

链接

URL链接可以从上面的DOM Tree看到URL是元素的属性,所以需要通过开发工具看。在网页的链接中通常使用a tag去链接其他网页,而href就是连结的桥梁。

列表里其实是一个字典,利用字典的性质,用key(href)调用出链接。

完整

import requests
from bs4 import BeautifulSoup
res = requests.get('http://news.sina.com.cn/china/')
res.encoding = 'utf-8'
soup = BeautifulSoup(res.text,'html.parser')
for news in soup.select('.news-item'):
    if len(news.select('h2'))>0:
#保证存在,防止遍历时输出空集
        h2 = news.select('h2')[0].text
#取出内容
        time = news.select('.time')[0].text
        a = news.select('a')[0]['href']
        print (time,h2,a)

学习参考自此网站

新闻爬虫1.1 抓取新闻内页

材料:Pycharm,Chrome开发人员工具,infoLite插件,bs4,request

在前面我们已经将新闻列表页面的所有链接都下载下来了,但是还不够,我们希望可以获取链接所指的各个单个新闻的标题、来源、时间以及内文
这里我们从特殊到一般,而用到的方法还是笔记NO.1中对select的活用,先以一个链接为例。

取得内文页面

和抓取列表页面的初始步骤一样,我们首先要将原材料整个的放到soup里进行一个剖析,然后再逐个提取出我们想要的元素。取得页面的说明不再赘述。

import requests
from bs4 import BeautifulSoup
res = requests.get('http://news.sina.com.cn/c/nd/2017-01-04/doc-ifxzczff3681310.shtml')
res.encoding = 'utf-8'
soup = BeautifulSoup(res.text,'html.parser')

获取内文标题

通过检查工具得知标题是一个特殊的css属性标签,ID是artibodyTitle,通过soup的select传回一个list,再通过取出list里内容的方法取出来。

title= soup.select('#artibodyTitle')[0].text

取得来源和时间

本来想处理时间,时间的类是time-source,结果select回传的结果里既有时间又有来源。使用.text也无法将之分开。
select的回传列表结果:

[<span class="time-source" id="navtimeSource">2017010409:47      <span>
<span data-sudaclick="media_name">
\<a href="http://www.cma.gov.cn/2011zwxx/2
011zyjgl/2011zyjxy/2011zqxyj/201701/\t20170104_382215.html
\" rel="nofollow" target="_blank">政府网站</a></span></span>
</span>]

所以这里要采用*contents*将时间和来源取出来。

关于.contents的帮助文档说明
tag的*.contents*属性可以将tag的子节点以列表的方式输出。新闻的时间精确到日就可以了,对字符串进行切片处理。

time = soup.select('.time-source')[0].contents[0][:]

接下来我们要思考如何取出来源,通过检查工具我们可以看到,来源是在时间的层级之下的,这也很好的解释了为什么用contens处理下来,和来源有关的东西并没有发生变化,因为它是附属其下,并且由一个span里的 a tag 控制的。

所以试试用这个把它select出来

medianame =  soup.select('.time-source span a')[0].text

取得内文

内文位于*artibody p*里,同样的方法取出。观察由三个成分组成,

分隔符、控制符以及我们需要的文字内容。通过*strip*去除控制符,再遍历输出

article = soup.select('#artibody p')[:-1]

获得编辑名称

同理,略

author = soup.select('.article-editor')[0].text.strip('责任编辑:')

学习参考自此网站

新闻爬虫1.3 获取评论数,剖析分页建立函数并保存数据到数据库

材料:Pycharm,Chrome开发人员工具,request,Json

获取评论数

通过以前的方式尝试着获取评论数,结果发现没有东西传回来。

这说明简单的*select*方法没有办法解决问题。那么这个评论是如何附加在网页上的呢?我们考虑到很可能是通过JavaScript的方式附加上去的。我们大海捞针,地毯式地搜寻可能有评论数的地方。
首先从doc开始检视,但是这个位置一般情况下不大可能存放,接着考虑再XHR里面进行搜索,同样没有找到,接着在JS里寻找。这时候要注意技巧,*preview*里往往能更快地帮助我们找到需要的关键字眼
我大概找了7分钟,终于找到了……

和网页的评论数比对完全符合,在看*header*发现这个链接也是通过GET方式取得的,于是我们就找到了存放评论的URL。
接下来我们通过惯例,用request获取内容后剖析出来是这样的:

可以看到是一个json字典,所以我们想要把这个json字典变成Python字典,这样我们才能获取里面的内容。
Python的里json模组里的load方式可以实现这一需求。接着我们只要使用调取Python字典的方式,就可以读取评论数了。

import requests
comments =requests.get( 'http://comment5.news.sina.com.cn/page/info?version=1
\&format=js&channel=gn&newsid=comos-fxzczff3681310&group=
\&compress=0&ie=utf-8&oe=utf-8&page=1&page_size=20')
import json
jd = json.loads(comments.text.strip('var data='))
cmtnumber = jd['result']['count']['total']

这里有两个细节要讲一下,一个是为了将json字典转换为Python字典,我们首先需要将*'var data'*这个用来定义的东西给去掉这样才能够转换。另外一个点是,最终转换为的字典是层层包裹的,可以直接回到网页看*preview*里的层级关系,这样更为直观。

因为我们之前获取了一个页面的链接,我们总不能一个个的到网页里去找到存放评论数的URL,所以这里我们考虑将之整理成一个函数

将获取评论数整理为一个函数

首先对我们获得的存放评论数的URL进行一个观察,以&为界限,分成了几个部分。我们再找来一个类似界面的存放评论数的URL进行比对,可以发现不同的只有newsID和最后末尾的时间戳。
那么我们来猜想它们两者对获取评论数的影响,经过测试发现,当newsID去除了会报错,而末尾时间戳的去除不影响结果。

也就是说,每个存放评论的URL是通过不同的newsID进行定位的,而我们可以发现newsID所对应的编号正好是网页的*doc-*后面的编号,因而对URL进行处理就可以得到新闻编号。

newsurl = 'http://news.sina.com.cn/c/nd/2017-01-04/doc-ifxzczff3681310.shtml'
newsid = newsurl.split('/')[-1].rstrip('.shtml').lstrip('doc-i')

或者使用正则表达式

import re
m = re.search('doc-i(.+).shtml',newsurl)
newsid = m.group(1)

group(0)匹配正则表达式匹配到的所有的内容,group(1)只匹配小括号里的内容。

接下来我们将这个方法整理成一个函数。
刚才我们知道了怎么获取特定的newsID,接下来我们需要将这个ID填充进去。我们采用的方法是对原来的URL进行一个挖空的动作{},这样就变成了一个存放评论数的字串样本,然后使用format的方式填进去。

commentURL = 'http://comment5.news.sina.com.cn/page/info?version=1&format=js 
\&channel=gn&newsid=comos-{}
\&group=&compress=0&ie=utf-8&oe=utf-8&page=1&page_size=20'
commentURL.format(newsid)

那么接下来进行我们整理成一个函数:

import  re
import json
import  requests
commentURL = 'http://comment5.news.sina.com.cn/page/info?version=1&format=js
\ &channel=gn&newsid=comos-{}
\ &group=&compress=0&ie=utf-8
\ &oe=utf-8&page=1&page_size=20'
def getcommetCount(newsurl):
    m = re.search('doc-i(.+).shtml',newsurl)
    newsid = m.group(1)
    newsURL = commentURL.format(newsid)
    comments = requests.get(newsURL)
    js = json.loads(comments.text.strip('var data='))
    return js['result']['count']['total']

newsurl = 'http://news.sina.com.cn/c/nd/2017-01-04/doc-ifxzczff3681310.shtml'
print(getcommetCount(newsurl))

将文章细节整理成函数

from bs4 import BeautifulSoup
import request
def getarticleDetail(newsurl):
    result = {}
    res = request.get(newsurl)
    res.encoding = 'utf-8'
    soup = BeautifulSoup(res.text,'html.parser')
    result['title'] = soup.select('#artibodyTitle')[0].text
    result['time'] = soup.select('.time-source')[0].contents[0][:11]
    result['medianame'] = soup.select('.time-source span a')[0].text
    result['article'] = soup.select('#artibody p')[:-1]
    result['author'] = soup.select('.article-editor')[0].text.strip('责任编辑:')
    result['comments'] = getcommetCount(newsurl)
    return result

所以现在我们输入一个网页便可以得到这些内容,我们想到一开始我们得到了一个包含链接、时间和作者的列表,所以想要从列表连结中取出每篇新闻的内容

从列表连结中取出每篇新闻的内容

最初我们获取列表中的链接的时候并没有考虑到每个分页里的清单的内容。所以我们虚妄希望能够将清单里的所有的链接都获取到。
打开国内新闻后,检查network的部分,透过这个窃听器可以关注到http传出去的链接以及对应的回应,滚下去有一个载入的动画,接着出现了新的新闻标题,而旁边的页面资讯并没有被更新。我们猜想也许是通过非同步的载入方式载入更多新闻的。如果是这样那么doc里应该没有我们想要的内容,检视一遍确实没有,接下来我们再去xhr里寻找,一般情况下非同步载入的链接往往能够在xhr中检视到,但是现在并没有。如果找不到那么应该是在js里,然后我们也确实发现了。(部分资料在回传的过程中虽然有包含非同步载入的json资料但是还是会以JavaScript的形式展现出来,所以chrome就把它归入js类别之中。
切入preview方便我们看清层次。我们发现Data里就有我们需要的新闻标题和链接,所以我们一次性打包抓取下来。

import  requests
import json
url = 'http://api.roll.news.sina.com.cn/zt_list?channel=news&cat_1=gnxw&cat_2==gdxw1||
\ =gatxw||=zs-pl||=mtjj&level==1||=2&show_ext=1&show_all=1&show_num=22&ta 

\g=1&format=json&page=2&callback=newsloadercallback&_=1487824946231'
res = requests.get(url)
jd = json.loads(res.text.lstrip(' newsloadercallback(').rstrip(');'))

for ent in jd['result']['data']:
    print (ent['url'])

方法和处理评论数的方法类似。
接下来将它整理成函数放置在原函数的顶端。