Python抓取中文网页

心已赠人 2022-08-21 04:57 319阅读 0赞

早就有想法把博客每天的访问流量记下来，刚好现在申请了GAE的应用，又开始学Python，正好拿这个练手。打算先利用Python把访问记录保存在本地，熟悉之后可以部署到GAE，利用GAE提供的cron就可以每天更近访问流量了。OK，开始~

首先是简单的网页抓取程序：

**\[python\]**  [view plain][] [copy][view plain]

1.  **import** sys, urllib2  
2.    
3.  req = urllib2.Request("http://blog.csdn.net/nevasun")  
4.  fd = urllib2.urlopen(req)  
5.  **while** True:  
6.      data = fd.read(1024)  
7.      **if** **not** len(data):  
8.          **break**  
9.      sys.stdout.write(data)

在终端运行提示urllib2.HTTPError: HTTP Error 403: Forbidden![难过][sad.gif]，怎么回事呢？

这是由于网站禁止爬虫，可以在请求加上头信息，伪装成浏览器访问。添加和修改：

**\[python\]**  [view plain][] [copy][view plain]

1.  headers = \{ 'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'\}  
2.  req = urllib2.Request("http://blog.csdn.net/nevasun", headers=headers)

再试一下，HTTP Error 403没有了，但是中文全都是乱码![快哭了][fastcry.gif]。又是怎么回事？

这是由于网站是utf-8编码的，需要转换成本地系统的编码格式：

**\[python\]**  [view plain][] [copy][view plain]

1.  **import** sys, urllib2  
2.    
3.    
4.  headers = \{ 'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'\}  
5.  req = urllib2.Request("http://blog.csdn.net/nevasun", headers=headers)  
6.  content = urllib2.urlopen(req).read()   \# UTF-8  
7.    
8.  type = sys.getfilesystemencoding()      \# local encode format  
9.  **print** content.decode("UTF-8").encode(type)  \# convert encode format

OK，大功告成，可以抓取中文页面了。下一步就是在GAE上做个简单的应用了~

[view plain]: http://blog.csdn.net/nevasun/article/details/7331644#
[sad.gif]: /images/20220731/9f91ebc834434eda981dfef0dc14f9e3.png
[fastcry.gif]: /images/20220731/1e28d4edb3d34006999a22524c6626c1.png