使用etree.HTML的编码问题
title: 使用etree.HTML的编码问题
date: 2015-10-07 17:56:47
categories: [Python]
tags: [Python, lxml, Xpath]
---
出现问题
今天指导一个学生爬取新浪体育手机版的时候，发现lxml.etree.HTML处理网页源代码会默认修改编码，导致打印出来的内容为乱码。爬取的网址为： http://sports.sina.cn/nba/rockets/2015-10-07/detail-ifximrxn8235561.d.html?vt=4&pos=10
首先导入我们需要用到的库文件，然后设置环境：
#-*_coding:utf8-*- import requests from lxml import etree import sys reload(sys) sys.setdefaultencoding("utf-8")然后获取网页的源代码：
r = requests.get(url='http://sports.sina.cn/nba/rockets/2015-10-07/detail-ifximrxn8235561.d.html?vt=4&pos=10')# 最基本的GET请求 r.encoding = 'utf-8' r = r.content print r打印出网页源代码，发现中文是乱码，如图：
这是小问题，使用 Python字符编码的一个相对万能的处理方法 这篇文章中讲解的方法，轻松解决。
将：
r = r.content修改为:
r = r.content.decode('utf-8').encoding('gbk')可以正常显示中文，如图：
接下来，使用etree.HTML处理源代码，然后使用Xpath提取内容，一切似乎看起来轻车熟路。
contentTree = etree.HTML(r) title = contentTree.xpath('//h1[@class="art_title_h1"]/text()') print title[0]但是当我打印出来，才发现问题没有这么简单。如图：
这个时候，我发现使用 Python字符编码的一个相对万能的处理方法 讲到的办法已经不能解决问题了。
通过调试，我发现抓取到的内容是乱码：
解决办法
使用Scrapy
使用Scrapy的Xpath，正常提取需要的内容：
继续用etree
实际上，Scrapy的Xpath底层还是调用的lxml,那为什么它可以，而我直接使用lxml的etree.HTML处理源代码然后Xpath提取内容就出乱码呢？
显然这应该是编码的问题，在使用:
etree.HTML(r)处理源文件的时候，由于没有指定编码，所以它使用了一个默认编码，从而导致和UTF-8冲突，产生乱码。
经过查阅lxml.etree.HTML的文档，我发现etree.HTML有一个参数是parser,这个参数不是必须的，因此省略以后它就会自动使用一个默认的parser。既然如此，那我手动指定一个：
contentTree = etree.HTML(r, parser=etree.HTMLParser(encoding='utf-8'))这里我指定了etree.HTMLParser来作为一个parser,同时，etree.HTMLParser可以接受编码作为参数。于是我指定为UTF-8。
运行看看效果：
继续报错，但是出错信息改变了，提示utf8不能解码。请注意第11行，现在源代码是gbk编码，所以使用UTF-8不能解码。于是可以把第11行重新改回原来的样子：
r = r.content再一次运行，发现正常抓取信息：
总结
这一次的问题提示我们：遇到问题，通过经验解决不了的时候，请回归文档。
原文发表在： http://blog.kingname.info/2015/10/07/lxmlencoding/ 转载请注明出处！
正文到此结束
热门推荐
相关文章
近期评论
-
文章和留言都翻到11页了 没有OOM
-
-
朋友，翻页到11页，及以后，会出现OOM，无法访问
-
-
搞个gitee的项目
-
-
版本号是多少，你可以下载哪个代码仓库，jdk选1.8 直接跑就行
-
-
-
Loading...
![[HBLOG]公众号](https://www.liuhaihua.cn/img/qrcode_gzh.jpg)
