Python：’ascii’编解码器不能编码字符

2019年8月3日 172次阅读

我使用以下代码来刮取包含日文字符的网页：

import urllib2
import bs4
import time

url = 'http://www.city.sapporo.jp/eisei/tiiki/toban.html'

pagecontent = urllib2.urlopen(url)
soup = bs4.BeautifulSoup(pagecontent.read().decode("utf8"))

print(soup.prettify())
print(soup)

在某些机器中,代码工作正常,最后两个语句成功打印结果.
但是,在某些机器中,最后一个语句会出错

UnicodeEncodeError 'ascii' codec can't encode characters in position 485-496: ordinal not in range(128),

最后一个语句打印所有日文字符的奇怪方块.

为什么两台机器的相同代码工作方式不同？我怎样才能解决这个问题？

Python版本2.6.6

bs4版本：4.1.0

最佳答案 您需要正确配置您的环境区域设置;一旦你的语言环境被设置,Python将在打印到终端时自动拾取它.

使用locale命令检查您的语言环境：

$locale
LANG="en_GB.UTF-8"
LC_COLLATE="en_US.UTF-8"
LC_CTYPE="en_US.UTF-8"
LC_MESSAGES="en_US.UTF-8"
LC_MONETARY="en_US.UTF-8"
LC_NUMERIC="en_US.UTF-8"
LC_TIME="en_US.UTF-8"
LC_ALL="en_US.UTF-8"

请注意我的语言环境设置中的.UTF-8;它告诉终端中运行的程序我的终端使用UTF-8编解码器,支持所有Unicode.

您可以使用LANG环境变量一步设置所有语言环境：

export LANG="en_US.UTF-8"

使用UTF-8编解码器进行美国语言环境(如何打印日期和数字).确切地说,LC_CTYPE设置用于输出编解码器,而输出编解码器默认为LANG值.

另见UTF-8 and Unicode FAQ for Unix/Linux非常全面.

点赞