UnicodeEncodeError: кодек 'latin-1' не может кодировать символ
что может быть причиной этой ошибки, когда я пытаюсь вставить чужой персонаж в базу данных?
>>UnicodeEncodeError: 'latin-1' codec can't encode character u'u201c' in position 0: ordinal not in range(256)
и как мне его решить?
спасибо!
8 ответов:
символ U + 201C левая двойная кавычка отсутствует в кодировке Latin-1 (ISO-8859-1).
Это и присутствует на кодовой странице 1252 (западноевропейский). Это кодировка для Windows, основанная на ISO-8859-1, но которая помещает дополнительные символы в диапазон 0x80-0x9F. кодовая страница 1252 часто путается с ISO-8859-1, и это раздражает, но теперь стандартное поведение веб-браузера, что если вы обслуживаете свои страницы как ISO-8859-1, браузер будет рассматривать их как вместо cp1252. Однако, они действительно являются двумя различными кодировками:
>>> u'He said \u201CHello\u201D'.encode('iso-8859-1') UnicodeEncodeError >>> u'He said \u201CHello\u201D'.encode('cp1252') 'He said \x93Hello\x94'Если вы используете свою базу данных только в качестве хранилища байтов, вы можете использовать cp1252 для кодирования
“и другие символы, присутствующие на западной кодовой странице Windows. Но все же другие символы Юникода, которых нет в cp1252, вызовут ошибки.можно использовать
encode(..., 'ignore')чтобы подавить ошибки, избавившись от символов, но на самом деле в этом веке вы должны использовать UTF-8 в обоих ваших база данных и ваши страницы. Эта кодировка позволяет использовать любой символ. Вы также должны в идеале сказать MySQL, что вы используете строки UTF-8 (установив соединение с базой данных и параметры сортировки по строковым столбцам), поэтому он может получить сравнение и сортировку без учета регистра.
я столкнулся с этой же проблемой при использовании модуля Python MySQLdb. Поскольку MySQL позволит вам хранить практически любые двоичные данные, которые вы хотите в текстовом поле, независимо от набора символов, я нашел свое решение здесь:
использование UTF8 с Python MySQLdb
Edit: цитата из приведенного выше URL, чтобы удовлетворить запрос в первом комментарии...
"UnicodeEncodeError:' latin-1 ' кодек не может кодировать символ ..."
Это потому что MySQLdb обычно пытается кодировать все на латинице-1. Это можно исправить, выполнив следующие команды сразу после вы установили соединение:
db.set_character_set('utf8') dbc.execute('SET NAMES utf8;') dbc.execute('SET CHARACTER SET utf8;') dbc.execute('SET character_set_connection=utf8;')" db " является результатом
MySQLdb.connect(), и " dbc " является результатомdb.cursor().
Я надеюсь, что ваша база данных по крайней мере UTF-8. Тогда вам нужно будет запустить
yourstring.encode('utf-8')прежде чем вы попытаетесь поместить его в базу данных.
лучшим решением
- установите кодировку mysql в 'utf-8'
нравится этот комментарий(добавить
use_unicode=Trueиcharset="utf8")db = MySQLdb.подключения(хост="локальный", пользователь = "корень", пароль = "" дБ = "столбцам", use_unicode=правда, кодировка="в формате utf8") – KyungHoon Ким марта 13 ' 14 at 17: 04
подробно см. :
class Connection(_mysql.connection): """MySQL Database Connection Object""" default_cursor = cursors.Cursor def __init__(self, *args, **kwargs): """ Create a connection to the database. It is strongly recommended that you only use keyword parameters. Consult the MySQL C API documentation for more information. host string, host to connect user string, user to connect as passwd string, password to use db string, database to use port integer, TCP/IP port to connect to unix_socket string, location of unix_socket to use conv conversion dictionary, see MySQLdb.converters connect_timeout number of seconds to wait before the connection attempt fails. compress if set, compression is enabled named_pipe if set, a named pipe is used to connect (Windows only) init_command command which is run once the connection is created read_default_file file from which default client values are read read_default_group configuration group to use from the default file cursorclass class object, used to create cursors (keyword only) use_unicode If True, text-like columns are returned as unicode objects using the connection's character set. Otherwise, text-like columns are returned as strings. columns are returned as normal strings. Unicode objects will always be encoded to the connection's character set regardless of this setting. charset If supplied, the connection character set will be changed to this character set (MySQL-4.1 and newer). This implies use_unicode=True. sql_mode If supplied, the session SQL mode will be changed to this setting (MySQL-4.1 and newer). For more details and legal values, see the MySQL documentation. client_flag integer, flags to use or 0 (see MySQL docs or constants/CLIENTS.py) ssl dictionary or mapping, contains SSL connection parameters; see the MySQL documentation for more details (mysql_ssl_set()). If this is set, and the client does not support SSL, NotSupportedError will be raised. local_infile integer, non-zero enables LOAD LOCAL INFILE; zero disables autocommit If False (default), autocommit is disabled. If True, autocommit is enabled. If None, autocommit isn't set and server default is used. There are a number of undocumented, non-standard methods. See the documentation for the MySQL C API for some hints on what they do. """
вы пытаетесь сохранить кодовую точку Юникода
\u201cс помощью кодировкиISO-8859-1 / Latin-1это не может описать эту кодовую точку. Либо вам может потребоваться изменить базу данных для использования utf-8 и сохранить строковые данные с использованием соответствующей кодировки, либо вы можете очистить свои входные данные до хранения содержимого; т. е. с помощью что-то вроде превосходного руководства i18n Сэма Руби. Это говорит о проблемах, которыеwindows-1252может вызвать, и предлагает, как его обработать, плюс ссылки на образец код!
пользователи SQLAlchemy могут просто указать свое поле как
convert_unicode=True.пример:
sqlalchemy.String(1000, convert_unicode=True)SQLAlchemy просто принимает объекты unicode и возвращает их обратно, обрабатывая саму кодировку.
латинский-1 (ака ISO 8859-1) - это схема кодирования символов с одним октетом, и вы не можете соответствовать
\u201c(“) в байт.вы хотели использовать кодировку UTF-8?
Python: вам нужно будет добавить # - * - кодирование: UTF-8 - * - (удалите пробелы вокруг * ) к первой строке файла python. а затем добавьте в текст для кодирования следующее:.encode ('ascii','xmlcharrefreplace'). Это заменит все символы юникода на его эквивалент ASCII.
Comments