Ошибка MySQL "неверное строковое значение" при сохранении строки unicode в Django

Question

Ошибка MySQL "неверное строковое значение" при сохранении строки unicode в Django

я получил странное сообщение об ошибке при попытке сохранить first_name, last_name для модели auth_user Django.

неудачные примеры

user = User.object.create_user(username, email, password)

user.first_name = u'Rytis'

user.last_name = u'Slatkevičius'

user.save()

>>> Incorrect string value: 'xC4x8Dius' for column 'last_name' at row 104



user.first_name = u'Валерий'

user.last_name = u'Богданов'

user.save()

>>> Incorrect string value: 'xD0x92xD0xB0xD0xBB...' for column 'first_name' at row 104



user.first_name = u'Krzysztof'

user.last_name = u'Szukiełojć'

user.save()

>>> Incorrect string value: 'xC5x82ojxC4x87' for column 'last_name' at row 104

преуспеть примеры

user.first_name = u'Marcin'

user.last_name = u'Król'

user.save()

>>> SUCCEED

настройки MySQL

mysql> show variables like 'char%';

+--------------------------+----------------------------+

| Variable_name            | Value                      |

+--------------------------+----------------------------+

| character_set_client     | utf8                       | 

| character_set_connection | utf8                       | 

| character_set_database   | utf8                       | 

| character_set_filesystem | binary                     | 

| character_set_results    | utf8                       | 

| character_set_server     | utf8                       | 

| character_set_system     | utf8                       | 

| character_sets_dir       | /usr/share/mysql/charsets/ | 

+--------------------------+----------------------------+

8 rows in set (0.00 sec)

таблица кодировки и сортировки

таблица auth_user имеет кодировку utf-8 с параметрами сортировки utf8_general_ci.

результаты обновления команда

он не вызывал никаких ошибок при обновлении вышеуказанных значений в таблицу auth_user с помощью команды UPDATE.

mysql> update auth_user set last_name='Slatkevičiusa' where id=1;

Query OK, 1 row affected, 1 warning (0.00 sec)

Rows matched: 1  Changed: 1  Warnings: 0



mysql> select last_name from auth_user where id=100;

+---------------+

| last_name     |

+---------------+

| Slatkevi?iusa | 

+---------------+

1 row in set (0.00 sec)

PostgreSQL

неудачные значения, перечисленные выше, могут быть обновлены в таблицу PostgreSQL, когда я переключил бэкэнд базы данных в Django. Это странно.

mysql> SHOW CHARACTER SET;

+----------+-----------------------------+---------------------+--------+

| Charset  | Description                 | Default collation   | Maxlen |

+----------+-----------------------------+---------------------+--------+

...

| utf8     | UTF-8 Unicode               | utf8_general_ci     |      3 | 

...

но от http://www.postgresql.org/docs/8.1/interactive/multibyte.html, я нашел следующее:

Name Bytes/Char

UTF8 1-4

означает ли это, что Unicode char имеет maxlen 4 байта в PostgreSQL, но 3 байта в MySQL, что вызвало выше ошибку?

738 8

mysql python django utf-8 unicode

8 ответов:

Comments

Ничего не найдено.

user27478 · Accepted Answer · 2016-01-04 16:59:08

у меня была такая же проблема, и я решил ее, изменив набор символов столбца. Даже если ваша база данных имеет стандартный набор символов utf-8 Я думаю, что столбцы базы данных могут иметь другой набор символов в MySQL. Вот SQL-запрос, который я использовал:
    ALTER TABLE database.table MODIFY COLUMN col VARCHAR(255)
    CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL;

donturner · Accepted Answer · 2014-05-01 00:07:56

ни один из этих ответов решить эту проблему для меня. Основной причиной является:

вы не можете хранить 4-байтовые символы в MySQL с набором символов utf-8.

MySQL имеет 3 байт ограничение на utf-8 символов (да, это ВАК,красиво подытожил разработчик Django здесь)

чтобы решить эту проблему вам нужно:

измените свою базу данных MySQL, таблицу и столбцы, чтобы использовать utf8 набор символов (доступно только с MySQL 5.5 и выше)

укажите кодировку в файле настроек Django, как показано ниже:

settings.py
DATABASES = {
    'default': {
        'ENGINE':'django.db.backends.mysql',
        ...
        'OPTIONS': {'charset': 'utf8'},
    }
}
Примечание: при воссоздании базы данных вы можете запустить в 'указанный ключ был слишком долго'.

наиболее вероятной причиной является CharField который имеет max_length 255 и какой-то индекс на нем (например, уникальный). Потому что utf8 использует на 33% больше места чем utf-8 вам нужно будет сделать эти поля на 33% меньше.

в этом случае измените max_length с 255 на 191.

вы можете измените конфигурацию MySQL, чтобы удалить это ограничениено не без некоторых Django hackery

обновление: Я просто столкнулся с этой проблемой снова и закончилось переключение на PostgreSQL потому что я не смог уменьшить свою VARCHAR до 191 символов.

madprops · Accepted Answer · 2012-08-06 01:35:28

Если у вас есть эта проблема, вот скрипт python для автоматического изменения всех столбцов вашей базы данных mysql.

#! /usr/bin/env python
import MySQLdb

host = "localhost"
passwd = "passwd"
user = "youruser"
dbname = "yourdbname"

db = MySQLdb.connect(host=host, user=user, passwd=passwd, db=dbname)
cursor = db.cursor()

cursor.execute("ALTER DATABASE `%s` CHARACTER SET 'utf8' COLLATE 'utf8_unicode_ci'" % dbname)

sql = "SELECT DISTINCT(table_name) FROM information_schema.columns WHERE table_schema = '%s'" % dbname
cursor.execute(sql)

results = cursor.fetchall()
for row in results:
  sql = "ALTER TABLE `%s` convert to character set DEFAULT COLLATE DEFAULT" % (row[0])
  cursor.execute(sql)
db.close()

Vanuan · Accepted Answer · 2014-05-21 22:57:05

Если это новый проект, я бы просто отбросил базу данных и создал новый с правильной кодировкой:
CREATE DATABASE <dbname> CHARACTER SET utf8;

jack · Accepted Answer · 2010-01-21 17:29:09

Я только что выяснил один метод, чтобы избежать вышеуказанных ошибок.

сохранить в базе данных
user.first_name = u'Rytis'.encode('unicode_escape')
user.last_name = u'Slatkevičius'.encode('unicode_escape')
user.save()
>>> SUCCEED

print user.last_name
>>> Slatkevi\u010dius
print user.last_name.decode('unicode_escape')
>>> Slatkevičius
Это единственный метод для сохранения таких строк в таблицу MySQL и декодирования ее перед рендерингом в шаблоны для отображения?

Wei An · Accepted Answer · 2011-11-02 17:54:06

вы можете изменить параметры сортировки вашего текстового поля на UTF8_general_ci и проблема будет решена.

обратите внимание, это не может быть сделано в Django.

Thomas Wouters · Accepted Answer · 2010-01-21 13:44:50

вы не пытаетесь сохранить строки unicode, вы пытаетесь сохранить bytestrings в кодировке UTF-8. Сделайте их фактическими строковыми литералами Юникода:
user.last_name = u'Slatkevičius'
или (когда у вас нет строковых литералов) декодируйте их с помощью кодировки utf-8:
user.last_name = lastname.decode('utf-8')

Rishabh Jhalani · Accepted Answer · 2018-08-13 15:41:40

просто изменить таблицу,не нужно ничего. просто запустите этот запрос в базе данных. ALTER TABLE table_nameпреобразовать в набор символов utf8

Это определенно будет работать.