вы можете изучить и сравнить план выполнения с помощью

EXPLAIN select * from table where random() < 0.01;
EXPLAIN select * from table order by random() limit 1000;

быстрый тест на большом столе¹ показывает, что ORDER BY сначала сортирует всю таблицу, а затем выбирает первые 1000 элементов. Сортировка большой таблицы не только считывает эту таблицу, но также включает чтение и запись временных файлов. Элемент where random() < 0.1 только сканирует всю таблицу один раз.

для больших таблиц это может быть не то, что вы хотите, так как даже одно полное сканирование таблицы может это займет много времени.

третье предложение было бы

select * from table where random() < 0.01 limit 1000;

Это один останавливает сканирование таблицы, как только 1000 строк были найдены и, следовательно, возвращается раньше. Конечно, это немного заболачивает случайность, но, возможно, это достаточно хорошо в вашем случае.

Edit: кроме этого соображения, вы можете проверить уже заданные вопросы для этого. Используя запрос [postgresql] random возвращает довольно много просмотров.

• быстрая случайный выбор строк в Postgres
• как получить рандомизированные строки данных из таблицы postgreSQL?
• postgres: получить случайные записи из таблицы-слишком медленно

и связанная статья depez, описывающая еще несколько подходов:

• http://www.depesz.com/index.php/2007/09/16/my-thoughts-on-getting-random-row/

---

¹ "большой", как в"полная таблица не поместится в память".

postgresql order BY random (), выберите строки в случайном порядке:

select your_columns from your_table ORDER BY random()

postgresql order BY random () with a distinct:

select * from 
  (select distinct your_columns from your_table) table_alias
ORDER BY random()

порядок postgresql по случайному ограничению одной строки:

select your_columns from your_table ORDER BY random() limit 1

начиная с PostgreSQL 9.5, есть новый синтаксис, посвященный получению случайных элементов из таблицы:

SELECT * FROM mytable TABLESAMPLE SYSTEM (5);

этот пример даст вам 5% элементов от mytable.

Смотрите больше объяснений на этом блоге:http://www.postgresql.org/docs/current/static/sql-select.html

тот, у кого есть ордер BY, будет медленнее.

select * from table where random() < 0.01; идет запись за записью, и решает случайным образом фильтровать его или нет. Это будет O(N) потому что ему нужно только проверить каждую запись один раз.

select * from table order by random() limit 1000; собирается отсортировать всю таблицу, а затем выбрать первую 1000. Помимо любой магии вуду за кулисами, порядок является O(N * log N).

обратная сторона random() < 0.01 заключается в том, что вы получите переменное число выходных учетная документация.

---

обратите внимание, что есть лучший способ перетасовки набора данных, чем сортировка случайным образом:Фишер-Йейтс Перемешать, который работает в O(N). Однако реализация перетасовки в SQL звучит довольно сложно.

вот решение, которое работает для меня. Я думаю, что это очень просто понять и выполнить.

SELECT 
  field_1, 
  field_2, 
  field_2, 
  random() as ordering
FROM 
  big_table
WHERE 
  some_conditions
ORDER BY
  ordering 
LIMIT 1000;

select * from table order by random() limit 1000;

если вы знаете, сколько строк вы хотите, проверить tsm_system_rows.

tsm_system_rows

модуль предоставляет метод выборки таблиц SYSTEM_ROWS, который может быть использован в предложении TABLESAMPLE команды SELECT.

этот метод выборки таблиц принимает один целочисленный аргумент, который является максимальным числом строк для чтения. Полученный образец всегда будет содержать ровно столько строк, если только таблица не содержит достаточного количества строк, в этом случае выбирается вся таблица. как и встроенный метод выборки системы, SYSTEM_ROWS выполняет выборку на уровне блоков, так что выборка не является полностью случайной, но может подвергаться эффектам кластеризации, особенно если запрашивается только небольшое количество строк.

Сначала установите расширение

CREATE EXTENSION tsm_system_rows;

затем ваш запрос,

SELECT *
FROM table
TABLESAMPLE SYSTEM_ROWS(1000);

Если вы хотите только одну строку, вы можете использовать вычисляемый offset полученные от count.

select * from table_name limit 1
offset floor(random() * (select count(*) from table_name));

вариация материализованного представления "возможная альтернатива" изложенные Эрвин Брандштеттер возможно.

скажем, например, что вы не хотите дубликатов в рандомизированных значениях, которые возвращаются. Таким образом, вам нужно будет установить логическое значение в первичной таблице, содержащей ваш (неслучайный) набор значений.

предполагая, что это входная таблица:

id_values  id  |   used
           ----+--------
           1   |   FALSE
           2   |   FALSE
           3   |   FALSE
           4   |   FALSE
           5   |   FALSE
           ...

заполнить ID_VALUES таблицы по мере необходимости. Затем, как описано Эрвин, создайте материализованное представление, которое рандомизирует ID_VALUES после:

CREATE MATERIALIZED VIEW id_values_randomized AS
  SELECT id
  FROM id_values
  ORDER BY random();

обратите внимание, что материализованное представление не содержит столбце, потому что это быстро станет устаревшим. Также представление не должно содержать другие столбцы, которые могут быть в id_values таблица.

чтобы получить (и" потреблять") случайные значения, используйте UPDATE-RETURNING on id_values выбор id_values С id_values_randomized с соединением и применением необходимых критериев для получения только соответствующие возможности. Например:

UPDATE id_values
SET used = TRUE
WHERE id_values.id IN 
  (SELECT i.id
    FROM id_values_randomized r INNER JOIN id_values i ON i.id = r.id
    WHERE (NOT i.used)
    LIMIT 5)
RETURNING id;

изменить LIMIT при необходимости -- если вам нужно только одно случайное значение за раз, измените LIMIT до 1.

с соответствующими индексами на id_values, Я считаю, что обновление-возвращение должно выполняться очень быстро с небольшой нагрузкой. Он возвращает рандомизированные значения с одной базой данных туда и обратно. Критерии для" подходящих " строк могут быть настолько сложными, насколько это необходимо. Новые строки могут быть добавлены в id_values таблица в любое время, и они станут доступными для приложения, как только материализованное представление будет обновлено (которое, вероятно, может быть запущено в нерабочее время). Создание и обновление материализованного представления будет медленным, но оно должно выполняться только при добавлении новых идентификаторов в id_values таблица.

добавить столбец с именем r С типом serial. Индекс r.

предположим, что у нас есть 200 000 строк, мы будем генерировать случайное число n, где 0 n

выбрать строки с r > n сортировать ASC и выберите самый маленький.

код:

select * from YOUR_TABLE 
where r > (
    select (
        select reltuples::bigint AS estimate
        from   pg_class
        where  oid = 'public.YOUR_TABLE'::regclass) * random()
    )
order by r asc limit(1);

код не требует пояснений. Подзапрос в середине используется для быстрой оценки количества строк таблицы из https://stackoverflow.com/a/7945274/1271094 .

на уровне приложения вам нужно выполнить инструкцию еще раз, если n > количество строк или нужно выбрать несколько строк.

Я знаю, что немного опоздал на вечеринку, но я только что нашел этот удивительный инструмент под названием pg_sample:

pg_sample - извлечение небольшого образца набора данных из более крупной базы данных PostgreSQL при сохранении ссылочной целостности.

Я пробовал это с базой данных 350M строк, и это было очень быстро, не знаю о случайность.

./pg_sample --limit="small_table = *" --limit="large_table = 100000" -U postgres source_db | psql -U postgres target_db