Способ уменьшения результирующего набора до того, как его данные будут перечислены через
У меня есть таблица ORACLE с несколькими миллионами строк данных. Один из атрибутов имеет тип DATE. Мне нужно выбрать по этой таблице, используя этот атрибут даты в функции. Функция сообщает мне, какие строки соответствуют моим критериям. Проблема в том, что когда я выполняю этот запрос, он должен передать каждую строку в таблице через функцию (очевидно), чтобы определить, какие строки совпадают. Это ни в малейшей степени не работает хорошо. Я пытаюсь найти хорошее решение, чтобы сделать этот процесс более эффективным быстрее.
Вот пара идей, которые я собирался попробовать:
- создайте представление с подмножеством данных, а затем передайте эти строки в
функция. - сбрасывает подмножество данных в новую отдельную таблицу, а затем передает эти строки в функцию.
- создайте материализованное представление с подмножеством данных, а затем передайте эти строки в функцию.
Я должен также упомянуть, что я не могу добавить много к предложению WHERE, чтобы уменьшить результат, только эту дату и использование этой функции.
Любые мнения о них или о чем-то, что кто-то другой использовал с успехом, были бы великолепны. Решение SQL было бы моим первым выбором, если это возможно.
EDIT
Функция:
FUNCTION add_business_days (in_date IN DATE, in_number_of_days IN NUMBER,in_skip_fridays IN number DEFAULT 0,in_skip_bank_holidays IN NUMBER DEFAULT 0)
RETURN DATE
IS
v_return_date DATE := in_date;
BEGIN
FOR i IN 1..in_number_of_days
LOOP
v_return_date := next_business_day(v_return_date,in_skip_fridays,in_skip_bank_holidays);
END LOOP;
RETURN v_return_date;
END;
Функция называется так:
SELECT *
FROM tableA
WHERE tableA.begin_dt < TRUNC(SYSDATE)
AND CUBS_DATE_PKG.add_business_days(file_dt,15) = TRUNC(SYSDATE)
Функция next_business_day
FUNCTION NEXT_BUSINESS_DAY (in_date DATE)
RETURN DATE IS
v_next_day DATE;
--set up the holidays
c_new_years_day CONSTANT DATE := holiday_observed(TRUNC(in_date,'YYYY'));
c_next_new_year CONSTANT DATE := holiday_observed(TRUNC(ADD_MONTHS(in_date,12),'YYYY'));
c_mlk_day CONSTANT DATE := first_weekday(TRUNC(in_date,'YYYY'),'MONDAY') + 14;
c_presidents_day CONSTANT DATE := first_weekday(ADD_MONTHS(TRUNC(in_date,'YYYY'),1),'MONDAY')+14;
c_memorial_day CONSTANT DATE := first_weekday(ADD_MONTHS(TRUNC(in_date,'YYYY'),5),'MONDAY')-7;
c_july_4 CONSTANT DATE := holiday_observed(TO_DATE('04-JUL-'||TO_CHAR(in_date,'YYYY'),'DD-MON-YYYY'));
c_pioneer_day CONSTANT DATE := holiday_observed(TO_DATE('24-JUL-'||TO_CHAR(in_date,'YYYY'),'DD-MON-YYYY'));
c_labor_day CONSTANT DATE := first_weekday(ADD_MONTHS(TRUNC(in_date,'YYYY'),8),'Monday');
c_veterans_day CONSTANT DATE := holiday_observed(TO_DATE('11-NOV-'||TO_CHAR(in_date,'YYYY'),'DD-MON-YYYY'));
c_thanksgiving CONSTANT DATE := first_weekday(ADD_MONTHS(TRUNC(in_date,'YYYY'),10),'THURSDAY')+21;
c_christmas CONSTANT DATE := holiday_observed(TO_DATE('25-DEC-'||TO_CHAR(in_date,'YYYY'),'DD-MON-YYYY'));
BEGIN
IF LTRIM(RTRIM(TO_CHAR(in_date,'DAY'))) IN ('FRIDAY','SATURDAY','SUNDAY')
THEN
v_next_day := NEXT_DAY(in_date,'MONDAY');
ELSE
v_next_day := in_date + 1;
END IF;
v_next_day := TRUNC(v_next_day);
--now, we have to check to see if v_next_day falls on a holiday
IF v_next_day IN (c_new_years_day, c_next_new_year, c_mlk_day, c_presidents_day,
c_memorial_day,c_july_4, c_pioneer_day, c_labor_day,
c_veterans_day,c_thanksgiving, c_christmas)
THEN
v_next_day := next_business_day(v_next_day);
END IF;
RETURN TRUNC(v_next_day);
END next_business_day;
Решение:
Я печатаю решение здесь, потому что не было точного решения, данного другими, однако, @JustinCave дал правильное решение. концепция. Все сводилось к тому, чтобы сделать функцию детерминированной. Поэтому я просто обернул существующую функцию в новую, детерминированную функцию. Затем я создал индекс для этой функции в нужной таблице. Теперь он работает меньше секунды, с 22 минут. Кроме того, я использовал формулу @Sebas, чтобы уменьшить результирующий набор.
CREATE OR REPLACE FUNCTION deter_add_business_days (p_date DATE,p_days NUMBER)
RETURN DATE
DETERMINISTIC
IS
BEGIN
RETURN cubs_owner.cubs_date_pkg.add_business_days (p_date, p_days);
END;
3 ответов:
Является ли функция детерминированной? Если да, то обозначен ли он как детерминированный? Может ли он быть частью индекса на основе функций в таблице?
Если вы можете определить подмножество данных, которые вы можете использовать, а не запрашивать всю таблицу, это означает, что есть некоторые дополнительные предикаты, которые вы можете применить в своем запросе. Любые условия, которые вы применяете для создания представления / материализованного представления / отдельной таблицы, по-видимому, будут уместны для добавления в качестве предикатов к вашему запросу.
Функция next_business_day:
IF LTRIM (RTRIM(TO_CHAR(in_date, 'DAY'))) IN ('FRIDAY', 'SATURDAY', 'SUNDAY') = > пропустить LTRIM/RTRIM? Поскольку вы имеете дело с предварительно сформированными днями oracle, вам, вероятно, не нужно удалять пробелы
Вернуть TRUNC(v_next_day); = > Транк не нужен, вы просто сделали это несколькими строками выше
Хорошо, это очень маленькие вещи, но умноженные на миллионы...
Для запроса, я предлагаю придумал это маленький хак: поскольку у вас есть только 11 праздников, вы можете быть уверены, что возвращаемые строки должны иметь их
file_dtниже или равны TRUNC(SYSDATE) + 7*(15+11)/5 дни. Блок pl / sql может выглядеть следующим образом:DECLARE TYPE T_IDS IS TABLE OF tableA.id%TYPE; arrDays T_IDS; iDays NUMBER := 15; BEGIN --reduce the amount of rows the gross way: SELECT tableA.id BULK COLLECT INTO arrDays FROM tableA WHERE tableA.begin_dt < TRUNC(SYSDATE) AND tableA.file_dt <= (TRUNC(SYSDATE) + FLOOR(7*(iDays+11)/5))); --use the reduced recordset against the businessdays validation to retrieve --correct rows: --here you ahve to store/process the results the way you want SELECT t2.* FROM TABLE (CAST(arrDays) AS T_IDS) t1 INNER JOIN tableA t2 ON t1.column_value = t2.id WHERE CUBS_DATE_PKG.add_business_days(t2.file_dt, iDays) = TRUNC(SYSDATE); END;Я его вообще не тестировал, извиняюсь за возможные ошибки. Ура
Было бы очень дешево иметь таблицу государственных праздников и таблицу, которая дает следующий рабочий день, основанный на каждом дне в году (годах), полученном частично из этого. Затем ваш запрос может включать дешевое соединение с этой таблицей и больше никаких функций.
Comments