Способ уменьшения результирующего набора до того, как его данные будут перечислены через



У меня есть таблица ORACLE с несколькими миллионами строк данных. Один из атрибутов имеет тип DATE. Мне нужно выбрать по этой таблице, используя этот атрибут даты в функции. Функция сообщает мне, какие строки соответствуют моим критериям. Проблема в том, что когда я выполняю этот запрос, он должен передать каждую строку в таблице через функцию (очевидно), чтобы определить, какие строки совпадают. Это ни в малейшей степени не работает хорошо. Я пытаюсь найти хорошее решение, чтобы сделать этот процесс более эффективным быстрее.



Вот пара идей, которые я собирался попробовать:




  1. создайте представление с подмножеством данных, а затем передайте эти строки в
    функция.

  2. сбрасывает подмножество данных в новую отдельную таблицу, а затем передает эти строки в функцию.

  3. создайте материализованное представление с подмножеством данных, а затем передайте эти строки в функцию.


Я должен также упомянуть, что я не могу добавить много к предложению WHERE, чтобы уменьшить результат, только эту дату и использование этой функции.



Любые мнения о них или о чем-то, что кто-то другой использовал с успехом, были бы великолепны. Решение SQL было бы моим первым выбором, если это возможно.

EDIT
Функция:



FUNCTION add_business_days (in_date IN DATE, in_number_of_days IN NUMBER,in_skip_fridays IN number DEFAULT 0,in_skip_bank_holidays IN NUMBER DEFAULT 0)
RETURN DATE
IS
v_return_date DATE := in_date;
BEGIN
FOR i IN 1..in_number_of_days
LOOP
v_return_date := next_business_day(v_return_date,in_skip_fridays,in_skip_bank_holidays);
END LOOP;
RETURN v_return_date;
END;


Функция называется так:



SELECT * 
FROM tableA
WHERE tableA.begin_dt < TRUNC(SYSDATE)
AND CUBS_DATE_PKG.add_business_days(file_dt,15) = TRUNC(SYSDATE)


Функция next_business_day



FUNCTION NEXT_BUSINESS_DAY (in_date DATE) 
RETURN DATE IS
v_next_day DATE;
--set up the holidays
c_new_years_day CONSTANT DATE := holiday_observed(TRUNC(in_date,'YYYY'));
c_next_new_year CONSTANT DATE := holiday_observed(TRUNC(ADD_MONTHS(in_date,12),'YYYY'));
c_mlk_day CONSTANT DATE := first_weekday(TRUNC(in_date,'YYYY'),'MONDAY') + 14;
c_presidents_day CONSTANT DATE := first_weekday(ADD_MONTHS(TRUNC(in_date,'YYYY'),1),'MONDAY')+14;
c_memorial_day CONSTANT DATE := first_weekday(ADD_MONTHS(TRUNC(in_date,'YYYY'),5),'MONDAY')-7;
c_july_4 CONSTANT DATE := holiday_observed(TO_DATE('04-JUL-'||TO_CHAR(in_date,'YYYY'),'DD-MON-YYYY'));
c_pioneer_day CONSTANT DATE := holiday_observed(TO_DATE('24-JUL-'||TO_CHAR(in_date,'YYYY'),'DD-MON-YYYY'));
c_labor_day CONSTANT DATE := first_weekday(ADD_MONTHS(TRUNC(in_date,'YYYY'),8),'Monday');
c_veterans_day CONSTANT DATE := holiday_observed(TO_DATE('11-NOV-'||TO_CHAR(in_date,'YYYY'),'DD-MON-YYYY'));
c_thanksgiving CONSTANT DATE := first_weekday(ADD_MONTHS(TRUNC(in_date,'YYYY'),10),'THURSDAY')+21;
c_christmas CONSTANT DATE := holiday_observed(TO_DATE('25-DEC-'||TO_CHAR(in_date,'YYYY'),'DD-MON-YYYY'));

BEGIN
IF LTRIM(RTRIM(TO_CHAR(in_date,'DAY'))) IN ('FRIDAY','SATURDAY','SUNDAY')
THEN
v_next_day := NEXT_DAY(in_date,'MONDAY');
ELSE
v_next_day := in_date + 1;
END IF;

v_next_day := TRUNC(v_next_day);
--now, we have to check to see if v_next_day falls on a holiday
IF v_next_day IN (c_new_years_day, c_next_new_year, c_mlk_day, c_presidents_day,
c_memorial_day,c_july_4, c_pioneer_day, c_labor_day,
c_veterans_day,c_thanksgiving, c_christmas)
THEN
v_next_day := next_business_day(v_next_day);
END IF;
RETURN TRUNC(v_next_day);
END next_business_day;


Решение:



Я печатаю решение здесь, потому что не было точного решения, данного другими, однако, @JustinCave дал правильное решение. концепция. Все сводилось к тому, чтобы сделать функцию детерминированной. Поэтому я просто обернул существующую функцию в новую, детерминированную функцию. Затем я создал индекс для этой функции в нужной таблице. Теперь он работает меньше секунды, с 22 минут. Кроме того, я использовал формулу @Sebas, чтобы уменьшить результирующий набор.



CREATE OR REPLACE FUNCTION deter_add_business_days (p_date DATE,p_days NUMBER)
RETURN DATE
DETERMINISTIC
IS
BEGIN
RETURN cubs_owner.cubs_date_pkg.add_business_days (p_date, p_days);
END;
480   3  

3 ответов:

Является ли функция детерминированной? Если да, то обозначен ли он как детерминированный? Может ли он быть частью индекса на основе функций в таблице?

Если вы можете определить подмножество данных, которые вы можете использовать, а не запрашивать всю таблицу, это означает, что есть некоторые дополнительные предикаты, которые вы можете применить в своем запросе. Любые условия, которые вы применяете для создания представления / материализованного представления / отдельной таблицы, по-видимому, будут уместны для добавления в качестве предикатов к вашему запросу.

Функция next_business_day:

  • IF LTRIM (RTRIM(TO_CHAR(in_date, 'DAY'))) IN ('FRIDAY', 'SATURDAY', 'SUNDAY') = > пропустить LTRIM/RTRIM? Поскольку вы имеете дело с предварительно сформированными днями oracle, вам, вероятно, не нужно удалять пробелы

  • Вернуть TRUNC(v_next_day); = > Транк не нужен, вы просто сделали это несколькими строками выше

Хорошо, это очень маленькие вещи, но умноженные на миллионы...

Для запроса, я предлагаю придумал это маленький хак: поскольку у вас есть только 11 праздников, вы можете быть уверены, что возвращаемые строки должны иметь их file_dt ниже или равны TRUNC(SYSDATE) + 7*(15+11)/5 дни. Блок pl / sql может выглядеть следующим образом:

DECLARE
    TYPE T_IDS IS TABLE OF tableA.id%TYPE;
    arrDays T_IDS;
    iDays NUMBER := 15;
BEGIN
    --reduce the amount of rows the gross way:
    SELECT tableA.id BULK COLLECT INTO arrDays 
      FROM tableA 
     WHERE tableA.begin_dt < TRUNC(SYSDATE)
       AND tableA.file_dt <= (TRUNC(SYSDATE) + FLOOR(7*(iDays+11)/5)));

    --use the reduced recordset against the businessdays validation to retrieve
    --correct rows:
    --here you ahve to store/process the results the way you want
    SELECT t2.* 
      FROM TABLE (CAST(arrDays) AS T_IDS) t1
        INNER JOIN tableA t2 ON t1.column_value = t2.id
     WHERE CUBS_DATE_PKG.add_business_days(t2.file_dt, iDays) = TRUNC(SYSDATE);
END;

Я его вообще не тестировал, извиняюсь за возможные ошибки. Ура

Было бы очень дешево иметь таблицу государственных праздников и таблицу, которая дает следующий рабочий день, основанный на каждом дне в году (годах), полученном частично из этого. Затем ваш запрос может включать дешевое соединение с этой таблицей и больше никаких функций.

Comments

    Ничего не найдено.