Фильтрование данных с помощью Envision — система оптимизации товарных запасов

Фильтрование данных с помощью Envision












Главная » Ресурсы » Здесь

Фильтрование данных — важнейший компонент коммерческой аналитики. Envision обеспечивает широкую поддержку данного процесса. Фильтрование вводится с помощью условий where и when, которые можно использовать для отсеивания либо больших блоков сценария, либо отдельных операторов. На данной странице вы найдете указания по практическому использованию этих средств.


Образец сценария

Давайте начнем с образца набора данных, который можно найти в папке /sample в вашей учетной записи Lokad. Сценарий, приведенный ниже, достаточно сложен, и он содержит некоторые образцы фильтров, доступные в Envision. Если вы еще не прочитали статью «Ведение расчетов с помощью Envision», мы рекомендуем сделать это, прежде чем обратиться к данной странице.
read "/sample/Lokad_Items.tsv"
read "/sample/Lokad_Orders.tsv" as Orders
show label "Filtering and Aggregating with Envision" a1f1 tomato
oend := max(Orders.Date)
when date > oend - 365
  LastYearQty = sum(Orders.Quantity)
  where StockOnHand + StockOnOrder > LastYearQty
    show table "Overstocked items, +1 year of stock" a2f3 tomato with 
      Id
      Name
      StockOnHand + StockOnOrder as "Stock"
      LastYearQty

  where Orders.NetAmount > 1000
    show table "Large transactions over $1000" a4f5 tomato with 
      Id
      Name 
      Orders.Date 
      Orders.Quantity
      Orders.NetAmount
      Orders.Client

when date >= monday(oend) - 52 * 7 & date < monday(oend)
  Week.sold := sum(Orders.NetAmount)
  show linechart "Sold by week{$}" a6f7 tomato with Week.sold
Для начала рекомендуем скопировать этот сценарий в вашу учетную запись Lokad и выполнить его, чтобы получить соответствующую панель управления. Если все сделано правильно, вы должны увидеть панель управления, показанную ниже.

Image

Блоки фильтров

Если пользователь начинает работать со всеми историческими данными, полученными не ранее одного года назад, то скорее всего, это потребует выполнения множества расчетов. В такой ситуации ко всем расчетам необходимо применить фильтр только за последний год (last year only). Поэтому в Envision фильтрование данных в основном происходит в блоках кода. Фрагмент сценария ниже имеет два вложенных блока фильтров. Первый блок начинается в 1-й строке с оператора when, а второй второй блок — в 3-й строке с оператора where.
when date > oend - 365
  LastYearQty = sum(Orders.Quantity)
  where StockOnHand + StockOnOrder > LastYearQty
    show table "Overstocked items, +1 year of stock" a2f3 tomato with
      Id
      Name
      StockOnHand + StockOnOrder as "Stock"
      LastYearQty
В языке Envision пробелы в начале строки играют большое значение. Несколько последовательных строк, начинающихся с одного и того же количества пробелов, называются блоком кода, и блоки могут вкладываться друг в друга (один блок может включать в себя другой блок).

Если вы впервые сталкиваетесь с такой структурой в программировании, она может показаться вам немного непонятной. Однако на практике редактор кода Envision неплохо помогает пользователю: когда вы нажимаете клавишу Enter в конце строки, содержащей фильтр, следующая строка автоматически начинается с двух пробелов.

Для разработчиков: Использование пробелов в Envision напоминает Python. Данный подход отлично совместим с Envision, где упор также делается на использование краткого синтаксиса для обработки данных. В Envision нет циклов и ветвлений, поэтому количество отступов редко превышает 3 уровня, что упрощает работу с пробелами на практике.

Блок фильтра начинается с условия (см. подробнее ниже), которое может быть истинным или ложным для любой строки любой таблицы. В пределах блока фильтра обрабатываются только те строки, для которых условие является истинным, тогда как все остальные строки отфильтровываются. Оператор when отвечает за фильтрацию по времени, он применим ко всем таблицам со столбцом Date. Оператор where обычно используется для фильтрации наименований, и при его использовании фильтр применяется ко всем таблицам со столбцом Id.

При вводе блока в сценарий Envision происходит отбор строк таблицы, удовлетворяющих условию. В противном случае, все остается как было, и любая часть сценария, которую можно записать вне блока, может быть перемещена в блок. В частности, в блоке можно задать еще один блок фильтра. Данная процедура называется вложением. В примере выше блок where, который начинается в третьей строке, вложен в блок when, который начинается в первой строке.

Создание условия

Условие — это выражение, которое может быть истинным или ложным. Понятие фильтрования основано на создании условий, которые оцениваются с помощью входящих данных и, возможно, с помощью результатов, полученных в ходе промежуточных вычислений. Envision позволяет создавать разнообразные условия, как показано в следующем сценарии:
when date >= monday(oend) - 52 * 7 & date < monday(oend)
  Week.sold := sum(Orders.NetAmount)
  show linechart "Sold by week{$}" a6f7 tomato with Week.sold
В данном сегменте оператор and говорит о том, что оба выражения, слева и справа от оператора, должны быть истинными. Логические операторы, поддерживаемые Envision, включают в себя следующее: and, or и not. Кроме того, числа можно сравнивать с помощью числовых операторов: == (равенство), != (неравенство), <= (меньше или равно), >= (больше или равно), < (меньше), > (больше). В следующем сегменте кода показано, как эти операторы сочетаются и оцениваются.
a := 1 > 10 // false
b := not a // true
c := a | b // true
d := a & b // false
e := 10 >= 3 | 5 > 7 // true
show table "Conditions" with a, b, c, d, e
Если один блок фильтра вложен в другой блок фильтра, это равносильно использованию оператора and с двумя условиями, помещенными слева и справа от оператора and.

В примере выше можно заметить сегмент monday(oend). Это вызов функции с именем monday. Данная функция возвращает дату последнего понедельника, который наступает не позже даты, указанной в качестве аргумента (включая ее). Таким образом, если в качестве аргумента указан понедельник, функция вернет ту же самую дату.

Данная функция monday() используется для определения временного периода, состоящего из целых недель (вместо неполных недель). При выполнении еженедельного объединения данных должны использоваться только целые недели, в противном случае значения за первый и последний временной период могут быть необъективно низкими только по той причине, что учитываются неполные недели.

Фильтрование таблиц по дате

Envision позволяет фильтровать данные таблиц с помощью разнообразных временных условий. В сценарии, приведенном выше, применен фильтр строк, которым более 1 года. Давайте подробно рассмотрим соответствующий сегмент сценария.
oend := max(Orders.Date)
when date > oend - 365
  LastYearQty = sum(Orders.Quantity)
Envision обрабатывает даты как количество дней в виде целых чисел, начиная с 1 января 2001 года. Это дает системе определенные преимущества, включая выполнение арифметических действий с датами. Например, вычитание 7 дней из определенной даты дает вам соответствующую дату на предыдущей неделе, а вычитание 365 дней — дату (приблизительную) в прошлом году.

Ключевое слово date работает особым образом. Переменная date ссылается на все таблицы, в которых есть столбец Date. В данном случае используется только одна таблица, Orders, так что мы могли бы написать Orders.Date > oend - 365. Однако синтаксис date не только более краткий, он также применяется ко всем актуальным таблицам сразу. Если вместо объема продаж нам нужно было бы использовать объем закупок, мы могли бы прописать сценарий следующим образом:
read "/sample/Lokad_PurchaseOrders.tsv" as PO // загрузка файла PurchaseOrders

// опущено

when date > oend - 365
  LastYearQty = sum(PO.Quantity)

Фильтр наименований

Помимо фильтрования строк по дате Envision также позволяет фильтровать наименования, что также часто требуется, когда пользователь хочет исключить какие-либо продукты, организации, категории и т. д. Сценарий, приведенный в начале данной страницы, показывает, как можно ограничить список наименований теми, которые попадают в категорию неликвидных. Соответствующие строки показаны ниже.
  where StockOnHand + StockOnOrder > LastYearQty
    show table "Overstocked items, +1 year of stock" a2f3 tomato with
      Id
      Name
      StockOnHand + StockOnOrder as "Stock"
      LastYearQty
Условие вводится после ключевого слова where. Условие применяется к трем векторам, которые принадлежат таблице Items. Это единственная таблица, имя которой не нужно указывать в виде префикса перед именем переменной. Например, при работе с таблицей Orders нужно прописывать выражение Orders.NetAmount, а не только NetAmount. Условие можно прочитать следующим образом: включать только наименования, для которых сумма наличных запасов и заказанных запасов больше, чем количество наименований, проданных за прошлый год.

Когда условие для таблицы Items задано, все таблицы, имеющие столбец Id — то есть идентификаторы наименований в строках в соответствии с требованиями Envision — фильтруются таким же образом. Данная функция работает точно так же, как фильтрование по времени, описанное выше. При применении фильтра наименований не имеет смысла сохранять строки, содержащие данные о продажах или закупках, которые больше не привязаны к наименованиям, так как эти наименования были отфильтрованы.

Фильтр наименований влияет на определение области заново рассчитанных векторов. Проиллюстрируем эту мысль небольшим примером.
where StockOnHand > 5
  GreaterThanFive = "yes"
  show table "Hello" with Name, GreaterThanFive // ВЕРНО!
// начиная с этой строки мы вышли из блока фильтра
show table "Hello" with Name, GreaterThanFive // WRONG!
В пятой строке присутствует ошибка, потому что вектор GreaterThanFive был определен только в строках, где условие StockOnHand > 5 истинно. Таким образом, этот вектор правильно задан в пределах блока, и потому он может быть использован, как показано в 3-й строке, однако данный вектор нельзя использовать вне блока фильтра, потому что некоторые его значения останутся неопределенными. Данную ситуацию можно исправить, надлежащим образом определив вектор для всех значений наименований, как показано ниже.
GreaterThanFive = "no"
where StockOnHand > 5
  GreaterThanFive = "yes"
  show table "Hello" with Name, GreaterThanFive // ВЕРНО!
// начиная с этой строки мы вышли из блока фильтра
show table "Hello" with Name, GreaterThanFive // ВЕРНО!
Этот сегмент начинается с определения вектора GreaterThanFive для всех наименований (первая строка). Данное определение повторяется в третьей строке для подгруппы наименований. Однако этот повтор не влияет на то, что вектор GreaterThanFive открыто задан для всех наименований, и в результате задача отображения в шестой строке теперь не имеет ошибок.

Фильтрование произвольных таблиц

Фильтрование дат и наименований очень полезно, однако иногда требуется точное фильтрование конкретной таблицы. Эта задача также может быть выполнена с помощью ключевого слова where. Рассмотрим строки, которые иллюстрируют эту возможность Envision.
  where Orders.NetAmount > 1000
    show table "Large transactions over $1000" a4f5 tomato with
      Id
      Name
      Orders.Date
      Orders.Quantity
      Orders.NetAmount
      Orders.Client
Здесь мы фильтруем таблицу Orders, исключая все строки таблицы со значениями менее 1000 долларов. Строки, которые не отфильтровываются, отображаются с помощью оператора show table во второй и третьей строках. Пример показывает, как одна таблица может быть отфильтрована. Данный фильтр влияет только на таблицу Orders, и данное условие не применяется к остальным таблицам.

Если вектор, привязанный к таблице Orders, рассчитывается в пределах блока фильтра, то доступ к этому вектору ограничен непосредственно самим блоком. Мы уже наблюдали подобное поведение при работе с наименованиями. Рассмотрим теперь, как система работает с произвольными таблицами в таких ситуациях.
where Orders.NetAmount > 1000
  Orders.LargeTxn = "yes"
  show table "Large transactions" with Name, Orders.LargeTxn // ВЕРНО!
  // последняя строка блока
// отсуп отсутствует, так как блок закончился
show table "Large transactions" with Name, Orders.LargeTxn // НЕВЕРНО!
Вектор Orders.LargeTxn не задан для всех строк таблицы Orders, поэтому верной является только третья строка, а пятая строка неверна. Также как и в предыдущем примере, сценарий можно исправить, определив надлежащим образом значение LargeTxn для всей таблицы Orders. Это можно сделать с помощью сценария, приведенного ниже.
Orders.LargeTxn = "no"
where Orders.NetAmount > 1000
  Orders.LargeTxn = "yes"
  show table "Large transactions" with Name, Orders.LargeTxn // ВЕРНО!
  // последняя строка блока
// отсуп отсутствует, так как блок закончился
show table "Large transactions" with Name, Orders.LargeTxn // ВЕРНО!
Как правило, Envision стремится блокировать «утечки»: вектор, рассчитанный в пределах блока, можно использовать вне его при условии, что это не нарушает правило открытого определения всех значений вектора, если вектор указан справа от оператора присваивания.

Синтаксические приемы для фильтрования

Синтаксис Envision для фильтрования (называется filter-and-indent) — короткий и простой, однако при использовании различных фильтров сценарий со множеством отступов сложно расшифровать. Именно поэтому в Envision появились специальные синтаксические приемы, альтернативные варианты синтаксиса, для которых не требуется много отступов. Они рассматриваются в данном разделе.

Пропуск отступов при использовании нескольких фильтров

Для раздельного использования фильтров в Envision необходимо добавить 1 дополнительный отступ. Если важен лишь последний (внутренний) фильтр, то можно использовать лишь один отступ (см. пример):
// все фильтры «where» имеют собственный отступ
where Orders.Quantity > 10
  where StockOnHand < 100
    show table "Filtered orders" with Orders.Quantity

// при использовании нескольких фильтров требуется лишь один отступ
where Orders.Quantity > 10
where StockOnHand < 100 // здесь отступа нет!
  show table "Filtered orders" with Orders.Quantity
Второй блок имеет ту же семантику, что и первый, но для него требуется лишь один отступ. В общем виде синтаксис выглядит так:
where A
  when B
    where C
      show table "Filtered by A, B and C" with X
// то же самое
where A
when B
where C
  show table "Filtered by A, B and C" with X

Объединение фильтров с помощью ключевого слова and

Мы уже видели, что в Envision логический оператор И представлен символом &. Тем не менее в Envision также есть ключевое слово and, которое имеет немного другую семантику:
// два вложенных фильтра «where»
where Orders.NetAmount > 1000 
  where StockOnHand > 10
    show table "Filtered transactions" with Name, Orders.Quantity

// можно переписать как единый фильтр с помощью ключевого слова «and»
where Orders.NetAmount > 1000 and StockOnHand > 10
  show table "Filtered transactions" with Name, Orders.Quantity
Ключевое слово and является строго эквивалентным при использовании фильтров where. С помощью ключевого слова and можно последовательно вводить различные фильтры, используя при этом лишь один отступ. В общем виде мы имеем следующее:
where A
  where B
   where C
     // опущено

// можно переписать
where A and B and C
  // опущено
На практике ключевое слово and позволяет совмещать различные фильтры, которые не нужно использовать по-отдельности.

Нулевой отступ (ключевое слово keep)

Очень часто при составлении сценариев фильтры прописываются в самом начале, чтобы ограничить масштаб анализа данных Синтаксис фильтров в Envision достаточно хорошо работает в данных ситуациях, однако в результате весь сценарий Envision будет иметь отступы на один-два уровня. Ключевое слово keep позволяет убрать отступы:
// с фильтра «where» начинается блок с отступом
where Orders.Quantity > 10
  // начало блока
  show table "Inside the filter" with sum(Orders.Quantity)
  // конец блока
show table "Outside the filter" with sum(Orders.Quantity)

// при использовании оператора «keep» фильтры применяются без отступов
keep where Orders.Quantity > 10
show table "Inside the filter" with sum(Orders.Quantity)
Ключевое слово keep нужно ставить перед where или when, так как оно показывает, что фильтр применяется без отступов. Фильтр остается активным до конца заданного диапазона данных.
where A
  keep where B
  show table "Filtered by A and B" with X
  // конец фильтров А и В
show table "Not filtered" with X
Таким образом, если keep прописать в строке сценария без отступа, то фильтр применяется до самого конца сценария.

Суффигированные строчные фильтры

Пока что мы рассматривали фильтры, заданные в виде блоков фильтров. Однако Envision также позволяет использовать иные, более компактные конструкции, которые называются условными суффиксами. Вернемся к расчету объема продаж за прошлый год.
when date > oend - 365
  LastYearQty = sum(Orders.Quantity)
Этот сценарий можно прописать следующим образом:
LastYearQty = sum(Orders.Quantity) when date > oend - 365
Пользователям, знакомым с реляционными базами данных, такая конструкция может напомнить задание условий с оператором where в SQL. В Envision такой синтаксис позволяет избежать создания блоков, состоящих из 1 строки, когда в блоке нужно прописать всего одно выражение. Операторы where и when можно прописывать в виде «суффиксов» справа от операции присваивания.

Агрегаторы можно фильтровать с помощью операторов when и where. Envision также позволяет добавить к условию модификатор else. Например, нельзя написать:
oend := max(Orders.Date)
Week.sold := sum(Orders.NetAmount) when date < monday(oend)
show linechart "Sold by week" with Week.sold // НЕВЕРНО
Потому что параметр Week.sold задан не для всего диапазона, что происходит из-за фильтра в предыдущей строке. Однако если добавить else, мы сможем правильно задать Week.sold:
oend := max(Orders.Date)
Week.sold := sum(Orders.NetAmount) when date < monday(oend) else 0
show linechart "Sold by week" with Week.sold // ВЕРНО

FORMATTER ERROR (Transcluded inexistent page or this same page)