График в Gnuplot с условиями: conditional data plotting in Gnuplot

Как известно, одна картинка стоит тысячи слов. Вместо длинного и занудного изложения лучше привести график и его прокомментировать. Сложность в том, что иногда в график нужно запихнуть много данных, и дизайн графика превращается в самостоятельную задачу. Одна из таких задач - построение точек на графике в зависимости от условий (conditional data plotting).


Проще говоря, при построении графика нужно, например, игнорировать точки в данных при условии, что они меньше какого-то порога. Или нужно сделать так, чтобы размер точки на графике зависел от самих данных. Это несколько экзотический случай, но иногда нужный.

Условное построение графиков и зачем это надо

Один из примеров приведён на сайте Гнуплота: в данном случае график иллюстрирует населённость городов на карте мира.

То есть точка на графике становится больше или меньше в зависимости от данных в файле. Достигается это так:

plot 'dataFile.dat' u 1:2:3 w points lt 1 pt 10 ps variable

Весь трюк в том, чтобы размер точки (ps) сделать изменяемым (variable), причём размер теперь будет задаваться (в этом примере) колонкой номер 3 в файле данных.

Это одно из проявлений гибкости gnuplot, которую можно использовать в своих корыстных целях.

Условия при построении графиков
Gnuplot куда более гибкий, чем кажется на первый взгляд. Помимо возможности задать переменные размеры точек, можно заставить Gnuplot строить графики с условием. Вот пример:

($1 <=3 ? $2 : 1/0)

Это означает:

если текущее число в первом столбце ($ 1) меньше 3, следует строить данные из второй колонки ($ 2), в противном случае ничего не строить вообще".  

Так можно строить сложные графики, особенно когда данных много и график нужно строить с разной подробностью.

Например, вот такая конструкция:

plot "./data.txt" using  4:($7>0.7  ? ($5*10**3) : 1/0):(1.2*$7) title "actuators DM" with points pt 6 ps variable lc rgb "cyan" 

означает, что если данные из седьмой колонки ($7) больше, чем 0.7, то строить данные из пятой колонки ($5) умноженные на 1000 (собственно, $5*10**3). Дальше идёт трюк с переменным размером точки: размер точки на графике будет меняться (ps variable) в зависимости от данных в седьмой колонке, помноженные на коэффициент 1.2, то есть   (1.2*$7)

Реальный график с переменным размером точки

Всё это выглядит, конечно, очень круто, но пока не понятно, зачем всё это нужно. Тем не менее, это было продиктовано необходимостью выразить на одном графике многое. А именно:

Есть оптимизационный алгоритм, и он решает ограниченную задачу квадратичной оптимизации (Constrained Convex Quadratic Programming). Хочется посмотреть, как растёт время вычисления в зависимости от того, сколько ограничений нарушено. Если ограничений не нарушено, всё решается быстро, но когда ограничения активны, время растёт - и самое неприятное то, что у этого времени вычисления появляется некий разброс. Распределение вероятности наперёд неизвестно.

Кроме того, хочется на одном графике сравнить несколько наборов, для каждого набора - зависимость времени вычисления от нарушенных ограничений. При этом у времени есть некий разброс, и его хочется показать.

Есть вариант построить распределение вероятности для каждого случая, и это будет выглядеть вот так:

но тогда графиков получится очень много и их задолбаешься описывать в статье.

Долгие муки творчества породили следующий инфернальный график:

Теперь о том, что всё это значит и зачем это выдавать на один график.

Как говорилось выше, здесь показан разброс времени, которое занимает расчёт некой оптимизационной задачи с ограничениями для нескольких наборов сразу (каждый набор показан своим цветом с разной формой точек).

Грубо говоря, если вы посмотрите на распределение вероятности (probability density) сверху - вы как раз что-то подобное и увидите. Чем более вероятнее событие, тем крупнее для него точка. И так на одном графике можно увидеть, как растёт не только время вычисления, но и его разброс.

Так что если помедитировать над графиком после всех этих объяснений, то становится в общем понятно, что автор хотел сказать и до некоторой степени эпатировать публику. По крайней мере это стало понятно аудитории, на которой это было бесчеловечно испытано.

Вот gnuplot код для того ``инфернального'' графика:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28

#! /usr/bin/gnuplot -persist set terminal postscript "NimbusSanL-Regu" eps color enhanced fontfile "/usr/share/texmf-texlive/fonts/type1/urw/helvetic/uhvr8a.pfb" set key top left set ytics 0.5 set xtics 5 set mxtics 5 set mytics 5 set output "./plot.ps" set yrange [0:7] set xrange [-0.5:40] set grid xtics ytics set bmargin 4 set key top right set xlabel "Active constraints, percent \% of all constraints" font "NimbusSanL-Regu,18" set ylabel "Distribution of the computation time, milliseconds" font "NimbusSanL-Regu,18" statthresh=0.6 plot "./stat_forplant25.data" using 4:($7>statthresh ? ($5*10**3) : 1/0):(1.0*$7) title "5x5 actuators DM" with points pt 6 ps variable lc rgb "cyan", "./stat_forplant36.data" using 4:($7>statthresh ? ($5*10**3) : 1/0):(1.3*$7) title "6x6 actuators DM" with points pt 9 ps variable lc rgb "magenta", "./stat_forplant49.data" using 4:($7>statthresh ? ($5*10**3) : 1/0):(1.3*$7) title "7x7 actuators DM" with points pt 11 ps variable lc rgb "green", "./stat_forplant64.data" using 4:($7>statthresh ? ($5*10**3) : 1/0):(1.3*$7) title "8x8 actuators DM" with points pt 7 ps variable lc rgb "red", "./stat_forplant81.data" using 4:($7>statthresh ? ($5*10**3) : 1/0):(1.3*$7) title "9x9 actuators DM" with points pt 15 ps variable lc rgb "blue", "./stat_forplant100.data" using 4:($7>statthresh ? ($5*10**3) : 1/0):(1.3*$7) title "10x10 actuators DM" with points pt 13 ps variable lc rgb "orange"

Собственно, ничего в нём особо страшного нет, просто дизайн графика и организация для него данных, мягко скажем, нетривиальны.

Самый смак в том, что при построении графика можно задать параметр:

statthresh=0.6

который управляет подробностью выдачи распределения точек:

using  4:($7>statthresh  ? ($5*10**3) : 1/0):(1.0*$7) 

На самом деле, в столбце $7 содержатся данные о вероятности (точнее, о частоте появления) того или иного временного интервала в данных. Чем больше порог, тем подробнее распределение точек на графике можно увидеть.

Альтернативные решения
Если захотеть приключений, то можно вспомнить про такой тип графиков, как candlesticks (ай донт ноу хау ит из ин рашн сорри):

Код для него отсюда:

1 2 3 4 5 6 7

# set terminal pngcairo transparent enhanced font "arial,10" fontscale 1.0 size 500, 350 # set output 'candlesticks.5.png' set boxwidth 0.2 absolute set title "box-and-whisker plot adding median value as bar" set xrange [ 0.00000 : 11.0000 ] noreverse nowriteback set yrange [ 0.00000 : 10.0000 ] noreverse nowriteback plot 'candlesticks.dat' using 1:3:2:6:5 with candlesticks lt 3 lw 2 title 'Quartiles', '' using 1:4:4:4:4 with candlesticks lt -1 lw 2 notitle

Насколько мне известно, такие графики используются для биржевых котировок и на торгах ценными бумагами. Вышеозначенную проблему отображения данных можно решить и так, но:

1. мне не хотелось тащить график из финансового мира в инженерию;
2. candlesticks скрывают истинное распределение в данных, а этого бы как раз и не хотелось;
3. проблему загромождения (cluttered?) графика это всё равно не решает.

В общем, этот адский график был рождён муками творчества длительностью в пару дней. Мне он нравится и я его использую - пока альтернативы ему не найдено.

Пища для размышлений

Собственно в том, что с помощью Gnuplot можно отстрелить себе ногу, яйца и голову одним выстрелом, я думаю, сомнений ни у кого уже не осталось :-)

Если серьёзнее, то данные по жизни имеют сложную структуру, и хотелось бы это отобразить наглядно и компактно. Иначе придётся вместо такого графика приводить 7 страниц таблиц, что ясности изложения не способствует.

Рецептура для графика была почерпнута из разных источников и с миру по нитке.