IceWM Window Manager: Ледяной десктоп антарктических пингвинов



46 коммент.
Много оконных менеджеров в Linux, хороших и разных, и у каждого свои преимущества и недостатки. В этом посте я не буду сравнивать оконные менеджеры в Linux, а просто расскажу об оконном менеджере, которым пользуюсь с момента перехода на Debian. Это IceWM - холодный и строгий, простой и быстрый - компромисс между функциональностью и скоростью.


Как выглядит IceWM?
IceWM напоминает доведённый до ума интерфейс Windows 95: панель задач, кнопка Пуск IceWM, всплывающие подсказки, трей, часы... Только стильно, красиво и не занимает много ресурсов. Установка IceWM в базовой комплектации
отнимет около 7Мб, что совсем не много за более чем функциональный интерфейс. Однако по умолчанию тема для IceWM (в Debian, во всяком случае) мягко говоря страшновата - такой тонкий намёк на то, что надо оконный менеджер подстроить под себя.


Кроме того, в меню могут отсутствовать кириллические символы - что видно на скриншоте - и там вместо русских пунктов меня будет просто пустота. Лечится это очень просто: нужен пакет gsfonts, который обычно устанавливается вместе с GiMP. После установки его потребуется в меню "Выход" (самый нижний пункт) нажать "Перезапустить IceWM" (просто пункт IceWM, пока у вас кириллица не видна). После этого русские менюшки видны на ура.

Русский есть, но темы уж больно убогие. Это поправимо, так как в дистрибутиве Debian есть специальный пакет, icewm-themes, который можно поставить и наслаждаться кучей разнообразных тем. Это потребует 16 Мб, зато не придётся лезть на сайт и качать их.


Если вы хотите, чтобы ваш десктоп был более рациональным, подберите тему под свой вкус и представления о красоте. Вот, например, используемая мной сейчас тема TrueCurve-1.0.4


Эта тема, как и многие другие, лежит на freshmeat. О том, какие есть самые красивые темы для IceWM, можно узнать здесь.

Следует отметить, что далеко не в каждой теме есть обои - так что не удивляйтесь, если после смены темы у вас на фоне замаячит однотонный фон или вообще сеточка иксов. Обои можно поставить руками, для чего в конфиге темы придётся кое-что поправить - но об этом ниже.


Подгоняем ледяной десктоп под себя
IceWM создан для того, чтобы быть лёгким и удобным - но у каждого представление об удобстве своё, так что следующий естественный шаг - подогнать IceWM под себя.
Так, русский в нём поправили, другие темы попробовали, что-то для себя выбрали. Но всё равно как-то аскетично. Нельзя ли что-то поправить или переделать, навесить немножко полезных рюшечек? И вообще, что можно сделать в IceWM для индивидуализации десктопа и оптимизации своей работы в нём?

Короткий ответ: многое. Для начала идём в скрытый каталог ~/.icewm (в домашнем каталоге) и смотрим, что там внутри:

keys
menu
preferences
programs
theme
toolbar
winoptions

Какой файл и на что влияет? Как говорится здесь, размещение параметров в нескольких файлах выполнено весьма логично:
keys
Горячие клавиши запуска приложений

menu
Управляет содержимым "стартового" меню

preferences
Управляет поведением и общим внешним видом IceWM

programs
Управляет содержимым "programs", подменю стартового меню

toolbar
Управляет рядом запускающих кнопок на панели задач, и имеет такой
же синтаксис как и файл меню

winoptions
Управляет поведением отдельных приложений

Для того, чтобы изменить поведение IceWM, можно влезть в конфиг и поискать параметр по ключевому слову - высока вероятность, что вы его отыщете быстро, так как конфиг подробно прокомментирован. Вот его кусочек:

# "Hide window" shortcut
KeyWinHide="Alt+F11"

# "Rollup window" shortcut
KeyWinRollup="Alt+F12"

# "Window menu" shortcut
KeyWinMenu="Alt+Space"

# "Next item" shortcut
KeySysSwitchNext="Alt+Tab"

Как видите, всё можно настроить под себя. Лучше всего посмотреть на часто используемые комбинации клавиш и поправить конфиг так, чтобы вы смогли их использовать. Управлять так окнами гораздо проще и быстрее. Например, у меня сворачивание окна стоит на "CTRL+Пробел", переключение на "Alt+Tab" и остальные комбинации я тоже подогнал под себя - и управление окнами у меня теперь идёт со скоростью света, что сильно экономит время.
Кроме того, окно можно поднимать и опускать по слоям - чтобы, например, одно окно всегда было ниже остальных (очень выручает при работе в GiMP). Вот как выглядит меню при щелчке по правой крайней кнопке наверху окна:


У меня оно вызывается по "Shift+Esc", вы можете настроить это под свой вкус.

Итак, помимо стандартных операций с окнами, можно:
+ скрывать окна (при этом их не будет на строке задач, но при переключении задач они будут последними в списке);
+ скручивать (останется только заголовок окна);
+ перемещать по слоям (меню, поверх других, под другими, десктопный уровень);
+ перемещать на другие рабочие столы;
+ сделать видимым на всех рабочих столах;
+ сделать пиктограммой в трее.

Также очень советую настроить горячие клавиши (хоткеи) под себя для запуска часто используемых приложений. Отредактируйте файл настройки ~/.icewm/keys для установки быстрых клавиш на запуск часто используемых программ. Кнопка Win (здесь она называется Super) на клавиатуре очень пригодится - должны же мы использовать эту подаренную нам микрософтом клавишу? Вот на неё и повесьте запуск приложений. Например, у меня они такие:
key "Super+t" xterm -font -misc-*-*-*-*-*-*-*-*-*-*-100-*-ru
key "Super+p" gimp
key "Super+z" xscreensaver
key "Super+q" scribus
key "Super+i" gqview
key "Super+w" /opt/openoffice.org2.0.4/program/swriter
key "Super+x" /opt/openoffice.org2.0.4/program/scalc
key "Super+Shift+i" /opt/openoffice.org2.0.4/program/simpress
key "Super+g" gnumeric
key "Super+a" xmms
key "Super+Shift+w" abiword
key "Super+m" firefox
key "Super+b" mozilla-thunderbird
Таким образом, за несколько нажатий клавиш я могу запустить десяток нужных мне программ. Быстро, просто и удобно.

Навешиваем рюшечки
Их не так много, как в других средах, но всё-таки есть. Первым делом я бы посоветовал подогнать комбинации клавиш управления окнами под себя - и вы забудете о мыши и тыканью по маленьким кнопочкам. Это отнимает время и силы - кроме того, вы теряете концентрацию внимания на том, что вы делаете. Через некоторое время горячие клавиши управления окнами будут отточены до уровня рефлекса, и вы перестанете замечать это.
Потом, можно поставить несколько полезных приложений. Как вам нравится полупрозрачный календарик? Тогда поставьте пакет gdeskcal, который есть в Debian:
apt-get install gdeskcal
и вы сможете видеть календарик на месяц, с полупрозрачностью, с возможностью смены тем, надписью на дате важных событий... Маленькая программа, но очень полезная, и к тому же интегрируется в трей IceWM.

Для созерцания ресурсов очень подойдёт программа torsmo или conky. Тоже есть полупрозрачность, а подогнать её под свои конкретные нужды помогает её конфиг .torsmorc, в котором можно поправить всё, что угодно. Однако чаще используется conky, как настроить conky можно прочитать здесь.

Ещё полезные программы - xpad и knotes. Это липкие записки, которые клеят на мониторы или холодильники - теперь тоже самое можно делать на рабочем столе. Knotes будет сидеть в трее и при нажатии на неё увидите все свои заметки. Вот как выглядит всё это в рабочем состоянии:


Если вас не устраивают обои, идущие с темой, можно поставить свои. Впрочем, это немного неочевидно - здесь я опишу этот процесс. Итак, идём в ~/.icewm/preferences, открываем на редактирование и ищем переменную DesktopBackgroundImage, которую меняем на:
DesktopBackgroundImage="/home/логин/.icewm/обои.jpg"
Никто не запрещает использовать KDEшные и GNOMEистые
программы, которые любят лезть в трей. Например, для монтирования удалённых сетевых ресурсов я часто использую Smb4K, и он без всяких вопросов садится в трей IceWM. Несколько более капризен klaptop_check, который мониторит состояние батарей на ноутбуке: через 15-20 секунд после запуска пропадает с экрана. Но если запустить до него любое КДЕшное приложение, он сидит себе в трее IceWM как родное.

В общем, просто и со вкусом. Подобранные под себя хоткеи, обои и быстрые клавиши управления окнами делают IceWM незаметным, но незаменимым помощником при работе в графическом режиме, за что его и использую всё это время.

Что умеет IceWM?
Так как это оконный менеджер, а не навороченная среда, возможностей у него не так много - это тот самый компромисс, о котором я говорил выше. Многое придётся делать руками или ставить дополнительные программы, например, монтировать устройства. Впрочем, в этом есть положительный момент: вы привыкаете к эффективной работе, вешая всё на горячие клавиши и скрипты, подстраивая графическую оболочку под себя.

Итак, возможности IceWM:

+ панель задач, на которой отображаются запущенные приложения;
+ меню приложений, вложенные пункты меню;
+ трей, в котором есть часы, потребление процессорного времени, активность сетевых интерфейсов, значки приложений (поддерживает приложения, сворачивающиеся в трей);
+ смена обоев (правда, требуется перезагрузка иксов);
+ темы (разнообразные, в том числе имитирующие другие ОС);
+ независимые горячие клавиши;
+ переключение рабочих столов (по умолчанию 4, можно менять);
+ список окон, быстрая навигация по открытым окнам;
+ убирание панели задач с экрана (как в угол, так и вниз);
+ управление "слоями" окон;
+ всплывающие подсказки (на русском);
+ полная локализация (никаких проблем с кириллицей, для чего требует defoma и gsfonts).

Чего в IceWM можете не искать:
- значков на рабочем столе (есть ROX-filer);
- полупрозрачных окошек (только отвлекает от работы);
- навороченных конфигураторов (есть конфиги, простенькие графические конфигурялки).
Многие настройки можно включить в конфигах, которые, кстати, очень просты и обильно прокомментированы. Для тех, у кого идиосинкразия к конфигам, есть графические GTKшные конфигураторы - iceme (для изменения содержимого стартового меню в IceWM) и icepref (изменение настроек в ~/.icewm/preferences). Обе входят в дистрибутив Дебиан.

Так что если вы ищете простой, быстрый и функциональный оконный менеджер, посмотрите в сторону IceWM, и может быть, вы сочтёте для себя его стильную аскетичность подходящей. Вот каким он может быть:



Ссылки
Время от времени я пишу о всё новых замечательных возможностях, которые нахожу в IceWM. Например, о темах для IceWM - какими красивыми они бывают и
откуда их взять. Или о том, что настройка IceWM может быть проведена из удобной графической панели управления. Другие справочные материалы и ответы часто задаваемые вопросы по IceWM на русском можно найти тут. А если и этого мало, то в IceWM есть ещё много возможностей, которые вам понравятся!
Читать далее

Knoppix Linux Math - Математические программы живьём



11 коммент.
Иногда бывает полезно ознакомиться с программой, прежде чем её искать, качать и ставить. Для ознакомления с научными приложениями Linux есть замечательный живой дистрибутив Knoppix Linux Math, построенный на базе хорошо известного Кноппикса. Здесь рассматривается версия 5.0.1 Knoppix Linux Math, распространяемая на DVD.

Запуск и работа в Knoppix Linux Math не представляет никаких сложностей, однако по сравнению с обычным Кноппиксом имеется дополнительное меню, в котором перечислены специализированные программы.

И тут есть на что взглянуть! Имеется LaTeX с интегрированной средой Kile и TeXmacs, строитель графиков GNUplot, система численных расчётов GNU/Octave и символьных Maxima, пакет статистических расчётов GNU R, алгебраическая система GAP и другие приложения. Помимо них, есть и другие, не менее знакомые поклонникам свободных систем: OpenOffice.org, Scribus, Audacity, XMMS...

Редкие и малоизвестные программы
Заинтересовал пакет визуальной геометрии Dr.Geo. Наверное, он может подойти для обучения геометрии: программа позволяет создавать фигуры из примитивов и обладает довольно продвинутой системой управления ими.

Однако придётся привыкнуть к её нетривиальному интерфейсу: так, чтобы нарисовать окружность, сперва следует поставить точку центра (отдельным инструментом "Точки") и касательной. Хотя мысль интересная...

Также имеется генератор фракталов XaoS. Простой и понятный интерфейс: левая кнопка мыши - приближение, правая - отдаление, средней кнопкой можно перемещать фрактал внутри окна.

Можно вызвать заложенные фракталы и поменять их параметры, менять число итераций расчётов и прочее.

С помощью программы KALI можно изучать группы симметрии - очень удобно. Где же она была, когда я учил кристаллографию!?

Можно создавать симметричные структуры на основе имеющихся групп симметрии и сразу их просматривать.

Программа Surf умеет строить поверхности на основе своего собственного языка. С ним я пока не разобрался, поэтому сходу ничего построить не удалось :-)

Можно создавать симметричные структуры на основе имеющихся групп симметрии и сразу их просматривать.


Программы более известные
Конечно, для многих одним из главных инструментов работы является LaTeX и естественно, что на Knoppix
Linux Math он имеется. Также есть оболочки для него на выбор: Kile 1.8 и TeXmacs 1.0.6.4, которые можно сразу попробовать в деле и решить, какая из них больше вам подходит. Или просто вооружиться любимым текстовым редактором (благо, их в Knoppix Linux Math великое множество).

Приятно видеть в сборе сразу такое количество серьёзных математических инструментов, как GNU/Octave, свободный аналог MATLAB, MAXIMA, из которой вышли Maple и MathCAD, GNU R - система статистических расчётов и другие. Это позволяет оценить их возможности, и уже после этого принимать решение, стоит ли их ставить и изучать.


Заключение

Целью этого краткого обзора было рассказать о существовании такой разновидности Knoppix Linux (и, соответственно, Debian GNU/Linux), которая способна проиллюстрировать многообразие математических программ без необходимости их установки. Бывает очень полезно предварительно ознакомиться с возможностями программы, или узнать о новых программах. В любом случае, этот живой дистрибутив стоит того, чтобы с ним познакомиться поближе.

На всякий случай, скачать Knoppix Linux Math (Математический Линукс) можно здесь.
Читать далее

Разбор завала документов: мысли, идеи, подходы



3 коммент.
В предыдущих статьях по этой теме говорилось о применении программы SWISH++ для быстрой сортировки pdf-документов, а в этом посте приводились некоторые конкретные решения этого вопроса. Есть ещё несколько вопросов и идей насчёт разгребания завала документов.

Какие ещё завалы можно разобрать?
Теоретически любые, которые так или иначе сводятся к обработке текста. Если немного напрячь фантазию и порыться в репозитории, то можно таким же (или очень сходным манером) разгрести горы:
- скачанных HTML-страниц. Тут меня терзают смутные желания по поводу установки полновесного поискового движка mnogosearch, который под такие цели и заточен. Однако он потянет за собой Апача, который мне совсем не нужен;
- офисных документов. Здесь выруливает ОпенОфис, так как его документы - фактически сжатый XML, но можно поискать счастья и с вордовыми документами, для чего имеется программа antiword;
- тэгов в mp3/ogg - файлах. Если вы утруждаете себя их заполнением, то проблема поиска в этом случае сильно упрощается - SWISH++ их поддерживает изначально;
- документов LaTeX. То же самое: так как это фактически размеченный плоский текст, то проблем не возникает. Конечно, если они все на английском;
- простых плоских текстов. Например, у меня огромная библиотека художественной литературы в сжатой файловой системе SquashFS - индексирую её, индекс сохраняю там же, потом монтирую и прямо в сжатой файловой системе провожу поиск;
- pdf-файлов. Ну, про это я уже уши прожужжал :-) Накачал кучу статей по специальности, надо бы отсортировать. Не руками же, в самом деле.
Поиск и удаление дубликатов
Это то, что я не осветил в тех постах. Часто от жадности скачиваю сразу всё, а потом выясняется, что часть файлов у меня уже есть. Как их найти и потереть во всём многообразии уже имеющихся документов?
Ленивые линуксоиды должны были что-то придумать на этот счёт - придумать и включить в Дебиан. Так и есть: в репозитории ищем и находим очаровательную утилиту fdupes. Она сравнивает файлы как побайтово, так и с помощью подсчёта md5-суммы при том, что занимает какие-то пару сотен килобайт. Работает невероятно быстро, сортировка производится в полуавтоматическом режиме: программа выводит в консоли дублирующиеся файлы и спрашивает, какой из них оставить. Вот как это выглядит:

penta4@penta4rce:~$ fdupes -r -d /mnt/wd250Gb/my/matlab/Study/Statii/ImageProcessing/
[1] /mnt/wd250Gb/my/matlab/Study/Statii/ImageProcessing/Algorythms/Linear/Gabor/jei_2005.pdf
[2] /mnt/wd250Gb/my/matlab/Study/Statii/ImageProcessing/Algorythms/Linear/Gabor/jei_2004.pdf

Set 1 of 1, preserve files [1 - 2, all]:
Отвечаем, какие файлы оставить - остальные программа сразу снесёт. Будьте внимательны: восстановить их потом будет нелегко, если вообще возможно. У программы много настроек, она умеет отличать жёсткие и мягкие ссылки, искать рекурсивно и так далее - man fdupes много чего интересного рассказывает.

Заключение
Приведённые соображения (главным образом по pdf-документам) должны помочь в ленивом и продуктивном решении такой непростой задачи. Если у кого есть мысли по этому поводу - буду очень рад услышать и увидеть их в комментариях. Они открыты для всех :-)
Читать далее

Розыски пропавшего принтера: /dev/lp0 Recover Howto



13 коммент.
Проблема: срочно надо было отпечатать страницу на лазерном принтере, подключённом к параллельному порту - а принтер пропал...

С чего всё началось
Давным-давно я настроил CUPS - настроил и, как полагается, забыл. Работал и работает, как швейцарские часы. И тут надо было срочно распечатать страничку на лазерном принтере HP LaserJet 5L из ОпенОфиса - без проблем: Файл - Печатать - LaserJet 5L. И... тишина. Вечером надо отпечатать, а утром нести - принтер пропал очень вовремя.

Два вопроса
Собственно, всё же работало. WTF!?
Пробую лёгкой артиллерией - попытался рестартовать подсистему печати:
/etc/init.d/cupsys restart
Никаких изменений. Пробую печатать на струйник HP DeskJet 930C, подключённый к USB - работает, но в нём засохли картриджи. Вечер перестаёт быть томным!

Снёс лазерный принтер в CUPS, заново его поставил. То же самое: принтер появляется, по при попытке на него что-то распечатать отключается: Printer stopped и пишет, что не может соединиться с принтером в течении 30 секунд. Значит, дело в принтере. И потом, usb-шный струйник печатает, а лазерник нет. Значит, дело не в CUPS и надо "что-то в консерватории поправить".

Кто виноват?
Иду в каталог /dev и тихо выпадаю в осадок: устройства lp0 там нет. Кто его удалил!? Первая мысль - шут с ним с аптаймом в 72 дня, перезагружу - должен появиться. Ведь до этого всё работало! Потом отдёрнул руку от shutdown и решил так просто не сдаваться (забегая вперёд - это был правильный шаг).

Иду в логи искать ответ на первый вопрос. Всё, как на зло, тихо и спокойно. Начинаю "грепать по сорцам", и тут мне /var/log/daemon.log конфиденциально сообщает, что принтер в отключке вот уж неделю как:
Sep 20 18:24:58 localhost udev[885]: configured rule in '/etc/udev/rules.d/udev.rules[28]' applied, 'lp0' becomes 'usb/%k' Sep 20 18:24:58 localhost udev[885]: creating device node '/dev/usb/lp0' Sep 20 18:25:10 localhost udev[919]: removing device node '/dev/usb/lp0' Sep 20 18:25:10 localhost udev[1005]: removing device node '/dev/lp0'
Так, теперь понятно, кто виноват - udev, разработчиков его мать :-) Ну подфортил, прямо душу порадовал. Но у нас есть mknod и MAKEDEV - и ещё есть маны по ним, но читать маны вместо подготовки к выступлению - это уж слишком экстремально.

Что делать?
Теперь второй вопрос вырисовывается более конкретно: надо либо читать маны по MAKEDEV, либо погуглить. Оказалось, что я далеко не одинок.
Натыкаюсь на рецепт:
./MAKEDEV -v lp
Применил. Да, можно сказать, полегчало, и оно создало аж три устройства, но в /dev/.static/dev/ - не здорово, то есть здорово, но не там. Хочу, чтобы было, как прежде. Но на всякий случай проверяю:
cat ~/new.text > /dev/.static/dev/lp0
Печать идёт, и это радует. Но из ООО и других программ тишина.
Ладно, гуглю дальше. И тут добрая душа выдаёт то, что я так долго ждал: команду для mknod с номерами устройства:
mknod -m 666 /dev/lp0 c 6 0
Применяю, получилось!
Возвращаюсь в веб-панель CUPS. Сношу принтер и тут замечаю, что в разделе URL есть заветное Parallel port. А я всё заставлял его печатать в HP JetDirect. Аааа... Вот где собака порылась! Ставлю его, сообщаю /dev/lp0 и выбираю модель принтера. Жму "отпечатать тестовую страницу" - есть!

Выводы: отвалившейся принтер - ещё не повод делать себе и системе харакири. Немного погуглив, проблему победил, знаниями обогатился и маны mknod буду обязательно курить.

Ссылки:
Здесь, собственно, даются параметры для создания mknod-ом ссылки на параллельный порт. Товарища по блогу постигла та же напасть, и он её превозмог.
Хорошо почитать об этом же здесь и тут могут быть полезные сведения.
Читать далее

Быстрая сортировка по релевантности PDF-документов: скрипты



5 коммент.
Задача: с помощью поисковой машины SWISH++ искать и сортировать по каталогам pdf-документы
Решение: при помощи программы pdftotext, утилиты find, скриптовых языков Bash и Perl, а также некоторой смекалки и использования мощи линуксовой консоли, решаем проблему.

В этой статье я начал рассказ про замечательную поисковую систему SWISH++ и о том, как её приспособить под такие специфичные нужды, как поиск внутри pdf-документов. Здесь я напишу о том, как это автоматизировать ещё больше.

Вариант решения задачи
Как говорят поклонники Perl, "there is more than one way to do it". Я решил её так, если кто укажет на более лёгкий / правильный / экономичный / красивый путь - просьба отписаться в комментариях.
Итак, вкратце алгоритм таков:
  • утилитой find ищем все документы pdf и вытаскиваем из них текст утилитой pdftotext
  • индексируем найденные файлы программой index++
  • задаёмся порогом релевантности (подбираем опытным путём)
  • ищем по ключевым словам программой search++
  • найденные файлы pdf перемещаем в каталог со словами поиска
  • при необходимости повторить :-)
Ниже этот процесс описывается подробнее.

Поиск документов pdf и вытаскивание текста
Собственно, для этого просим утилиту find найти все файлы по маске *.pdf и для каждого выполнить вытаскивание текста программой pdftotext без выдачи предупреждений и без вставки символов разрыва страницы. Это делается командой:
find -name '*.pdf' -exec pdftotext -nopgbrk -q {} \;
С русским языком программа pdftotext дружит слабо, хотя и пытается что-то вытащить. Тем не менее, большинство статей на английском, так что это нам не страшно.

Построение индекса
Тут всё очень просто - просим index++ проиндексировать все текстовые файлы, начиная с текущего каталога:
index++ -e "text:*.txt" .
Точка в конце и означает, что поиск ведётся с текущего каталога.

Поиск по ключевым словам скриптом
На десерт - мой скрипт на PERL, который выполняет автоматизированный поиск и сортировку. Просьба аксакалов перловедения ногами не пинать - "не ругайте баяниста, он играет, как умеет". Цветовая разметка, сделанная в Kate, приведена для удобства чтения, скрипт подробно прокомментирован (чтобы я сам потом не забыл, что да как).

#! /usr/bin/perl
use strict;
# use warnings;

`index++ -e "text:*.txt" .`; #Создание индексированного списка текстовых файлов
в текущей директории с подробной выдачей статистики пользователю

# ### <-------- Блок создания переменных и определения порога
my $kmvThreshold = 30; #Обрубать по порогу: практика показала, что ниже
порога релевантности 30-40 документы не соответствуют критериям поиска
my $ii;
my
$iimax;
### <-------- Блок создания переменных и определения порога


# ### <-------- Блок ввода запроса и организация каталога для перемещнения
туда найденный файлов
print "Query to PDF search?", "\n"; #Выдать запрос на ввод поисковой фразы
my $kmvQuery = ; #Поисковый запрос к базе индексированных файлов
chop $kmvQuery;#обрубить символ возврата каретки

my $kmvNewDirName = $kmvQuery; #Создаём переменную для имени каталога
$kmvNewDirName =~ s/\s+//xgi; #Замена в тексте запроса пробелов для
создания каталога, в который будут перемещены найденные файлы
`mkdir $kmvNewDirName`; #Создаём новый подкаталог в текущем каталоге,
в который будут перемещены найденные файлы
### <-------- Блок ввода запроса и организация каталога для перемещения
туда найденный файлов


# ### <-------- Блок обработки запроса
my @kmvSearchResultsRaw = `search++ $kmvQuery`; #Поиск по запросу и его результаты
$iimax = scalar @kmvSearchResultsRaw;#Размер массива результатов - сколько строк
### <-------- Блок обработки запроса


### <-------- Блок принятия решения о перемещении файлов в соответствии
с релевантностью
for ($ii=0;$ii<$iimax;$ii++) #перебираем в цикле строки
{
my
$kmvCurrent = substr($kmvSearchResultsRaw[$ii],0,3);#берём первые три
символа - информация о релевантности (три - так как она может быть и 100)
if (int $kmvCurrent > 0 and $kmvCurrent > $kmvThreshold) #Если в строках
первое число и оно больше порога (может быть и не число, а количество найденных совпадений)
{
my (
$kmvResultRelev,$kmvResultHomeName,$kmvResultFilesize,$kmvResultFilename) =
(
$kmvSearchResultsRaw[$ii] =~ m/(\S+)\s(\S+)\s(\S+)\s(\S+)/xgi);
#Эта строка стоила мне половину вечера курения книги по Перл.
Для "Не Достигших Полного Просветления на Пути Perl" объясню всю эту адскую конструкцию.
Строка $kmvSearchResultsRaw[$ii] разбирается на четыре переменные (которые слева)
по следующему сценарию: (символы_не_пробела) пробел (символы_не_пробела) пробел
(символы_не_пробела) пробел (символы_не_пробела) - поиск глобальный
(не до первого совпадения), допускает пробелы и не учитывает регистра.
$kmvResultFilename =~ s/.txt/.pdf/xgi; #Выданное имя файла txt заменяется на pdf
print "Moving ", $kmvResultFilename, "\n"; #напечатать сообщение о перемещении
найденного файла
`mv $kmvResultFilename $kmvNewDirName`; #перемещение найденного файла в
новый каталог
}
}
### <-------- Блок принятия решения о перемещении файлов в соответствии
с релевантностью



Что-то вроде этого. Может быть, в скрипте есть некоторые топорные решения, но мне не до изящества кода - надо архивы разгребать.

Плоды прогресса
Проведение натурных экспериментов показало достаточно высокую точность и адекватность сортировки. Запрашивая сначала по точным критериям, а потом по всё более общим (запросы два-три слова), я разгрёб 2400 документов за полтора часа. Задача для системы усложнялась тем, что тексты были однородны по тематике. Точность (после визуального сравнения) составляет где-то 60-70%. Конечно, отобранный материал пробегается глазами по заголовкам, то есть реализуется полуавтоматический режим.
Впереди ещё оптимизация поиска, надо будет подучить систему немного, и тогда уже вволю конкурировать с Гуглом и Яндексом.
Читать далее

Быстрая сортировка по релевантности PDF-документов: нам поможет SWISH++



6 коммент.
Задача: имеется куча скачанных статей в формате PDF и нужно их сортировать по каталогам.
Решение: можно сидеть и уродоваться месяц, если документов несколько тысяч, а можно воспользоваться свободной поисковой машиной SWISH++

Зачем всё это надо
Всё очень просто: я накачал кучу хороших (и не очень) статей по своей специальности с целью расширить кругозор, и теперь надо все эти PDF файлы рассортировать по каталогам. И потом желательно иметь возможность искать внутри них информацию - и не просто по совпадению, а по релевантности: я не помню, в каком pdf-нике находится нужный мне обзор, а имена файлов типа 1234Njhsd.pdf мне мало что говорят. Быть может, это позволяет сделать Beagle, но попробуем обойтись более простыми и лёгкими средствами, которые есть в Дебиан.

Идея!
Некоторое время посидев и потыкав по pdf-никам и пытаясь ручонками всё это разобрать, я понял, что надо это спихнуть на машину. Сел и начал думать, методично прочёсывая свой локальный репозиторий Дебиана apt-cache search-ем.
Итак, что я хочу? Возможность искать внутри pdf-файлов, но для этого нужно из них выдрать текст. Это несложно, ведь имеется программа pdftotext. В результате своей деятельности она создаёт файл с таким же названием, но расширением txt. Отлично, половина задачи решена. Теперь надо искать по релевантности внутри текстовых файлов.
Из пришедших в голову идей:
  • поставить небольшой спам-фильтр, типа ifiles, и натренировать его сортировать кидаемые в него текстовые файлы по каталогам.
Плюсы: через некоторое время статьи сами будут попадать, куда надо, но для этого придётся учить баесовский алгоритм.
Минусы: нужно заранее знать всю структуру каталогов, что невозможно, трудно добавлять новые (придётся снова учить алгоритм), нетривиальная сортировка самих документов.
  • поставить какую-нибудь поисковую машину типа mnogosearch, но оно очень здоровое и работает с HTML, а нужен плоский текст.
Плюсы: наверное, с релевантностью там нормально;
Минусы: но это уже стрельба из крейсера по птицам ;-)
  • поставить поисковую машину SWISH++ в качестве простого, быстрого, гибкого и неприхотливого локального поисковика.
Плюсы: гибкость и практическая всеядность, отсутствие необходимости обучения, высокая скорость работы, удобная выдача результатов.
Минусы: только английский язык, поддержки других языков нет и не предвидется...
Короче, поставил SWISH++. Прекрасно, осталось написать перловый скрипт с разбором результата выдачи, отсекать файлы, не проходящие по порогу релевантности и перемещать их в каталог, соответствующий запросу. И кто там свистел про смерть unix-way!? А? Разбежались по кустам? То-то же! :-)

О поисковой машине SWISH++
Сведений об этой поисковой машине в Сети не просто мало - их почти нет. Только статья о применении этой системы для серьёзных поисковых запросов. Некоторыми товарищами считается самой быстрой поисковой системой.
Из описания дебиановского пакета можно немного узнать об этой программе - Простой Системе Индексации Для Людей. В основном предназначена для использования в качестве простого и быстрого поискового движка, полностью переписана на C++.
Основные возможности SWISH++
  • Индексирование файлов с тэгами
  • Разумное индексирование почтовых и новостных файлов
  • Индексирование man-страниц
  • Применение фильтров "на лету" вместо индексирования
  • Индексирование не-текстовых файлов типа Micorosoft Office (требуется antiword)
  • Модульная архитектура индексирования
  • Избирательное индексирование новых файлов
  • Индексирование удалённых веб-сайтов
  • Обработка больших коллекций файлов
  • Молниеносная скорость поиска
  • Настраиваемое игнорирование слов
  • Возможность запуска как поискового сервера (демонизация)
  • Лёгкий для разборки формат выдачи результатов
  • Тщательно прокомментированный исходный код

Система SWISH++ состоит из двух программ: index++ и search++. Первая программа отвечает за индексирование, вторая программа ищет файлы по запросам в файле индекса. Типа Гугла, только маленького (600 Кб) и настольного.

Индексация файлов
Программа index++ проводит индексацию текстовых документов: текст, HTML, XML, LaTeX, почта - всё, что представляет собой по сути простые текстовые файлы но, быть может, со вкраплениями служебных тегов. Индексация проводится очень быстро - на Р4 630 (3ГГц) и 2Гб DDRAM каталог из 270 файлов индексируется за 5 секунд, хотя автор программы предупреждает, что индексация - дело, требующее много памяти.
Поставив уровень подробности 3, можно попросить систему выводить информацию в процессе индексирования. Уровень подробности на индексацию не влияет, по умолчанию программа действует без шума и пыли.
Для индексации (с выводом подробной информации и процессе) текстовых файлов с расширением txt в текущем каталоге и во вложенных рекурсивно даём команду:
index++ -v3 -e "text:*.txt" .
Точка в конце важна, читаем мануал и узнаём почему. Вывод будет примерно такой:

watters_etal_paleobio_2001.txt (2704 words)
WaveMetriconChip64.txt (1351 words)

wshedtopoalgoJMIV.txt (4042 words)

Ye.IJDAR.1.txt (4470 words)

YucelITIP01.txt (1678 words)
./edg:
morphology.txt (753 words)

LuengoEtAl_IbPRIA05.txt (1227 words)
Cuisenaire2005_1250.txt (1162 words)

icpr2004_nucleus.txt (1234 words)

OrtizEtAl_SPIE01.txt (1463 words)

Angulo_VIIP04.txt (1658 words)

682.txt (1901 words)

comorph.txt (1948 words)
index++: ranking index...
index++: writing index...
index++: done: 00:05 (min:sec) elapsed time 548 files,
271 indexed
2465116 words, 1046139 indexed, 56281 unique
В результате в текущем каталоге появится файл swish++.index где лежат сведения о проиндексированных файлах. Отлично: такая куча файлов так быстро проиндексирована. Теперь мы готовы искать интересующие нас документы. В конце мануала (краткого, но очень толкового) приводятся ссылки на литературу - чувствуется, автор в этом деле поднаторел очень крупно.

Поиск файлов
Программа search++ ищет по запросу в индексированной базе swish++.index, созданной программой index++. Ну, для примера поищу-ка я в этой базе статьи по математической морфологии, в которых нет упоминания про медицину:

$ search++ morphology and erosion and dilation not medicine
Мгновение спустя вижу результат (вывод сокращён):
# results: 125
99 ./Krylov2.txt 3771 Krylov2.txt
49 ./13300407.txt 3103 13300407.txt
46 ./morph1.slides.printing.6.txt 4369 morph1.slides.printing.6.txt
37 ./lecture_morphology_sara.txt 6746 lecture_morphology_sara.txt
30 ./SIGGRAPH2002_Sketch-Mitchell.txt 5308 SIGGRAPH2002_Sketch-Mitchell.txt
26 ./MorphologicalImageProcessing.txt 7642 MorphologicalImageProcessing.txt
25 ./phdsymp2002_ledda.txt 8298 phdsymp2002_ledda.txt
23 ./lab2_manual.txt 9313 lab2_manual.txt
23 ./Project 1.txt 9946 Project 1.txt
22 ./morphology.txt 11212 morphology.txt
22 ./edg/morphology.txt 11212 morphology.txt
22 ./slides-6-geometry.txt 11717 slides-6-geometry.txt
22 ./V1BFOGG8.txt 10797 V1BFOGG8.txt
18 ./71650638.txt 13978 71650638.txt
Первая колонка - релевантность, вторая - расположение файла относительно текущей директории, третья - размер файла, четвёртая - имя. Просто и понятно. Можно использовать, как в любом поисковике, AND и NOT для задания более подробной выборки. Анализируя результат поиска, могу сказать, что при релевантности ниже 40-30 можно смело не смотреть тексты - они явно не о том. Результаты этого поиска, кстати, очень даже адекватные: именно это меня и побудило написать скрипты для потоковой сортировки PDF-ников. Но об этом в следующем посте.

Ссылки:
Всё про эту систему рассказать в одном посте просто нереально. Привожу те крохи, которые наскрёб гугл, яху и яндекс по этой замечательной программе.
Домашняя страница проекта на сорсфорж. Здесь много информации по поисковым движкам, и, в частности, про SWISH++, а также статья по поиску в базах данных с использованием перловых скриптов. Документация по SWISH-e, предка SWISH++.
Читать далее

Дебиан для самых маленьких: Debian4Kids HOWTO



18 коммент.
Задача: есть старенький компьютер и ребёнок дошкольного/младшего школьного возраста, требуется мягко и ненавязчиво познакомить его с компьютером и программами, которые помогут в школе и привьют навыки работе с компьютерами.
Решение: в дистрибутиве Debian GNU/Linux есть много программ для детей и которые сделают работу с компьютером простой и забавной даже для столь юных пользователей.

С чего начать?
Прежде всего выясняем, какими аппаратными ресурсами мы располагаем. В зависимости от мощи под капотом, можно пробовать ставить более или менее ресурсоёмкие обучающие приложения.
Как ни странно, покупать навороченные машины для детей вовсе не обязательно, и, я бы даже сказал, вредно. Мне часто приходится ходить по друзьям и знакомым, у которых есть дети - так вот, большинство навороченных машин, которые покупались "на вырост" и "чтобы внукам хватило" либо собирают пыль, либо выполняют роль банальной игровой приставки. И наоборот, правильно сконфигурированные компьютеры, даже не очень мощные, становятся любимыми и полезными друзьями подрастающего поколения.
Итак, в моём случае был прямо скажем не очень мощный компьютер: P-233, 64Mb SDRAM, 1.2Gb HDD, ATI RangePRO-II Videocard, ForteMedia FM801 Soundcard, CD-ROM 8x, Floppy. Для превращения этого динозавра в детский компьютер был использован Debian GNU/Linux, заточенный под конкретные нужды и установленный так, как написано здесь.
Ниже я опишу свой скромный опыт в этом деле: испытания проводились на знакомых, которым компьютер и отдал, и который терзают два юных хакера (8-летний мальчик и 6-летняя девочка) и, время от времени, их 34-летний папа.

Выбор и настройка программного обеспечения
Итак, Debian мы поставили, но понятно, что с дистрибутивным ядром на такой машине нам не по пути: слишком многое из скомпилированного нам не надо, и хотелось бы, чтобы система работала пошустрее.

Предварительная подготовка

Перекомпилировав ядро и выбросив оттуда всё, что нам не требуется, продолжаем дальше. Ставим иксы, настраиваем их и думаем над графической оболочкой. Понятно, что развитые графические среды ставить сюда бессмысленно: слишком слабое оборудование, да и нужны ли они тут? Люди будут работать с узким кругом софта, сменными носителями пользоваться скорее всего не будут, и, кроме того, в семье это не единственный компьютер (есть ноутбук, но он служебный).
Мой выбор пал на любимый IceWM: он прост, очень гибок и мало требует ресурсов для своей работы. При минимальных усилиях с моей стороны, он становится приветливым и простым. Для этого нужно выбросить из стартового меню всё лишнее, натянуть приветливую тему (коих даже в дистрибутиве куча, а уж в интернете и подавно) и поставить подобранные под тему обои. В моём случае, после применения мелкого напильника, это выглядело так:

Просто и приветливо. Поставлен и настроен autologin, дабы не смущать юные умы логинами и паролями. После этого начался подбор софта. Несколько простых игрушек, обучающие программы для детей и вполне серьёзные пакеты программ, когда им это надоест.

Софт для детей
Перечислю то, что входит в дистрибутив Дебиана:
+ tuxraicer: гонки на машине с Туксом. Довольно красивая игра, при небольшом притормаживании идёт даже на слабеньком Р233;
+ supertux: классическая игрушка Mario, но с Туксом - после tuxpaint вторая любимая забава наравне с tuxraicer;
+ tuxpaint: забавный, но довольно мощный графический пакет для детского рисования. Несмотря на свой "несерьёзный" интерфейс, имеет некоторые полезные инструменты, отсутствующие в более продвинутых графических редакторах;
+ mathwar: обучающая система по математике для школьников начальных классов;
+ gcompis: мощная обучающая система, после некоторой доработки, позволяет работать и с русским;
+ stratagus: серьёзная стратегическая игрушка;
+ kturtle: аналог ЛОГО, красивая и учит молодёжь азам программирования;
+ tuxeyes: Тукс, следящий глазами за мышкой;
+ stellarium: звёздные карты - объяснил, что здесь отображаются те звёзды, которые они видят вечером, и, после наглядных демонстраций, народ стал искать на небе звёзды.
+ tipptrainer: учит печатать на клавиатуре - увы, только латиницей, оставлена на всякий случай;
+ GiMP: как ни странно, понравился детворе - после того, как я снёс некоторые его инструменты и вообще привёл гимп к более человеческому виду;
+ InkScape: оставлен для дитя, которому 34 - ему понравилось, детвора пока не оценила;
Кроме того, присутствуют броузер MozillaSuite (выход в интернет по сетевой карте), OpenOffice 1.1.4, система черчения QCad, видеоплеер Xine и аудиоплеер XMMS. Всё это оставляет как минимум 200 МБ для свободного творчества, чего вот уже почти год как вполне хватает.

Как всё работает
После обработки напильником ядра, иксов (установка нужного драйвера и direct rendering) и сноса ненужного больше компилятора, система работает на удивление быстро. Даже такая игрушка, как supertux, идёт совершенно без тормозов.

Места на харде с избытком хватает для детско-юношеского творчества, а периодическое копирование на ноутбук особо ценных работ (через Samba, настроено расшаривание домашнего каталога) позволяет и родителям хвастаться достижениями своих отпрысков.

Второй забавой служит tuxpaint. Как ни странно, но вообще довольно мощный графический пакет - без слоёв и фильтров, конечно, но для рисования очень даже впечатляющий. И не только детвору.

Стратегическая игрушка так же в ходу - там ещё попутно и английский можно выучить. Графика приличная и игра сама по себе интересная.

Умещаются и офисные приложения - оставлены на всякий случай, когда детвора немного подрастёт и нужно будет работать с текстами и, может быть, таблицами. ОпенОфис стоит старенький, первый, но здесь больше и не надо.
Для черчения можно использовать QCad - наверное, одну из лучших бесплатных CAD-систем под Линукс. Это, как говорится, "на вырост".

Мультфильмы с ноутбука по сети смотрятся через Xine так же без особых проблем (в монитор встроены динамики), аудиокниги на ночь читает XMMS.

Заключение
В общем, за совершенно смешные деньги собран и настроен детский компьютер, который всем нравится и не требует установки фаерволов, антивирусов, антинтроянов, антишпионов и прочего мракобесия, стабилен, довольно быстр, содержит много развлекательного и обучающего софта - и всё это можно сделать в Debian.
Читать далее