Как экстрагировать подсвеченный (highlight) текст из PDF файлов в Linux: Zotero и ZotFile

Когда читаешь текст статей и книг в PDF-файлах, есть желание подсветить (highlight) интересные участки и вернуться к ним ещё разок - прямо как на бумаге. Более того, хочется текст из этих самых подсвеченных участков выдрать из PDF и экспортировать куда-нибудь ещё. И желательно это сделать в Linux и без необходимости загружать виртуальную машину с десктопным софтом для Windows. Казалось бы, в опенсорце так любят изобетать велосипеды, и должен же какой-нибудь велосипедостроитель до этого дотумкать.

И таки нашёлся один герой, который это сделал! Но, как и полагается в опенсорце, для этого нужно установить другую софтину, взять автоген, бензопилу и начать процедуру ректального удаления гланд. Чем автор сейчас и займётся. Леденящие душу подробности, кишки, море крови и вагон изуродованных трупов прилагаются к посту ниже.

Работа с PDF-файлами в человеческом декстопе

На всякий случай для тех, кто ест суп отвёрткой: люди читают PDF-файлы в Android и Windows и делают в них пометки\аннотации. Это удобно и помогает быстро набросать выжимку из читаемого.

Любителей линукса ждёт жестокое разочарование: никаких вменяемых средств для пометок в PDF и уж тем более выдирания текста оттуда в Linux нетЪ. Да, в 2013 году мы имеем только xournal, который может тупо рисовать поверх текста, и Okular, который не умеет сохранять выделения и аннотации внутри PDF-файла.

Даже в Андроиде софта для работы с PDF больше: тот же ezPDF отлично справляется с аннотациями и выделениями (можно настраивать даже цвет и прозрачность). Вот так:

Для Windows есть PDFXchange-viewer который отлично работает в WINE (и бесплатен для загрузки!). В работе он ещё проще  ezPDF, так как имеет специальный инструмент для подсвечивания, чтобы не пришлось подтверждать каждый раз:

Как мы с неудовольствием наблюдаем, что в Windows и Android таких программ - завались, в то время как разработнички ёпенсорца заняты куда более важными вещами вроде systemd, Mir и Wayland.  Но мы не об этом - обещанные кишки и море крови впереди.

Zotero + ZotFile = экстрагируем выделенный текст (Highlights) из PDF в Linux без наркоза!

Есть такой сорт программ, которые пытаются управлять коллекциями материалов для чтения. Одна из таких попыток называется Zotero и представляет собой урезанный Firefox (оно называется Standalone, то бишь отдельностоячая версия) или плагин к Firefox.

Так вот, сам по себе интерфейс Zotero ужасен настолько, насколько может быть убог интерфейс, созданный опенсорцными деятелями. Но у зотеры есть один волшебный плагин, который называется ZotFile - и вот он-то умеет вытаскивать подсвеченные куски текста из PDF-файлов.

Казалось бы, что ж автор-то злопыхает? Вот оно, решение-то. Ан нет: чтобы получить искомое, придётся взять автоген и безнозпилу.

Установка сопутствующих инструментов: zotero

По этой ссылке можно скачать либо Firefox extension либо зотеру Standalone в виде отдельного приложения. После установки zotero нам потребуется плагин ZotFile, который позволяет получить искомую возможность экспорта выделений из PDF-файлов.

Установка ZotFile

Идём на ZotFile official website или mozilla page и скачиваем расширение ZotFile. Далее в zotero идём в меню Tools -> Addons и устанавливаем ZotFile:

Всё, теперь начинается битва с зотерой - добавление PDF-файлов и работа с ними.

Да, массовый импорт PDF-файлов из меню Import невозможен и сочтён разработчиками zotero ненужной и мало полезной функцией. Если вы подумали, что импортировать файлы можно через File -> Import... то вас ждёт сюрприз: так сделать не получится.

Оказывается, что для добавления PDF-файлов пользователь должен на зелёный ПЛЮС "New Item" -> "Story copy of file" и, зажав шифт и подпрыгивая на левой ноге, выделить несолько файлов PDF сразу.

Эти файлы будут сохранены в виде приложения (attachments) в каталогах  ./Library/storage с затейливыми подкаталогами. Но так как мы не собираемся использовать эту поделку ни для чего серьёзного, это нам не важно.

Я уже хочу попросить местного Санта Клауса подарить мне вертолёт с миниганом для полётов над местами скопления девелоперсов зотеры. К ним я хочу прилететь даже больше, чем к поттерингу и девелоперсам Гнома3: в отличие от зотерщиков, эти отморозки ничего толкового не делают. Зотрещики же откровенно издеваются над пользователями, городя наименее вменяемые интерфейсы для в целом годной и хорошей программы.

Посылаем чтиво из Zotero

Для того, чтобы послать PDF файлы на планшет \ таблетку \ директорию для чтения (это может быть каталог Dropbox, который синхронизируется с декстопом и планештом), выбираем файлы, зажав Shift, кликаем правой кнопкой мыши по ним и выбираем "Manage Attachments" -> "Send to Subfolder on Tablet". Это функция ZotFile - зотера из коробки этого не умеет.

Расположение каталога можно настроить в опциях ZotFile. Для этого идём в  "Tools" -> Add-ons -> ZotFile -> "Tablet Settings" и меняем по вкусу.

Читаем и делаем пометки (highlights) в PDF

Так как на линуксовом "десктопе" ничего удобоваримого нет, идём на поклон к проприетарщине:

• Tablet. Здесь есть много программ, способных делать нормальные пометки и аннотации, например ezPDF. Загружаем файлы через  AirDroid или синхронизацией через Dropbox и наслаждаемся.
  
• Desktop. Здесь есть альтернатива в виде PDFXchange из-под Wine. Работает отлично и позволяет сохранять пометки внутри файлов.
  

Начитавшись разумного, доброго и светлого, тягаем помеченные файлы обратно. В зотере есть специальный каталог под названием Tablet Files. Там хранятся записи о том, какие файлы посланы на планшет \ каталог для чтения. Идём в Tablet Files, выбираем файлы, кликаем правой кнопкой мыши и выбираем "Get from Tablet".

Выдираем подсвеченный текст из PDF используя ZotFile

Выделяем прочитанный PDFник с подсвеченным текстом, жмём правую кнопку мыши и выбираем Manage Attachments -> Extract Highlights. И вот они, наши бесценные пометки, в красиво оформленном виде - ZotFile вставит даже номер страницы, откуда пометки взяты.

Пометки выдираются без проблем как в случае использования ezPDF, так и PDFExchange. Всё, пометки можно скопировать как в виде простого текста, так и в HTML:

У ZotFile есть много скрытых параметров (hidden options) и ручек, за которые можно подёргать для более тонкой настройки. Как и в Firefox, это делается через 'about:config' или, в случае с Zotero Standalone, в меню  'Actions -> Preferences -> Advanced -> Open about:config'.

Здесь мы видим обычное конфигурационное месиво от Мозиллы. Ищем строки вида 'extensions.zotfile' для скрытых опций zotfile. На примере выше я убрал кавычки для цитат, извлечённых из highlights в PDF изменив .pdfExtraction.ClosingQuotation. Теперь текст выделений не содержит кавычек.

Итоги забега: zotero - квадратно-колёсный велокактус

zotero, как система управления коллекцией статей и книг в PDF, хуже, чем просто бесполезна: она отнимает больше времени на борьбу с идиотизмом разработчиков, чем экономит. Примеры шедевральных решений:

• нельзя импортировать кучу PDF-файлов со структурой в виде каталогов и подкаталогов.
• импорт вообще сделан через  задницу: несколько PDF файлов можно экспортировать только если они лежат в одном каталоге. О том, насколько это медленно,  я просто не говорю.
• нельзя экспортировать отсортированную библиотеку из зотеры 1:1 дублируя коллекции в виде каталогов (но можно выпендриться, экспортируя через ZotFile).
• статьи и книги внутри зотеры нельзя перемещать, но можно копировать+удалять. Это может привести к плачевным последствиям: могут появиться дубликаты там, где их никогда не было.
• система объединения дубликатов невменяема: не пользуйтесь ей НИКОГДА! При объединении элементов с вложениями PDF оно сваливает все PDF в одну кучу. Зачем тогда вообще эта функция?!
• нет возможности получить список файлов в коллекции - только внешими скриптами через прямые запросы в базу SQLite (юзер-френдли, да).
• экспорт в BiBTeX ущербен на всю голову: генерация cite keys сделана полными идиотами - оно генерирует ключи в виде @BOOK{clif????, title = {Clif Flynt Tcl Tk Second Edition A Developers}. Но они работают над этим.
  

И это только наиболее критичные проблемы. Медленную работу, ущербный ненастраиваемый интрефейс, малое количество опций - это мелочи.

Вебдвальноль спешит на помощь: SumNotes

Замечательный, простой и работящий вебсервис http://www.sumnotes.net позволяет даром извлекать выделенные слова и аннотации из PDF-файлов. Просто загружаем наш PDF файл:

который может быть до 300 Мб, и через некоторое время получаем наши бесценные выделенные фразы:

которые можно сохранить в формате TXT или DOC, и просто скопировать в буфер обмена:

Одно но: не вставляет номер страницы, на которой это выделение было сделано. Но тем не менее с задачей справляется на отлично.

Заключение

Из плюсов у zotero есть только ZotFile: это единственная причина, по которой зотеру вообще можно терпеть в этом мире - возможность получения выделенного текста из PDF файлов. И этот небольшой плагин  ZotFile - всё, что в линуксах способно вынимать текст из PDF Highlights на линуксовом десктопе, год которого, конечно же, обязательно и непременно наступит.

Альтернативы и аналоги:

• Стоит так же пристально посмотреть на вебдванольный сервис http://www.sumnotes.net который прост, вебдванолен и не страдает детскими опенсорцными болезнями.
• http://www.docear.org/ - и швец, и жнец, и на дуге игрец: и майндмаппинг, и организация данных, и выдирание пометок из документов. Недостаток: оно на Java.
• http://www.sciplore.org/software/sciplore_mindmapping/ - тоже на джаве (что огорчает скоростью), но умеет вытаскивать закладки и пометки из PDF, плюс майндмаппинг.
• Mendeley - аналог Zotero, поддерживает вытаскивание highlights и notes, экспортирует аннотированные pdf, но не умеет экспортировать отсортированные документы с сохранением структуры. 
• Calibre с плагином Annotations - экстрагирует пометки из PDF с отправкой на почту.

В общем, не зотерой единой...