Глубокий анализ данных, Эпизод 1: foremost

Есть ситуации: ваша флешка начинает помирать, диск плохо читается и на нём важные данные, или вы пришли к какому-нибудь недругу и подозреваете, что у него на винчестере есть данные, которые вам нужны, а он их показывать не хочет. В общем, вопрос: как выдрать файлы из труднодоступных носителей?
Решение: имеется класс программ "судебного анализа данных" (forensic analisys), позволяющих без шума и пыли (и ректальной имплантации горячих паяльников) выудить данные, даже если они хитро записаны.

Лирическое отступление
Всё началось с того, что ко мне пришёл один пользователь виндовс, и, гордо размахивая флешкой, сказал, что у него есть вордовский файл с паролями, но на этой флешке его никто никогда не отыщет. Мне стало интересно, и я, отвлекая его внимание запущенным на ноутбуке Kororaa с XGL, по-тихому перегнал всю гиговую флешку к себе с помощью dd... На следующий день он очень удивился, увидев в своём почтовом ящике все свои пароли. Ниже рассказывается, как мне это удалось сделать, используя Дебиан и программы, имеющиеся в нём.

Что есть для этого в Дебиан?
Чего только не найдёшь в Дебиановском репозитории! Например, очень и очень интересная программа foremost. Она позволяет искать файлы на сменных носителях / внутри образов дисков по hex-данным, характерным заголовкам и окончаниям. В Sarge версия довольно старая, но с сайта можно скачать тарболл и скомпилировать его. После чего foremost можно запустить и прочитать мануал, который, надо сказать, весьма примечателен:

Foremost was written by Special Agent Kris Kendall and Special Agent Jesse
Kornblum of the United States Air Force Office of Special Investigations
starting in March 2001. This program would not be what it is today without
help from (in no particular order): Rob Meekins, Dan Kalil, and Chet
Maciag. This project was inspired by CarvThis, written by the Defense
Computer Forensic Lab in 1999.

Выделенные курсивом строки, надеюсь, в переводе не нуждаются?

Как это работает?
Программа прочёсывает файлы на предмет совпадения заранее определённых hex-кодов, соответствующих наиболее распространённым форматам файлов. После чего экстрагирует их из диска / образа и складывает в каталог, вместе с подробным отчётом о том, чего, сколько и откуда было выдрано.
Мануал к программе написан очень подробный, с возможностью добавлять свои форматы, о которых программа не знает. Заголовки и окончания декодируются перед использованием из шестнадцатеричного формата:

Headers and footers are decoded before use. To specify a value in
hexadecimal use \x[0-f][0-f], and for octal use \[1-9][1-9][1-9]. Spaces
can be represented by \s. Example: "\x4F\123\I\sCCI" decodes to "OSI CCI".

А вот и пример того, как выглядят для foremost файлы:

# extension case-sens max-size header footer (option)
#
# GIF and JPG files (very common)
gif y 155000 \x47\x49\x46\x38\x37\x61 \x00\x3b
gif y 155000 \x47\x49\x46\x38\x39\x61 \x00\x00\x3b
jpg y 200000 \xff\xd8\xff \xff\xd9

Так что если есть желание и необходимость, можно добавить информацию для поиска шифрованный файлов и прочих наводящих на размышления данных.

Foremost в действии
Отлично, программа собрана и установлена, с требуемого носителя содран образ при помощи dd, теперь осталось поискать там файлы.

Попробуем поискать файлы, замаскированные под другой формат.
Берём флешку, втыкаем и не монтируем - пробуем выдрать оттуда файлы типа doc, один из которых переименован в jpg (наивный юноша...):

./foremost -t doc -o /opt/foremost-1.3/output/ -i /dev/sdf

После чего идём в подкаталог ../output и наблюдаем радостную картину - файлик обнаружился. А вот и отчёт программы:

Foremost version 1.3 by Jesse Kornblum, Kris Kendall, and Nick Mikus
Audit File

Foremost started at Sat Dec 16 21:48:07 2006
Invocation: ./foremost -t doc -o /opt/foremost-1.3/output/ -i /dev/sdf
Output directory: /opt/foremost-1.3/output
Configuration file: /opt/foremost-1.3/foremost.conf
------------------------------------------------------------------
File: /dev/sdf
Start: Sat Dec 16 21:48:07 2006
Length: 15 MB (16121856 bytes)

Num (bs=512) Size Offset

0: 129.jpg 155 KB 66048
Finish: Sat Dec 16 21:48:12 2006

1 FILES EXTRACTED

doc:= 1
------------------------------------------------------------------

Имя не сохранено, но содержимое в порядке. Нагретый паяльник и утюг можно отложить в сторону. :-)

Другой пример. Пусть хакер Нео хочет скрытно передать товарищу Морфею диск с изображением кодов к Матрице (фотографией голой Тринити). Для этого можно схитрить: приказывать писать программе cdrecord не iso-образ, а просто файл:

cdrecord -v speed=0 dev=ATAPI:0,0,0 matrixcodes

На другом конце Морфей делает

dd if=/dev/cdrom bs=2048 of=~/temp/matrix.jpg

Но вот всех застукал агент Смит, приволок в отделение и ласково спрашивает, что на болванке. Хакер Нео с ясными глазами говорит почти правду - ничего, болванка пустая (ясное дело, что "в лоб" такая болванка не читается). Агент Смит знает Линукс и поэтому он набирает в консоли:

# foremost -t all -o ~/output/ -i /dev/hda

И выуживает из диска крамольные данные: в подкаталоге ..output/ появляется файл audit.txt следующего содержания:

Foremost version 1.3 by Jesse Kornblum, Kris Kendall, and Nick Mikus
Audit File

Foremost started at Sat Dec 16 22:15:26 2006
Invocation: ./foremost -t all -o /opt/foremost-1.3/output/ -i /dev/hda
Output directory: /opt/foremost-1.3/output
Configuration file: /opt/foremost-1.3/foremost.conf
------------------------------------------------------------------
File: /dev/hda
Start: Sat Dec 16 22:15:26 2006
Length: 604 KB (618496 bytes)

Num (bs=512) Size Offset

0: 0.jpg 88 KB 0
Finish: Sat Dec 16 22:15:28 2006

1 FILES EXTRACTED

jpg:= 1
------------------------------------------------------------------

Foremost finished at Sat Dec 16 22:15:28 2006

и каталог ..output/jpg/ с этим файлом...

Ситуацию можно усложнить: дописать в конец диска этот файл тем же способом, после записи липовых файлов, или записать так архив - в общем, есть где фантазии развернуться.

Ещё немного поигравшись с программой, можно сказать следующее. Сразу, без дополнительных танцев, находит foremost графические файлы tif, jpg, png, bmp, звуковые файлы wav, виндовые exe-шники, все офисные форматы (мелкоОфиса и ОпенОфиса), архивы rar и zip и многое другое. Линуксовые архивы типа bzip2 и p7zip "в лоб" программа не берёт, но это дело не сильно облегчает, так как, задавшись целью, можно и их выдрать с диска.

Заключение
На простых примерах была показана мощь программы foremost, которая в умелых руках и при знании простых UNIX-программ типа dd или recoverdm способна выуживать из носителей информации данные, даже весьма хитро спрятанные и записанные нестандартным образом.

Аналогичные программы
Такие программы особенно не афишируются, и крайне неохотно раздаются за просто так. Или надо оставлять свои паспортные данные и доказывать, что вы работаете в полиции, в суде или в КГБ :-) Но всё-таки кое-что имеется. Это проприетарные Safeback, Encase, safecopy, dvdisaster и некоторые другие. Особые параноики полагают, что старый-добрый dd тоже является программой из этой же серии.

Ссылки
Есть очень хороший каталог с описаниями таких программ здесь. Вот тут неплохое описание доступных утилит по анализу данных, ссылки есть и здесь, а ещё лучше погуглить со словом forensic.