Что такое обратный инжиниринг
Обратный инжиниринг
В общем случае обратный инжиниринг (Reverse engineering) означает процесс создания технической документации на основе имеющейся детали или конструкции. Иными словами, процесс проектирования идет в обратном направлении — от физического объекта к его абстрактному представлению.
Применение обратного инжиниринга
В современном производстве нередко возникают ситуации, при которых обратный инжиниринг является оптимальным, а иногда и единственным способом решения различных задач. В машиностроении с его помощью получают цифровые копии макетов в ходе поиска формы новых изделий. Кроме того, обратный инжиниринг полезен при разработке, модернизации и ремонте оборудования. Наиболее типичными случаями применения являются ситуации, когда:
В этих и других ситуациях посредством обратного инжиниринга получают цифровые 3Dмодели, по которым с помощью аддитивных технологий может быть быстро изготовлена новая деталь.
Современный обратный инжиниринг
В настоящее время термином «обратный инжиниринг» по большей части обозначается процесс получения цифровой 3Dмодели реального изделия с использованием автоматизированных систем проектирования. Процесс начинается с 3Dсканирования, при котором форма объекта преобразуется в математический образ в виде облака точек. Для этого применяются лазерные сканеры, устройства структурированного белого или синего света, координатноизмерительные машины (КИМ) и компьютерная томография.
Наивысшей точностью (порядка 0,005 мм) обладают КИМ; оптические и лазерные сканеры отстают от них примерно на порядок. Однако для реверсного инжиниринга КИМ используются редко ввиду низкой скорости сканирования, а следовательно, проблем с получением большого количества точек.
Результаты сканирования выдаются в виде файлов измерений или файлов фасетной 3Dмодели в форматах OBJ, PLY, WRL, STL, AOP, ASCII и др. Следует подчеркнуть, что после 3Dсканирования в распоряжении инженера имеется только полигональная модель. Это очень важный момент, поскольку он существенно влияет на дальнейшие процессы обратного инжиниринга.
Дело в том, что реальное 3Dсканирование никогда не даст идеального результата, и причины тут могут быть разными. В частности, есть проблемы со сканированием внутренних карманов. На рис. 1 в качестве примера показана сеточная модель с такими недостатками.
На рисунке хорошо видно, что некоторые поверхности частично или полностью отсутствуют. Понятно, что такой файл нельзя отправлять на 3Dпечать, полигональная модель нуждается в доработке.
Необходимость доработки фасетной модели возникает не только изза погрешностей сканирования. Редактирование может понадобиться в связи с модификацией детали, внесением какихто изменений в конструкцию. Этим фактом обусловлена одна из сложностей обратного инжиниринга, поскольку большинство САПР работают с точным (BREP), а не с фасетным представлением.
Конечно, на основе полигональной модели можно получить BREPпредставление, но долгое время для этого требовались дорогостоящие приложения. В массовом проектировании положение изменилось с появлением САПР среднего класса, обеспечивающих импорт и редактирование полигональных моделей с простым переходом на BREPпредставление.
Первой из таких систем стала Solid Edge® ST10 компании Siemens PLM Software. В ней была впервые использована технология объединенного моделирования с одновременным применением BREP и фасетного представления в одной и той же модели. В результате этап редактирования модели стал выглядеть так, как показано на схеме, приведенной на рис. 2.
В Solid Edge ST10 редактирование фасетной модели сводится к применению привычных инструментов проектирования для работы с BREPпредставлением.
После того как работа над цифровой моделью завершена, деталь может быть изготовлена с помощью аддитивных технологий. Если в распоряжении пользователя ST10 имеется подключенный 3Dпринтер, печать можно начинать сразу, используя встроенный интерфейс для 3Dпечати.
Если принтера нет, то можно воспользоваться встроенным интерфейсом онлайнсервиса 3Dпечати 3YOURMND. Здесь есть возможность выбрать поставщика с нужным материалом и цветом печати, подходящей оплатой и сроками поставки. Изготовленная деталь будет получена почтой, и на этом цикл обратного инжиниринга можно считать законченным.
В описании процессов обратного инжиниринга акцент делается на аддитивные технологии как наиболее быстрые, удобные и перспективные. Однако это не значит, что здесь не могут быть использованы традиционные способы обработки металлов. После того как получена точная модель, для подготовки производства достаточно воспользоваться САМприложением. Таким образом, современный обратный инжиниринг позволяет быстро получать цифровые модели физических объектов, а затем создавать их дубликаты с помощью всех доступных технологий.
По материалам компании Siemens PLM Software
Обратный инжиниринг
Обра́тная разрабо́тка (обратный инжиниринг, реверс-инжиниринг; англ. reverse engineering ) — исследование некоторого устройства или программы, а также документации на них с целью понять принцип его работы и, чаще всего, воспроизвести устройство, программу или иной объект с аналогичными функциями, но без копирования как такового.
Применяется обычно в том случае, если создатель оригинального объекта не предоставил информации о структуре и способе создания (производства) объекта. Использование обратной разработки может противоречить закону об авторском праве и патентному законодательству.
В настоящее время под словами «reverse engineering» чаще всего понимается т. н. «clean room reverse engineering», то есть процесс, при котором одна группа разработчиков анализирует машинный код программы (в сленге хакеров для этого процесса используется также выражение «обратный инжиниринг» или «реверсный инжиниринг»), составляет алгоритм данной программы на псевдокоде, либо, если программа является драйвером какого-либо устройства, составляет исчерпывающие спецификации интересующего устройства. После получения спецификаций другая группа разработчиков пишет собственный драйвер на основе полученных спецификаций или алгоритмов. Такой подход позволяет избежать обвинений в нарушении авторских прав на исходную программу, так как по законам, к примеру в США, подпадает под понятие «fair use», то есть добросовестного использования оригинальной программы. Результат обратной разработки редко идентичен оригиналу, что и позволяет избежать ответственности перед законом.
Содержание
Сферы применения обратной разработки
Электроника
Копирование различных электронных блоков без фактической разработки. Известно, что часть советской цифровой электроники копировалась. Например, американская серия интегральных схем 74 и её советский аналог К(Р)155.
Ещё один пример обратной разработки — создание компанией AMD процессора Intel 80386.
Программное обеспечение
С развитием Интернета популярные операционные системы и программы всё интенсивнее исследуются на предмет обнаружения в них уязвимостей или т. н. дыр. В дальнейшем найденные дыры могут использоваться для получения несанкционированного доступа к удалённому компьютеру или компьютерной сети.
Одним из широко известных примеров обратной разработки является исследование IBM, ставшее серьёзным шагом на пути развития производства IBM-совместимых компьютеров сторонними производителями. Создание сервера GNU/Linux и работающего с серверами на базе ОС Microsoft Windows) также потребовало обратной разработки используемого SMB.
Обратная разработка программного обеспечения производится с помощью следующих методик.
Базы данных
может использоваться при создании реляционной модели базы данных.
Промышленность
Обратная разработка продукта конкурента с целью узнать его устройство, принцип работы и оценить возможности создания аналога.
Военная промышленность
Самыми известными фактами обратной разработки во время второй мировой войны являлись:
Для анализа исходного кода
Существуют программы, которые предоставляют как возможность восстановления (обратный, reverse) по исходному коду общего системного проекта (классы, связь между ними и т.п.), так и прямой генерации исходного кода на основе созданного проекта (функциональных блоков бизнес-процесса):
Обратная инженерия
На написание этого поста меня сподвигли предостерегающие комментарии одного из здешних обитателей в духе «за тобой следят».
Обратная разработка (далее РИ) (обратный инжиниринг, реверс-инжиниринг; англ. reverse engineering) — исследование некоторого устройства или программы, а также документации на них с целью понять принцип его работы и, чаще всего, воспроизвести устройство, программу или иной объект с аналогичными функциями, но без копирования как такового.
Принцип РИ состоит в том, что имея некий «черный ящик» с определенным набором логики или принципов можно составить представление о его устройстве на основе анализа данных на выходе в зависимости от того, что подается на вход. Есть еще вариант разобрать ящик и заглянуть внутрь (как делалось в случае копирования импортных микросхем), но в программировании и работе с удаленными сервисами это не всегда возможно.
Да все. Все и каждый в своей области.
Например, физика как наука. Она строит теории мироустройства, свойств материи и тд. Но! Основывается все же на многочисленных подвержденных опытах по учету следствий определенных воздействий, событий. Многократно отпуская камень и наблюдая его падение, многократно нагревая воду и наблюдая ее кипение, делаются выводы о законах мироздания. Наука пытается «отреверсить» Вселенную. На основе подтвержденных опытов строятся догадки или гипотезы о принципах (законах) природы. Выведенные уравнения не являются абсолютно точными, они совпадают с реальных положением дел лишь до определенного знака и в определенных условиях. У нас все же есть формулы для житейских расчетов, где точность даже до второго знака уже избыточна, но в прецизионных расчетах дело обстоит несколько иначе.
Литературные критики анализируют труды и биографию автора и выносят свои предположения и суждения о том, что сподвигло его на написание тех или иных строк, раскрывая детали собственно личности писателя.
Дети. Короли РИ. Они не обладают каким-либо знанием или теориями, но отлично усваивают причинно-следственные связи, учитывая даже невербальные сигналы родителей и окружения. Они быстро вырабатывают методики достижения своих желаний (хотя пока и примитивных), причем они во много схожи с методами взлома: брутфорс через непрекращающийся крик, эксплуатация уязвимостей через использование слабостей родителей (типа онжеребенок, яжмать и тп.), сбор информации через наблюдение и тп.
Каждый мастер в искусстве берет чью-то работу и оценивает то, как она была сделана, каким путем, а также получают сведения о квалификации автора. Роскошный пример явлен в фильме «Парфюмер», где парень воссоздал рецепт духов по его запаху.
Геймеры. Это вообще непаханное поле. Ни один из действующих игровых движков не реализует принципы и законы природы достаточно точно, поэтому приходится во время игры выяснятьособенности каждого из движков и делать выводы о дальнейших действиях не на основе жизненного опыта, а на основе знания об устройстве движке и условиях срабатывания определенных событий, триггеров и тп. Обширное поле для такой деятельности мозга предоставили и предоставляют РПГ и ММОРПГ со своими системами прокачки навыков и развития персонажа. Кто-то даже публикует формулы расчета, например, урона, которые использует сама игра. Знание движка дает серьезное преимущество для победы. Часто развиваются до читеров.
«Гражданский кодекс Российской Федерации (часть четвертая)» от 18.12.2006 N 230-ФЗ
Статья 1280. Право пользователя программы для ЭВМ и базы данных
3. Лицо, правомерно владеющее экземпляром программы для ЭВМ, вправе без согласия правообладателя и без выплаты дополнительного вознаграждения воспроизвести и преобразовать объектный код в исходный текст (декомпилировать программу для ЭВМ) или поручить иным лицам осуществить эти действия, если они необходимы для достижения способности к взаимодействию независимо разработанной этим лицом программы для ЭВМ с другими программами, которые могут взаимодействовать с декомпилируемой программой, при соблюдении следующих условий:
1) информация, необходимая для достижения способности к взаимодействию, ранее не была доступна этому лицу из других источников;
2) указанные действия осуществляются в отношении только тех частей декомпилируемой программы для ЭВМ, которые необходимы для достижения способности к взаимодействию;
3) информация, полученная в результате декомпилирования, может использоваться лишь для достижения способности к взаимодействию независимо разработанной программы для ЭВМ с другими программами, не может передаваться иным лицам, за исключением случаев, когда это необходимо для достижения способности к взаимодействию независимо разработанной программы для ЭВМ с другими программами, а также не может использоваться для разработки программы для ЭВМ, по своему виду существенно схожей с декомпилируемой программой для ЭВМ, или для осуществления другого действия, нарушающего исключительное право на программу для ЭВМ.
Без крайней необходимости нам не позволяют «разбирать» чужие творения. Результатом декомпиляции/реверс-инжиниринга будет псевдокод или алгоритм, из которого родится уже новый исходный код. Если записи об обратной разработке недоступны, то доказать неоригинальность кода становится непосильной задачей (особенно если код перенесен на другую платформу). Opensource в этом случае вообще предлагает открытые исходники для всех желающих заглянуть «под капот» приложения.
Реверс-инжиниринг. История. Моя
На этот раз статья будет не технической (хотя в ней и будут попадаться какие-то технические термины/моменты), а скорее автобиографической, если так можно выразиться. Эта статья о том, как я докатился до такой жизни пришёл в реверс-инжиниринг, что читал, чем интересовался, где применял, и т.д. И, я почему-то уверен, что моя история будет иметь множество отличий от твоей. Поехали.
Начало
А начиналось всё ещё в далёком детстве. Думаю, как и многим парням (а может и девушкам), мне всегда было интересно знать, как же всё устроено, почему работает, почему не работает, и т.д.
Сначала я начал разбирать все машинки на батарейках, которые у меня были (даже те, что были у брата). Конечно, не всегда удавалось собрать, но, интерес был превыше. Потом нашёл какой-то старый радиоприёмник-магнитофон у отца в кладовке, и разобрал его тоже. Ещё были тамагочи. Но там я вообще ничего не мог понять: микросхема, «капля» и экран. Хотя да, экран я разбирал на слои.
Конечно же, за всё несобранное я получал по шапке.
Sega Mega Drive
Отец купил мне её на день рождения: обычная пиратка, ибо лицензионных тогда не было, плюс картридж » Contra: Hard Corps «. Уверен, момент покупки приставки для многих детей 90-х не забыт до сих пор (ромхакеры и ретрогеймеры — привет!), а именно для меня он стал ещё и ключевым в будущем. Но обо всём по-порядку.
11-й класс
(прим. автора: тот самый компьютер, только куда позднее)
Осенью 2005-го года мне купили компьютер. С первых дней я начал играть в игры. Учёба в школе просела, но держалась на нормальном для гимназии уровне. А спустя полгода играть надоело. Тогда и свершился переломный момент!
Негеймер
Именно тогда, в 2006 году, как мне кажется, начался варезный бум. Куча сайтов с кряками, кейгенами, патчами. Каждый старался перепаковать инсталлятор так (привет сборкам Винды), чтобы скачавшему ничего лишнего делать не нужно было: установилось и работает, правда иногда добавляя что-то от себя.
Переводчик
cracklab.ru
Скачал для экспериментов себе парочку «крэкмисов» (программы, специально написанные для того, чтобы их реверсили, обучаясь при этом взлому и защите ). Попробовал — очень понравилось! Всё получилось с первого раза, чему я был несказанно рад.
В итоге, простые защиты снимались на раз-два с помощью патчинга (от слова patch — заплатка), а вот с теми, что посложнее (я решил попробовать эротические шашки и поддавки) как-то уже стало тяжело, и я остановился, решив вернуться к переводам.
Ромхакинг
Иногда играя в Сегу, мне попадались картриджи на русском языке, на титульных экранах игр которых были такие надписи как «Группа перевода SHEDEVR «, «Перевод NEW-GAME.RU «. Разработчики ли это, или же какие-то сторонние организации я не знал, но у них явно был доступ к каким-то манускриптам, древним текстам шумеров, в которых рассказывалось, как переводить игры на русский язык. И мне захотелось овладеть этими знаниями.
Так я открыл для себя форум «Шедевра«.
У них были статьи, были программы — всё необходимое для того, чтобы сделать твою любимую игру ещё и «твоей любимой игрой на русском языке«. Правда, статьи были только для NES (Nintendo Entertainment System, или по-народному: Денди, Сюбор). Но всё равно круто! И я погрузился в новые и увлекательные для себя темы: Ромхакинг и эмуляция ретро-консолей на ПК.
Если вкратце, то ромхакинг — это любое изменение образа или файла игры, с какой либо целью: перевод, исправление кода, графики.
Это был очень занимательный процесс: сидишь, перерисовываешь квадратики игрового шрифта пиксель за пикселем, переводишь и вставляешь с помощью программы для перевода PokePerevod текст, и смотришь что получилось. Правда, никакого тебе ассемблера, только хардкор! Но это уже было планкой, через которую очень немногие могли перепрыгнуть (судя по количество активных на форуме Шедевра).
Я учитель
Сделав какие-то переводы «в стол», а какие-то и в народ, я вернулся к исполняемым файлам Windows. Ещё немного поднаторев в ассемблере, я понял, что «секретных» знаний во мне теперь чересчур много, и мне есть что рассказать из своего опыта, есть чем поделиться, и что ещё не было описано в имеющихся статьях. Хотелось передавать знания таким же новичкам, каким я был сам (видимо, сказывается то, что мама — учитель).
Взяв первую попавшуюся программу, которая требовала лицензию (а практически все статьи, обучающие крякингу, так и начинались), я решил исследовать её, параллельно рассказывая что я делаю. Тогда не будет казаться, что программа взята специально старой версии, давно изученная, поломанная, а получится наоборот такой себе свежий и актуальный урок, со скриншотами и практически без абсолютных адресов, чтобы хоть как-то сохранить актуальность статьи на момент чтения кем-либо в будущем.
Получив положительные отзывы, я писал ещё и ещё, понимая, что спрос есть.
Инструменты
А в универах учат реверсу?
Если в двух словах, то в Беларуси с этим туго, и, насколько я знаю, в России и Украине тоже. Почему? Да потому что специалисты этой профессии обычно нужны в одной с половиной организации, и, обычно, полтора человека. Собственно, и преподавателей не так много.
Да, ассемблеру, конечно, учат, даже в некоторых колледжах. Только студент, глядя на написанный ассемблерный листинг, вряд ли даже может осознать, что эти все регистры, операнды, опкоды хоть как-то связаны с информационной защитой, эксплоитами, кряками, кейгенами, патчами, малварью, антивирусами, прошивками и т.д.
Например, в Беларуси я знаю только два-три места, куда требуются реверс-инженеры. В России, конечно, ситуация получше, но, специалистов также немного.
Первая работа
В одну из этих фирм я и решил пойти работать вирусным аналитиком, понимая, что, собственно, больше и некуда.
Реверсишь малварь, клепаешь сигнатуры, изучаешь принципы работы вредоносного ПО, пишешь расшифровщики для ransomware (если получается), попутно улучшаешь ядро.
В принципе, работа неплохая, но, лишь спустя время я осознал, что всяко ближе не наблюдать за тем, как малварь использует какие-то уязвимости, а самому их находить, быть первым в этом, помогая защищать информационный мир отправленными разработчикам отчётами.
Другой ассемблер
Однажды я узнал, что кроме ассемблерного кода Intel (16-, 32-, 64-битного) бывает и другой, по-началу кажущийся совершенно непохожим на тот, что ты знаешь. Это произошло в тот момент, когда я добрался до перевода своей любимой игры — » Thunder Force III «, в которую брат играл лучше меня.
Ресурсы в ней оказались сжатыми каким-то неизвестным упаковщиком, т.к. я не смог найти шрифт ни одним тайловым редактором (именно в таких программах чаще всего и перерисовывают игровые буковки, что выводятся на экран).
P.S. Thunder Force III я так и не перевёл, но написал редактор уровней к ней.
Sony Playstation
Обратное мышление и первый кейген
Знаете, что тогда стало для меня настоящим испытанием? Имея на руках лишь ассемблерный листинг кода, который распаковывает что-либо, написать к нему упаковщик. Здесь потребовалось выработать обратное мышление, которое практически не требовалось во время патчинга «крэкмисов«, и излечивания программ от жадности.
Я пытался идти от обратного, понимая, что должно быть на выходе, на входе, и какие байты сжатых данных за что отвечают, чтобы сделать такие же.
Написав ещё множество утилит для кучи игр по распаковке и упаковке данных, я осознал, что готов написать свой первый кейген, т.к. уже научился мыслить от обратного.
Не помню, что это была за программа, но кейген удался, и из имени пользователя я смог получать всегда правильный серийный номер. О чём также поведал в статье.
Статья о кейгене
А вот писать статью о кейгене было тяжело. Тяжелее написания кейгена. Т.к. в статье передать принцип обратного мышления довольно таки сложно. Как и всё, что приходит с опытом.
Крякерские команды
Поначалу, если ты, как и я, пришёл в реверс самоучкой, ты реверсишь один, для себя (либо в народ, это как пойдёт). И тебя это устраивает. Но, потом ты натыкаешься на какой-нибудь релиз крякерской команды (это те, что выкладывают взломанный софт с кряками и кейгенами), и решаешь присоединиться к ним. Там и силы свои можно будет сравнить с другими людьми, и заодно набраться от них опыта.
Собравшись с духом, пишешь письмо, с просьбой присоединиться. Высылают задание в виде кейгенми. Решаешь его, после чего тебе дают доступ в чатик команды.
На самом деле, не все из них реверсеры. Кто-то художник, кто-то умеет доставать платный софт, у кого-то вычислительные мощности (возможность факторизовать любой публичный ключ RSA-512 за два дня, на 2013-й год, если это требовалось для снятия лицензионной защиты). В общем, преимущества налицо. Но софт для релиза всё равно выбираешь сам, чаще всего. И денег за релизы не получаешь. Правда.
Проблемы с законом?
Да, за распространение кряков и кейгенов всё таки есть вероятность загреметь (особенно если программа популярная и стоит много денег). В любой момент может произойти контрольная закупка: тебе напишет дядя, который хочет «взломать Adobe / 1C Бухгалтерия сколька будит стоеть» (реальная история). Но ребята хотят выживать, особенно если работы нет, а «навык«-то применять хочется, не важно пока куда. И начинают идти на крайности.
… барыжат ломаным софтом, взламывают программы за деньги.
И, в тот момент, когда появляется желание жить честно, крякер идёт устраиваться на работу, там откапывают его прошлое, и — «Извините, но Ваше прошлое сыграло не в Вашу пользу!«. Хотя, с моей позиции, человека с таким опытом стоит брать с руками и ногами, ведь, во первых, вы даёте человеку возможность исправиться, и, во вторых, направляете его знания в правильное русло. Среди моих знакомых действительно есть примеры успешного трудоустройства в антивирусную область, где товарищ на собесе сказал, что взламывал программы на заказ.
Честно заработанный лицензионный ключ
Да, и такое бывает. Даже у крякера. Были где-то статейки о том, как выпросить у разработчика ключ. И я так пробовал делать. Не помогало.
Тогда я перевёл программу на белорусский язык, и отправил автору языковой файл. За что получил в ответ лицензионный ключ на своё имя! Мой первый лицензионный ключ.
Что дальше?
Наигравшись в пирата, постепенно приходишь к тому, что работа у тебя есть, зарплата стабильная, дело любимое делаешь, а значит пора завязывать с нехорошими вещами.
Ещё бывают реверс-инженеры хардварщики (те, что железо реверсят), но о них я знаю мало. Хотя, тема очень даже интересная. Я же больше по программной части.