Как читать структуры ASN.1 / DER
Последнее обновление:
Уметь читать структуру ASN.1 / DER — значит уметь читать бинарный язык, на котором записаны все сертификаты, закрытые ключи, CSR и списки отзыва в ваших системах. ASN.1 — это нотация, грамматика описания данных, а DER, Distinguished Encoding Rules, — единственный канонический способ превратить каждое значение в байты. Если эти байты кажутся вам шумом, вы не одиноки: большинство администраторов знакомится с ASN.1 по сообщению об ошибке, задолго после того, как описываемый им сертификат уже что-то сломал. Можно вставить любой DER- или PEM-блок в обозреватель ASN.1 / DER и получить полное аннотированное дерево прямо в браузере — ничего не загружается, — но эта статья учит читать байты самостоятельно, чтобы дерево никогда не было чёрным ящиком.
Один язык под каждым сертификатом, ключом и CSR — и почему о него все спотыкаются
ASN.1, Abstract Syntax Notation One, — это нотация; серия X.680 определяет грамматику, а X.690 — правила кодирования, включая DER. Каждый сертификат X.509, каждый закрытый ключ PKCS#8, каждый CSR, каждый CRL, каждый пакет PKCS#7 и каждый ответ OCSP — это значение, записанное на этом одном языке. Администраторы продолжают о него спотыкаться по простой причине: одни и те же байты носят три костюма. Файл .pem открывается как читаемый текст, файл .der печатается как мусор, файл .cer может оказаться любым из двух — а инструменты, показывающие структуру, делают это только по запросу, так что большинство людей впервые заглядывает внутрь сертификата уже после того, как что-то сломалось.
Вторая ловушка в том, что ASN.1 описывает форму, а не смысл. Два файла могут быть идеально корректным DER и означать совершенно разные вещи; смысл задаётся схемой — RFC 5280 для сертификатов — и OID внутри. Читать DER — это сразу два навыка: разбирать скелет тег–длина–значение и знать, какой схемой притворяется верхний уровень. Эта статья покрывает оба, а обозреватель автоматизирует первый и помечает второй как предположение «по мере сил», но никогда как вердикт: парсер может сказать, что говорит структура, но что она означает — только схема.
TLV: тег, длина, значение — вся грамматика в трёх байтах
Каждое значение ASN.1 состоит из трёх частей: тега, говорящего, что это такое, длины, говорящей, сколько байтов следует дальше, и самого значения. Байт тега упаковывает три факта в восемь бит: старшие два бита — класс (00 универсальный, 01 прикладной, 10 контекстно-зависимый — те самые [0] и [3], которые встречаются в сертификатах повсюду, 11 частный), бит 6 говорит, составной это тип (контейнер, хранящий другие значения) или примитивный (лист), а младшие пять бит — номер тега, причём 31 означает «читай дальше, номер продолжается». Длина — короткая форма, один байт, для всего короче 128 байтов, или длинная форма: первый байт 0x80 плюс счётчик n, а затем n байтов с длиной в порядке big-endian. DER запрещает неопределённую форму, байт длины 0x80: файл, который её использует, — это BER, а не DER, и строгий DER-парсер обязан его отклонить.
Вот вся грамматика на одном разобранном примере — минимальном примере, построенном вручную, той же формы, что и демо обозревателя. 30 0C 02 01 05 06 02 2A 03 0C 03 66 6F 6F читается так: 30 — составной SEQUENCE (универсальный тег 16); 0C — следует двенадцать байтов содержимого; затем 02 01 05 — INTEGER длиной в один байт со значением 5; 06 02 2A 03 — OBJECT IDENTIFIER длиной в два байта, где 0x2A — это 42, а 42 — это 1 × 40 + 2, значит, первые две дуги — 1.2, а затем 03 даёт 1.2.3; и 0C 03 66 6F 6F — UTF8String длиной в три байта, составляющий «foo». Те же четырнадцать байтов, прочитанные обратно командой openssl asn1parse, напечатаны в блоке кода ниже — запустите её сами и сопоставьте каждую строку с байтами. Кто может пройти этот пример, тот сможет пройти любую структуру: это тот же трёхбайтовый ритм, вложенный настолько глубоко, насколько требует схема.
Читаем сертификат вручную: tbsCertificate, по порядку
Сертификат — это SEQUENCE из трёх вещей: tbsCertificate, той части, которая подписывается; signatureAlgorithm; и signatureValue — BIT STRING. Внутри tbsCertificate поля всегда идут в одном порядке: version [0] — v3 для любого современного сертификата; serialNumber — INTEGER; signature — идентификатор алгоритма, который должен совпадать с внешним; issuer — Name; validity — SEQUENCE из notBefore и notAfter; subject — Name; subjectPublicKeyInfo; а затем необязательные уникальные идентификаторы и extensions [3]. Если вы смогли найти второй SEQUENCE внутри первого, вы уже смотрите на tbsCertificate, а всё, что дальше, — просто поля в фиксированном порядке.
То, что люди ищут на самом деле, — доменные имена, — вовсе не поле верхнего уровня. SAN живут внутри extensions [3] под OID 2.5.29.17 (subjectAltName) в виде SEQUENCE из GeneralNames с тегами [2] для DNS-имён, [7] для IP-адресов, [1] для почты и [6] для URI. CommonName, OID 2.5.4.3, в subject — это унаследованное место, куда раньше смотрели браузеры; современные браузеры его игнорируют и читают вместо этого расширение SAN, поэтому сертификат с идеальным CN и без SAN не работает ни в одном браузере. Если нужны поля одного сертификата простым языком, их извлечёт парсер SSL-сертификатов; обозреватель покажет, где каждое из них сидит в дереве.
OID — это адресная книга: что означают 2.5.4.3 и 1.2.840.113549.1.1.11
OID, идентификатор объекта, — это путь из чисел, разделённых точками, через глобальное дерево регистрации, и именно так файл говорит, что означает поле, не используя слов. Первые две дуги упаковываются в один байт: первая дуга, умноженная на сорок, плюс вторая, так что 1.2 становится 0x2A, то есть 42, а последующие дуги кодируются в base-128. Читайте 2.5.4.3 как типы атрибутов X.500 (2.5.4), а затем commonName (3): поле имени в subject каждого сертификата. Читайте 1.2.840.113549.1.1.11 как членский орган ISO (1.2.840), затем RSA (113549), затем pkcs-1 (1), затем sha256WithRSAEncryption (11) — алгоритм подписи большинства сертификатов, которые встречаются в природе.
Почему числа, а не имена? Потому что имя неоднозначно в разных языках и у разных производителей, а число — нет: OID позволяет двум реализациям, которые никогда не встречались, договориться, что поле означает одно и то же. Обозреватель разрешает дуги, с которыми вы встречаетесь чаще всего, — атрибуты X.500, RSA и PKCS, эллиптические кривые, расширения X.509, PKCS#7, OCSP — а для всего, что не узнаёт, печатает форму с точками, так что неизвестный OID остаётся адресом, который можно найти, а не голым числом. Голое число без формы с точками — это парсер, который сдался; форма с точками — минимум честного вывода.
DER, BER и PEM: что же у вас на самом деле в руках?
DER — каноническое подмножество BER. BER, Basic Encoding Rules, допускает выбор: длину в короткой или длинной форме, неопределённую длину, завершаемую двумя нулевыми байтами, примитивный тип, закодированный как составной. DER фиксирует каждый выбор, так что существует ровно одна правильная кодировка каждого значения — и в этом весь смысл, потому что подпись сертификата покрывает точные байты tbsCertificate, и если бы существовали две кодировки одного значения, подпись нельзя было бы проверить. PEM — вообще не кодировка: это base64 от DER-байтов с бронёй -----BEGIN CERTIFICATE----- вокруг, с переносом каждые 64 символа в строке.
Как понять, что у вас: откройте файл. Если он начинается с -----BEGIN, это PEM — снимите броню, декодируйте остаток из base64, и получите DER. Если он начинается с байта 0x30, тега SEQUENCE, это DER или BER; пропустите через строгий парсер, и байт длины 0x80 означает BER. Если инструмент говорит «не удаётся загрузить», обычно это значит, что вы дали ему PEM, когда он хотел DER, или наоборот; OpenSSL конвертирует в обе стороны (openssl x509 -outform DER или -inform DER), а обозреватель принимает PEM, base64, hex или сырой DER и говорит, что именно он обнаружил. Расширение .cer или .crt не говорит ничего — за ним может скрываться любая из кодировок.
Один язык, разные документы: CSR, CRL, PKCS#7, OCSP
Как только ритм TLV усвоен, остальное — словарный запас. CSR — это SEQUENCE из certificationRequestInfo, signatureAlgorithm и signatureValue, та же трёхчастная форма, что и у сертификата, только информация о запросе стоит там, где tbsCertificate. CRL — это SEQUENCE из tbsCertList, signatureAlgorithm и signatureValue, с отозванными сертификатами, перечисленными внутри. Пакет PKCS#7 / CMS SignedData оборачивает содержимое под OID 1.2.840.113549.1.7.2, а ответ OCSP — это BasicOCSPResponse, несущий по одному статусу на сертификат. Те же байты, те же правила вложенности — меняется только схема верхнего уровня.
Поэтому же один парсер покрывает их все: обозреватель разбирает любой DER-блок в то же дерево, затем смотрит, как выглядит верхний уровень, и помечает своё распознавание как «по мере сил». Если он не может распознать верхний уровень, он всё равно показывает всё дерево и так и говорит — дерево в любом случае и есть ответ. И стоит честно назвать ограничения, потому что разбор — это не проверка. Обозреватель не проверяет подписи, не валидирует цепочку по хранилищу доверия и не открывает зашифрованные контейнеры PKCS#12. Он говорит, что утверждает структура, а не стоит ли ей доверять. Чтобы сопоставить сертификат с его закрытым ключом, используйте сопоставитель сертификатов и ключей.
Попробуйте сами: 14 байтов DER, прочитанных обратно с помощью OpenSSL
# A hand-built ASN.1 value: SEQUENCE { INTEGER 5, OID 1.2.3, UTF8String "foo" }
# 14 bytes of DER:
30 0C 02 01 05 06 02 2A 03 0C 03 66 6F 6F
# Read it back with OpenSSL:
$ printf '\x30\x0c\x02\x01\x05\x06\x02\x2a\x03\x0c\x03\x66\x6f\x6f' > sample.der
$ openssl asn1parse -inform DER -in sample.der
0:d=0 hl=2 l= 12 cons: SEQUENCE
2:d=1 hl=2 l= 1 prim: INTEGER :05
5:d=1 hl=2 l= 2 prim: OBJECT :1.2.3
9:d=1 hl=2 l= 3 prim: UTF8STRING :foo