Add E2EE recovery and device rotation

Add signed, encrypted recovery archives with revision checks, account-certified device enrollment and key rotation, and historical signer lookup. Include the database migration, API endpoints, tests, and updated E2EE documentation.
This commit is contained in:
Artemy
2026-10-24 16:54:56 +07:00
parent 2d99c57a3b
commit a049a80e04
15 changed files with 2259 additions and 130 deletions
+136 -108
View File
@@ -1,133 +1,161 @@
# E2EE v1
# E2EE: автоматическое доверие, ротация и перенос истории
Новые личные сообщения и сообщения приватных групп/каналов требуют E2EE.
Сервер проверяет подпись и права доступа, сохраняет и пересылает зашифрованный
конверт. Он не получает приватные ключи устройств или ключи файлов.
Новый мобильный клиент шифрует сообщения всех чатов, включая публичные группы;
сервер сохраняет совместимость с открытыми сообщениями публичных групп.
## Поведение для пользователя
## Протокол
После входа актуальный клиент автоматически создаёт ключи, публикует только
публичные данные и регистрирует устройство. После добавления друга или вступления
в группу сообщения и файлы шифруются без диалогов сверки ключей или состава чата.
На новом физическом устройстве нужно один раз ввести код с доверенного устройства
(Настройки → Перенос истории / резервный код) либо сохранённый резервный код.
После этого клиент скачивает зашифрованный архив и расшифровывает прежние сообщения
и ключи вложений. Передача кода выполняется пользователем между своими устройствами;
отдельного протокола QR-сопряжения или удалённого одобрения устройства пока нет.
Используется `jose-jwt` 5.3.0: JWE JSON Serialization (RFC 7516),
RSA-OAEP-256 с RSA 3072 для передачи ключа каждому устройству, AES-256-GCM для
содержимого и JWS ES256 (RFC 7515) для подписи полного конверта.
Алгоритмы фиксированы; сжатие, незашифрованный режим и выбор алгоритма сервером
не поддерживаются. Это прикладной протокол на JOSE, а не Signal/MLS.
Это расширение существующего протокола JOSE, **не реализация Signal/MLS**.
Ротация ограничивает использование отдельного украденного ключа шифрования после
его замены. Она не устраняет компрометацию работающего устройства и не обеспечивает
forward secrecy или post-compromise security. Восстанавливаемый архив намеренно
сохраняет возможность расшифровки истории. Кража резервного кода вместе с доступом
к архиву раскрывает эту историю и ключ доверия аккаунта.
Поле `EncryptedContent` содержит `govor.e2ee.v1:` и компактный JWS. В подписанном
конверте находятся версия, ID сообщения и чата, тип чата, публичный ключ автора,
ID сессии, ссылка на ответ, время, признак редактирования, отпечатки устройств,
ID вложений и JWE. Текст и секреты вложений находятся только внутри JWE.
Публичный ключ RSA подписан ключом ES256 с отдельным контекстом
`govor-key-binding-v1`. Отпечаток SHA-256 связывает оба публичных ключа.
## Три вида ключей
Код `Govor.Application/E2ee/E2eeProtocol.cs` и его копия в мобильном репозитории
`Govor.Mobile/Services/E2ee/E2eeProtocol.cs` должны оставаться идентичными.
Изменение формата требует новой версии протокола и совместимых клиентов.
- Ключ аккаунта: ECDSA P-256, единый для устройств. Подписывает сертификаты
устройств и архив; его публичный отпечаток доступен в настройках.
- Ключи сессии устройства: ECDSA P-256 для сообщений и RSA-3072 для получения
случайного ключа содержимого. Ключ подписи каждого устройства остаётся локальным
и не экспортируется в архив. Используется существующий идентификатор UserSession,
отдельного постоянного идентификатора физического устройства пока нет.
- Резервный код: случайные 256 бит в Base64URL. Шифрует архив JWE dir/A256GCM;
код не передаётся серверу и не выводится из пароля входа.
## Устройства и доверие
MAUI SecureStorage хранит приватные ключи устройств, резервный код, ключ аккаунта,
архив ключей расшифровки и отпечатки известных аккаунтов. Область хранения разделена
по адресу сервера и пользователю. Пароль аккаунта сам по себе не восстанавливает
историю. При потере всех устройств и резервного кода восстановление невозможно.
Клиент генерирует отдельную пару ключей шифрования/подписи для каждой сессии.
Приватные ключи хранятся только в MAUI SecureStorage, раздельно для сервера,
аккаунта и сессии. Ключи предыдущих сессий остаются локально для чтения истории.
Ошибка записи или регистрации останавливает отправку; отката к открытому тексту нет.
Сервер хранит публичные ключи, сертификаты, номера поколений и зашифрованный архив.
В архив входят приватный ключ аккаунта, прежние RSA-ключи расшифровки с публичными
ключами подписи для вычисления отпечатков и известные ключи аккаунтов собеседников.
Приватные ключи подписи устройств в архив не входят. Ключи/имена/MIME вложений
восстанавливаются из содержимого расшифрованных сообщений.
Каждый новый отпечаток нужно сверить лично или по независимому доверенному
каналу. Приложение показывает свой отпечаток и отпечаток другого устройства.
Простое нажатие подтверждения без сверки не защищает от подстановки устройства
скомпрометированным сервером. Дополнительно подтверждается состав получателей
каждого чата при первом использовании и изменении списка устройств/участников.
Эти подтверждения хранятся локально, а не на сервере.
## Автоматическое доверие
Это не система прозрачности ключей и не подписанный участниками протокол
управления составом групп. Сервер остаётся источником списка участников и
статуса сессий. Если он скрывает изменения/отзыв устройств, это невозможно
независимо обнаружить без дополнительного протокола. Не следует заявлять
защиту уровня Signal/MLS или защиту от любых действий злонамеренного сервера.
До публичного релиза требуется независимый аудит протокола и интеграции.
Первый ключ аккаунта собеседника запоминается автоматически (TOFU). Сертификат
связывает UserId, SessionId, отпечаток устройства, поколение и предыдущий отпечаток
с этим ключом аккаунта. Новое устройство или ротация с тем же ключом аккаунта
не требуют ручной сверки. Подмена уже известного ключа аккаунта блокирует отправку
и отображение новых неподтверждённых данных. Автоматического сброса доверия нет;
безопасный UX намеренной замены ключа аккаунта — отдельная будущая функция.
## Серверные API
**Первая встреча доверяет каталогу сервера.** Прозрачности ключей нет. Состав группы
и право вступления по-прежнему сообщает сервер; состав не подписывается участниками.
Злонамеренный сервер способен подставить ключ при первой встрече или добавить
своего участника в группу. Удаление прежних диалогов сверки изменяет модель доверия;
эта версия не даёт полной защиты от активного злонамеренного сервера.
Для такой гарантии нужен отдельный протокол аутентификации состава групп
и прозрачности аккаунтов; для FS/PCS — проверенная реализация ratchet/MLS.
Не следует позиционировать эту реализацию как эквивалент Signal.
- `PUT /api/e2ee/device`: публичный `DeviceKey` текущего пользователя/сессии.
Повторная регистрация тех же ключей допустима; смена ключей внутри сессии
запрещена. Истёкшая или отозванная сессия не может регистрировать ключи.
- `GET /api/e2ee/conversations/{type}/{conversationId}/keys`: список участников
и зарегистрированных устройств; `type=0` — личный чат, `type=1` — группа.
Требуется доступ к чату. Возвращаются только публичные данные.
- SignalR `Send`/`Edit` и HTTP загрузки истории сохраняют существующие поля DTO.
`MessageEditResponse` дополнительно возвращает `ReplyToMessageId` для проверки
подписанного контекста редактирования.
## Ротация
Для офлайн-доставки устройства с истёкшей, но не отозванной сессией остаются
получателями. Отозванные сессии исключаются. При изменении набора устройств
необходимо заново получить ключи, подтвердить состав и перешифровать сообщение.
В группах это проверяется под существующей блокировкой модерации, чтобы бан
не мог гоняться с сохранением сообщения. Каждый отправляемый конверт получает
новый случайный ключ содержимого. Исключённый участник сохраняет доступ к уже
полученным сообщениям, но его ключ больше не включается в новые конверты.
Клиент проверяет возраст текущего RSA-ключа при использовании E2EE. Через семь суток
активности создаётся новый RSA-3072; ключ подписи устройства остаётся прежним.
У офлайн-устройства ротация происходит при следующем обращении к E2EE.
ID сообщения генерируется клиентом и подписывается. Повторная отправка того же
конверта не создаёт второй записи/задания push. Редактирование проверяет ID,
автора, чат, ответ, вложения и время версии. Клиент хранит принятые версии,
отклоняет откат к старой версии и проверяет подпись перед показом текста.
1. Новый ключ записывается в локальный журнал pending.
2. Старый и новый ключи включаются в зашифрованный архив, который сохраняется сервером.
3. Ключ аккаунта подписывает сертификат следующего поколения с предыдущим отпечатком.
4. Сервер проверяет владельца, сертификат, последовательность поколений и меняет
публичный RSA-ключ. Старый ключ исключается из будущих конвертов.
5. Клиент активирует сохранённый ключ и завершает журнал. При сбое повторяет тот же
ключ, а не генерирует ещё одно поколение.
## Вложения
Ключ содержимого AES-256-GCM новый у каждого сообщения; у каждого вложения также
свой случайный ключ и nonce. Новые личные сообщения и сообщения приватных групп
требуют E2EE на сервере. Клиент шифрует также публичные группы; сервер сохраняет
прежнюю совместимость с открытыми сообщениями публичных групп.
Клиент шифрует файл AES-256-GCM с новым случайным 32-байтовым ключом и 12-байтовым
nonce. Формат: `nonce || ciphertext || tag(16)`; AAD — `govor-attachment-v1`.
Сервер получает случайное имя `.bin`, тип `application/vnd.govor.encrypted` и
байты шифротекста. Исходное имя, MIME-тип и ключ передаются только внутри
зашифрованного сообщения. Поле `EncryptedKey` загрузки должно быть пустым.
Незашифрованные загрузки типа Message отклоняются; аватары остаются открытыми.
Отзыв сессии исключает её из новых получателей, но не отзывает уже прочитанное,
украденные секреты или ранее выгруженный архив. Резервный код и ключ аккаунта пока
не ротируются автоматически. После компрометации всего устройства недостаточно
обычной недельной ротации RSA; это требует отдельной процедуры восстановления
доверия, отзыва сессий и замены секретов аккаунта.
Получатель сначала проверяет и расшифровывает сообщение, сохраняет секреты
вложений локально, затем загружает и проверяет файл. Предельный размер исходного
файла — 19 MB, текста — 20 000 символов, устройств — 500, конверта — 1 000 000
символов. Ограничения предотвращают неограниченный рост RSA-конверта.
## Архив и несколько устройств
## Обновление и ограничения
Каждая версия архива подписана ключом аккаунта; подпись связывает UserId, Revision,
IdentityKey и шифротекст. Внутри JWE также проверяются владелец и версия. Алгоритмы
зафиксированы; сервер проверяет публичную подпись, не расшифровывая содержимое.
1. Собрать и согласованно обновить сервер и клиенты всех участников. Старые
клиенты не смогут отправлять сообщения в защищаемые чаты. Автоматического
временного перехода на открытый текст нет.
2. Пользователям нужно войти в новый клиент для регистрации устройств. Пока
хотя бы у одного участника нет ключа, новый клиент блокирует отправку.
3. Сверить отпечатки и состав получателей. Проверить личный чат, приватную
группу/канал, редактирование, вложения, новое устройство и исключение участника
на реальных устройствах перед развёртыванием.
Обновление использует compare-and-swap по Revision. При конфликте клиент скачивает
актуальную версию, объединяет ключи и известные аккаунты, затем повторяет запись
(не более четырёх попыток). Ключ аккаунта на сервере неизменяем. Известная локально
версия запрещает откат архива; новое устройство без сохранённого номера версии
не способно доказать полноту истории при сокрытии последнего архива сервером.
Обычная синхронизация выполняется не чаще раза в минуту, а регистрация нового
ключа, ротация, запрос кода и отсутствие ключа истории вызывают немедленную синхронизацию.
Новая миграция БД не требуется: используются существующие таблицы CryptoSession
и SignedPreKey, в которых хранятся только публичные данные. Старые заготовки
Signal prekeys не превращаются автоматически в совместимые ключи JOSE; если
они уже были привязаны к сессии, нужна новая сессия.
Архив ограничен 4 000 000 символов JWE; имеются пределы 1500 ключей и 10 000
закреплённых аккаунтов. При исчерпании лимита запись/ротация останавливаются;
молчаливого удаления ключей истории нет. Сегментированный архив не реализован.
Уже сохранённая открытая история и старые файлы не становятся секретными задним
числом. Они не удаляются; клиент помечает открытую историю `[Без E2EE]`.
При невозможности расшифровки показывается статус без шифротекста и вложений;
неуспешный результат не сохраняется вместо исходной записи локального кэша.
## HTTP API
Новый физический аппарат не получает прошлые ключи автоматически. После удаления
SecureStorage или потери устройства зашифрованная история без другого устройства
с нужными ключами недоступна. Серверного восстановления/экспорта ключей нет.
Локальный кэш сообщений пока хранит уже расшифрованный текст, как и раньше.
Все маршруты требуют действующую авторизацию; пользователь определяется из JWT. HTTPS обязателен для защиты авторизации и первоначального обмена публичными ключами.
В v1 нет forward secrecy/post-compromise security и Double Ratchet/MLS:
компрометация приватного ключа устройства позволяет расшифровать сохранённые
сообщения, адресованные этому ключу. Отзыв сессии исключает её из будущих
получателей; украденные ключи и уже прочитанные сообщения отозвать невозможно.
Метаданные, участники, размеры и время сообщений видны серверу. Скомпрометированное
устройство участника и копирование текста самим участником за пределами модели
защиты. HTTPS по-прежнему требуется для авторизации и защиты транспорта.
| Метод и маршрут | Назначение |
| --- | --- |
| PUT /api/e2ee/device | Регистрация/идемпотентный повтор/последовательная подписанная ротация текущей сессии |
| GET /api/e2ee/recovery | Архив только текущего аккаунта; { vault: null } до первой настройки |
| PUT /api/e2ee/recovery | ExpectedRevision, IdentityKey, Ciphertext, Signature; 409 при конфликте |
| GET /api/e2ee/devices | Публичные ключи всех собственных сессий, включая отозванные, для миграции истории |
| PUT /api/e2ee/devices/certificate | Добавление сертификата аккаунта к собственному историческому ключу; не меняет ключ и не возобновляет сессию |
| GET /api/e2ee/conversations/{type}/{id}/keys | Участники и неотозванные устройства чата, с проверкой доступа |
| GET /api/e2ee/conversations/{type}/{id}/signers/{session} | Сертификат исторического автора в доступном чате; проверяется наличие сообщения автора |
## Проверка
Нельзя зачислить новое устройство аккаунта с архивом без сертификата его ключа
аккаунта. Нельзя использовать сертификат для другого пользователя/сессии или
пропустить поколение. Изменение поколения использует EF concurrency token.
Истёкшие, но не отозванные сертифицированные сессии остаются получателями для офлайн-доставки. После настройки архива аккаунта его старые несертифицированные сессии исключаются из новых получателей до обновления этих устройств. Клиент не отправляет сообщения участникам без сертификата аккаунта.
```powershell
dotnet test tests/Govor.Server.Tests/Govor.Server.Tests.csproj
# В мобильном репозитории:
dotnet test Govor.Mobile.Tests/Govor.Mobile.Tests.csproj
dotnet build Govor.Mobile/Govor.Mobile.csproj -f net10.0-android -p:TargetFrameworks=net10.0-android
```
## Обновление существующих установок
Тесты проверяют совместимость шифрования/расшифровки, подписи и контекст,
доступ посторонних, отзыв устройств, смену состава группы, версии сообщений,
секреты вложений, отказ сверки ключей и отказ записи приватного ключа.
1. Применить миграцию `20261024084524_E2eeRecoveryAndRotation` до обновления клиентов.
Сервер и клиенты должны обновляться согласованно. Старые клиенты не умеют
сертифицировать устройства аккаунта с настроенным восстановлением.
2. Открыть обновлённый клиент на устройстве, где ещё есть прежние ключи. Они входят
в архив до публикации нового ключа; сохранить предложенный резервный код.
3. На остальных устройствах ввести этот код и синхронизировать историю. Каждое
старое устройство с уникальными, ещё не выгруженными ключами должно обновиться
хотя бы один раз: отсутствующие приватные ключи сервер восстановить не может.
4. Перед использованием с реальными данными проверить новый вход, восстановление,
файлы, редактирование, группу, отзыв устройства и бан на физических устройствах.
Для проверки подписей старых v1-сообщений клиент сертифицирует только те исторические
ключи, приватные ключи расшифровки которых уже есть в его локальном/восстановленном
архиве. Произвольные предложенные сервером старые устройства не сертифицируются.
Сертификат исторического ключа не отменяет его отзыв. Получатель связывает старую
подпись сообщения с сертификатом того же публичного ключа подписи и той же сессии.
Открытая история остаётся помеченной `[Без E2EE]` и не становится секретной задним
числом. Локальный SQLite-кэш всё ещё содержит расшифрованный текст. Метаданные,
участники, время и размеры видны серверу; аватары, реакции и профиль не включены
в зашифрованное содержимое сообщения. При неподходящем коде, подмене архива,
недостающем ключе или ошибке хранения отката на открытый текст нет.
## Проверка и источники
Сервер: `dotnet test Govor.Server.slnx`.
Мобильные алгоритмы/сервисы: `dotnet test Govor.Mobile.Tests/Govor.Mobile.Tests.csproj`.
Android: `dotnet build Govor.Mobile/Govor.Mobile.csproj -f net10.0-android -p:TargetFrameworks=net10.0-android`.
Windows CNG требует обычного пользовательского профиля для импорта приватных ключей.
Серверные и мобильные копии E2eeProtocol/E2eeRecoveryProtocol должны совпадать
за исключением namespace; тесты проверяют сообщения, сертификаты, архив, права
доступа, конфликт версий, сбой ротации и восстановление на чистом хранилище.
Перед публичным релизом необходим независимый аудит прикладного протокола и
интеграции. Спецификации для следующего этапа:
[Signal Sesame](https://signal.org/docs/specifications/sesame/),
[MLS RFC 9420](https://www.rfc-editor.org/rfc/rfc9420.html).