#c# #encryption #memory-leaks #.net-core
#c# #шифрование #утечки памяти #.net-ядро
Вопрос:
У меня есть вопрос относительно использования памяти с гибридной реализацией алгоритмов шифрования RSA и AES. Я написал простую консольную программу (.net core и C # 8.0 beta), которая генерирует случайный сертификат и шифрует / расшифровывает файл. Время выполнения, кажется, в порядке.
Время, измеренное с помощью 1000 итераций
- файл размером 230 КБ занимает ~ 2 МС
- Файл размером 28 МБ занимает ~150 МС
- Файл размером 92 МБ занимает ~ 500 МС.
Проблема, по-видимому, заключается в использовании памяти. Для файла размером 230 КБ программа использует ~ 20 МБ. для файла размером 28 МБ программа использует ~ 490 МБ. Файл объемом 92 МБ занимает до 2 ГБ и использует ~ 1,8 ГБ памяти.
Считаются ли эти цифры «нормальным» использованием или есть проблема с моим кодом?
Это моя реализация для шифрования AES
static byte[] AES_Encrypt(byte[] bytesToBeEncrypted, byte[] passwordBytes)
{
// Salt not modified for sample
byte[] saltBytes = new byte[] { 1, 2, 3, 4, 5, 6, 7, 8 };
using MemoryStream ms = new MemoryStream();
using RijndaelManaged AES = new RijndaelManaged();
AES.KeySize = 256;
AES.BlockSize = 128;
Rfc2898DeriveBytes key = new Rfc2898DeriveBytes(passwordBytes, saltBytes, 1000);
AES.Key = key.GetBytes(AES.KeySize / 8);
AES.IV = key.GetBytes(AES.BlockSize / 8);
AES.Mode = CipherMode.CBC;
using ICryptoTransform csTf = AES.CreateEncryptor();
using CryptoStream cs = new CryptoStream(ms, csTf, CryptoStreamMode.Write);
cs.Write(bytesToBeEncrypted, 0, bytesToBeEncrypted.Length);
cs.Close();
return ms.ToArray();
}
static byte[] AES_Decrypt(byte[] bytesToBeDecrypted, byte[] passwordBytes)
{
// Salt not modified for sample
byte[] saltBytes = new byte[] { 1, 2, 3, 4, 5, 6, 7, 8 };
using MemoryStream ms = new MemoryStream();
using RijndaelManaged AES = new RijndaelManaged();
AES.KeySize = 256;
AES.BlockSize = 128;
Rfc2898DeriveBytes key = new Rfc2898DeriveBytes(passwordBytes, saltBytes, 1000);
AES.Key = key.GetBytes(AES.KeySize / 8);
AES.IV = key.GetBytes(AES.BlockSize / 8);
AES.Mode = CipherMode.CBC;
using ICryptoTransform csTf = AES.CreateDecryptor();
using CryptoStream cs = new CryptoStream(ms, csTf, CryptoStreamMode.Write);
cs.Write(bytesToBeDecrypted, 0, bytesToBeDecrypted.Length);
cs.Close();
return ms.ToArray();
}
static string EncryptString(string text, string password)
{
byte[] baEncrypted = new byte[GetSaltLength() Encoding.UTF8.GetByteCount(text)];
Array.Copy(GetRandomBytes(), 0, baEncrypted, 0, GetSaltLength());
Array.Copy(Encoding.UTF8.GetBytes(text), 0, baEncrypted, GetSaltLength(), Encoding.UTF8.GetByteCount(text));
return Convert.ToBase64String(AES_Encrypt(baEncrypted, SHA256Managed.Create().ComputeHash(Encoding.UTF8.GetBytes(password))));
}
static string DecryptString(string text, string password)
{
byte[] baDecrypted = AES_Decrypt(Convert.FromBase64String(text), SHA256Managed.Create().ComputeHash(Encoding.UTF8.GetBytes(password)));
byte[] baResult = new byte[baDecrypted.Length - GetSaltLength()];
Array.Copy(baDecrypted, GetSaltLength(), baResult, 0, baResult.Length);
return Encoding.UTF8.GetString(baResult);
}
static byte[] GetRandomBytes()
{
byte[] ba = new byte[GetSaltLength()];
RNGCryptoServiceProvider.Create().GetBytes(ba);
return ba;
}
static int GetSaltLength()
{
return 8;
}
Вызов методов и повторение вызовов
static void Main(string[] args)
{
CertificateRequest certificateRequest = new CertificateRequest("cn=random_cert", RSA.Create(4096), HashAlgorithmName.SHA256, RSASignaturePadding.Pkcs1);
X509Certificate2 certificate = certificateRequest.CreateSelfSigned(DateTimeOffset.Now, DateTimeOffset.Now.AddYears(2));
String data = File.ReadAllText(@"PATH TO FILE");
Int64 AESenc, RSAenc, AESdec, RSAdec;
List<Int64> aesEncTime = new List<Int64>();
List<Int64> aesDecTime = new List<Int64>();
List<Int64> rsaEncTime = new List<Int64>();
List<Int64> rsaDecTime = new List<Int64>();
for (int i = 0; i < 1000; i )
{
encryptData(ref certificate, ref data, out AESenc, out RSAenc, out AESdec, out RSAdec);
aesEncTime.Add(AESenc);
aesDecTime.Add(AESdec);
rsaEncTime.Add(RSAenc);
rsaDecTime.Add(RSAdec);
Console.Clear();
Console.WriteLine($"data.Length:t{data.Length:n0} b");
Console.WriteLine($"UTF8 Bytes:t{Encoding.UTF8.GetByteCount(data):n0} b");
Console.WriteLine($"Loop:tt{i 1}");
Console.WriteLine("---------------------------------------------------------");
Console.WriteLine($"|AES Enc|Avg: {aesEncTime.Average():0000.00} ms|Max: {aesEncTime.Max():0000.00} ms|Min: {aesEncTime.Min():0000.00} ms|");
Console.WriteLine("|-------|---------------|---------------|---------------|");
Console.WriteLine($"|AES Dec|Avg: {aesDecTime.Average():0000.00} ms|Max: {aesDecTime.Max():0000.00} ms|Min: {aesDecTime.Min():0000.00} ms|");
Console.WriteLine("|-------|---------------|---------------|---------------|");
Console.WriteLine($"|RSA Enc|Avg: {rsaEncTime.Average():0000.00} ms|Max: {rsaEncTime.Max():0000.00} ms|Min: {rsaEncTime.Min():0000.00} ms|");
Console.WriteLine("|-------|---------------|---------------|---------------|");
Console.WriteLine($"|RSA Dec|Avg: {rsaDecTime.Average():0000.00} ms|Max: {rsaDecTime.Max():0000.00} ms|Min: {rsaDecTime.Min():0000.00} ms|");
Console.WriteLine("---------------------------------------------------------");
// Moving GC.Collect outside of the for-loop increases the memory usage
GC.Collect();
}
Console.ReadKey();
}
static void encryptData(ref X509Certificate2 certificate, ref String data, out Int64 AESenc, out Int64 RSAenc, out Int64 AESdec, out Int64 RSAdec)
{
Stopwatch stopwatch = new Stopwatch();
String hash = getSha256(ref data);
stopwatch.Start();
String encryptedData = EncryptString(data, hash);
stopwatch.Stop();
AESenc = stopwatch.ElapsedMilliseconds;
stopwatch.Restart();
String encryptedKey = Convert.ToBase64String(certificate.GetRSAPublicKey().Encrypt(Encoding.UTF8.GetBytes(hash), RSAEncryptionPadding.Pkcs1));
stopwatch.Stop();
RSAenc = stopwatch.ElapsedMilliseconds;
stopwatch.Restart();
String decryptedKey = Encoding.UTF8.GetString(certificate.GetRSAPrivateKey().Decrypt(Convert.FromBase64String(encryptedKey), RSAEncryptionPadding.Pkcs1));
stopwatch.Stop();
RSAdec = stopwatch.ElapsedMilliseconds;
stopwatch.Restart();
String decryptedData = DecryptString(encryptedData, decryptedKey);
stopwatch.Stop();
encryptedData = null;
decryptedData = null;
AESdec = stopwatch.ElapsedMilliseconds;
}
static String getSha256(ref String value)
{
String hash = String.Empty;
Byte[] data = Encoding.UTF8.GetBytes(value);
using SHA256Managed sHA256Managed = new SHA256Managed();
Byte[] hashData = sHA256Managed.ComputeHash(data);
foreach (Byte item in hashData)
{
hash = $"{item:x2}";
}
return hash;
}
Код может выполняться без каких-либо внешних ресурсов (за исключением файла, подлежащего шифрованию).
Комментарии:
1. Утечки вызваны кодом.
hash = $"{item:x2}";
это утечка строки. Каждая операция со строкой создает новую временную строку. Вместо этого используйте StringBuilder . Добавление элементов в списки также может привести к потере памяти. Списки хранят данные в буферах. Когда они заканчиваются, выделите новый буфер с удвоенным размером, а затем скопируйте данные. Укажитеcapacity
параметр в их конструкторе, чтобы создать достаточно большой буфер только один раз. То же самое происходит сMemoryStream
s. Это просто потоковые обертки над буфером.2. Что касается сравнительного анализа, используйте BencharkDotNet вместо секундомера и ручной проверки использования памяти. Он запускает каждый случай несколько раз для вычисления значимых средних значений и собирает статистику использования памяти, распределения и сбора мусора. Это расскажет вам, что это за МБ
3. Что касается тега C # 8, на самом деле это не вопрос C # 8. Код может быть улучшен с помощью нескольких новых функций .NET Core, таких как Span<> и объединение буферов. Вместо того, чтобы манипулировать строками и генерировать новые временные строки, вы могли бы использовать
ReadOnlySpan<char>
. Вместо того, чтобы создавать новыеbyte[]
буферы при каждом запуске, вы могли бы «арендовать» достаточно большой буфер из пула памяти и поместить его обратно, как только закончите.4. @PanagiotisKanavos упомянутая вами часть используется только для создания хэша. Это используется в качестве ключа для шифрования aes. Я заменил это на
stringBuilder.Append($"{item:x2}");
, и использование памяти осталось прежним.5. При запуске теста в окне инструментов диагностики Visual Studio могут отображаться данные об использовании процессора и памяти. Я подозреваю, что вы увидите постоянно увеличивающуюся строку по мере выделения объектов.
Ответ №1:
Вы можете просто передать данные в буфер фиксированного размера, прочитав их из a FileStream
, а затем использовать a CryptoStream
для создания зашифрованного текста в файле, введя a FileStream
вместо a MemoryStream
для вывода.
Для расшифровки создайте a CryptoStream
перед a FileStream
для чтения, а затем запишите данные из буфера в a FileStream
для записи.
Если у вас есть массив байтов для открытого текста или зашифрованного текста, или если вы используете a MemoryStream
, то вы делаете это неправильно.
Комментарии:
1. PS соль не должна быть статическим значением, а 1000 — слишком низкое количество итераций для большинства паролей.
2. Почему я делаю это неправильно, если я использую memorystream? Если я не хочу, чтобы незашифрованные данные шифровались или наоборот в файловой системе (сброс данных во временную папку по-прежнему является плохой идеей, если мы говорим о шифровании и конфиденциальности), то где я должен разместить их в противном случае?
3. Вы говорите, что вы шифруете / расшифровываете файл в своем вопросе. Итак, я полагаю, что и ввод, и вывод из файла? В таком случае, где путаница? Если вы объединяете два потока, вы сначала шифруете, а затем сохраняете данные в файле по частям. Вы не сохраняете сначала в файле, а затем шифруете. Поэтому я не вижу проблем с безопасностью.