#c #amazon-s3 #download #binary-data #aws-sdk-cpp
#c #amazon-s3 #Скачать #двоичные данные #aws-sdk-cpp
Вопрос:
Я пытался написать несколько кодов для загрузки двоичных файлов с сервера AWS S3.
Я написал этот код прямо ниже, и, похоже, все в порядке с двоичными файлами размером ~ 200 МБ, поэтому я подумал, что это сработало.
но для больших файлов, таких как 200 МБ ~, он будет загружен, но только передняя часть файлов.
например, видеофайл (1,2 ГБ) загружает только переднюю часть (460 МБ ~ 700 МБ).
Почему это может произойти? Речь идет о функциях ofstream?
// 3. file download from s3
{
string strTargetPath = hThis->m_strTargetPath;
Aws::SDKOptions options;
options.loggingOptions.logLevel = Aws::Utils::Logging::LogLevel::Trace;
Aws::InitAPI(options);
{
// Download from s3 using GetObject
char *bucket_name = "mybucket";
std::string key_name = strTargetPath;
Aws::Client::ClientConfiguration clientConfig;
clientConfig.region = "ap-northeast-2";
//Aws::S3::S3Client s3_client;
std::unique_ptr< Aws::S3::S3Client > s3_client(new Aws::S3::S3Client(clientConfig));
Aws::S3::Model::GetObjectRequest object_request;
object_request.WithBucket(bucket_name).WithKey(key_name.c_str());
// parse file name from path
string str_arr[1000];
int str_cnt = 0;
char *str_buff = new char[1000];
strcpy(str_buff, strTargetPath.c_str());
char *tok = strtok(str_buff, "/");
while (tok != nullptr) {
str_arr[str_cnt ] = string(tok);
tok = strtok(nullptr, "/");
}
string fileName = str_arr[str_cnt - 1];
auto get_object_outcome = s3_client.get()->GetObject(object_request);
if (get_object_outcome.IsSuccess())
{
Aws::OFStream local_file;
std::string strFileName = fileName;
hThis->m_origFileNameString = strFileName;
hThis->m_origFileName = strFileName.c_str();
// Writing file downloaded
local_file.open(hThis->m_origFileName, std::ios::out | std::ios::binary);
local_file << get_object_outcome.GetResult().GetBody().rdbuf();
hThis->Logger(CPrePackagerDlg::currentDateTime() "download is donen");
TCHAR programpath[_MAX_PATH];
GetCurrentDirectory(_MAX_PATH, programpath);
hThis->m_valOriginFolderPath.Format(_T("%s\"), programpath);
hThis->m_valOriginFolderPath = hThis->m_origFileName;
}
else
{
hThis->Logger(CPrePackagerDlg::currentDateTime() "s3 download error: "
get_object_outcome.GetError().GetExceptionName() " "
get_object_outcome.GetError().GetMessage() "n");
hThis->runSignal = CPrePackagerDlg::RunSignal::STAT_RUN_STOP;
}
}
Aws::ShutdownAPI(options);
}
Комментарии:
1. И одна вещь, которую я обнаружил, это то, что размер памяти задачи с помощью программы аналогичен размеру файла результата. Это означает, что если программа будет использовать 400 МБ памяти, размер результирующего файла составит 400 МБ
Ответ №1:
Даже сейчас я точно не знаю, почему это не работает.
Но я изменил свой метод на приведенный ниже, и он сработал.
этот код позволяет загружать фрагменты данных, которые отправляются непосредственно на диск.
Таким образом, он не так сильно использует память.(около 10 ~ 30 МБ)
// 3. file download from s3
{
string strTargetPath = hThis->m_strTargetPath;
Aws::SDKOptions options;
options.loggingOptions.logLevel = Aws::Utils::Logging::LogLevel::Trace;
Aws::InitAPI(options);
{
// Download from s3 using GetObject
char *bucket_name = "nemodax-upload-dev";
std::string key_name = strTargetPath;
Aws::Client::ClientConfiguration clientConfig;
clientConfig.region = "ap-northeast-2";
//Aws::S3::S3Client s3_client;
std::unique_ptr< Aws::S3::S3Client > s3_client(new Aws::S3::S3Client(clientConfig));
Aws::S3::Model::GetObjectRequest object_request;
object_request.WithBucket(bucket_name).WithKey(key_name.c_str());
// parse file name from path
string str_arr[1000];
int str_cnt = 0;
char *str_buff = new char[1000];
strcpy(str_buff, strTargetPath.c_str());
char *tok = strtok(str_buff, "/");
while (tok != nullptr) {
str_arr[str_cnt ] = string(tok);
tok = strtok(nullptr, "/");
}
string fileName = str_arr[str_cnt - 1];
// 다운로드하면서 스트림을 아래 fileName으로 지정하는 파일로 바로바로 저장 그래서 메모리를 별로 안먹는다.
object_request.SetResponseStreamFactory(
[=]() {
//return Aws::New<Aws::FStream>("S3DOWNLOAD", hThis->m_origFileName, std::ios_base::out | std::ios_base::binary);
return Aws::New<Aws::FStream>("S3DOWNLOAD", fileName, std::ios_base::out | std::ios_base::binary);
}
);
auto get_object_outcome = s3_client.get()->GetObject(object_request);
if (get_object_outcome.IsSuccess())
{
std::string strFileName = fileName;
hThis->m_origFileNameString = strFileName;
hThis->m_origFileName = strFileName.c_str();
hThis->Logger(CPrePackagerDlg::currentDateTime() "file size: " std::to_string(get_object_outcome.GetResult().GetContentLength()) "n");
hThis->Logger(CPrePackagerDlg::currentDateTime() "download is donen");
// 다운로드된 원본 파일 경로를 멤버변수로 등록-> 추후 암호화때 이 경로를 참조함.
// 파일경로 파일명 조합
TCHAR programpath[_MAX_PATH];
GetCurrentDirectory(_MAX_PATH, programpath);
hThis->m_valOriginFolderPath.Format(_T("%s\"), programpath);
hThis->m_valOriginFolderPath = hThis->m_origFileName;
}
else
{
hThis->Logger(CPrePackagerDlg::currentDateTime() "s3 download error: "
get_object_outcome.GetError().GetExceptionName() " "
get_object_outcome.GetError().GetMessage() "n");
hThis->runSignal = CPrePackagerDlg::RunSignal::STAT_RUN_STOP;
}
}
Aws::ShutdownAPI(options);
}
Ответ №2:
Даже сейчас я точно не знаю, почему это не работает.
Потому что в вашем первоначальном примере он сохраняет весь файл в памяти. Во втором фрагменте кода вы поступили правильно, используя fstream в качестве потока ответов. Итак, теперь он сразу записывается на диск.
Комментарии:
1. Спасибо за ваши объяснения @Marco M.