загрузка данных фильтра корзины aws

#amazon-web-services #amazon-s3

#amazon-веб-сервисы #amazon-s3

Вопрос:

Я застрял при загрузке данных из корзины aws s3, у меня есть следующий путь:

 s3://hcp-openaccess/HCP_1200/996782/MNINonLinear/Results/rfMRI_REST1_LR/rfMRI_REST1_LR_hp2000_clean.nii.gz

И мне нужен этот файл rfMRI_REST1_LR_hp2000_clean.nii.gz для всех 1200 тем, здесь, в path 996782 . Поэтому я должен выполнить итерацию с помощью * в s3://hcp-openaccess/HCP_1200/*/MNINonLinear/Results/rfMRI_REST1_LR/rfMRI_REST1_LR_hp2000_clean.nii.gz

Вот команда, которую я пытался запустить, но безрезультатно:

 aws s3 sync s3://hcp-openaccess/HCP_1200/ ./Test --include "*_hp2000_clean.nii.gz" --include="*MNINonLinear/Results/rfMRI_REST1_LR/" --include="*/"  --exclude="*"

Кажется, я делаю ошибку --include и --exclude фильтр. Как это должно быть для этого запроса?

1. Содержит ли путь несколько файлов, и вам нужны только .nii.gz типы файлов, или он содержит только эти типы файлов? И что-то меняется или только число после HCP_1200 ?

2. Попробуйте это aws s3 sync s3://hcp-openaccess/HCP_1200/ ./Test --exclude "*" --include "*/MNINonLinear/Results/rfMRI_REST1_LR/rfMRI_REST1_LR_hp2000_clean.nii.gz"

3. @HossamELMansy Этот каталог состоит не только из файлов разных типов nii.gz . После этого изменяется только номер темы /HCP_1200/ . Это может быть 100200, 964938 и ОС на

Ответ №1:

Должно работать следующее:

 aws s3 sync s3://hcp-openaccess/HCP_1200 ./Test --exclude="*" --include="*MNINonLinear/Results/rfMRI_REST1_LR/*"

1. Должен ли я включать --include="*hp2000_clean.nii.gz" ?

2. @PatrickHellman Вы можете поместить все в одно включение --include="*MNINonLinear/Results/rfMRI_REST1_LR/*hp2000_clean.nii.gz .

3. Нормально ли, что он зависает в течение нескольких минут и ничего не делает после команды? Кстати, отладка показывает, что он ищет соответствующие файлы в локальном каталоге

4. @PatrickHellman Если корзина большая, она может зависать, пока не будут идентифицированы все файлы. Лучший способ — создать собственную корзину с несколькими примерами файлов в нужной вам форме. Затем вы можете легко протестировать команды командной строки командной строки aws, прежде чем использовать их в больших общедоступных корзинах.