У Google Colab Pro заканчивается оперативная память(35 ГБ) при чтении файла WSI tiff с помощью Open Slide

#python-3.x #image-processing #google-colaboratory #tiff #openslide

Вопрос:

Я пытаюсь предварительно обработать изображения WSI с помощью PyTorch. Я сохранил изображения WSI на Google диске, смонтировал их в своей учетной записи google colab pro(у которой 35 ГБ оперативной памяти) и попытался их прочитать. Чтобы прочитать изображения, я использую openslides. Изображения были в .tiff формате.

wsi = openslide.open_slide(path)

Изображения WSI имели средний размер около 100 тыс. x 100 тыс. пикселей и были взяты из miccai2020 pathology challenge. Когда я запускаю код, в colab заканчивается оперативная память и сеанс перезапускается. Как я заметил, оперативная память заканчивается, пока openslide пытается прочитать изображение WSI с заданного пути. Может ли кто-нибудь определить проблему и дать мне решение?

Комментарии:

1. Если это обычное RGB-изображение, то для его чтения потребуется не менее 30 ГБ. Больше, если у него есть альфа-канал или более 8 бит на канал.

2. WSIS, как правило, не читаются полностью за один раз, они обрабатываются по частям. Прочитайте в небольшой области, обработайте ее, запишите результат, затем прочитайте в следующей небольшой области и т. Д.

3. Вы также можете прочитать весь слайд в уменьшенном масштабе, чтобы определить интересующие области, а затем обработать только эти области в процессе разбиения на плитки.

4. @MarkRansom у него 35 ГБ, но проблема возникает при инициализации данной строки выше. Есть ли у openslides ограничение на чтение изображения? Потому что размер изображения составляет около 1 ГБ с указанным размером пикселя.

5. К сожалению, я ничего не знаю конкретно об openslide, иначе я мог бы оставить ответ вместо комментария. Но я знаю, что файлы изображений часто сжимаются, поэтому вы не можете судить об их требованиях к памяти по размеру файла. Вы говорите о 10-гигапиксельном изображении, которое огромно по любым стандартам.