CNN - Нужно ли нам вручную предварительно обрабатывать обучающие изображения?

#tensorflow #image-processing #conv-neural-network #tf.keras #training-data

Вопрос:

Я полный нуб, и я просто хочу спросить, нужно ли нам предварительно обрабатывать изображения (например, вручную), прежде чем отправлять изображение в CNN для обучения? Я читал, что у CNN уже есть некоторые методы фильтрации для извлечения функций и тому подобного. Я думаю, что, если все изображения поезда являются двоичными изображениями или даже просто краями (обучение модели для фигур), целесообразно ли это или я просто скормлю изображения в оттенках серого? Кроме того, если ответ «да», могу ли я узнать, какая подготовка обычно проводится или что бы вы использовали?

Я знаю о других методах предварительной обработки Keras, таких как VGG16, но мне хотелось бы что-то простое и ручное.

Ответ №1:

Функции предварительной обработки Keras только предварительно обрабатывают входные данные в соответствии с требованиями современных моделей, например, изменяя формат данных и т.д. Может быть, то, о чем вы говорите,-это функции ручной разработки, а это непросто. И я думаю, что это нецелесообразно, потому что CNN делает свою работу лучше. Но это также может зависеть от того, что вы на самом деле хотите сделать.

1. Да, именно так. Таким образом, keras предоставляет эти функции предварительной обработки, которые преобразуют изображения только в такие же легко читаемые форматы. Я в замешательстве относительно того, где происходит предварительная обработка изображений (та, о которой вы упомянули, извлечение функций, созданных вручную). Я предположил, что, поскольку я обучил свою модель, используя преобразованные изображения поездов формата, я бы также сделал то же самое с тестовыми изображениями, пытаясь предсказать ее класс.

2. И поправьте меня, если я ошибаюсь, я не должен вводить двоичное изображение в модель при прогнозировании ее класса. Я могу использовать их только для маскировки, чтобы удалить ненужный шум/фон?

3. Возможно, вы посмотрите на этот пример в качестве примера: nature.com/articles/s41598-020-77264-y Они сравнили функции ручной разработки и CNN.