#deployment #deep-learning #model #gpu #artificial-intelligence
#развертывание #глубокое обучение #Модель #графический процессор #искусственный интеллект
Вопрос:
Я знаю, что мне нужен графический процессор для обучения модели, но даже после обучения модели нужен ли мне графический процессор для развертывания той же обученной модели? Например, у меня есть модель автомобиля с автопилотом для прогнозирования и принятия решения… Нужен ли мне графический процессор и для прогнозирования..
Особенно в случае обучения с подкреплением
Ответ №1:
Строго говоря, вам обычно не нужен графический процессор для обучения, в зависимости от платформы, это будет намного медленнее, чем если бы вы использовали графический процессор, а не процессор.
Для развертывания модели вам не нужен графический процессор. Большинство моделей представляют собой просто упорядоченный список весов, которые используются моделью для работы с ее входными данными. Поскольку это обычно не требует особых вычислительных затрат, за исключением очень больших моделей, графический процессор также не требуется для развертывания, но может обеспечить некоторое преимущество в производительности для более легких моделей.
Комментарии:
1. Большое спасибо за вашу помощь: D
2. @joshmeranda Вы упомянули, что графические процессоры требуются для «больших моделей». Вы бы назвали ‘RoBERTA’ из библиотеки Hugging face большой моделью и потребуется ли для ее развертывания графический процессор?
3. @rishikeshfulari TBH У меня нет большого опыта в измерении размеров моделей или какого-либо опыта работы с Робертой, поэтому я не могу дать вам обоснованный ответ и не хочу случайно вводить вас в заблуждение. Лучшее, что я могу вам дать, — это поиграть с библиотекой, и если вы сталкиваетесь с проблемами производительности, вам может понадобиться графический процессор. Хотя я бы не подумал, что это очень распространено.