#cuda #machine-learning #gpu #multi-gpu
#cuda #машинное обучение #графический процессор #мульти-графический процессор
Вопрос:
В настоящее время я разрабатываю инструментарий машинного обучения для кластеров графических процессоров. Я тестировал классификатор логистической регрессии на нескольких графических процессорах.
Я использую подход Master-Worker, при котором главный процессор создает несколько потоков POSIX, а матрицы распределяются между графическими процессорами.
Но проблема, с которой я сталкиваюсь, заключается в том, как хранить большие матрицы, которые нельзя сохранить на одной машине. Существуют ли какие-либо библиотеки или подходы для обмена данными между узлами?
Ответ №1:
Я не уверен, насколько велики ваши матрицы, но вам следует проверить CUDA 4.0, который был выпущен пару недель назад. Одной из основных функций является общая память для нескольких устройств CUDA / графических процессоров