требуется руководство по распределению данных на нескольких графических процессорах

#cuda #machine-learning #gpu #multi-gpu

#cuda #машинное обучение #графический процессор #мульти-графический процессор

Вопрос:

В настоящее время я разрабатываю инструментарий машинного обучения для кластеров графических процессоров. Я тестировал классификатор логистической регрессии на нескольких графических процессорах.

Я использую подход Master-Worker, при котором главный процессор создает несколько потоков POSIX, а матрицы распределяются между графическими процессорами.

Но проблема, с которой я сталкиваюсь, заключается в том, как хранить большие матрицы, которые нельзя сохранить на одной машине. Существуют ли какие-либо библиотеки или подходы для обмена данными между узлами?

Ответ №1:

Я не уверен, насколько велики ваши матрицы, но вам следует проверить CUDA 4.0, который был выпущен пару недель назад. Одной из основных функций является общая память для нескольких устройств CUDA / графических процессоров