Блог

Я хочу прочитать все содержимое таблицы в память как можно быстрее. Я использую базу данных Nexus, но я мог бы использовать некоторые методы, которые применимы ко всем типам баз данных в Delphi.

Таблица, которую я просматриваю, содержит 60 000 записей с 20 столбцами. Итак, не такой уж большой набор данных.

Из моего профилирования я пока обнаружил следующее:

• Прямой доступ к таблицам с помощью TnxTable осуществляется не быстрее и не медленнее, чем с помощью SQL-запроса и ‘SELECT * FROM TableName’

• Простой процесс перебора строк без фактического чтения или копирования каких-либо данных занимает большую часть времени.

Производительность, которую я получаю, равна

• Перебор всех записей занимает 3,5 секунды
• Перебор всех записей, чтение значений и их сохранение занимает 3,7 секунды (т.е. всего на 0,2 секунды больше)

Пример моего кода

 var query:TnxQuery;
begin
    query.SQL.Text:='SELECT * FROM TableName';
    query.Active:=True;

    while not query.Eof do
        query.Next;
  

Это занимает 3,5 секунды для таблицы с 60 000 строками.

Звучит ли такая производительность разумно? Могу ли я воспользоваться другими подходами, которые позволили бы мне быстрее считывать данные?

В настоящее время я считываю данные с сервера на том же компьютере, но в конечном итоге это может быть с другого сервера в локальной сети.

Вы должны использовать режим BlockRead с TnxTable для оптимальной скорости чтения:

 nxTable.BlockReadOptions := [gboBlobs, gboBookmarks];
//leave out gboBlobs if you want to access blobs only as needed
//leave out gboBookmarks if no bookmark support is required

nxTable.BlockReadSize := 1024*1024; //1MB
// setting block read size performs an implicit First
// while block read mode is active only calls to Next and First are allowed for navigation
try
  while not nxTable.Eof do begin
    // do something....
    nxTable.Next;
  end;
finally
  nxTable.BlockReadSize := 0;
end;
  

Кроме того, если вам не нужно устанавливать диапазон для определенного индекса, обязательно используйте индекс последовательного доступа для максимально быстрого доступа.