Блог

Я хотел бы заменить DataTable пользовательским классом, который реализует DataRowCollection, сохраняя строки во временном файле данных вместо того, чтобы хранить их в памяти.

Я понимаю, что это будет медленным по сравнению с таблицами в памяти, но мне иногда приходится работать с таблицами, которые просто не помещаются в оперативную память (> 4 ГБ данных). Я удалю таблицу и временный файл в конце выполнения.

Данные таблицы поступают из запроса к базе данных. Я знаю, что могу изменять запросы, чтобы уменьшить размер возвращаемого набора данных. Дело не в этом. Дело в том, что всегда будет какое-то ограничение на объем памяти, и я хотел бы иметь возможность использовать медленный временный файл, а не просто говорить «вы не можете этого сделать».

Существует ли предварительно написанный класс или метод для этого? Похоже, я изобретаю велосипед здесь…

Вот мой скелетный старт:

 /// <summary>
/// like DataTable, but storing data in a file instead of memory
/// </summary>
public class FileBackedDataTable : DataTable, IIntegrationTest
{
    new public FileBackedDataRowCollection Rows = null;

    // Summary:
    //     Initializes a new instance of the System.Data.DataTable class with no arguments.
    public FileBackedDataTable()
    {
        Rows = new FileBackedDataRowCollection(this);
    }
}

/// <summary>
/// like a DataRowCollection but data is stored in a file, not in memory
/// </summary>
public class FileBackedDataRowCollection : ICollection, IEnumerable, IDisposable
{
    /// <summary>
    /// internally track each file record
    /// </summary>
    class recordInfo
    {
        public long recordPosition;
        public int recordLength;
        public int recordMaxLength;
        public long hash;
    }

    DataTable table;

    ArrayList rows = new ArrayList();

    public FileBackedDataRowCollection(DataTable table)
    {
        this.table = table;
        openBackingFile(table);
    }

    public int Count 
    { 
        get { return rows.Count; } 
    }

    public void Clear()
    {
        rows.Clear();
        truncateBackingFile();
    }

    public DataRow this[int index]
    {
        get
        {
            recordInfo info = (recordInfo)rows[index];
            return readRow(info);
        }
        set
        {
            writeRow(index, value);
        }
    }

    private void writeRow(int index, DataRow value)
    {
        byte[] bytes = rowToBytes(value);
        recordInfo info = (recordInfo)rows[index];
        if (bytes.Length <= info.recordMaxLength)
        {
            info.recordLength = bytes.Length;
            info.hash = value.GetHashCode();
            writeBytes(info.recordPosition, bytes);
        }
        else
        {
            rows[index] = appendRow(bytes, value.GetHashCode());
        }
    }

    private DataRow readRow(recordInfo recordInfo)
    {
        byte[] bytes = readBytes(recordInfo.recordPosition, recordInfo.recordLength);
        DataRow row = bytesToRow(bytes);
        return row;
    }

    public void Add(DataRow r)
    {
        byte[] bytes = rowToBytes(r);
        recordInfo info = appendRow(bytes, r.GetHashCode());
        rows.Add(info);
    }

    private recordInfo appendRow(byte[] bytes, long hash)
    {
        recordInfo info = new recordInfo();
        info.recordLength = bytes.Length;
        info.recordMaxLength = info.recordLength;
        info.recordPosition = appendBytes(bytes);
        info.hash = hash;
        return info;
    }
  

Недавно я просматривал System.Data.SQLite для сохранения некоторых данных приложения вместо того, чтобы писать их самостоятельно.

Как насчет создания временного файла с помощью SQLite и загрузки туда ваших устаревших данных? Затем вы можете использовать его как локальный файл и удалять после обработки.

Почти на 100% ваш план — плохой дизайн. Потратьте некоторое время на редизайн, используйте свою другую базу данных вместо ФАЙЛА, они были своего рода созданы для манипулирования большими кусками данных. ПРИ необходимости вы можете написать хранимые процедуры на C # или другом языке, если ваша база данных позволяет это.

опишите способ, которым вы хотите управлять своими данными, и вы получите реальный ответ на вашу реальную проблему. Для этого либо потребуется SQL-запрос, либо, если это не может быть выполнено в SQL, это можно сделать в каком-то цикле, почти наверняка работающем с меньшим размером данных.

Вы можете использовать DataTable.WriteXml. Но я поддержу других людей, в первую очередь лучше ограничить количество записей, которые вы получаете из базы данных.