Блог

Я конвертирую свои данные .xlsx в БД с помощью python, и размер вывода больше, чем я ожидал.

Таблица бд, которую я создаю, выглядит так:

 def create_file():
    
    cur.execute(
    """
    CREATE TABLE IF NOT EXISTS [file](
      [f_uid] INTEGER PRIMARY KEY AUTOINCREMENT NOT NULL, 
      [f_name_key] VARCHAR(200), 
      [f_name_list] VARCHAR(1000),
      [path] VARCHAR(1000), 
      [run_start_dt] VARCHAR(200),
      [run_end_dt] VARCHAR(200),
      [protocol_file_name] VARCHAR(200),
      [sn] VARCHAR(200),
      [head_sn] VARCHAR(200),
      [version] VARCHAR(200)      
      );
    """)
    
def create well():

    cur.execute(
    """
    CREATE TABLE IF NOT EXISTS [well](
      [w_uid] INTEGER PRIMARY KEY AUTOINCREMENT NOT NULL,
      [w_no] VARCHAR(50),
      [sample_key] VARCHAR(100),
      [qa] TINYINT,
      [call] VARCHAR(50), 
      [v1] FLOAT,  
      [v2] FLOAT,
      [f_uid] INTEGER
      );
    """)
    

def create_value():

    cur.execute(
    """
    CREATE TABLE IF NOT EXISTS [value](
      [v_uid] INTEGER PRIMARY KEY AUTOINCREMENT NOT NULL,
      [w_uid] INTEGER,
      [channel] VARCHAR(50),
      [max_cycle] TINYINT,
      [end_v] FLOAT,
      [v_seq] TEXT NOT NULL
      );
    """)
 

Первая попытка, так как v_seq в таблице значений представляет собой длинный список поплавков в строке, но вывод составил около 12 ГБ

Вторая попытка, разделите этот v_seq на столбцы с плавающей точкой столько, сколько существует в списке, и поместите каждое значение с плавающей точкой в каждый столбец, вывод составил 9 ГБ

Третья попытка, вернитесь к первой попытке, измените v_seq на большой двоичный объект и заархивируйте длинный список поплавков в строке, объем вывода составил около 8,5 ГБ

Я не могу придумать больше способа уменьшить размер вывода. Можете ли вы подсказать мне какие-нибудь хорошие идеи?