Создание сводной таблицы в Pandas (SQLAlchemy)

#python #pandas #sqlalchemy

#python #pandas #sqlalchemy

Вопрос:

Я пытаюсь создать фрейм данных pandas, который объединяет всех дочерних элементов в одну строку

 class Parent(Base):
  __tablename__ = 'parent'
  id = Column(Integer, primary_key=True)
  name = Column(String())
  class = Column(String())

  all_distance = relationship('Distance', back_populates='parent')
  all_weight = relationship('Weight', back_populates='parent')

class Distance(Base):
  __tablename__ = 'distance'
  id = Column(Integer, primary_key=True)
  distance = Column(String())
  finished = Column(String())

  parent_id = Column(Integer, ForeignKey('parent.id'))
  parent = relationship('Parent', back_populates='all_distance')

class Weight(Base):
  __tablename__ = 'weight'
  id = Column(Integer, primary_key=True)
  weight = Column(String())
  height = Column(String())

  parent_id = Column(Integer, ForeignKey('parent.id'))
  parent = relationship('Parent', back_populates='all_weight')
  

Таблицы с некоторыми данными:

 parent
ID | Name | Class
1  | Joe  | Paladin
2  | Ron  | Mage
3  | Sara | Knight

distance
ID | distance | finished | parent_id
1  | 2 miles  | yes      | 1
2  | 3 miles  | yes      | 1 
3  | 1 miles  | yes      | 1
4  | 10 miles | no       | 2

weight
ID | Weight | height | parent_id
1  | 5 lbs  | 5'3    | 1
2  | 10 lbs | 5'5    | 2
  

Цель состоит в том, чтобы создать фрейм данных pandas, который выглядел бы следующим образом:

 1 | Joe  | Paladin | 2 miles  | yes  | 3 miles | yes  | 1 miles | yes  | 5lbs  | 5'3
2 | Ron  | Mage    | 10 miles | no   | None    | None | None    | None | 10lbs | 5'5
3 | Sara | Knight  | None     | None | None    | None | None    | None | None  | None
  

Как бы я это сделал?

Я несколько приблизился

 df = pd.read(db_session.query(Parent, Distance, Weight).join(Distance).join(Weight).statement, db_session.bind)
  

что дает мне фрейм данных всего, что соединено вместе.

 list(df.columns.values)

['id', 'name', 'class', 'id', 'distance', 'finished', 'id', 'weight', 'height']
  

Как мне предотвратить одинаковые заголовки столбцов? ie — id теперь в 3 раза

Однако, когда я пытаюсь создать сводную таблицу:

df.pivot(index="id") он возвращает ошибку:

 Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/anaconda2/lib/python2.7/site-packages/pandas/core/frame.py", line 5194, in pivot
    return pivot(self, index=index, columns=columns, values=values)
  File "/anaconda2/lib/python2.7/site-packages/pandas/core/reshape/reshape.py", line 400, in pivot
    indexed = self.set_index(cols, append=append)
  File "/anaconda2/lib/python2.7/site-packages/pandas/core/frame.py", line 3909, in set_index
    level = frame[col]._values
  File "/anaconda2/lib/python2.7/site-packages/pandas/core/frame.py", line 2688, in __getitem__
    return self._getitem_column(key)
  File "/anaconda2/lib/python2.7/site-packages/pandas/core/frame.py", line 2698, in _getitem_column
    result = self._constructor(self._data.get(key))
  File "/anaconda2/lib/python2.7/site-packages/pandas/core/internals.py", line 4130, in get
    raise TypeError("cannot label index with a null key")
TypeError: cannot label index with a null key
  

Комментарии:

1. Сводная таблица Pandas не связана с SQLAlchemy. Поскольку у вас нет проблем с поиском объединенных данных, рассмотрите возможность удаления строк класса, которые напрямую не нужны для вашего вопроса. Кроме того, вы изучали pivot_table ?

2. Я только что потратил час, пытаясь разобраться в этом для вас. Спасибо за это! Но я кое-чего добился с pandas.merge(). Он соединяет фреймы данных так же, как функции sql join(). Использование внутренних / внешних / левых / правых подходов.

Ответ №1:

вы пытаетесь передать ‘id’ в качестве индекса, поэтому свод завершается неудачей. Это должно быть:

 df.pivot(df.index,"id")