#python #pandas #sqlalchemy
#python #pandas #sqlalchemy
Вопрос:
Я пытаюсь создать фрейм данных pandas, который объединяет всех дочерних элементов в одну строку
class Parent(Base):
__tablename__ = 'parent'
id = Column(Integer, primary_key=True)
name = Column(String())
class = Column(String())
all_distance = relationship('Distance', back_populates='parent')
all_weight = relationship('Weight', back_populates='parent')
class Distance(Base):
__tablename__ = 'distance'
id = Column(Integer, primary_key=True)
distance = Column(String())
finished = Column(String())
parent_id = Column(Integer, ForeignKey('parent.id'))
parent = relationship('Parent', back_populates='all_distance')
class Weight(Base):
__tablename__ = 'weight'
id = Column(Integer, primary_key=True)
weight = Column(String())
height = Column(String())
parent_id = Column(Integer, ForeignKey('parent.id'))
parent = relationship('Parent', back_populates='all_weight')
Таблицы с некоторыми данными:
parent
ID | Name | Class
1 | Joe | Paladin
2 | Ron | Mage
3 | Sara | Knight
distance
ID | distance | finished | parent_id
1 | 2 miles | yes | 1
2 | 3 miles | yes | 1
3 | 1 miles | yes | 1
4 | 10 miles | no | 2
weight
ID | Weight | height | parent_id
1 | 5 lbs | 5'3 | 1
2 | 10 lbs | 5'5 | 2
Цель состоит в том, чтобы создать фрейм данных pandas, который выглядел бы следующим образом:
1 | Joe | Paladin | 2 miles | yes | 3 miles | yes | 1 miles | yes | 5lbs | 5'3
2 | Ron | Mage | 10 miles | no | None | None | None | None | 10lbs | 5'5
3 | Sara | Knight | None | None | None | None | None | None | None | None
Как бы я это сделал?
Я несколько приблизился
df = pd.read(db_session.query(Parent, Distance, Weight).join(Distance).join(Weight).statement, db_session.bind)
что дает мне фрейм данных всего, что соединено вместе.
list(df.columns.values)
['id', 'name', 'class', 'id', 'distance', 'finished', 'id', 'weight', 'height']
Как мне предотвратить одинаковые заголовки столбцов? ie — id теперь в 3 раза
Однако, когда я пытаюсь создать сводную таблицу:
df.pivot(index="id")
он возвращает ошибку:
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
File "/anaconda2/lib/python2.7/site-packages/pandas/core/frame.py", line 5194, in pivot
return pivot(self, index=index, columns=columns, values=values)
File "/anaconda2/lib/python2.7/site-packages/pandas/core/reshape/reshape.py", line 400, in pivot
indexed = self.set_index(cols, append=append)
File "/anaconda2/lib/python2.7/site-packages/pandas/core/frame.py", line 3909, in set_index
level = frame[col]._values
File "/anaconda2/lib/python2.7/site-packages/pandas/core/frame.py", line 2688, in __getitem__
return self._getitem_column(key)
File "/anaconda2/lib/python2.7/site-packages/pandas/core/frame.py", line 2698, in _getitem_column
result = self._constructor(self._data.get(key))
File "/anaconda2/lib/python2.7/site-packages/pandas/core/internals.py", line 4130, in get
raise TypeError("cannot label index with a null key")
TypeError: cannot label index with a null key
Комментарии:
1. Сводная таблица Pandas не связана с SQLAlchemy. Поскольку у вас нет проблем с поиском объединенных данных, рассмотрите возможность удаления строк класса, которые напрямую не нужны для вашего вопроса. Кроме того, вы изучали
pivot_table
?2. Я только что потратил час, пытаясь разобраться в этом для вас. Спасибо за это! Но я кое-чего добился с pandas.merge(). Он соединяет фреймы данных так же, как функции sql join(). Использование внутренних / внешних / левых / правых подходов.
Ответ №1:
вы пытаетесь передать ‘id’ в качестве индекса, поэтому свод завершается неудачей. Это должно быть:
df.pivot(df.index,"id")