Блог

У меня есть набор данных с миллионами точек широты / долготы, которые мы строим с высоким разрешением, используя plotly-dash Densitymapbox :

 data = pandas.DataFrame()
# ...
go.Densitymapbox(
    lat=data['Latitude'],
    lon=data['Longitude'],
    z=data['Count'],
    hoverinfo='skip',
    # ...
)
 

Согласно Mapbox, их библиотека должна поддерживать миллионы точек без проблем, как показано в их демонстрации @ https://demos.mapbox.com/100mpoints /

Когда я пытаюсь это сделать, кажется, что Mapbox способен обрабатывать запросы. Однако в моей реализации с plotly / dash, в отличие от демонстрации выше, браузер оказывается под водой. Первая загрузка работает нормально (хотя и использует много памяти), но при перезагрузке данных происходит сбой Chrome, а Firefox сообщает об ошибке нехватки памяти на консоль и не обновляет тепловую карту.

Набор данных, который я использую, составляет 1093737 точек. Выполняя математические вычисления на обратной стороне салфетки, это должно быть только <~ 25 МБ данных (1093737 * (8 8 8)) для 2 значений с плавающей запятой двойной точности и 1 (64-битного) целого числа, и объем данных, отправляемых в браузер, показывает это. Однако процесс браузера увеличивает объем памяти до 3,5 ГБ, а затем при последующих перезагрузках кажется, что браузеру не хватает памяти.

Есть ли какие-либо средства в dash / plotly, чтобы предотвратить отключение браузера? Мне не нужно взаимодействовать с точками графика плотности, и я установил hoverinfo='skip' , чтобы указать это, но хотел бы сохранить интерактивность тепловой карты, пересчитывающей наложение при изменении масштаба карты. Я изучаю другие альтернативы, такие как растрирование на стороне сервера тепловой datashader карты, но это приведет к удалению этой интерактивности, которую я хотел бы сохранить.

LensPy был создан именно для решения этой проблемы. Он построен поверх Plotly Dash, чтобы позволить вам отображать очень большие наборы данных, сохраняя при этом плавную интерактивность. Вот пример того, как вы можете добиться этого с помощью Mapbox.

 import pandas as pd
import plotly.express as px
from lenspy import DynamicPlot

df = pd.read_csv(
    'https://raw.githubusercontent.com/plotly/datasets/master/earthquakes-23k.csv')
fig = px.density_mapbox(df,
                        lat='Latitude', lon='Longitude',
                        z='Magnitude',
                        radius=10,
                        center=dict(lat=0, lon=180),
                        zoom=0,
                        mapbox_style="stamen-terrain")

plot = DynamicPlot(fig)
plot.show()
 

Отказ от ответственности: я создатель LensPy.