Блог

Я новичок в pyspark и застрял в решении проблемы, возникающей при попытке выполнить операции с фреймом данных spark, который был создан из txt-файла, содержащего пользовательские события. Представление этого фрейма данных (200 тыс. строк) является :

Ну, на этом df я пытаюсь получить некоторую статистику, используя следующие строки:

 df.groupBy("city_name").count().orderBy(desc("count")).show(5) df.groupBy("country_name").count().orderBy(desc("count")).show(5)  

Это означает, что вы попадаете в топ-5 стран по количеству событий (строк).

На данный момент требуется возраст для вычисления gt; 120 лет. Поскольку я новичок в этой технологии, возможно, некоторые концепции я все еще не понимаю, так как, возможно, мне не хватает некоторых деталей при создании контекста spark или сеанса Spark, то есть с неправильными параметрами конфигурации. Кто-то указал, что это может быть связано с тем, что spark работает на драйвере, а не на исполнителях. Если да, то как я это исправлю?. Это при создании контекста spark или сеанса spark с правильными параметрами?.

В настоящее время в моем коде я создаю сеанс spark следующим образом :

 spark=SparkSession.builder.master("local[*]").appName("test").getOrCreate()  

Затем df создается следующим образом :

 df = spark.read.option("lineSep", "n").text(filepath)  

Мы будем признательны за любые отзывы, касающиеся отладки кода, а также за предложения по улучшению описания моей проблемы. Овации