#dataframe #pyspark #format #bigdata #rdd Вопрос: У меня есть один вопрос относительно карты Писпарка. Например, у меня есть следующие данные: data=[(1,1,1,10),(1,1,2,20),(2,1,3,15),(2,1,1,47),(3,0,2,28),(3,0,3,17)] df=spark.createDataFrame(data).toDF("ID","Target","features","value1") df.show() --- ------ -------- ------ | ID|Target|features|value1| ---…
#python #apache-spark #pyspark Вопрос: Мне нужно создать новый столбец, Check который будет показывать несоответствие, если значение в группе строк не совпадает. То, что у меня есть сейчас: data = […
#python #apache-spark #pyspark #apache-spark-sql Вопрос: Я пытаюсь выполнить SQL-запрос для следующего PySpark DF: -------------------- | values| -------------------- |[1.09125882, 0.97...| |[1.0, 1.0, 1.0, 1...| |[1.06119951, 1.04...| |[1.0, 1.0, 1.0, 1...| |[1.0,…
#python #pyspark Вопрос: Это моя функция, которую я использую для записи файлов: #pyspark def write_file(dataframe=None, dest_dir=None, filename=None): import os temp_dir = dest_dir '/tmp/' dataframe.coalesce(1) .write .format('com.databricks.spark.csv') .mode('overwrite') .option('header', True) .option("emptyValue",…
#python-3.x #pyspark Вопрос: Я внедряю конвейер анализа настроений в потоковом режиме в реальном времени (положительный, отрицательный, нейтральный), используя Spark для комментариев на английском языке в Twitter, включая некоторые ключевые слова…
#apache-spark #pyspark #apache-spark-sql #case Вопрос: Я вставил свой код ниже. Я ожидаю , что когда col2 = 7 он должен вернуться 1 , но он возвращается 1 раз, а 2…
#python #pyspark #chemistry Вопрос: Каков наиболее эффективный способ чтения коллекции файлов sdf? sdf-это файл химической таблицы, содержащий как трехмерную информацию о молекулах, так и свойства указанной молекулы. Вся эта информация…