Блог

Я следую базовому примеру spark hbase connector для чтения таблицы HBase в оболочке spark2 версии 2.2.0. Похоже, что код работает, но когда я запускаю команду df.show(), я не вижу никаких результатов, и кажется, что он выполняется вечно.

 import org.apache.spark.sql.{ DataFrame, Row, SQLContext }
import org.apache.spark.sql.execution.datasources.hbase._

val sqlContext = new org.apache.spark.sql.SQLContext(sc); 

def catalog = s"""{
         |"table":{"namespace":"default", "name":"testmeta"},
         |"rowkey":"vgil",
         |"columns":{
            |"id":{"cf":"rowkey", "col":"vgil", "type":"string"},
           |"col1":{"cf":"pp", "col":"dtyp", "type":"string"}
         |}
       |}""".stripMargin


def withCatalog(cat: String): DataFrame = { sqlContext.read.options(Map(HBaseTableCatalog.tableCatalog->cat)).format("org.apache.spark.sql.execution.datasources.hbase").load()}

val df = withCatalog(catalog)

df.show()
  

df.show () не выдаст ни выходных данных, ни какой-либо ошибки. Он будет продолжать работать вечно.

Кроме того, как я могу запустить queryy для диапазона ключей строк.

Вот сканирование тестовой таблицы HBase.

 hbase(main):001:0> scan 'testmeta'
ROW                                 COLUMN CELL                                                                                            
 fmix                            column=pp:dtyp, timestamp=1541714925380, value=ss1                                                     
 fmix                            column=pp:lati, timestamp=1541714925371, value=41.50                                                   
 fmix                            column=pp:long, timestamp=1541714925374, value=-81.61                                                  
 fmix                            column=pp:modm, timestamp=1541714925377, value=ABC                                                                                                   
 vgil                            column=pp:dtyp, timestamp=1541714925405, value=ss2                                                     
 vgil                            column=pp:lati, timestamp=1541714925397, value=41.50                                                   
  

Я следил за некоторыми решениями в Интернете, но, к сожалению, не смог получить данные из HBase.

Заранее спасибо за помощь!

Публикуя свой ответ после множества проб, я обнаружил, что добавление опции —conf для запуска spark shell помогло мне подключиться к HBase.

 spark2-shell --master yarn --deploy-mode client --packages com.hortonworks:shc-core:1.1.1-2.1-s_2.11,it.nerdammer.bigdata:spark-hbase-connector_2.10:1.0.3 --repositories http://repo.hortonworks.com/content/groups/public/ --conf spark.hbase.host=192.168.xxx.xxx --files /mnt/fs1/opt/cloudera/parcels/CDH-5.13.0-1.cdh5.13.0.p0.29/share/doc/hbase-solr-doc-1.5 cdh5.13.0 71/demo/hbase-site.xml
  

Тогда следующий фрагмент кода мог бы получить значение для квалификатора одного столбца.

 val hBaseRDD_iacp = sc.hbaseTable[(String)]("testmeta").select("lati").inColumnFamily("pp").withStartRow("vg").withStopRow("vgz")      
object myschema {
      val column1 = StructField("column1",  StringType)
      val struct = StructType(Array(column1))
    }


val rowRDD = hBaseRDD.map(x => Row(x))
val myDf = sqlContext.createDataFrame(rowRDD,myschema.struct)  
myDf.show()