Mesa Hive
Este artigo mostra como importar uma tabela Hive do armazenamento em clouds para o Databricks usando uma tabela externa.
passo 1: Mostrar a instrução CREATE TABLE
Emita um comando SHOW CREATE TABLE <tablename>
na linha de comando do Hive para ver a instrução que criou a tabela.
hive> SHOW CREATE TABLE wikicc;
OK
CREATE TABLE `wikicc`(
`country` string,
`count` int)
ROW FORMAT SERDE
'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe'
STORED AS INPUTFORMAT
'org.apache.hadoop.mapred.TextInputFormat'
OUTPUTFORMAT
'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION
'<path-to-table>'
TBLPROPERTIES (
'totalSize'='2335',
'numRows'='240',
'rawDataSize'='2095',
'COLUMN_STATS_ACCURATE'='true',
'numFiles'='1',
'transient_lastDdlTime'='1418173653')
passo 2: emitir uma instrução CREATE EXTERNAL TABLE
Se a instrução retornada usar um comando CREATE TABLE
, copie a instrução e substitua CREATE TABLE
por CREATE EXTERNAL TABLE
.
EXTERNAL
garante que o Spark SQL não exclua seus dados se você eliminar a tabela.Você pode omitir o campo
TBLPROPERTIES
.
DROP TABLE wikicc
CREATE EXTERNAL TABLE `wikicc`(
`country` string,
`count` int)
ROW FORMAT SERDE
'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe'
STORED AS INPUTFORMAT
'org.apache.hadoop.mapred.TextInputFormat'
OUTPUTFORMAT
'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION
'<path-to-table>'