Última pergunta sobre Hive

1
Responda

Acho que meu hql está certo, por que não consigo executá-lo?

insert into table dws_new_mid_day select ud.mid_id,ud.user_id,ud.version_code,ud.version_name,ud.lang,ud.source,ud.os,ud.area,ud.model,ud.brand,ud.sdk_version,ud.gmail,ud.height_width,ud.app_time,ud.network,ud.lng,ud.lat,'2020-09-24' from dws_uv_detail_day ud left join dws_new_mid_day nm on ud.mid_id=nm.mid_id where ud.dt='2020-09-24' and nm.mid_id is null; insert into table dws_new_mid_day select ud.mid_id,ud.user_id,ud.version_code,ud.version_name,ud.lang,ud.source,ud.os,ud.area,ud.model,ud.brand,ud.sdk_version,ud.gmail,ud.height_width,ud.app_time,ud.network,ud.lng,ud.lat,'2020-09-24' from dws_uv_detail_day ud left join dws_new_mid_day nm on ud.mid_id=nm.mid_id where ud.dt='2020-09-24' and nm.mid_id is null; inserir na tabela dws_new_mid_day selecionar ud.mid_id, ud.user_id, ud.version_code, ud.version_name, ud.lang, ud.source, ud.os, ud.area, ud.model, ud .brand, ud.sdk_version, ud.gmail, ud.height_width, ud.app_time, ud.network, ud.lng, ud.lat, '2020-09-24' de dws_uv_detail_day ud left join dws_new_mid_day nm em ud.mid_id=nm.mid_id onde ud.dt='2020-09-24' e nm.mid_id é nulo; o erro é este:

hiveql hive

2
Respostas

Forma otimizada de verificar se o registro está presente na tabela 1. Caso contrário, verifique a tabela 2, caso contrário, retorna o valor padrão

Questionado em uma entrevista: Eu tenho 2 tabelas, uma tabela tem registros como ID, Nome, endereço. id (pk) é de 1 a 10000000. outra tabela tem registros de 10000001 a 20000000. Tenho que verificar se um determinado ID está presente na tabela 1 ou na tabela 2 e retornar o resultado correspondente. Como o tamanho da mesa é grande, é preciso pensar em uma maneira otimizada de fazer isso.

sql hql hive hive query

1
Responda

ValidationFailureSemanticException: a especificação da partição contém colunas sem partição

Estou tentando um caso de uso simples de inserção em uma tabela particionada por hive no S3. Estou executando meu código no notebook zeppelin no EMR e abaixo está meu código junto com a captura de tela da saída dos comandos. Eu verifiquei o esquema da tabela hive e dataframe e não há diferença de maiúsculas e minúsculas no nome da coluna. Estou recebendo a exceção mencionada abaixo.

hive hiveql apache spark sql apache spark

0
Responda

SQL: como faço para extrair uma coluna com elemento xml e atributos como uma tabela

+-----------------+----------------------------------------------------+--+ | feed_test.name | feed_test.xmlstring | +-----------------+----------------------------------------------------+--+ | tes1 | <record name='Tom' lname='cruise' age='32' /> | | test2 | <record name='James' lname='Bond' age='30' /> | +-----------------+----------------------------------------------------+--+ +-----------------+----------------------------------------------------+--+ | feed_test.name | feed_test.xmlstring | +-----------------+----------------------------------------------------+--+ | tes1 | <record name='Tom' lname='cruise' age='32' /> | | test2 | <record name='James' lname='Bond' age='30' /> | +-----------------+----------------------------------------------------+--+ + -----------------+ ----------------------------------------------------+ -+ | feed_test.name| feed_test.xmlstring| + -----------------+ ----------------------------------------------------+ -+ | tes1|| | test2|| + -----------------+ ----------------------------------------------------+ -+ a partir da tabela fornecida, estou tentando construir a tabela deresultados

hive sql

0
Responda

Otimize a gravação em uma tabela de colmeia

Eu tenho um hql lendo dados de grandes tabelas de origem (acima de 500 TB) e gravando dados em uma tabela hive particionada estática. Estou escrevendo cerca de 1 TB de dados todos os dias para esta tabela. o processamento de dados está bem com o trabalho MapReduce, mas a gravação é muito lenta, o tempo de carregamento de dados varia de 10 a 28 horas. Tentei alterar o formato do arquivo da tabela de sequência para ORC, o que não acrescentou muito desempenho na gravação. Tive a compressão Snappy com um formato de arquivo de sequência originalmente disponível. Habilitei a execução paralela, auto-map join, CBO, vetorização para impulsionar o processamento em geral. Para escrever, tentei definir o hive.exec.scratchdir=/tmp/hive para fazer a operação de cópia de .hive-staging para o diretório de destino para uma operação de mover/renomear. Mas isso falhou com a mensagem abaixo. Também tentei configurar hive.exec.copyfile.maxsize=1099511627776, que também falhou. Estou usando mapreduce2 com o mestre de Yarn/aplicativo. Alguém pode me dizer como escrever diretamente no diretório de destino ou usar uma operação de renomeação em vez de copiar, o que está demorando muito?

orc hadoop mapreduce hive snappy

0
Responda

Não consigo persistir os dados no armazenamento local no HiveBox, quando recarrego a página, tudo no banco de dados local torna-se nulo

Sou um novato em dardo/vibração. Preciso obter dados da API da web e colocá-los dentro do Hive.box, como LocalStorage. Posso pegar um dado Api e colocar no Hive, mas não consigo persistir esses dados dentro de outras páginas, por exemplo, não posso usar a variável localStorage em outras páginas ... O problema é que o HiveBox está com um retorno nulo.

flutter hive persistence dart

Etiquetas quentes

© 2021   OlaMundo.Org