Última pergunta sobre Out Of Memory

0
Responda

não pode alocar processo filho de memória durante o treinamento tensorflow stargan2

2020-09-26 15:52:21.696314: I tensorflow/stream_executor/platform/default/dso_loader.cc:44] Successfully opened dynamic library libcublas.so.10.0 2020-09-26 15:52:23.296706: I tensorflow/stream_executor/platform/default/dso_loader.cc:44] Successfully opened dynamic library libcudnn.so.7 Building TensorFlow graph... Initializing logs... Training for 25000 kimg... 2020-09-26 15:59:51.966060: E tensorflow/core/platform/posix/subprocess.cc:208] Start cannot fork() child process: Cannot allocate memory 2020-09-26 15:59:51.966293: W tensorflow/stream_executor/cuda/redzone_allocator.cc:312] Internal: Failed to launch ptxas Relying on driver to perform ptx compilation. This message will be only logged once. 2020-09-26 15:59:54.377494: E tensorflow/core/platform/posix/subprocess.cc:208] Start cannot fork() child process: Cannot allocate memory terminate called recursively terminate called after throwing an instance of ' 2020-09-26 15:52:21.696314: I tensorflow/stream_executor/platform/default/dso_loader.cc:44] Successfully opened dynamic library libcublas.so.10.0 2020-09-26 15:52:23.296706: I tensorflow/stream_executor/platform/default/dso_loader.cc:44] Successfully opened dynamic library libcudnn.so.7 Building TensorFlow graph... Initializing logs... Training for 25000 kimg... 2020-09-26 15:59:51.966060: E tensorflow/core/platform/posix/subprocess.cc:208] Start cannot fork() child process: Cannot allocate memory 2020-09-26 15:59:51.966293: W tensorflow/stream_executor/cuda/redzone_allocator.cc:312] Internal: Failed to launch ptxas Relying on driver to perform ptx compilation. This message will be only logged once. 2020-09-26 15:59:54.377494: E tensorflow/core/platform/posix/subprocess.cc:208] Start cannot fork() child process: Cannot allocate memory terminate called recursively terminate called after throwing an instance of ' 2020-09-26 15: 52: 21.696314: I tensorflow/stream_executor/platform/default/dso_loader.cc: 44] Biblioteca dinâmica aberta com sucesso libcublas.so.10.0 2020-09-26 15: 52: 23.296706: I tensorflow/stream_executor/platform/default/dso_loader.cc: 44] Biblioteca dinâmica aberta com sucesso libcudnn.so.7 Construindo gráfico TensorFlow ... Inicializando logs ... Treinando para 25.000 kimg ... 2020-09-26 15: 59: 51.966060: E tensorflow/core/platform/posix/subprocess.cc: 208] Iniciar não é possível fork () processo filho: não é possível alocar memória 2020-09-26 15: 59: 51.966293: W tensorflow/stream_executor/cuda/redzone_allocator.cc: 312] Interno: falha ao iniciar ptxas Confiar no driver para realizar a compilação ptx. Esta mensagem será registrada apenas uma vez. 2020-09-26 15: 59: 54.377494: E tensorflow/core/platform/posix/subprocess.cc: 208] Iniciar não é possível fork () processo filho: não é possível alocar memória terminar chamado recursivamente terminate chamado após lançar uma instância de ' Recebi o erro acima ao treinar o StyleGAN em um conjunto de dados personalizado. Tentei alterar o tamanho do lote e defini-lo como minibatch_size_base=8 e minibatch_gpu_base=1 mas ainda assim, o erro é perseguir

tensorflow generative adversarial network python gpu out of memory

1
Responda

Obtendo erro de memória ao transformar matriz spars em array com nomes de coluna. Esta matriz é uma entrada para o modelo de treinamento

Meus dados de treinamento consistem em 5 milhões de linhas de descrição do produto, com comprimento médio de 10 palavras. Posso usar CountVectorizer ou Tf-IDF para transformar meu recurso de entrada. No entanto, após transformar o recurso em uma matriz esparsa, ao convertê-lo em uma matriz ou matriz densa, estou constantemente recebendo erros de memória. O vetorizador de contagem retorna um token de coluna de ~ 130k. Abaixo estão os dois métodos que estou tentando implementar. Observe que o sistema no qual estou trabalhando tem 512 GB de memória. Abaixo está o erro:

python out of memory tensorflow

2
Respostas

Pandas desempilham () e dinamizam (): MemoryError

Descrição do problemaDescrição do problema Eu gostaria de desempilhar ou dinamizar um DataFrame, mas isso levanta a exceção numpy MemoryError: Unable to allocate 1.72 GiB for an array with shape (1844040704,) and data type bool. Eu tentei isso com um DataFrame com um índice numérico -> df.pivot() e com Multiindex -> df.unstack() ] Ambos mostram a mesma exceção e não sei como contornar. Não sinto que tenho um conjunto de dados excepcionalmente grande com 175199 linhas. Eu usei anteriormente o desempilhar em DataFrames com mais de 5 milhões de linhas.O df ficará 2 x maior para a análise completa!

python python 3.x out of memory pandas

Etiquetas quentes

© 2021   OlaMundo.Org