Importação de banco de dados MySQL e PostgreSQL

Tecnologia
Bossa_Trader   181º
em 21/07/20 20:58

Comentários

Último comentário 1º comentário do autor Só moderadores Só os meus Só quem eu sigo Ordenar por gostei
Bossa_Trader  181º
em 21/07/2020 21:08
Existe algum limite para inserção ???
Importação de banco de dados MySQL e PostgreSQL - #1 de 26
big_boss  39º
em 21/07/2020 21:23
Nível no Race: Profissa do Bastter Race 
Não substituiu tudo!
Importação de banco de dados MySQL e PostgreSQL - #2 de 26
developer  181º
em 21/07/2020 21:30
Não acho que o erro é pelo tamanho do arquivo, deve ser alguma outra coisa enfiada no meio...  e na regex seria bom passar o operador de final de linha $ junto com o pipe pra ele de fato pegar só os do final.. 

sed 's/|$/\r/g' region.tbl -i
Importação de banco de dados MySQL e PostgreSQL - #3 de 26
MazzaropiFiel 
em 21/07/2020 21:32
Qual o erro que deu? Só vendo a mensagem de erro e o log para ter uma noção melhor.

Porque pode ser:
- Falta de espaço;
- innodb/MyISam estourando seu tamanho;
- Algum parâmetro de buffer que você tenha que mudar na configuração do servidor.;
- checagem que você tenha que desativar;
- memória;
- etc....
Importação de banco de dados MySQL e PostgreSQL - #4 de 26
Pai_Naldo  24º
em 21/07/2020 21:32
1) Qual é o erro?

2) Seria bom ver se todos os separadores foram substituídos por pipe.

Importação de banco de dados MySQL e PostgreSQL - #5 de 26
MazzaropiFiel 
em 21/07/2020 21:35
Dê esses 2 comandos e cola aqui só pra gente ver como ficou o arquivo:

$ head -n 3 region.tbl
$ tail -n 3 region.tbl
Importação de banco de dados MySQL e PostgreSQL - #6 de 26
Bossa_Trader  181º
em 21/07/2020 21:36
@MazzaropiFiel o ruim pq só diz warning mas não descreve qual eh
Importação de banco de dados MySQL e PostgreSQL - #7 de 26
Bossa_Trader  181º
em 21/07/2020 21:38
matias@alexsandro:~/tpch-dbgen/data$ head lineitem.tbl
1|1551894|76910|1|17|33078.94|0.04|0.02|N|O|1996-03-13|1996-02-12|1996-03-22|DELIVER IN PERSON|TRUCK|egular courts above the
1|673091|73092|2|36|38306.16|0.09|0.06|N|O|1996-04-12|1996-02-28|1996-04-20|TAKE BACK RETURN|MAIL|ly final dependencies: slyly bold
1|636998|36999|3|8|15479.68|0.10|0.02|N|O|1996-01-29|1996-03-05|1996-01-31|TAKE BACK RETURN|REG AIR|riously. regular, express dep
1|21315|46316|4|28|34616.68|0.09|0.06|N|O|1996-04-21|1996-03-30|1996-05-16|NONE|AIR|lites. fluffily even de
1|240267|15274|5|24|28974.00|0.10|0.04|N|O|1996-03-30|1996-03-14|1996-04-01|NONE|FOB| pending foxes. slyly re
1|156345|6348|6|32|44842.88|0.07|0.02|N|O|1996-01-30|1996-02-07|1996-02-03|DELIVER IN PERSON|MAIL|arefully slyly ex
2|1061698|11719|1|38|63066.32|0.00|0.05|N|O|1997-01-28|1997-01-14|1997-02-02|TAKE BACK RETURN|RAIL|ven requests. deposits breach a
3|42970|17971|1|45|86083.65|0.06|0.00|R|F|1994-02-02|1994-01-04|1994-02-23|NONE|AIR|ongside of the furiously brave acco
3|190355|65359|2|49|70822.15|0.10|0.00|R|F|1993-11-09|1993-12-20|1993-11-24|TAKE BACK RETURN|RAIL| unusual accounts. eve
Importação de banco de dados MySQL e PostgreSQL - #8 de 26
Abra  181º
em 21/07/2020 21:40
Nível no Race: Fera neném
Acho que falta um g no final do seu sed. Para ele substituir todas as ocorrências.

A ferramenta de importação de arquivo do MySQL te permite descrever o caracter delimitador de cada campo.

import tab separated csv file with partial data into mysql table with phpMyAdmin - Stack Overflow
Importação de banco de dados MySQL e PostgreSQL - #9 de 26
MazzaropiFiel 
em 21/07/2020 21:40
Após o comando do load data..., rode isso que vai te mostrar o warning:

show warnings;
Importação de banco de dados MySQL e PostgreSQL - #10 de 26
MazzaropiFiel 
em 21/07/2020 21:47
Galera já matou, não trocou em tudo.

Faz isso conforme o @developer citou:




sed 's/|$//g' region.tbl -i

Importação de banco de dados MySQL e PostgreSQL - #11 de 26
Bossa_Trader  181º
em 21/07/2020 21:49
Importação de banco de dados MySQL e PostgreSQL - #12 de 26
Bossa_Trader  181º
em 21/07/2020 21:50
@MazzaropiFiel por causa do comando HEAD  ele somente mostra a parte inicial do arquivo.
Importação de banco de dados MySQL e PostgreSQL - #13 de 26
Bossa_Trader  181º
em 21/07/2020 21:51
@Pai_Naldo @big_boss olhem a figura
Importação de banco de dados MySQL e PostgreSQL - #14 de 26
MazzaropiFiel 
em 21/07/2020 21:52
Loga no mysql, executa o seu load e depois executa isso:
show warnings\G

Ai vai mostrar o motivo do warning do load.
Importação de banco de dados MySQL e PostgreSQL - #15 de 26
Abra  181º
em 21/07/2020 21:54
Nível no Race: Fera neném
Mostra o comando de load do arquivo.

Tem que ter um, uma vez que você trocou o delimitador de final de linha por \r
FIELDS TERMINATED BY '\r'
Importação de banco de dados MySQL e PostgreSQL - #16 de 26
Bossa_Trader  181º
em 21/07/2020 21:54
@Abra acho que pela quantidade de dados, a inserção por interface grafica nao se torna viável
Importação de banco de dados MySQL e PostgreSQL - #17 de 26
Bossa_Trader  181º
em 21/07/2020 21:55
@Abra o questionamento de em que ter um, uma vez que você trocou o delimitador de final de linha por \r

FIELDS TERMINATED BY '\r'

 

é pq em algumas tabelas funciona e outras não ???
Importação de banco de dados MySQL e PostgreSQL - #18 de 26
Abra  181º
em 21/07/2020 21:57
Nível no Race: Fera neném
@matiasalexsandro que interface gráfica?

O link é para o comando de load no MySQL.
Importação de banco de dados MySQL e PostgreSQL - #19 de 26
Bossa_Trader  181º
em 21/07/2020 21:57
@MazzaropiFiel estou rodando o comando:

mysql> load data local infile '/home/matias/tpch-dbgen/data/lineitem.tbl' INTO table LINEITEM FIELDS TERMINATED BY '|';

 

que tem ao todo 7,1 GB depois de terminar esse comando vou executar o comando que estah sugerindo. Isso deve ao todo custar uma hora. Já se passou meia.
Importação de banco de dados MySQL e PostgreSQL - #20 de 26
Abra  181º
em 21/07/2020 21:58
Nível no Race: Fera neném
@matiasalexsandro

Só dá pra te responder se tu postar o comando executado e um Head do arquivo que deu certo ei que deu errado.
Importação de banco de dados MySQL e PostgreSQL - #21 de 26
Bossa_Trader  181º
em 21/07/2020 21:59
Importação de banco de dados MySQL e PostgreSQL - #22 de 26
Bossa_Trader  181º
em 21/07/2020 22:00
@Abra pronto
Importação de banco de dados MySQL e PostgreSQL - #23 de 26
Abra  181º
em 21/07/2020 22:05
Nível no Race: Fera neném
@matiasalexsandro Se liga. Antes de mais nada. Testa com um arquivo de 10 linhas. Assim tu não precisa esperar muito e é mais fácil de validar se está certo.



Tu precisa descrever qual o caracter que delimita um campo("|") e qual o caracter que delimita o final da linha("\r").

Isso aqui deve funcionar. 



load data local infile '/home/matias/tpch-dbgen/data/lineitem.tbl' 
INTO table LINEITEM 
FIELDS TERMINATED BY '|'
LINES TERMINATED BY '\r\ n';






Sem fazer o sed para tirar o "|" do final do arquivo, esse aqui deveria funcionar também.



load data local infile '/home/matias/tpch-dbgen/data/lineitem.tbl' 
INTO table LINEITEM 
FIELDS TERMINATED BY '|'
LINES TERMINATED BY '|\ n';


Não tem espaço entre o "\" e o "n". Quando eu coloco ele cria uma nova linha.
Importação de banco de dados MySQL e PostgreSQL - #24 de 26
Bossa_Trader  181º
em 21/07/2020 22:14
@Abra o erro de uma linha


| Warning | 1452 | Cannot add or update a child row: a foreign key constraint fails (`teste`.`LINEITEM`, CONSTRAINT `LINEITEM_ibfk_1` FOREIGN KEY (`L_PARTKEY`, `L_SUPPKEY`) REFERENCES `PARTSUPP` (`PS_PARTKEY`, `PS_SUPPKEY`)) |


a chave estrangeira da tabela não estava presente. Esse foi o erro. Vou popular as tabelas que apresentação um relacionamento.

De qualquer forma obrigado pela dica: vou reduzir a base de dados para 1GB, já que anteriormente tinha deixado com 10GB.
Importação de banco de dados MySQL e PostgreSQL - #25 de 26
Alea Jacta Est  181º
em 22/07/2020 10:14
Nível no Race: Tá ficando maluco igual o Bastter
Chegará um dia que deixaremos o stackoverflow para usar o Bastter como fonte primária de pesquisas.
Importação de banco de dados MySQL e PostgreSQL - #26 de 26

7 usuários comentaram este tópico.
Clique para ir para o primeiro comentário do usuário.