本地数据库号码查重问题求助

guyoulian · 发表于 2025-1-5 12:32:52

就是我有100万条数据再数据库里,我导入一万条数据去cha询这一万条在数据库中哪些重复的,再把不重复的导入到数据库里去, 数据库里的数据再全部导出来.我应该怎么弄.我用edb数据库这样需要一小时.
谁可以给我个例子.mysql或者sqlite都可以.主要就是要快.能做到几十秒之内完成么?

心之雪 · 发表于 2025-1-5 12:36:39

shenmia · 发表于 2025-1-5 12:37:46

用AI试了试，主要是弄好索引，或者可以先创时候cha询表里是否有这个数据，然后再插入

-- 创建索引
CREATE INDEX idx_main_data ON main_table(column_name);

-- 创建临时表并导入数据
CREATE TEMPORARY TABLE temp_table (
column_name datatype,
...
);
LOAD DATA INFILE 'path/to/your/file.csv' INTO TABLE temp_table
FIELDS TERMINATED BY ',' ENCLOSED BY '"'
LINES TERMINATED BY '\n'
IGNORE 1 ROWS;

-- cha询不重复的数据
INSERT INTO main_table (column_name, ...)
SELECT t.column_name, ...
FROM temp_table t
LEFT JOIN main_table m ON t.column_name = m.column_name
WHERE m.column_name IS NULL;

-- 导出主表中的所有数据
SELECT * FROM main_table INTO OUTFILE 'path/to/your/output.csv'
FIELDS TERMINATED BY ',' ENCLOSED BY '"'
LINES TERMINATED BY '\n';