求个txt文件导入数据库的例子

wuyanqing187

上面图片为txt文件的部分截图，

能高效的读取这类txt文件中的某一列（这个文件可以excel打开后数据是对应最上面英文的名称的）到数据库，数据库要是文件，不是需要连接的那种；

试过笨方法“分割”，“字节集”等方法导入sqlite的，速度感人，求各位大佬给个这类的例子，能读取txt对应列数据的，感谢

每行最前面的//为注释行，不读取；

这只是单独的一个文件，其他文件有几万行，十几万行的，

这是文件
ChargeIteminfo.rar (65.36 KB, 下载次数: 7)

2024-8-25 15:21 上传

点击文件名下载附件






补充内容 (2024-8-25 16:14):
因为文件最上面的字段（例：Code  ChargeType这种）会增删，所以只能读取对应的列，不能分割导入

补充内容 (2024-8-25 16:14):
字段（例：Code  ChargeType这种）增删后，下面的数据也会跟着变动

frankiy

其实我不是很擅长处理大数据，没有很复杂的技巧，速度还行。



补充内容 (2024-8-26 01:01):
源文件编码是Unicode的韩文，需要读取正确的名字，就自行转码哈。

wuyanqing187

frankiy 发表于 2024-8-26 01:01
其实我不是很擅长处理大数据，没有很复杂的技巧，速度还行。

感谢大佬给出的方案，提取数据我用论坛的字节集的方式能搞出来，所有脚本数据全提出来30秒内，就是在导入数据库时很慢，要2/3分钟，用的sqlite，大佬有没有高效导入数据库的例子

frankiy

wuyanqing187 发表于 2024-8-26 16:09
感谢大佬给出的方案，提取数据我用论坛的字节集的方式能搞出来，所有脚本数据全提出来30秒内，就是在导入 ...

SQLite是是轻量级数据库，没有那么强的数据管理能力。你这个量级，建议你使用MySql 。

另外，为什么你要用数据导入呢？这个文件是excel格式的原格式，应该可以用excel 直接转储为*.dbf文件。

或者用数据库管理工具把excel 转储为数据库文件，比你直接导入要快很多。

wuyanqing187

frankiy 发表于 2024-8-26 22:17
SQLite是是轻量级数据库，没有那么强的数据管理能力。你这个量级，建议你使用MySql 。

另外，为什么你要 ...

我是要读出这些数据保存做cha询用，需要实时调用，因为是新手，大部分都是搜论坛帖子学的，也就找到个sqlite能满足我的要求，
mysql能支持保存文件读取吗？论坛里没找到相关的教程，需要一个文件形式的数据存储

frankiy

wuyanqing187 发表于 2024-8-27 07:38
我是要读出这些数据保存做cha询用，需要实时调用，因为是新手，大部分都是搜论坛帖子学的，也就找到个sql ...

要不你发一个大一些的文件，我做一个读写试试。