通用型数组处理支持自定义类型去重取差集取并集

咸鱼666 · 发表于 2023-9-26 15:45:59

上个帖子：https://bbs.125.la/forum.php?mod ... 14785062&extra=
本次更新内容：
1、数组_去重复_，新增两个可空参数：自定义数据名称和目标数据类型成员名，现支持自定义类型的数组去重，需要传入数据类型的名称，在使用前需要使用一次映射_初始化，指定目标数据类型成员名后，将只比较目标成员值，如果一致就会删除重复的
2、新增数组_取并集和数组_取交集，都支持自定义类型的数组，前者是将两个数组合并去重到一个新数组，后者是将两个数组中不一样的成员合并到一个新数组
速度可以测试，还是很快的

通用型数组处理测试新.zip (2.03 MB, 下载次数: 77)

mnin · 发表于 2024-5-24 08:51:41

感谢分享，学习一下

year1970 · 发表于 2024-4-30 07:42:43

感谢分享

Av0x · 发表于 2023-11-19 23:45:39

咸鱼666 发表于 2023-11-19 23:43
保存本地的时候最好写到数据库或者什么方式，对应详情页网址和txt文件名 ...

好麻烦啊

再搜索redis看看

咸鱼666 · 发表于 2023-11-19 23:43:32

Av0x 发表于 2023-11-19 23:28
就是常见的文本型数组，其实就是爬chong，因为我也不知道网站里面的内容是否爬过入库过，python里面的我 ...

保存本地的时候最好写到数据库或者什么方式，对应详情页网址和txt文件名

Av0x · 发表于 2023-11-19 23:28:46

咸鱼666 发表于 2023-11-19 23:19
如果是自带的数据类型，直接数组_是否存在_，如果是自定义数据类型，可能需要用到YYDS的映射，映射成json ...

就是常见的文本型数组，其实就是爬chong，因为我也不知道网站里面的内容是否爬过入库过，python里面的我的做法比较蠢，就是好爬过的详情页存到本地txt里面，爬的时候判断详情页是否在本地里面，如果在就跳过，不在就继续爬取然后入库

咸鱼666 · 发表于 2023-11-19 23:19:01

Av0x 发表于 2023-11-19 22:48
羡慕大佬啊，谢谢开源，但是没法对比本地或者数据库的内容然后确定是否存在重复存在就跳过不存在就入库 ...

如果是自带的数据类型，直接数组_是否存在_，如果是自定义数据类型，可能需要用到YYDS的映射，映射成json，然后判断是否有目标内容的json值

Av0x · 发表于 2023-11-19 22:48:27

羡慕大佬啊，谢谢开源，但是没法对比本地或者数据库的内容然后确定是否存在重复存在就跳过不存在就入库

snufgpl · 发表于 2023-10-24 22:50:10

感谢分享，很给力！~

dol · 发表于 2023-10-22 14:34:38

666666666666

		自动登录	找回密码
密码			注册

[易源码分享] 通用型数组处理支持自定义类型去重取差集取并集

评分

[易源码分享] 通用型数组处理 支持自定义类型 去重 取差集 取并集

评分

[易源码分享] 通用型数组处理支持自定义类型去重取差集取并集