如何取大文本的行数

浅浅` · 发表于 2022-3-22 20:24:37

比如一个20MB的txt文本，可能有1千万行文本。
有什么好的办法快速取不？

浅浅` · 发表于 2022-3-22 20:26:53

窗口程序集名	保留	保留	备注
窗口程序集_启动窗口

子程序名	返回值类型	公开	备注
__启动窗口_创建完毕

变量名	类型	静态	数组	备注
文本	文本型
t	整数型
a	整数型
b	整数型
c	整数型
文本字节集	字节集

文本＝取重复文本 (1000, #换行符 )
t ＝取启动时间 ()

计次循环首 (1000000, )

a ＝文本_取行数1 (文本)

计次循环尾 ()
t ＝取启动时间 () － t
调试输出 (a, t)
t ＝取启动时间 ()

计次循环首 (1000000, )

b ＝文本_取行数2 (文本)

计次循环尾 ()
t ＝取启动时间 () － t
调试输出 (b, t)
文本字节集＝到字节集 (文本)
t ＝取启动时间 ()

计次循环首 (1000000, )

c ＝汇编_取文本行数 (文本字节集)

计次循环尾 ()
t ＝取启动时间 () － t
调试输出 (b, t)
t ＝取启动时间 ()

计次循环首 (1000000, )

c ＝取文本行数 (文本)

计次循环尾 ()
t ＝取启动时间 () － t
调试输出 (c, t)

子程序名	返回值类型	公开	备注
取文本行数	整数型
参数名	类型	参考	可空	数组	备注
文本	文本型

置入代码 ({ 252, 51, 201, 87, 139, 125, 8, 139, 63, 131, 255, 0, 116, 37, 184, 0, 13, 10, 0, 174, 116, 20, 79, 193, 232, 8, 102, 175, 117, 6, 65, 193, 224, 8, 235, 239, 193, 224, 8, 79, 235, 233, 102, 129, 127, 253, 13, 10, 116, 1, 65, 139, 193, 95, 201, 194, 4, 0 })
返回 (0)
' cld
' xor ecx, ecx
' push edi
' mov edi, dword [ebp+0x08]
' mov edi, dword [edi]
' cmp edi, 0x00000000
' je Label1
' mov eax, 0x000A0D00
' Label4:
' scasb
' je Label2
' dec edi
' shr eax, 0x08
' scasw
' jne Label3
' inc ecx
' shl eax, 0x08
' jmp Label4
' Label3:
' shl eax, 0x08
' dec edi
' jmp Label4
' Label2:
' cmp word [edi-0x03], 0x0A0D
' je Label1
' inc ecx
' Label1:
' mov eax, ecx
' pop edi
' leave
' retn 0x0004

子程序名	返回值类型	公开	备注
汇编_取文本行数	整数型
参数名	类型	参考	可空	数组	备注
参数一	字节集

变量名	类型	静态	数组	备注
返回值	整数型

置入代码 ({ 96, 139, 69, 8, 139, 0, 139, 72, 4, 141, 88, 8, 184, 10, 0, 0, 0, 49, 210, 56, 3, 117, 1, 66, 67, 226, 248, 137, 85, 252, 97 })
返回 (返回值)
' pushad
' mov eax,[ebp+8]
' mov eax,[eax]
' mov ecx,[eax+4]
' lea ebx,[eax+8]
' mov eax,10
' xor edx,edx
' begin:
' cmp byte ptr [ebx],al
' jnz addr1
' inc edx
' addr1:
' inc ebx
' loop Begin
' mov [ebp-4],edx
' popad

子程序名	返回值类型	公开	备注
文本_取行数1	整数型		取一个文本共有有多少行。
参数名	类型	参考	可空	数组	备注
文本	文本型

置入代码 ({ 139, 125, 8, 139, 63, 49, 192, 138, 15, 128, 249, 0, 116, 9, 71, 128, 249, 10, 117, 243, 64, 235, 240, 137, 236, 93, 194, 4, 0 })
返回 (0)
' mov edi, dword [ebp+0x08]
' mov edi, dword [edi]
' xor eax, eax
' Label2:
' mov cl, byte [edi]
' cmp cl, 0x00
' je Label1
' inc edi
' cmp cl, 0x0A
' jne Label2
' inc eax
' jmp Label2
' Label1:
' mov esp, ebp
' pop ebp
' retn 0x0004

子程序名	返回值类型	公开	备注
文本_取行数2	整数型		取一个文本共有有多少行。
参数名	类型	参考	可空	数组	备注
文本	文本型

置入代码 ({ 139, 69, 8, 139, 48, 49, 201, 172, 132, 192, 116, 7, 60, 10, 117, 247, 65, 235, 244, 137, 200, 137, 236, 93, 194, 4, 0 })
返回 (0)
' mov eax, dword [ebp+0x08]
' mov esi, dword [eax]
' xor ecx, ecx
' Label2:
' lodsb
' test al, al
' je Label1
' cmp al, 0x0A
' jne Label2
' inc ecx
' jmp Label2
' Label1:
' mov eax, ecx
' mov esp, ebp
' pop ebp
' retn 0x0004

i支持库列表	支持库注释
spec	特殊功能支持库

.版本 2<br />
.支持库 spec<br />
<br />
.程序集 窗口程序集_启动窗口<br />
<br />
.子程序 __启动窗口_创建完毕<br />
.局部变量 文本, 文本型<br />
.局部变量 t, 整数型<br />
.局部变量 a, 整数型<br />
.局部变量 b, 整数型<br />
.局部变量 c, 整数型<br />
.局部变量 文本字节集, 字节集<br />
<br />
文本 ＝ 取重复文本 (1000, #换行符)<br />
<br />
t ＝ 取启动时间 ()<br />
.计次循环首 (1000000, )<br />
    a ＝ 文本_取行数1 (文本)<br />
.计次循环尾 ()<br />
t ＝ 取启动时间 () － t<br />
调试输出 (a, t)<br />
<br />
t ＝ 取启动时间 ()<br />
.计次循环首 (1000000, )<br />
    b ＝ 文本_取行数2 (文本)<br />
.计次循环尾 ()<br />
t ＝ 取启动时间 () － t<br />
调试输出 (b, t)<br />
文本字节集 ＝ 到字节集 (文本)<br />
t ＝ 取启动时间 ()<br />
.计次循环首 (1000000, )<br />
    c ＝ 汇编_取文本行数 (文本字节集)<br />
<br />
.计次循环尾 ()<br />
t ＝ 取启动时间 () － t<br />
调试输出 (b, t)<br />
t ＝ 取启动时间 ()<br />
.计次循环首 (1000000, )<br />
    c ＝ 取文本行数 (文本)<br />
<br />
.计次循环尾 ()<br />
t ＝ 取启动时间 () － t<br />
调试输出 (c, t)<br />
<br />
<br />
<br />
.子程序 取文本行数, 整数型<br />
.参数 文本, 文本型<br />
<br />
置入代码 ({ 252, 51, 201, 87, 139, 125, 8, 139, 63, 131, 255, 0, 116, 37, 184, 0, 13, 10, 0, 174, 116, 20, 79, 193, 232, 8, 102, 175, 117, 6, 65, 193, 224, 8, 235, 239, 193, 224, 8, 79, 235, 233, 102, 129, 127, 253, 13, 10, 116, 1, 65, 139, 193, 95, 201, 194, 4, 0 })<br />
返回 (0)<br />
' cld<br />
' xor ecx, ecx<br />
' push edi<br />
' mov edi, dword [ebp+0x08]<br />
' mov edi, dword [edi]<br />
' cmp edi, 0x00000000<br />
' je Label1<br />
' mov eax, 0x000A0D00<br />
' Label4:<br />
' scasb<br />
' je Label2<br />
' dec edi<br />
' shr eax, 0x08<br />
' scasw<br />
' jne Label3<br />
' inc ecx<br />
' shl eax, 0x08<br />
' jmp Label4<br />
' Label3:<br />
' shl eax, 0x08<br />
' dec edi<br />
' jmp Label4<br />
' Label2:<br />
' cmp word [edi-0x03], 0x0A0D<br />
' je Label1<br />
' inc ecx<br />
' Label1:<br />
' mov eax, ecx<br />
' pop edi<br />
' leave<br />
' retn 0x0004<br />
<br />
<br />
.子程序 汇编_取文本行数, 整数型, 公开<br />
.参数 参数一, 字节集<br />
.局部变量 返回值, 整数型<br />
<br />
置入代码 ({ 96, 139, 69, 8, 139, 0, 139, 72, 4, 141, 88, 8, 184, 10, 0, 0, 0, 49, 210, 56, 3, 117, 1, 66, 67, 226, 248, 137, 85, 252, 97 })<br />
返回 (返回值)<br />
' pushad<br />
' mov eax,[ebp+8]<br />
' mov eax,[eax]<br />
' mov ecx,[eax+4]<br />
' lea ebx,[eax+8]<br />
' mov eax,10<br />
' xor edx,edx<br />
<br />
' begin:<br />
' cmp byte ptr [ebx],al<br />
' jnz addr1<br />
' inc edx<br />
' addr1:<br />
' inc ebx<br />
' loop Begin<br />
' mov [ebp-4],edx<br />
' popad<br />
<br />
<br />
.子程序 文本_取行数1, 整数型, 公开, 取一个文本共有有多少行。<br />
.参数 文本, 文本型<br />
<br />
置入代码 ({ 139, 125, 8, 139, 63, 49, 192, 138, 15, 128, 249, 0, 116, 9, 71, 128, 249, 10, 117, 243, 64, 235, 240, 137, 236, 93, 194, 4, 0 })<br />
返回 (0)<br />
' mov edi, dword [ebp+0x08]<br />
' mov edi, dword [edi]<br />
' xor eax, eax<br />
' Label2:<br />
' mov cl, byte [edi]<br />
' cmp cl, 0x00<br />
' je Label1<br />
' inc edi<br />
' cmp cl, 0x0A<br />
' jne Label2<br />
' inc eax<br />
' jmp Label2<br />
' Label1:<br />
' mov esp, ebp<br />
' pop ebp<br />
' retn 0x0004<br />
<br />
<br />
<br />
.子程序 文本_取行数2, 整数型, 公开, 取一个文本共有有多少行。<br />
.参数 文本, 文本型<br />
<br />
置入代码 ({ 139, 69, 8, 139, 48, 49, 201, 172, 132, 192, 116, 7, 60, 10, 117, 247, 65, 235, 244, 137, 200, 137, 236, 93, 194, 4, 0 })<br />
返回 (0)<br />
' mov eax, dword [ebp+0x08]<br />
' mov esi, dword [eax]<br />
' xor ecx, ecx<br />
' Label2:<br />
' lodsb<br />
' test al, al<br />
' je Label1<br />
' cmp al, 0x0A<br />
' jne Label2<br />
' inc ecx<br />
' jmp Label2<br />
' Label1:<br />
' mov eax, ecx<br />
' mov esp, ebp<br />
' pop ebp<br />
' retn 0x0004

自己挖坑自己填

福仔 · 发表于 2022-3-22 20:24:38

取文本指针, 循环逐个字节判断, 直到\0为止
遇到 \r 就继续判断后面是不是\n, 然后行数+1

c++代码

[C++] 纯文本查看 复制代码

// ptr = 文本指针, \0结尾
// removeEmptyLine = 删除空行, 为真则忽略空行
int dadsa(LPCSTR pStr, bool removeEmptyLine)
{
    LPCSTR ptr = pStr;
    if (!ptr || !ptr[0]) return 0;
    int count = 1;  // 文本有值, 那不管有没有换行, 最少有一行
    if (removeEmptyLine && ( *ptr == '\r' || *ptr == '\n' ))
        count = 0;  // 如果第一行是空行, 且是清除空行, 那就初始行数为0
    while (*ptr)
    {
        const char& ch = *ptr++;
        if (ch == '\r' || ch == '\n')
        {
            // \r\n 指针指向\n后面
            if (ch == '\r' && *ptr == '\n')
                ++ptr;
            while (removeEmptyLine && ( *ptr == '\r' || *ptr == '\n' ))
                ++ptr;  // 空行的话, 换行后面就是 '\r' 或者 '\n', 这些连着的都清除

            ++count;
        }
    }
    return count;
}

机器字节码=

[C++] 纯文本查看 复制代码

{
0x55, 0x8b, 0xec, 0x83, 0xec, 0x0c, 0x8b, 0x45, 0x08, 0x89, 0x45, 0xfc, 0x83, 0x7d, 0xfc, 0x00, 0x74, 0x13, 0xb9, 0x01
0x00, 0x00, 0x00, 0x6b, 0xd1, 0x00, 0x8b, 0x45, 0xfc, 0x0f, 0xbe, 0x0c, 0x10, 0x85, 0xc9, 0x75, 0x07, 0x33, 0xc0, 0xe9
0xb4, 0x00, 0x00, 0x00, 0xc7, 0x45, 0xf8, 0x01, 0x00, 0x00, 0x00, 0x0f, 0xb6, 0x55, 0x0c, 0x85, 0xd2, 0x74, 0x1d, 0x8b
0x45, 0xfc, 0x0f, 0xbe, 0x08, 0x83, 0xf9, 0x0d, 0x74, 0x0b, 0x8b, 0x55, 0xfc, 0x0f, 0xbe, 0x02, 0x83, 0xf8, 0x0a, 0x75
0x07, 0xc7, 0x45, 0xf8, 0x00, 0x00, 0x00, 0x00, 0x8b, 0x4d, 0xfc, 0x0f, 0xbe, 0x11, 0x85, 0xd2, 0x74, 0x7b, 0x8b, 0x45
0xfc, 0x89, 0x45, 0xf4, 0x8b, 0x4d, 0xfc, 0x83, 0xc1, 0x01, 0x89, 0x4d, 0xfc, 0x8b, 0x55, 0xf4, 0x0f, 0xbe, 0x02, 0x83
0xf8, 0x0d, 0x74, 0x0b, 0x8b, 0x4d, 0xf4, 0x0f, 0xbe, 0x11, 0x83, 0xfa, 0x0a, 0x75, 0x51, 0x8b, 0x45, 0xf4, 0x0f, 0xbe
0x08, 0x83, 0xf9, 0x0d, 0x75, 0x14, 0x8b, 0x55, 0xfc, 0x0f, 0xbe, 0x02, 0x83, 0xf8, 0x0a, 0x75, 0x09, 0x8b, 0x4d, 0xfc
0x83, 0xc1, 0x01, 0x89, 0x4d, 0xfc, 0x0f, 0xb6, 0x55, 0x0c, 0x85, 0xd2, 0x74, 0x21, 0x8b, 0x45, 0xfc, 0x0f, 0xbe, 0x08
0x83, 0xf9, 0x0d, 0x74, 0x0b, 0x8b, 0x55, 0xfc, 0x0f, 0xbe, 0x02, 0x83, 0xf8, 0x0a, 0x75, 0x0b, 0x8b, 0x4d, 0xfc, 0x83
0xc1, 0x01, 0x89, 0x4d, 0xfc, 0xeb, 0xd7, 0x8b, 0x55, 0xf8, 0x83, 0xc2, 0x01, 0x89, 0x55, 0xf8, 0xe9, 0x7b, 0xff, 0xff
0xff, 0x8b, 0x45, 0xf8, 0x8b, 0xe5, 0x5d, 0xc3
}

这些字节码就是上面那段c++编译后的字节码

气质征服一切 · 发表于 2022-3-22 21:04:20

你这些的貌似有问题啊，难不成你一次性直接导入20mb的txt吗，那我真话说了

正鑫软件开发 · 发表于 2022-3-22 22:18:49

模块里好像有个文本_分割文本_汇编() 应该1秒内能判断到

		自动登录	找回密码
密码			注册

[已解决] 如何取大文本的行数

最佳答案

本帖被以下淘专辑推荐:

点评

评分