diff options
| -rw-r--r-- | src/crypto/zinc/blake2s/blake2s-x86_64.S | 923 |
1 files changed, 66 insertions, 857 deletions
diff --git a/src/crypto/zinc/blake2s/blake2s-x86_64.S b/src/crypto/zinc/blake2s/blake2s-x86_64.S index 9bb4c83..f1a2f6c 100644 --- a/src/crypto/zinc/blake2s/blake2s-x86_64.S +++ b/src/crypto/zinc/blake2s/blake2s-x86_64.S @@ -16,10 +16,23 @@ ROT16: .octa 0x0D0C0F0E09080B0A0504070601000302 .section .rodata.cst16.ROR328, "aM", @progbits, 16 .align 16 ROR328: .octa 0x0C0F0E0D080B0A090407060500030201 -#ifdef CONFIG_AS_AVX512 -.section .rodata.cst64.BLAKE2S_SIGMA, "aM", @progbits, 640 +.section .rodata.cst64.BLAKE2S_SIGMA, "aM", @progbits, 160 .align 64 SIGMA: +.byte 0, 2, 4, 6, 1, 3, 5, 7, 14, 8, 10, 12, 15, 9, 11, 13 +.byte 14, 4, 9, 13, 10, 8, 15, 6, 5, 1, 0, 11, 3, 12, 2, 7 +.byte 11, 12, 5, 15, 8, 0, 2, 13, 9, 10, 3, 7, 4, 14, 6, 1 +.byte 7, 3, 13, 11, 9, 1, 12, 14, 15, 2, 5, 4, 8, 6, 10, 0 +.byte 9, 5, 2, 10, 0, 7, 4, 15, 3, 14, 11, 6, 13, 1, 12, 8 +.byte 2, 6, 0, 8, 12, 10, 11, 3, 1, 4, 7, 15, 9, 13, 5, 14 +.byte 12, 1, 14, 4, 5, 15, 13, 10, 8, 0, 6, 9, 11, 7, 3, 2 +.byte 13, 7, 12, 3, 11, 14, 1, 9, 2, 5, 15, 8, 10, 0, 4, 6 +.byte 6, 14, 11, 0, 15, 9, 3, 8, 10, 12, 13, 1, 5, 2, 7, 4 +.byte 10, 8, 7, 1, 2, 4, 6, 5, 13, 15, 9, 3, 0, 11, 14, 12 +#ifdef CONFIG_AS_AVX512 +.section .rodata.cst64.BLAKE2S_SIGMA2, "aM", @progbits, 640 +.align 64 +SIGMA2: .long 0, 2, 4, 6, 1, 3, 5, 7, 14, 8, 10, 12, 15, 9, 11, 13 .long 8, 2, 13, 15, 10, 9, 12, 3, 6, 4, 0, 14, 5, 11, 1, 7 .long 11, 13, 8, 6, 5, 10, 14, 3, 2, 4, 12, 15, 1, 0, 7, 9 @@ -43,6 +56,7 @@ ENTRY(blake2s_compress_ssse3) movdqa ROR328(%rip),%xmm13 movdqu 0x20(%rdi),%xmm14 movq %rcx,%xmm15 + leaq SIGMA+0xa0(%rip),%r8 jmp .Lbeginofloop .align 32 .Lbeginofloop: @@ -52,827 +66,19 @@ ENTRY(blake2s_compress_ssse3) movdqa IV(%rip),%xmm2 movdqa %xmm14,%xmm3 pxor IV+0x10(%rip),%xmm3 - movl 0x8(%rsi),%r8d - movl 0x18(%rsi),%r9d - movl (%rsi),%r10d - movl 0x10(%rsi),%r11d - shlq $0x20,%r8 - shlq $0x20,%r9 - orq %r10,%r8 - orq %r11,%r9 - movq %r8,%xmm4 - movq %r9,%xmm8 - punpcklqdq %xmm8,%xmm4 - paddd %xmm4,%xmm0 - paddd %xmm1,%xmm0 - pxor %xmm0,%xmm3 - pshufb %xmm12,%xmm3 - paddd %xmm3,%xmm2 - pxor %xmm2,%xmm1 - movdqa %xmm1,%xmm8 - psrld $0xc,%xmm1 - pslld $0x14,%xmm8 - por %xmm8,%xmm1 - movl 0xc(%rsi),%r8d - movl 0x1c(%rsi),%r9d - movl 0x4(%rsi),%r10d - movl 0x14(%rsi),%r11d - shlq $0x20,%r8 - shlq $0x20,%r9 - orq %r10,%r8 - orq %r11,%r9 - movq %r8,%xmm5 - movq %r9,%xmm8 - punpcklqdq %xmm8,%xmm5 - paddd %xmm5,%xmm0 - paddd %xmm1,%xmm0 - pxor %xmm0,%xmm3 - pshufb %xmm13,%xmm3 - paddd %xmm3,%xmm2 - pxor %xmm2,%xmm1 - movdqa %xmm1,%xmm8 - psrld $0x7,%xmm1 - pslld $0x19,%xmm8 - por %xmm8,%xmm1 - pshufd $0x93,%xmm0,%xmm0 - pshufd $0x4e,%xmm3,%xmm3 - pshufd $0x39,%xmm2,%xmm2 - movl 0x20(%rsi),%r8d - movl 0x30(%rsi),%r9d - movl 0x38(%rsi),%r10d - movl 0x28(%rsi),%r11d - shlq $0x20,%r8 - shlq $0x20,%r9 - orq %r10,%r8 - orq %r11,%r9 - movq %r8,%xmm6 - movq %r9,%xmm8 - punpcklqdq %xmm8,%xmm6 - paddd %xmm6,%xmm0 - paddd %xmm1,%xmm0 - pxor %xmm0,%xmm3 - pshufb %xmm12,%xmm3 - paddd %xmm3,%xmm2 - pxor %xmm2,%xmm1 - movdqa %xmm1,%xmm8 - psrld $0xc,%xmm1 - pslld $0x14,%xmm8 - por %xmm8,%xmm1 - movl 0x24(%rsi),%r8d - movl 0x34(%rsi),%r9d - movl 0x3c(%rsi),%r10d - movl 0x2c(%rsi),%r11d - shlq $0x20,%r8 - shlq $0x20,%r9 - orq %r10,%r8 - orq %r11,%r9 - movq %r8,%xmm7 - movq %r9,%xmm8 - punpcklqdq %xmm8,%xmm7 - paddd %xmm7,%xmm0 - paddd %xmm1,%xmm0 - pxor %xmm0,%xmm3 - pshufb %xmm13,%xmm3 - paddd %xmm3,%xmm2 - pxor %xmm2,%xmm1 - movdqa %xmm1,%xmm8 - psrld $0x7,%xmm1 - pslld $0x19,%xmm8 - por %xmm8,%xmm1 - pshufd $0x39,%xmm0,%xmm0 - pshufd $0x4e,%xmm3,%xmm3 - pshufd $0x93,%xmm2,%xmm2 - movl 0x10(%rsi),%r8d - movl 0x34(%rsi),%r9d - movl 0x38(%rsi),%r10d - movl 0x24(%rsi),%r11d - shlq $0x20,%r8 - shlq $0x20,%r9 - orq %r10,%r8 - orq %r11,%r9 - movq %r8,%xmm4 - movq %r9,%xmm8 - punpcklqdq %xmm8,%xmm4 - paddd %xmm4,%xmm0 - paddd %xmm1,%xmm0 - pxor %xmm0,%xmm3 - pshufb %xmm12,%xmm3 - paddd %xmm3,%xmm2 - pxor %xmm2,%xmm1 - movdqa %xmm1,%xmm8 - psrld $0xc,%xmm1 - pslld $0x14,%xmm8 - por %xmm8,%xmm1 - movl 0x20(%rsi),%r8d - movl 0x18(%rsi),%r9d - movl 0x28(%rsi),%r10d - movl 0x3c(%rsi),%r11d - shlq $0x20,%r8 - shlq $0x20,%r9 - orq %r10,%r8 - orq %r11,%r9 - movq %r8,%xmm5 - movq %r9,%xmm8 - punpcklqdq %xmm8,%xmm5 - paddd %xmm5,%xmm0 - paddd %xmm1,%xmm0 - pxor %xmm0,%xmm3 - pshufb %xmm13,%xmm3 - paddd %xmm3,%xmm2 - pxor %xmm2,%xmm1 - movdqa %xmm1,%xmm8 - psrld $0x7,%xmm1 - pslld $0x19,%xmm8 - por %xmm8,%xmm1 - pshufd $0x93,%xmm0,%xmm0 - pshufd $0x4e,%xmm3,%xmm3 - pshufd $0x39,%xmm2,%xmm2 - movl 0x4(%rsi),%r8d - movl 0x2c(%rsi),%r9d - movl 0x14(%rsi),%r10d - movl (%rsi),%r11d - shlq $0x20,%r8 - shlq $0x20,%r9 - orq %r10,%r8 - orq %r11,%r9 - movq %r8,%xmm6 - movq %r9,%xmm8 - punpcklqdq %xmm8,%xmm6 - paddd %xmm6,%xmm0 - paddd %xmm1,%xmm0 - pxor %xmm0,%xmm3 - pshufb %xmm12,%xmm3 - paddd %xmm3,%xmm2 - pxor %xmm2,%xmm1 - movdqa %xmm1,%xmm8 - psrld $0xc,%xmm1 - pslld $0x14,%xmm8 - por %xmm8,%xmm1 - movl 0x30(%rsi),%r8d - movl 0x1c(%rsi),%r9d - movl 0xc(%rsi),%r10d - movl 0x8(%rsi),%r11d - shlq $0x20,%r8 - shlq $0x20,%r9 - orq %r10,%r8 - orq %r11,%r9 - movq %r8,%xmm7 - movq %r9,%xmm8 - punpcklqdq %xmm8,%xmm7 - paddd %xmm7,%xmm0 - paddd %xmm1,%xmm0 - pxor %xmm0,%xmm3 - pshufb %xmm13,%xmm3 - paddd %xmm3,%xmm2 - pxor %xmm2,%xmm1 - movdqa %xmm1,%xmm8 - psrld $0x7,%xmm1 - pslld $0x19,%xmm8 - por %xmm8,%xmm1 - pshufd $0x39,%xmm0,%xmm0 - pshufd $0x4e,%xmm3,%xmm3 - pshufd $0x93,%xmm2,%xmm2 - movl 0x30(%rsi),%r8d - movl 0x3c(%rsi),%r9d - movl 0x2c(%rsi),%r10d - movl 0x14(%rsi),%r11d - shlq $0x20,%r8 - shlq $0x20,%r9 - orq %r10,%r8 - orq %r11,%r9 - movq %r8,%xmm4 - movq %r9,%xmm8 - punpcklqdq %xmm8,%xmm4 - paddd %xmm4,%xmm0 - paddd %xmm1,%xmm0 - pxor %xmm0,%xmm3 - pshufb %xmm12,%xmm3 - paddd %xmm3,%xmm2 - pxor %xmm2,%xmm1 - movdqa %xmm1,%xmm8 - psrld $0xc,%xmm1 - pslld $0x14,%xmm8 - por %xmm8,%xmm1 - movl (%rsi),%r8d - movl 0x34(%rsi),%r9d - movl 0x20(%rsi),%r10d - movl 0x8(%rsi),%r11d - shlq $0x20,%r8 - shlq $0x20,%r9 - orq %r10,%r8 - orq %r11,%r9 - movq %r8,%xmm5 - movq %r9,%xmm8 - punpcklqdq %xmm8,%xmm5 - paddd %xmm5,%xmm0 - paddd %xmm1,%xmm0 - pxor %xmm0,%xmm3 - pshufb %xmm13,%xmm3 - paddd %xmm3,%xmm2 - pxor %xmm2,%xmm1 - movdqa %xmm1,%xmm8 - psrld $0x7,%xmm1 - pslld $0x19,%xmm8 - por %xmm8,%xmm1 - pshufd $0x93,%xmm0,%xmm0 - pshufd $0x4e,%xmm3,%xmm3 - pshufd $0x39,%xmm2,%xmm2 - movl 0x28(%rsi),%r8d - movl 0x1c(%rsi),%r9d - movl 0x24(%rsi),%r10d - movl 0xc(%rsi),%r11d - shlq $0x20,%r8 - shlq $0x20,%r9 - orq %r10,%r8 - orq %r11,%r9 - movq %r8,%xmm6 - movq %r9,%xmm8 - punpcklqdq %xmm8,%xmm6 - paddd %xmm6,%xmm0 - paddd %xmm1,%xmm0 - pxor %xmm0,%xmm3 - pshufb %xmm12,%xmm3 - paddd %xmm3,%xmm2 - pxor %xmm2,%xmm1 - movdqa %xmm1,%xmm8 - psrld $0xc,%xmm1 - pslld $0x14,%xmm8 - por %xmm8,%xmm1 - movl 0x38(%rsi),%r8d - movl 0x4(%rsi),%r9d - movl 0x10(%rsi),%r10d - movl 0x18(%rsi),%r11d - shlq $0x20,%r8 - shlq $0x20,%r9 - orq %r10,%r8 - orq %r11,%r9 - movq %r8,%xmm7 - movq %r9,%xmm8 - punpcklqdq %xmm8,%xmm7 - paddd %xmm7,%xmm0 - paddd %xmm1,%xmm0 - pxor %xmm0,%xmm3 - pshufb %xmm13,%xmm3 - paddd %xmm3,%xmm2 - pxor %xmm2,%xmm1 - movdqa %xmm1,%xmm8 - psrld $0x7,%xmm1 - pslld $0x19,%xmm8 - por %xmm8,%xmm1 - pshufd $0x39,%xmm0,%xmm0 - pshufd $0x4e,%xmm3,%xmm3 - pshufd $0x93,%xmm2,%xmm2 - movl 0xc(%rsi),%r8d - movl 0x2c(%rsi),%r9d - movl 0x1c(%rsi),%r10d - movl 0x34(%rsi),%r11d - shlq $0x20,%r8 - shlq $0x20,%r9 - orq %r10,%r8 - orq %r11,%r9 - movq %r8,%xmm4 - movq %r9,%xmm8 - punpcklqdq %xmm8,%xmm4 - paddd %xmm4,%xmm0 - paddd %xmm1,%xmm0 - pxor %xmm0,%xmm3 - pshufb %xmm12,%xmm3 - paddd %xmm3,%xmm2 - pxor %xmm2,%xmm1 - movdqa %xmm1,%xmm8 - psrld $0xc,%xmm1 - pslld $0x14,%xmm8 - por %xmm8,%xmm1 - movl 0x4(%rsi),%r8d - movl 0x38(%rsi),%r9d - movl 0x24(%rsi),%r10d - movl 0x30(%rsi),%r11d - shlq $0x20,%r8 - shlq $0x20,%r9 - orq %r10,%r8 - orq %r11,%r9 - movq %r8,%xmm5 - movq %r9,%xmm8 - punpcklqdq %xmm8,%xmm5 - paddd %xmm5,%xmm0 - paddd %xmm1,%xmm0 - pxor %xmm0,%xmm3 - pshufb %xmm13,%xmm3 - paddd %xmm3,%xmm2 - pxor %xmm2,%xmm1 - movdqa %xmm1,%xmm8 - psrld $0x7,%xmm1 - pslld $0x19,%xmm8 - por %xmm8,%xmm1 - pshufd $0x93,%xmm0,%xmm0 - pshufd $0x4e,%xmm3,%xmm3 - pshufd $0x39,%xmm2,%xmm2 - movl 0x8(%rsi),%r8d - movl 0x10(%rsi),%r9d - movl 0x3c(%rsi),%r10d - movl 0x14(%rsi),%r11d - shlq $0x20,%r8 - shlq $0x20,%r9 - orq %r10,%r8 - orq %r11,%r9 - movq %r8,%xmm6 - movq %r9,%xmm8 - punpcklqdq %xmm8,%xmm6 - paddd %xmm6,%xmm0 - paddd %xmm1,%xmm0 - pxor %xmm0,%xmm3 - pshufb %xmm12,%xmm3 - paddd %xmm3,%xmm2 - pxor %xmm2,%xmm1 - movdqa %xmm1,%xmm8 - psrld $0xc,%xmm1 - pslld $0x14,%xmm8 - por %xmm8,%xmm1 - movl 0x18(%rsi),%r8d - movl (%rsi),%r9d - movl 0x20(%rsi),%r10d - movl 0x28(%rsi),%r11d - shlq $0x20,%r8 - shlq $0x20,%r9 - orq %r10,%r8 - orq %r11,%r9 - movq %r8,%xmm7 - movq %r9,%xmm8 - punpcklqdq %xmm8,%xmm7 - paddd %xmm7,%xmm0 - paddd %xmm1,%xmm0 - pxor %xmm0,%xmm3 - pshufb %xmm13,%xmm3 - paddd %xmm3,%xmm2 - pxor %xmm2,%xmm1 - movdqa %xmm1,%xmm8 - psrld $0x7,%xmm1 - pslld $0x19,%xmm8 - por %xmm8,%xmm1 - pshufd $0x39,%xmm0,%xmm0 - pshufd $0x4e,%xmm3,%xmm3 - pshufd $0x93,%xmm2,%xmm2 - movl 0x14(%rsi),%r8d - movl 0x28(%rsi),%r9d - movl 0x24(%rsi),%r10d - movl 0x8(%rsi),%r11d - shlq $0x20,%r8 - shlq $0x20,%r9 - orq %r10,%r8 - orq %r11,%r9 - movq %r8,%xmm4 - movq %r9,%xmm8 - punpcklqdq %xmm8,%xmm4 - paddd %xmm4,%xmm0 - paddd %xmm1,%xmm0 - pxor %xmm0,%xmm3 - pshufb %xmm12,%xmm3 - paddd %xmm3,%xmm2 - pxor %xmm2,%xmm1 - movdqa %xmm1,%xmm8 - psrld $0xc,%xmm1 - pslld $0x14,%xmm8 - por %xmm8,%xmm1 - movl 0x1c(%rsi),%r8d - movl 0x3c(%rsi),%r9d - movl (%rsi),%r10d - movl 0x10(%rsi),%r11d - shlq $0x20,%r8 - shlq $0x20,%r9 - orq %r10,%r8 - orq %r11,%r9 - movq %r8,%xmm5 - movq %r9,%xmm8 - punpcklqdq %xmm8,%xmm5 - paddd %xmm5,%xmm0 - paddd %xmm1,%xmm0 - pxor %xmm0,%xmm3 - pshufb %xmm13,%xmm3 - paddd %xmm3,%xmm2 - pxor %xmm2,%xmm1 - movdqa %xmm1,%xmm8 - psrld $0x7,%xmm1 - pslld $0x19,%xmm8 - por %xmm8,%xmm1 - pshufd $0x93,%xmm0,%xmm0 - pshufd $0x4e,%xmm3,%xmm3 - pshufd $0x39,%xmm2,%xmm2 - movl 0x38(%rsi),%r8d - movl 0x18(%rsi),%r9d - movl 0xc(%rsi),%r10d - movl 0x2c(%rsi),%r11d - shlq $0x20,%r8 - shlq $0x20,%r9 - orq %r10,%r8 - orq %r11,%r9 - movq %r8,%xmm6 - movq %r9,%xmm8 - punpcklqdq %xmm8,%xmm6 - paddd %xmm6,%xmm0 - paddd %xmm1,%xmm0 - pxor %xmm0,%xmm3 - pshufb %xmm12,%xmm3 - paddd %xmm3,%xmm2 - pxor %xmm2,%xmm1 - movdqa %xmm1,%xmm8 - psrld $0xc,%xmm1 - pslld $0x14,%xmm8 - por %xmm8,%xmm1 - movl 0x4(%rsi),%r8d - movl 0x20(%rsi),%r9d - movl 0x34(%rsi),%r10d - movl 0x30(%rsi),%r11d - shlq $0x20,%r8 - shlq $0x20,%r9 - orq %r10,%r8 - orq %r11,%r9 - movq %r8,%xmm7 - movq %r9,%xmm8 - punpcklqdq %xmm8,%xmm7 - paddd %xmm7,%xmm0 - paddd %xmm1,%xmm0 - pxor %xmm0,%xmm3 - pshufb %xmm13,%xmm3 - paddd %xmm3,%xmm2 - pxor %xmm2,%xmm1 - movdqa %xmm1,%xmm8 - psrld $0x7,%xmm1 - pslld $0x19,%xmm8 - por %xmm8,%xmm1 - pshufd $0x39,%xmm0,%xmm0 - pshufd $0x4e,%xmm3,%xmm3 - pshufd $0x93,%xmm2,%xmm2 - movl 0x18(%rsi),%r8d - movl 0x20(%rsi),%r9d - movl 0x8(%rsi),%r10d - movl (%rsi),%r11d - shlq $0x20,%r8 - shlq $0x20,%r9 - orq %r10,%r8 - orq %r11,%r9 - movq %r8,%xmm4 - movq %r9,%xmm8 - punpcklqdq %xmm8,%xmm4 - paddd %xmm4,%xmm0 - paddd %xmm1,%xmm0 - pxor %xmm0,%xmm3 - pshufb %xmm12,%xmm3 - paddd %xmm3,%xmm2 - pxor %xmm2,%xmm1 - movdqa %xmm1,%xmm8 - psrld $0xc,%xmm1 - pslld $0x14,%xmm8 - por %xmm8,%xmm1 - movl 0x28(%rsi),%r8d - movl 0xc(%rsi),%r9d - movl 0x30(%rsi),%r10d - movl 0x2c(%rsi),%r11d - shlq $0x20,%r8 - shlq $0x20,%r9 - orq %r10,%r8 - orq %r11,%r9 - movq %r8,%xmm5 - movq %r9,%xmm8 - punpcklqdq %xmm8,%xmm5 - paddd %xmm5,%xmm0 - paddd %xmm1,%xmm0 - pxor %xmm0,%xmm3 - pshufb %xmm13,%xmm3 - paddd %xmm3,%xmm2 - pxor %xmm2,%xmm1 - movdqa %xmm1,%xmm8 - psrld $0x7,%xmm1 - pslld $0x19,%xmm8 - por %xmm8,%xmm1 - pshufd $0x93,%xmm0,%xmm0 - pshufd $0x4e,%xmm3,%xmm3 - pshufd $0x39,%xmm2,%xmm2 - movl 0x10(%rsi),%r8d - movl 0x3c(%rsi),%r9d - movl 0x4(%rsi),%r10d - movl 0x1c(%rsi),%r11d - shlq $0x20,%r8 - shlq $0x20,%r9 - orq %r10,%r8 - orq %r11,%r9 - movq %r8,%xmm6 - movq %r9,%xmm8 - punpcklqdq %xmm8,%xmm6 - paddd %xmm6,%xmm0 - paddd %xmm1,%xmm0 - pxor %xmm0,%xmm3 - pshufb %xmm12,%xmm3 - paddd %xmm3,%xmm2 - pxor %xmm2,%xmm1 - movdqa %xmm1,%xmm8 - psrld $0xc,%xmm1 - pslld $0x14,%xmm8 - por %xmm8,%xmm1 - movl 0x34(%rsi),%r8d - movl 0x38(%rsi),%r9d - movl 0x24(%rsi),%r10d - movl 0x14(%rsi),%r11d - shlq $0x20,%r8 - shlq $0x20,%r9 - orq %r10,%r8 - orq %r11,%r9 - movq %r8,%xmm7 - movq %r9,%xmm8 - punpcklqdq %xmm8,%xmm7 - paddd %xmm7,%xmm0 - paddd %xmm1,%xmm0 - pxor %xmm0,%xmm3 - pshufb %xmm13,%xmm3 - paddd %xmm3,%xmm2 - pxor %xmm2,%xmm1 - movdqa %xmm1,%xmm8 - psrld $0x7,%xmm1 - pslld $0x19,%xmm8 - por %xmm8,%xmm1 - pshufd $0x39,%xmm0,%xmm0 - pshufd $0x4e,%xmm3,%xmm3 - pshufd $0x93,%xmm2,%xmm2 - movl 0x4(%rsi),%r8d - movl 0x10(%rsi),%r9d - movl 0x30(%rsi),%r10d - movl 0x38(%rsi),%r11d - shlq $0x20,%r8 - shlq $0x20,%r9 - orq %r10,%r8 - orq %r11,%r9 - movq %r8,%xmm4 - movq %r9,%xmm8 - punpcklqdq %xmm8,%xmm4 - paddd %xmm4,%xmm0 - paddd %xmm1,%xmm0 - pxor %xmm0,%xmm3 - pshufb %xmm12,%xmm3 - paddd %xmm3,%xmm2 - pxor %xmm2,%xmm1 - movdqa %xmm1,%xmm8 - psrld $0xc,%xmm1 - pslld $0x14,%xmm8 - por %xmm8,%xmm1 - movl 0x3c(%rsi),%r8d - movl 0x28(%rsi),%r9d - movl 0x14(%rsi),%r10d - movl 0x34(%rsi),%r11d - shlq $0x20,%r8 - shlq $0x20,%r9 - orq %r10,%r8 - orq %r11,%r9 - movq %r8,%xmm5 - movq %r9,%xmm8 - punpcklqdq %xmm8,%xmm5 - paddd %xmm5,%xmm0 - paddd %xmm1,%xmm0 - pxor %xmm0,%xmm3 - pshufb %xmm13,%xmm3 - paddd %xmm3,%xmm2 - pxor %xmm2,%xmm1 - movdqa %xmm1,%xmm8 - psrld $0x7,%xmm1 - pslld $0x19,%xmm8 - por %xmm8,%xmm1 - pshufd $0x93,%xmm0,%xmm0 - pshufd $0x4e,%xmm3,%xmm3 - pshufd $0x39,%xmm2,%xmm2 - movl (%rsi),%r8d - movl 0x24(%rsi),%r9d - movl 0x20(%rsi),%r10d - movl 0x18(%rsi),%r11d - shlq $0x20,%r8 - shlq $0x20,%r9 - orq %r10,%r8 - orq %r11,%r9 - movq %r8,%xmm6 - movq %r9,%xmm8 - punpcklqdq %xmm8,%xmm6 - paddd %xmm6,%xmm0 - paddd %xmm1,%xmm0 - pxor %xmm0,%xmm3 - pshufb %xmm12,%xmm3 - paddd %xmm3,%xmm2 - pxor %xmm2,%xmm1 - movdqa %xmm1,%xmm8 - psrld $0xc,%xmm1 - pslld $0x14,%xmm8 - por %xmm8,%xmm1 - movl 0x1c(%rsi),%r8d - movl 0x8(%rsi),%r9d - movl 0x2c(%rsi),%r10d - movl 0xc(%rsi),%r11d - shlq $0x20,%r8 - shlq $0x20,%r9 - orq %r10,%r8 - orq %r11,%r9 - movq %r8,%xmm7 - movq %r9,%xmm8 - punpcklqdq %xmm8,%xmm7 - paddd %xmm7,%xmm0 - paddd %xmm1,%xmm0 - pxor %xmm0,%xmm3 - pshufb %xmm13,%xmm3 - paddd %xmm3,%xmm2 - pxor %xmm2,%xmm1 - movdqa %xmm1,%xmm8 - psrld $0x7,%xmm1 - pslld $0x19,%xmm8 - por %xmm8,%xmm1 - pshufd $0x39,%xmm0,%xmm0 - pshufd $0x4e,%xmm3,%xmm3 - pshufd $0x93,%xmm2,%xmm2 - movl 0x1c(%rsi),%r8d - movl 0xc(%rsi),%r9d - movl 0x34(%rsi),%r10d - movl 0x30(%rsi),%r11d - shlq $0x20,%r8 - shlq $0x20,%r9 - orq %r10,%r8 - orq %r11,%r9 - movq %r8,%xmm4 - movq %r9,%xmm8 - punpcklqdq %xmm8,%xmm4 - paddd %xmm4,%xmm0 - paddd %xmm1,%xmm0 - pxor %xmm0,%xmm3 - pshufb %xmm12,%xmm3 - paddd %xmm3,%xmm2 - pxor %xmm2,%xmm1 - movdqa %xmm1,%xmm8 - psrld $0xc,%xmm1 - pslld $0x14,%xmm8 - por %xmm8,%xmm1 - movl 0x38(%rsi),%r8d - movl 0x24(%rsi),%r9d - movl 0x2c(%rsi),%r10d - movl 0x4(%rsi),%r11d - shlq $0x20,%r8 - shlq $0x20,%r9 - orq %r10,%r8 - orq %r11,%r9 - movq %r8,%xmm5 - movq %r9,%xmm8 - punpcklqdq %xmm8,%xmm5 - paddd %xmm5,%xmm0 - paddd %xmm1,%xmm0 - pxor %xmm0,%xmm3 - pshufb %xmm13,%xmm3 - paddd %xmm3,%xmm2 - pxor %xmm2,%xmm1 - movdqa %xmm1,%xmm8 - psrld $0x7,%xmm1 - pslld $0x19,%xmm8 - por %xmm8,%xmm1 - pshufd $0x93,%xmm0,%xmm0 - pshufd $0x4e,%xmm3,%xmm3 - pshufd $0x39,%xmm2,%xmm2 - movl 0x14(%rsi),%r8d - movl 0x20(%rsi),%r9d - movl 0x8(%rsi),%r10d - movl 0x3c(%rsi),%r11d - shlq $0x20,%r8 - shlq $0x20,%r9 - orq %r10,%r8 - orq %r11,%r9 - movq %r8,%xmm6 - movq %r9,%xmm8 - punpcklqdq %xmm8,%xmm6 - paddd %xmm6,%xmm0 - paddd %xmm1,%xmm0 - pxor %xmm0,%xmm3 - pshufb %xmm12,%xmm3 - paddd %xmm3,%xmm2 - pxor %xmm2,%xmm1 - movdqa %xmm1,%xmm8 - psrld $0xc,%xmm1 - pslld $0x14,%xmm8 - por %xmm8,%xmm1 - movl (%rsi),%r8d - movl 0x18(%rsi),%r9d - movl 0x28(%rsi),%r10d - movl 0x10(%rsi),%r11d - shlq $0x20,%r8 - shlq $0x20,%r9 - orq %r10,%r8 - orq %r11,%r9 - movq %r8,%xmm7 - movq %r9,%xmm8 - punpcklqdq %xmm8,%xmm7 - paddd %xmm7,%xmm0 - paddd %xmm1,%xmm0 - pxor %xmm0,%xmm3 - pshufb %xmm13,%xmm3 - paddd %xmm3,%xmm2 - pxor %xmm2,%xmm1 - movdqa %xmm1,%xmm8 - psrld $0x7,%xmm1 - pslld $0x19,%xmm8 - por %xmm8,%xmm1 - pshufd $0x39,%xmm0,%xmm0 - pshufd $0x4e,%xmm3,%xmm3 - pshufd $0x93,%xmm2,%xmm2 - movl 0x38(%rsi),%r8d - movl (%rsi),%r9d - movl 0x18(%rsi),%r10d - movl 0x2c(%rsi),%r11d - shlq $0x20,%r8 - shlq $0x20,%r9 - orq %r10,%r8 - orq %r11,%r9 - movq %r8,%xmm4 - movq %r9,%xmm8 - punpcklqdq %xmm8,%xmm4 - paddd %xmm4,%xmm0 - paddd %xmm1,%xmm0 - pxor %xmm0,%xmm3 - pshufb %xmm12,%xmm3 - paddd %xmm3,%xmm2 - pxor %xmm2,%xmm1 - movdqa %xmm1,%xmm8 - psrld $0xc,%xmm1 - pslld $0x14,%xmm8 - por %xmm8,%xmm1 - movl 0x24(%rsi),%r8d - movl 0x20(%rsi),%r9d - movl 0x3c(%rsi),%r10d - movl 0xc(%rsi),%r11d - shlq $0x20,%r8 - shlq $0x20,%r9 - orq %r10,%r8 - orq %r11,%r9 - movq %r8,%xmm5 - movq %r9,%xmm8 - punpcklqdq %xmm8,%xmm5 - paddd %xmm5,%xmm0 - paddd %xmm1,%xmm0 - pxor %xmm0,%xmm3 - pshufb %xmm13,%xmm3 - paddd %xmm3,%xmm2 - pxor %xmm2,%xmm1 - movdqa %xmm1,%xmm8 - psrld $0x7,%xmm1 - pslld $0x19,%xmm8 - por %xmm8,%xmm1 - pshufd $0x93,%xmm0,%xmm0 - pshufd $0x4e,%xmm3,%xmm3 - pshufd $0x39,%xmm2,%xmm2 - movl 0x30(%rsi),%r8d - movl 0x4(%rsi),%r9d - movl 0x28(%rsi),%r10d - movl 0x34(%rsi),%r11d - shlq $0x20,%r8 - shlq $0x20,%r9 - orq %r10,%r8 - orq %r11,%r9 - movq %r8,%xmm6 - movq %r9,%xmm8 - punpcklqdq %xmm8,%xmm6 - paddd %xmm6,%xmm0 - paddd %xmm1,%xmm0 - pxor %xmm0,%xmm3 - pshufb %xmm12,%xmm3 - paddd %xmm3,%xmm2 - pxor %xmm2,%xmm1 - movdqa %xmm1,%xmm8 - psrld $0xc,%xmm1 - pslld $0x14,%xmm8 - por %xmm8,%xmm1 - movl 0x8(%rsi),%r8d - movl 0x10(%rsi),%r9d - movl 0x14(%rsi),%r10d - movl 0x1c(%rsi),%r11d - shlq $0x20,%r8 - shlq $0x20,%r9 - orq %r10,%r8 - orq %r11,%r9 - movq %r8,%xmm7 - movq %r9,%xmm8 - punpcklqdq %xmm8,%xmm7 - paddd %xmm7,%xmm0 - paddd %xmm1,%xmm0 - pxor %xmm0,%xmm3 - pshufb %xmm13,%xmm3 - paddd %xmm3,%xmm2 - pxor %xmm2,%xmm1 - movdqa %xmm1,%xmm8 - psrld $0x7,%xmm1 - pslld $0x19,%xmm8 - por %xmm8,%xmm1 - pshufd $0x39,%xmm0,%xmm0 - pshufd $0x4e,%xmm3,%xmm3 - pshufd $0x93,%xmm2,%xmm2 - movl 0x20(%rsi),%r8d - movl 0x4(%rsi),%r9d - movl 0x28(%rsi),%r10d - movl 0x1c(%rsi),%r11d - shlq $0x20,%r8 - shlq $0x20,%r9 - orq %r10,%r8 - orq %r11,%r9 - movq %r8,%xmm4 - movq %r9,%xmm8 - punpcklqdq %xmm8,%xmm4 + leaq SIGMA(%rip),%rcx +.Lroundloop: + movzbl (%rcx),%eax + movd (%rsi,%rax,4),%xmm4 + movzbl 0x1(%rcx),%eax + movd (%rsi,%rax,4),%xmm5 + movzbl 0x2(%rcx),%eax + movd (%rsi,%rax,4),%xmm6 + movzbl 0x3(%rcx),%eax + movd (%rsi,%rax,4),%xmm7 + punpckldq %xmm5,%xmm4 + punpckldq %xmm7,%xmm6 + punpcklqdq %xmm6,%xmm4 paddd %xmm4,%xmm0 paddd %xmm1,%xmm0 pxor %xmm0,%xmm3 @@ -883,17 +89,17 @@ ENTRY(blake2s_compress_ssse3) psrld $0xc,%xmm1 pslld $0x14,%xmm8 por %xmm8,%xmm1 - movl 0x10(%rsi),%r8d - movl 0x14(%rsi),%r9d - movl 0x8(%rsi),%r10d - movl 0x18(%rsi),%r11d - shlq $0x20,%r8 - shlq $0x20,%r9 - orq %r10,%r8 - orq %r11,%r9 - movq %r8,%xmm5 - movq %r9,%xmm8 - punpcklqdq %xmm8,%xmm5 + movzbl 0x4(%rcx),%eax + movd (%rsi,%rax,4),%xmm5 + movzbl 0x5(%rcx),%eax + movd (%rsi,%rax,4),%xmm6 + movzbl 0x6(%rcx),%eax + movd (%rsi,%rax,4),%xmm7 + movzbl 0x7(%rcx),%eax + movd (%rsi,%rax,4),%xmm4 + punpckldq %xmm6,%xmm5 + punpckldq %xmm4,%xmm7 + punpcklqdq %xmm7,%xmm5 paddd %xmm5,%xmm0 paddd %xmm1,%xmm0 pxor %xmm0,%xmm3 @@ -907,17 +113,17 @@ ENTRY(blake2s_compress_ssse3) pshufd $0x93,%xmm0,%xmm0 pshufd $0x4e,%xmm3,%xmm3 pshufd $0x39,%xmm2,%xmm2 - movl 0x3c(%rsi),%r8d - movl 0xc(%rsi),%r9d - movl 0x34(%rsi),%r10d - movl 0x24(%rsi),%r11d - shlq $0x20,%r8 - shlq $0x20,%r9 - orq %r10,%r8 - orq %r11,%r9 - movq %r8,%xmm6 - movq %r9,%xmm8 - punpcklqdq %xmm8,%xmm6 + movzbl 0x8(%rcx),%eax + movd (%rsi,%rax,4),%xmm6 + movzbl 0x9(%rcx),%eax + movd (%rsi,%rax,4),%xmm7 + movzbl 0xa(%rcx),%eax + movd (%rsi,%rax,4),%xmm4 + movzbl 0xb(%rcx),%eax + movd (%rsi,%rax,4),%xmm5 + punpckldq %xmm7,%xmm6 + punpckldq %xmm5,%xmm4 + punpcklqdq %xmm4,%xmm6 paddd %xmm6,%xmm0 paddd %xmm1,%xmm0 pxor %xmm0,%xmm3 @@ -928,17 +134,17 @@ ENTRY(blake2s_compress_ssse3) psrld $0xc,%xmm1 pslld $0x14,%xmm8 por %xmm8,%xmm1 - movl 0x2c(%rsi),%r8d - movl 0x30(%rsi),%r9d - movl (%rsi),%r10d - movl 0x38(%rsi),%r11d - shlq $0x20,%r8 - shlq $0x20,%r9 - orq %r10,%r8 - orq %r11,%r9 - movq %r8,%xmm7 - movq %r9,%xmm8 - punpcklqdq %xmm8,%xmm7 + movzbl 0xc(%rcx),%eax + movd (%rsi,%rax,4),%xmm7 + movzbl 0xd(%rcx),%eax + movd (%rsi,%rax,4),%xmm4 + movzbl 0xe(%rcx),%eax + movd (%rsi,%rax,4),%xmm5 + movzbl 0xf(%rcx),%eax + movd (%rsi,%rax,4),%xmm6 + punpckldq %xmm4,%xmm7 + punpckldq %xmm6,%xmm5 + punpcklqdq %xmm5,%xmm7 paddd %xmm7,%xmm0 paddd %xmm1,%xmm0 pxor %xmm0,%xmm3 @@ -952,6 +158,9 @@ ENTRY(blake2s_compress_ssse3) pshufd $0x39,%xmm0,%xmm0 pshufd $0x4e,%xmm3,%xmm3 pshufd $0x93,%xmm2,%xmm2 + addq $0x10,%rcx + cmpq %r8,%rcx + jnz .Lroundloop pxor %xmm2,%xmm0 pxor %xmm3,%xmm1 pxor %xmm10,%xmm0 @@ -986,7 +195,7 @@ ENTRY(blake2s_compress_avx512) vmovdqu (%rsi),%ymm6 vmovdqu 0x20(%rsi),%ymm7 addq $0x40,%rsi - leaq SIGMA(%rip),%rax + leaq SIGMA2(%rip),%rax movb $0xa,%cl .Lblake2s_compress_avx512_roundloop: addq $0x40,%rax |