path: root/cipher/salsa20-armv7-neon.S

/* salsa-armv7-neon.S  -  ARM NEON implementation of Salsa20 cipher
 *
 * Copyright (C) 2013 Jussi Kivilinna <jussi.kivilinna@iki.fi>
 *
 * This file is part of Libgcrypt.
 *
 * Libgcrypt is free software; you can redistribute it and/or modify
 * it under the terms of the GNU Lesser General Public License as
 * published by the Free Software Foundation; either version 2.1 of
 * the License, or (at your option) any later version.
 *
 * Libgcrypt is distributed in the hope that it will be useful,
 * but WITHOUT ANY WARRANTY; without even the implied warranty of
 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 * GNU Lesser General Public License for more details.
 *
 * You should have received a copy of the GNU Lesser General Public
 * License along with this program; if not, see <http://www.gnu.org/licenses/>.
 */

#include <config.h>

#if defined(HAVE_ARM_ARCH_V6) && defined(__ARMEL__) && \
    defined(HAVE_COMPATIBLE_GCC_ARM_PLATFORM_AS) && \
    defined(HAVE_GCC_INLINE_ASM_NEON) && defined(USE_SALSA20)

/*
 * Based on public domain implementation from SUPERCOP benchmarking framework
 * by Peter Schwabe and D. J. Bernstein. Paper about the implementation at:
 *   http://cryptojedi.org/papers/#neoncrypto
 */

.syntax unified
.arm
.fpu neon
.text

.align 2
.globl _gcry_arm_neon_salsa20_encrypt
.type  _gcry_arm_neon_salsa20_encrypt,%function;
_gcry_arm_neon_salsa20_encrypt:
	/* Modifications:
	 *  - arguments changed to (void *c, const void *m, unsigned int nblks,
         *    void *ctx, unsigned int rounds) from (void *c, const void *m,
         *    unsigned long long mlen, const void *n, const void *k)
	 *  - nonce and key read from 'ctx' as well as sigma and counter.
	 *  - read in counter from 'ctx' at the start.
         *  - update counter in 'ctx' at the end.
	 *  - length is input as number of blocks, so don't handle tail bytes
	 *    (this is done in salsa20.c).
	 */
	lsl r2,r2,#6
	vpush {q4,q5,q6,q7}
	mov r12,sp
	sub sp,sp,#352
	and sp,sp,#0xffffffe0
	strd r4,[sp,#0]
	strd r6,[sp,#8]
	strd r8,[sp,#16]
	strd r10,[sp,#24]
	str r14,[sp,#224]
	str r12,[sp,#228]
	str r0,[sp,#232]
	str r1,[sp,#236]
	str r2,[sp,#240]
	ldr r4,[r12,#64]
	str r4,[sp,#244]
	mov r2,r3
	add r3,r2,#48
	vld1.8 {q3},[r2]
	add r0,r2,#32
	add r14,r2,#40
	vmov.i64 q3,#0xff
	str r14,[sp,#160]
	ldrd r8,[r2,#4]
	vld1.8 {d0},[r0]
	ldrd r4,[r2,#20]
	vld1.8 {d8-d9},[r2]!
	ldrd r6,[r0,#0]
	vmov d4,d9
	ldr r0,[r14]
	vrev64.i32 d0,d0
	ldr r1,[r14,#4]
	vld1.8 {d10-d11},[r2]
	strd r6,[sp,#32]
	sub r2,r2,#16
	strd r0,[sp,#40]
	vmov d5,d11
	strd r8,[sp,#48]
	vext.32 d1,d0,d10,#1
	strd r4,[sp,#56]
	ldr r1,[r2,#0]
	vshr.u32 q3,q3,#7
	ldr r4,[r2,#12]
	vext.32 d3,d11,d9,#1
	ldr r11,[r2,#16]
	vext.32 d2,d8,d0,#1
	ldr r8,[r2,#28]
	vext.32 d0,d10,d8,#1
	ldr r0,[r3,#0]
	add r2,r2,#44
	vmov q4,q3
	vld1.8 {d6-d7},[r14]
	vadd.i64 q3,q3,q4
	ldr r5,[r3,#4]
	add r12,sp,#256
	vst1.8 {d4-d5},[r12,: 128]
	ldr r10,[r3,#8]
	add r14,sp,#272
	vst1.8 {d2-d3},[r14,: 128]
	ldr r9,[r3,#12]
	vld1.8 {d2-d3},[r3]
	strd r0,[sp,#64]
	ldr r0,[sp,#240]
	strd r4,[sp,#72]
	strd r10,[sp,#80]
	strd r8,[sp,#88]
	nop
	cmp r0,#192
	blo .L_mlenlowbelow192
.L_mlenatleast192:
	ldrd r2,[sp,#48]
	vext.32 d7,d6,d6,#1
	vmov q8,q1
	ldrd r6,[sp,#32]
	vld1.8 {d18-d19},[r12,: 128]
	vmov q10,q0
	str r0,[sp,#240]
	vext.32 d4,d7,d19,#1
	vmov q11,q8
	vext.32 d10,d18,d7,#1
	vadd.i64 q3,q3,q4
	ldrd r0,[sp,#64]
	vld1.8 {d24-d25},[r14,: 128]
	vmov d5,d24
	add r8,sp,#288
	ldrd r4,[sp,#72]
	vmov d11,d25
	add r9,sp,#304
	ldrd r10,[sp,#80]
	vst1.8 {d4-d5},[r8,: 128]
	strd r2,[sp,#96]
	vext.32 d7,d6,d6,#1
	vmov q13,q10
	strd r6,[sp,#104]
	vmov d13,d24
	vst1.8 {d10-d11},[r9,: 128]
	add r2,sp,#320
	vext.32 d12,d7,d19,#1
	vmov d15,d25
	add r6,sp,#336
	ldr r12,[sp,#244]
	vext.32 d14,d18,d7,#1
	vadd.i64 q3,q3,q4
	ldrd r8,[sp,#88]
	vst1.8 {d12-d13},[r2,: 128]
	ldrd r2,[sp,#56]
	vst1.8 {d14-d15},[r6,: 128]
	ldrd r6,[sp,#40]
.L_mainloop2:
	str r12,[sp,#248]
	vadd.i32 q4,q10,q8
	vadd.i32 q9,q13,q11
	add r12,r0,r2
	add r14,r5,r1
	vshl.i32 q12,q4,#7
	vshl.i32 q14,q9,#7
	vshr.u32 q4,q4,#25
	vshr.u32 q9,q9,#25
	eor r4,r4,r12,ROR #25
	eor r7,r7,r14,ROR #25
	add r12,r4,r0
	add r14,r7,r5
	veor q5,q5,q12
	veor q7,q7,q14
	veor q4,q5,q4
	veor q5,q7,q9
	eor r6,r6,r12,ROR #23
	eor r3,r3,r14,ROR #23
	add r12,r6,r4
	str r7,[sp,#116]
	add r7,r3,r7
	ldr r14,[sp,#108]
	vadd.i32 q7,q8,q4
	vadd.i32 q9,q11,q5
	vshl.i32 q12,q7,#9
	vshl.i32 q14,q9,#9
	vshr.u32 q7,q7,#23
	vshr.u32 q9,q9,#23
	veor q2,q2,q12
	veor q6,q6,q14
	veor q2,q2,q7
	veor q6,q6,q9
	eor r2,r2,r12,ROR #19
	str r2,[sp,#120]
	eor r1,r1,r7,ROR #19
	ldr r7,[sp,#96]
	add r2,r2,r6
	str r6,[sp,#112]
	add r6,r1,r3
	ldr r12,[sp,#104]
	vadd.i32 q7,q4,q2
	vext.32 q4,q4,q4,#3
	vadd.i32 q9,q5,q6
	vshl.i32 q12,q7,#13
	vext.32 q5,q5,q5,#3
	vshl.i32 q14,q9,#13
	eor r0,r0,r2,ROR #14
	eor r2,r5,r6,ROR #14
	str r3,[sp,#124]
	add r3,r10,r12
	ldr r5,[sp,#100]
	add r6,r9,r11
	vshr.u32 q7,q7,#19
	vshr.u32 q9,q9,#19
	veor q10,q10,q12
	veor q12,q13,q14
	eor r8,r8,r3,ROR #25
	eor r3,r5,r6,ROR #25
	add r5,r8,r10
	add r6,r3,r9
	veor q7,q10,q7
	veor q9,q12,q9
	eor r5,r7,r5,ROR #23
	eor r6,r14,r6,ROR #23
	add r7,r5,r8
	add r14,r6,r3
	vadd.i32 q10,q2,q7
	vswp d4,d5
	vadd.i32 q12,q6,q9
	vshl.i32 q13,q10,#18
	vswp d12,d13
	vshl.i32 q14,q12,#18
	eor r7,r12,r7,ROR #19
	eor r11,r11,r14,ROR #19
	add r12,r7,r5
	add r14,r11,r6
	vshr.u32 q10,q10,#14
	vext.32 q7,q7,q7,#1
	vshr.u32 q12,q12,#14
	veor q8,q8,q13
	vext.32 q9,q9,q9,#1
	veor q11,q11,q14
	eor r10,r10,r12,ROR #14
	eor r9,r9,r14,ROR #14
	add r12,r0,r3
	add r14,r2,r4
	veor q8,q8,q10
	veor q10,q11,q12
	eor r1,r1,r12,ROR #25
	eor r7,r7,r14,ROR #25
	add r12,r1,r0
	add r14,r7,r2
	vadd.i32 q11,q4,q8
	vadd.i32 q12,q5,q10
	vshl.i32 q13,q11,#7
	vshl.i32 q14,q12,#7
	eor r5,r5,r12,ROR #23
	eor r6,r6,r14,ROR #23
	vshr.u32 q11,q11,#25
	vshr.u32 q12,q12,#25
	add r12,r5,r1
	add r14,r6,r7
	veor q7,q7,q13
	veor q9,q9,q14
	veor q7,q7,q11
	veor q9,q9,q12
	vadd.i32 q11,q8,q7
	vadd.i32 q12,q10,q9
	vshl.i32 q13,q11,#9
	vshl.i32 q14,q12,#9
	eor r3,r3,r12,ROR #19
	str r7,[sp,#104]
	eor r4,r4,r14,ROR #19
	ldr r7,[sp,#112]
	add r12,r3,r5
	str r6,[sp,#108]
	add r6,r4,r6
	ldr r14,[sp,#116]
	eor r0,r0,r12,ROR #14
	str r5,[sp,#96]
	eor r5,r2,r6,ROR #14
	ldr r2,[sp,#120]
	vshr.u32 q11,q11,#23
	vshr.u32 q12,q12,#23
	veor q2,q2,q13
	veor q6,q6,q14
	veor q2,q2,q11
	veor q6,q6,q12
	add r6,r10,r14
	add r12,r9,r8
	vadd.i32 q11,q7,q2
	vext.32 q7,q7,q7,#3
	vadd.i32 q12,q9,q6
	vshl.i32 q13,q11,#13
	vext.32 q9,q9,q9,#3
	vshl.i32 q14,q12,#13
	vshr.u32 q11,q11,#19
	vshr.u32 q12,q12,#19
	eor r11,r11,r6,ROR #25
	eor r2,r2,r12,ROR #25
	add r6,r11,r10
	str r3,[sp,#100]
	add r3,r2,r9
	ldr r12,[sp,#124]
	veor q4,q4,q13
	veor q5,q5,q14
	veor q4,q4,q11
	veor q5,q5,q12
	eor r6,r7,r6,ROR #23
	eor r3,r12,r3,ROR #23
	add r7,r6,r11
	add r12,r3,r2
	vadd.i32 q11,q2,q4
	vswp d4,d5
	vadd.i32 q12,q6,q5
	vshl.i32 q13,q11,#18
	vswp d12,d13
	vshl.i32 q14,q12,#18
	eor r7,r14,r7,ROR #19
	eor r8,r8,r12,ROR #19
	add r12,r7,r6
	add r14,r8,r3
	vshr.u32 q11,q11,#14
	vext.32 q4,q4,q4,#1
	vshr.u32 q12,q12,#14
	veor q8,q8,q13
	vext.32 q5,q5,q5,#1
	veor q10,q10,q14
	eor r10,r10,r12,ROR #14
	veor q8,q8,q11
	eor r9,r9,r14,ROR #14
	veor q10,q10,q12
	vadd.i32 q11,q7,q8
	vadd.i32 q12,q9,q10
	add r12,r0,r2
	add r14,r5,r1
	vshl.i32 q13,q11,#7
	vshl.i32 q14,q12,#7
	vshr.u32 q11,q11,#25
	vshr.u32 q12,q12,#25
	eor r4,r4,r12,ROR #25
	eor r7,r7,r14,ROR #25
	add r12,r4,r0
	add r14,r7,r5
	veor q4,q4,q13
	veor q5,q5,q14
	veor q4,q4,q11
	veor q5,q5,q12
	eor r6,r6,r12,ROR #23
	eor r3,r3,r14,ROR #23
	add r12,r6,r4
	str r7,[sp,#116]
	add r7,r3,r7
	ldr r14,[sp,#108]
	vadd.i32 q11,q8,q4
	vadd.i32 q12,q10,q5
	vshl.i32 q13,q11,#9
	vshl.i32 q14,q12,#9
	vshr.u32 q11,q11,#23
	vshr.u32 q12,q12,#23
	veor q2,q2,q13
	veor q6,q6,q14
	veor q2,q2,q11
	veor q6,q6,q12
	eor r2,r2,r12,ROR #19
	str r2,[sp,#120]
	eor r1,r1,r7,ROR #19
	ldr r7,[sp,#96]
	add r2,r2,r6
	str r6,[sp,#112]
	add r6,r1,r3
	ldr r12,[sp,#104]
	vadd.i32 q11,q4,q2
	vext.32 q4,q4,q4,#3
	vadd.i32 q12,q5,q6
	vshl.i32 q13,q11,#13
	vext.32 q5,q5,q5,#3
	vshl.i32 q14,q12,#13
	eor r0,r0,r2,ROR #14
	eor r2,r5,r6,ROR #14
	str r3,[sp,#124]
	add r3,r10,r12
	ldr r5,[sp,#100]
	add r6,r9,r11
	vshr.u32 q11,q11,#19
	vshr.u32 q12,q12,#19
	veor q7,q7,q13
	veor q9,q9,q14
	eor r8,r8,r3,ROR #25
	eor r3,r5,r6,ROR #25
	add r5,r8,r10
	add r6,r3,r9
	veor q7,q7,q11
	veor q9,q9,q12
	eor r5,r7,r5,ROR #23
	eor r6,r14,r6,ROR #23
	add r7,r5,r8
	add r14,r6,r3
	vadd.i32 q11,q2,q7
	vswp d4,d5
	vadd.i32 q12,q6,q9
	vshl.i32 q13,q11,#18
	vswp d12,d13
	vshl.i32 q14,q12,#18
	eor r7,r12,r7,ROR #19
	eor r11,r11,r14,ROR #19
	add r12,r7,r5
	add r14,r11,r6
	vshr.u32 q11,q11,#14
	vext.32 q7,q7,q7,#1
	vshr.u32 q12,q12,#14
	veor q8,q8,q13
	vext.32 q9,q9,q9,#1
	veor q10,q10,q14
	eor r10,r10,r12,ROR #14
	eor r9,r9,r14,ROR #14
	add r12,r0,r3
	add r14,r2,r4
	veor q8,q8,q11
	veor q11,q10,q12
	eor r1,r1,r12,ROR #25
	eor r7,r7,r14,ROR #25
	add r12,r1,r0
	add r14,r7,r2
	vadd.i32 q10,q4,q8
	vadd.i32 q12,q5,q11
	vshl.i32 q13,q10,#7
	vshl.i32 q14,q12,#7
	eor r5,r5,r12,ROR #23
	eor r6,r6,r14,ROR #23
	vshr.u32 q10,q10,#25
	vshr.u32 q12,q12,#25
	add r12,r5,r1
	add r14,r6,r7
	veor q7,q7,q13
	veor q9,q9,q14
	veor q7,q7,q10
	veor q9,q9,q12
	vadd.i32 q10,q8,q7
	vadd.i32 q12,q11,q9
	vshl.i32 q13,q10,#9
	vshl.i32 q14,q12,#9
	eor r3,r3,r12,ROR #19
	str r7,[sp,#104]
	eor r4,r4,r14,ROR #19
	ldr r7,[sp,#112]
	add r12,r3,r5
	str r6,[sp,#108]
	add r6,r4,r6
	ldr r14,[sp,#116]
	eor r0,r0,r12,ROR #14
	str r5,[sp,#96]
	eor r5,r2,r6,ROR #14
	ldr r2,[sp,#120]
	vshr.u32 q10,q10,#23
	vshr.u32 q12,q12,#23
	veor q2,q2,q13
	veor q6,q6,q14
	veor q2,q2,q10
	veor q6,q6,q12
	add r6,r10,r14
	add r12,r9,r8
	vadd.i32 q12,q7,q2
	vext.32 q10,q7,q7,#3
	vadd.i32 q7,q9,q6
	vshl.i32 q14,q12,#13
	vext.32 q13,q9,q9,#3
	vshl.i32 q9,q7,#13
	vshr.u32 q12,q12,#19
	vshr.u32 q7,q7,#19
	eor r11,r11,r6,ROR #25
	eor r2,r2,r12,ROR #25
	add r6,r11,r10
	str r3,[sp,#100]
	add r3,r2,r9
	ldr r12,[sp,#124]
	veor q4,q4,q14
	veor q5,q5,q9
	veor q4,q4,q12
	veor q7,q5,q7
	eor r6,r7,r6,ROR #23
	eor r3,r12,r3,ROR #23
	add r7,r6,r11
	add r12,r3,r2
	vadd.i32 q5,q2,q4
	vswp d4,d5
	vadd.i32 q9,q6,q7
	vshl.i32 q12,q5,#18
	vswp d12,d13
	vshl.i32 q14,q9,#18
	eor r7,r14,r7,ROR #19
	eor r8,r8,r12,ROR #19
	add r12,r7,r6
	add r14,r8,r3
	vshr.u32 q15,q5,#14
	vext.32 q5,q4,q4,#1
	vshr.u32 q4,q9,#14
	veor q8,q8,q12
	vext.32 q7,q7,q7,#1
	veor q9,q11,q14
	eor r10,r10,r12,ROR #14
	ldr r12,[sp,#248]
	veor q8,q8,q15
	eor r9,r9,r14,ROR #14
	veor q11,q9,q4
	subs r12,r12,#4
	bhi .L_mainloop2
	strd r8,[sp,#112]
	ldrd r8,[sp,#64]
	strd r2,[sp,#120]
	ldrd r2,[sp,#96]
	add r0,r0,r8
	strd r10,[sp,#96]
	add r1,r1,r9
	ldrd r10,[sp,#48]
	ldrd r8,[sp,#72]
	add r2,r2,r10
	strd r6,[sp,#128]
	add r3,r3,r11
	ldrd r6,[sp,#104]
	ldrd r10,[sp,#32]
	ldr r12,[sp,#236]
	add r4,r4,r8
	add r5,r5,r9
	add r6,r6,r10
	add r7,r7,r11
	cmp r12,#0
	beq .L_nomessage1
	ldr r8,[r12,#0]
	ldr r9,[r12,#4]
	ldr r10,[r12,#8]
	ldr r11,[r12,#12]
	eor r0,r0,r8
	ldr r8,[r12,#16]
	eor r1,r1,r9
	ldr r9,[r12,#20]
	eor r2,r2,r10
	ldr r10,[r12,#24]
	eor r3,r3,r11
	ldr r11,[r12,#28]
	eor r4,r4,r8
	eor r5,r5,r9
	eor r6,r6,r10
	eor r7,r7,r11
.L_nomessage1:
	ldr r14,[sp,#232]
	vadd.i32 q4,q8,q1
	str r0,[r14,#0]
	add r0,sp,#304
	str r1,[r14,#4]
	vld1.8 {d16-d17},[r0,: 128]
	str r2,[r14,#8]
	vadd.i32 q5,q8,q5
	str r3,[r14,#12]
	add r0,sp,#288
	str r4,[r14,#16]
	vld1.8 {d16-d17},[r0,: 128]
	str r5,[r14,#20]
	vadd.i32 q9,q10,q0
	str r6,[r14,#24]
	vadd.i32 q2,q8,q2
	str r7,[r14,#28]
	vmov.i64 q8,#0xffffffff
	ldrd r6,[sp,#128]
	vext.32 d20,d8,d10,#1
	ldrd r0,[sp,#40]
	vext.32 d25,d9,d11,#1
	ldrd r2,[sp,#120]
	vbif q4,q9,q8
	ldrd r4,[sp,#56]
	vext.32 d21,d5,d19,#1
	add r6,r6,r0
	vext.32 d24,d4,d18,#1
	add r7,r7,r1
	vbif q2,q5,q8
	add r2,r2,r4
	vrev64.i32 q5,q10
	add r3,r3,r5
	vrev64.i32 q9,q12
	adds r0,r0,#3
	vswp d5,d9
	adc r1,r1,#0
	strd r0,[sp,#40]
	ldrd r8,[sp,#112]
	ldrd r0,[sp,#88]
	ldrd r10,[sp,#96]
	ldrd r4,[sp,#80]
	add r0,r8,r0
	add r1,r9,r1
	add r4,r10,r4
	add r5,r11,r5
	add r8,r14,#64
	cmp r12,#0
	beq .L_nomessage2
	ldr r9,[r12,#32]
	ldr r10,[r12,#36]
	ldr r11,[r12,#40]
	ldr r14,[r12,#44]
	eor r6,r6,r9
	ldr r9,[r12,#48]
	eor r7,r7,r10
	ldr r10,[r12,#52]
	eor r4,r4,r11
	ldr r11,[r12,#56]
	eor r5,r5,r14
	ldr r14,[r12,#60]
	add r12,r12,#64
	eor r2,r2,r9
	vld1.8 {d20-d21},[r12]!
	veor q4,q4,q10
	eor r3,r3,r10
	vld1.8 {d20-d21},[r12]!
	veor q5,q5,q10
	eor r0,r0,r11
	vld1.8 {d20-d21},[r12]!
	veor q2,q2,q10
	eor r1,r1,r14
	vld1.8 {d20-d21},[r12]!
	veor q9,q9,q10
.L_nomessage2:
	vst1.8 {d8-d9},[r8]!
	vst1.8 {d10-d11},[r8]!
	vmov.i64 q4,#0xff
	vst1.8 {d4-d5},[r8]!
	vst1.8 {d18-d19},[r8]!
	str r6,[r8,#-96]
	add r6,sp,#336
	str r7,[r8,#-92]
	add r7,sp,#320
	str r4,[r8,#-88]
	vadd.i32 q2,q11,q1
	vld1.8 {d10-d11},[r6,: 128]
	vadd.i32 q5,q5,q7
	vld1.8 {d14-d15},[r7,: 128]
	vadd.i32 q9,q13,q0
	vadd.i32 q6,q7,q6
	str r5,[r8,#-84]
	vext.32 d14,d4,d10,#1
	str r2,[r8,#-80]
	vext.32 d21,d5,d11,#1
	str r3,[r8,#-76]
	vbif q2,q9,q8
	str r0,[r8,#-72]
	vext.32 d15,d13,d19,#1
	vshr.u32 q4,q4,#7
	str r1,[r8,#-68]
	vext.32 d20,d12,d18,#1
	vbif q6,q5,q8
	ldr r0,[sp,#240]
	vrev64.i32 q5,q7
	vrev64.i32 q7,q10
	vswp d13,d5
	vadd.i64 q3,q3,q4
	sub r0,r0,#192
	cmp r12,#0
	beq .L_nomessage21
	vld1.8 {d16-d17},[r12]!
	veor q2,q2,q8
	vld1.8 {d16-d17},[r12]!
	veor q5,q5,q8
	vld1.8 {d16-d17},[r12]!
	veor q6,q6,q8
	vld1.8 {d16-d17},[r12]!
	veor q7,q7,q8
.L_nomessage21:
	vst1.8 {d4-d5},[r8]!
	vst1.8 {d10-d11},[r8]!
	vst1.8 {d12-d13},[r8]!
	vst1.8 {d14-d15},[r8]!
	str r12,[sp,#236]
	add r14,sp,#272
	add r12,sp,#256
	str r8,[sp,#232]
	cmp r0,#192
	bhs .L_mlenatleast192
.L_mlenlowbelow192:
	cmp r0,#0
	beq .L_done
	b .L_mlenatleast1
.L_nextblock:
	sub r0,r0,#64
.L_mlenatleast1:
.L_handleblock:
	str r0,[sp,#248]
	ldrd r2,[sp,#48]
	ldrd r6,[sp,#32]
	ldrd r0,[sp,#64]
	ldrd r4,[sp,#72]
	ldrd r10,[sp,#80]
	ldrd r8,[sp,#88]
	strd r2,[sp,#96]
	strd r6,[sp,#104]
	ldrd r2,[sp,#56]
	ldrd r6,[sp,#40]
	ldr r12,[sp,#244]
.L_mainloop1:
	str r12,[sp,#252]
	add r12,r0,r2
	add r14,r5,r1
	eor r4,r4,r12,ROR #25
	eor r7,r7,r14,ROR #25
	add r12,r4,r0
	add r14,r7,r5
	eor r6,r6,r12,ROR #23
	eor r3,r3,r14,ROR #23
	add r12,r6,r4
	str r7,[sp,#132]
	add r7,r3,r7
	ldr r14,[sp,#104]
	eor r2,r2,r12,ROR #19
	str r6,[sp,#128]
	eor r1,r1,r7,ROR #19
	ldr r7,[sp,#100]
	add r6,r2,r6
	str r2,[sp,#120]
	add r2,r1,r3
	ldr r12,[sp,#96]
	eor r0,r0,r6,ROR #14
	str r3,[sp,#124]
	eor r2,r5,r2,ROR #14
	ldr r3,[sp,#108]
	add r5,r10,r14
	add r6,r9,r11
	eor r8,r8,r5,ROR #25
	eor r5,r7,r6,ROR #25
	add r6,r8,r10
	add r7,r5,r9
	eor r6,r12,r6,ROR #23
	eor r3,r3,r7,ROR #23
	add r7,r6,r8
	add r12,r3,r5
	eor r7,r14,r7,ROR #19
	eor r11,r11,r12,ROR #19
	add r12,r7,r6
	add r14,r11,r3
	eor r10,r10,r12,ROR #14
	eor r9,r9,r14,ROR #14
	add r12,r0,r5
	add r14,r2,r4
	eor r1,r1,r12,ROR #25
	eor r7,r7,r14,ROR #25
	add r12,r1,r0
	add r14,r7,r2
	eor r6,r6,r12,ROR #23
	eor r3,r3,r14,ROR #23
	add r12,r6,r1
	str r7,[sp,#104]
	add r7,r3,r7
	ldr r14,[sp,#128]
	eor r5,r5,r12,ROR #19
	str r3,[sp,#108]
	eor r4,r4,r7,ROR #19
	ldr r7,[sp,#132]
	add r12,r5,r6
	str r6,[sp,#96]
	add r3,r4,r3
	ldr r6,[sp,#120]
	eor r0,r0,r12,ROR #14
	str r5,[sp,#100]
	eor r5,r2,r3,ROR #14
	ldr r3,[sp,#124]
	add r2,r10,r7
	add r12,r9,r8
	eor r11,r11,r2,ROR #25
	eor r2,r6,r12,ROR #25
	add r6,r11,r10
	add r12,r2,r9
	eor r6,r14,r6,ROR #23
	eor r3,r3,r12,ROR #23
	add r12,r6,r11
	add r14,r3,r2
	eor r7,r7,r12,ROR #19
	eor r8,r8,r14,ROR #19
	add r12,r7,r6
	add r14,r8,r3
	eor r10,r10,r12,ROR #14
	eor r9,r9,r14,ROR #14
	ldr r12,[sp,#252]
	subs r12,r12,#2
	bhi .L_mainloop1
	strd r6,[sp,#128]
	strd r2,[sp,#120]
	strd r10,[sp,#112]
	strd r8,[sp,#136]
	ldrd r2,[sp,#96]
	ldrd r6,[sp,#104]
	ldrd r8,[sp,#64]
	ldrd r10,[sp,#48]
	add r0,r0,r8
	add r1,r1,r9
	add r2,r2,r10
	add r3,r3,r11
	ldrd r8,[sp,#72]
	ldrd r10,[sp,#32]
	add r4,r4,r8
	add r5,r5,r9
	add r6,r6,r10
	add r7,r7,r11
	ldr r12,[sp,#236]
	cmp r12,#0
	beq .L_nomessage10
	ldr r8,[r12,#0]
	ldr r9,[r12,#4]
	ldr r10,[r12,#8]
	ldr r11,[r12,#12]
	eor r0,r0,r8
	ldr r8,[r12,#16]
	eor r1,r1,r9
	ldr r9,[r12,#20]
	eor r2,r2,r10
	ldr r10,[r12,#24]
	eor r3,r3,r11
	ldr r11,[r12,#28]
	eor r4,r4,r8
	eor r5,r5,r9
	eor r6,r6,r10
	eor r7,r7,r11
.L_nomessage10:
	ldr r14,[sp,#232]
	str r0,[r14,#0]
	str r1,[r14,#4]
	str r2,[r14,#8]
	str r3,[r14,#12]
	str r4,[r14,#16]
	str r5,[r14,#20]
	str r6,[r14,#24]
	str r7,[r14,#28]
	ldrd r6,[sp,#128]
	ldrd r10,[sp,#112]
	ldrd r0,[sp,#40]
	ldrd r4,[sp,#80]
	add r6,r6,r0
	add r7,r7,r1
	add r10,r10,r4
	add r11,r11,r5
	adds r0,r0,#1
	adc r1,r1,#0
	strd r0,[sp,#40]
	ldrd r2,[sp,#120]
	ldrd r8,[sp,#136]
	ldrd r4,[sp,#56]
	ldrd r0,[sp,#88]
	add r2,r2,r4
	add r3,r3,r5
	add r0,r8,r0
	add r1,r9,r1
	cmp r12,#0
	beq .L_nomessage11
	ldr r4,[r12,#32]
	ldr r5,[r12,#36]
	ldr r8,[r12,#40]
	ldr r9,[r12,#44]
	eor r6,r6,r4
	ldr r4,[r12,#48]
	eor r7,r7,r5
	ldr r5,[r12,#52]
	eor r10,r10,r8
	ldr r8,[r12,#56]
	eor r11,r11,r9
	ldr r9,[r12,#60]
	eor r2,r2,r4
	eor r3,r3,r5
	eor r0,r0,r8
	eor r1,r1,r9
	add r4,r12,#64
	str r4,[sp,#236]
.L_nomessage11:
	str r6,[r14,#32]
	str r7,[r14,#36]
	str r10,[r14,#40]
	str r11,[r14,#44]
	str r2,[r14,#48]
	str r3,[r14,#52]
	str r0,[r14,#56]
	str r1,[r14,#60]
	add r0,r14,#64
	str r0,[sp,#232]
	ldr r0,[sp,#248]
	cmp r0,#64
	bhi .L_nextblock
.L_done:
	ldr r2,[sp,#160]
	ldrd r4,[sp,#0]
	ldrd r6,[sp,#8]
	ldrd r8,[sp,#16]
	ldrd r10,[sp,#24]
	ldr r12,[sp,#228]
	ldr r14,[sp,#224]
	ldrd r0,[sp,#40]
	strd r0,[r2]
	sub r0,r12,sp
	mov sp,r12
	vpop {q4,q5,q6,q7}
	add r0,r0,#64
	bx lr
.size _gcry_arm_neon_salsa20_encrypt,.-_gcry_arm_neon_salsa20_encrypt;

#endif