Lines Matching refs:rsi
222 VMOVU (%rsi), %VEC(0)
226 VMOVU -VEC_SIZE(%rsi,%rdx), %VEC(1)
268 lea (%rsi,%rcx), %RDX_LP
277 leaq -1(%rsi,%rcx), %rsi
317 VMOVU (%rsi), %VEC(0)
322 VMOVU -VEC_SIZE(%rsi, %rdx), %VEC(1)
339 movl (%rsi), %ecx
340 movl (%rsi, %rdx), %esi
370 movb (%rsi), %cl
372 movzwl (-2 + SMALL_SIZE_OFFSET)(%rsi, %rdx), %esi
383 movl -4(%rsi, %rdx), %ecx
384 movl (%rsi), %esi
394 vmovdqu (%rsi), %xmm0
395 vmovdqu -16(%rsi, %rdx), %xmm1
406 VMOVU (%rsi), %YMM0
407 VMOVU -32(%rsi, %rdx), %YMM1
416 movq -8(%rsi, %rdx), %rcx
417 movq (%rsi), %rsi
418 movq %rsi, (%rdi)
427 VMOVU -VEC_SIZE(%rsi, %rdx), %VEC(2)
428 VMOVU -(VEC_SIZE * 2)(%rsi, %rdx), %VEC(3)
447 VMOVU VEC_SIZE(%rsi), %VEC(1)
451 VMOVU (VEC_SIZE * 2)(%rsi), %VEC(2)
452 VMOVU (VEC_SIZE * 3)(%rsi), %VEC(3)
453 VMOVU -VEC_SIZE(%rsi, %rdx), %VEC(4)
454 VMOVU -(VEC_SIZE * 2)(%rsi, %rdx), %VEC(5)
455 VMOVU -(VEC_SIZE * 3)(%rsi, %rdx), %VEC(6)
456 VMOVU -(VEC_SIZE * 4)(%rsi, %rdx), %VEC(7)
470 subq %rsi, %rcx
513 VMOVU -VEC_SIZE(%rsi, %rdx), %VEC(5)
514 VMOVU -(VEC_SIZE * 2)(%rsi, %rdx), %VEC(6)
519 VMOVU -(VEC_SIZE * 3)(%rsi, %rdx), %VEC(7)
520 VMOVU -(VEC_SIZE * 4)(%rsi, %rdx), %VEC(8)
523 subq %rcx, %rsi
527 addq %rdi, %rsi
535 VMOVU (%rsi), %VEC(1)
536 VMOVU VEC_SIZE(%rsi), %VEC(2)
537 VMOVU (VEC_SIZE * 2)(%rsi), %VEC(3)
538 VMOVU (VEC_SIZE * 3)(%rsi), %VEC(4)
539 subq $-(VEC_SIZE * 4), %rsi
570 VMOVU VEC_SIZE(%rsi), %VEC(5)
571 VMOVU (VEC_SIZE * 2)(%rsi), %VEC(6)
574 VMOVU (VEC_SIZE * 3)(%rsi), %VEC(7)
575 VMOVU -VEC_SIZE(%rsi, %rdx), %VEC(8)
577 subq %rdi, %rsi
581 addq %rcx, %rsi
587 VMOVU (VEC_SIZE * 3)(%rsi), %VEC(1)
588 VMOVU (VEC_SIZE * 2)(%rsi), %VEC(2)
589 VMOVU (VEC_SIZE * 1)(%rsi), %VEC(3)
590 VMOVU (VEC_SIZE * 0)(%rsi), %VEC(4)
591 addq $(VEC_SIZE * -4), %rsi
615 VMOVU VEC_SIZE(%rsi), %VEC(1)
632 leaq -1(%rsi, %rdx), %rcx
634 orq $(MOVSB_ALIGN_TO - 1), %rsi
637 leaq 1(%rsi, %r9), %rdi
638 subq %rsi, %rcx
640 incq %rsi
654 subq %rsi, %rcx
687 VMOVU VEC_SIZE(%rsi), %VEC(1)
696 subq %rdi, %rsi
705 addq %rdi, %rsi
743 VMOVU VEC_SIZE(%rsi), %VEC(1)
745 VMOVU (VEC_SIZE * 2)(%rsi), %VEC(2)
746 VMOVU (VEC_SIZE * 3)(%rsi), %VEC(3)
764 subq %r8, %rsi
795 PREFETCH_ONE_SET(1, (%rsi), PREFETCHED_LOAD_SIZE)
796 PREFETCH_ONE_SET(1, (%rsi), PREFETCHED_LOAD_SIZE * 2)
797 PREFETCH_ONE_SET(1, (%rsi), PAGE_SIZE + PREFETCHED_LOAD_SIZE)
798 PREFETCH_ONE_SET(1, (%rsi), PAGE_SIZE + PREFETCHED_LOAD_SIZE * 2)
800 LOAD_ONE_SET((%rsi), 0, %VEC(0), %VEC(1), %VEC(2), %VEC(3))
801 LOAD_ONE_SET((%rsi), PAGE_SIZE, %VEC(4), %VEC(5), %VEC(6), %VEC(7))
802 subq $-LARGE_LOAD_SIZE, %rsi
810 addq $PAGE_SIZE, %rsi
822 PREFETCH_ONE_SET (1, (%rsi), PREFETCHED_LOAD_SIZE)
824 VMOVU (%rsi), %VEC(0)
825 VMOVU VEC_SIZE(%rsi), %VEC(1)
826 VMOVU (VEC_SIZE * 2)(%rsi), %VEC(2)
827 VMOVU (VEC_SIZE * 3)(%rsi), %VEC(3)
828 subq $-(VEC_SIZE * 4), %rsi
840 VMOVU -(VEC_SIZE * 4)(%rsi, %rdx), %VEC(0)
841 VMOVU -(VEC_SIZE * 3)(%rsi, %rdx), %VEC(1)
842 VMOVU -(VEC_SIZE * 2)(%rsi, %rdx), %VEC(2)
843 VMOVU -VEC_SIZE(%rsi, %rdx), %VEC(3)
866 PREFETCH_ONE_SET(1, (%rsi), PREFETCHED_LOAD_SIZE)
867 PREFETCH_ONE_SET(1, (%rsi), PAGE_SIZE + PREFETCHED_LOAD_SIZE)
868 PREFETCH_ONE_SET(1, (%rsi), PAGE_SIZE * 2 + PREFETCHED_LOAD_SIZE)
869 PREFETCH_ONE_SET(1, (%rsi), PAGE_SIZE * 3 + PREFETCHED_LOAD_SIZE)
871 LOAD_ONE_SET((%rsi), 0, %VEC(0), %VEC(1), %VEC(2), %VEC(3))
872 LOAD_ONE_SET((%rsi), PAGE_SIZE, %VEC(4), %VEC(5), %VEC(6), %VEC(7))
873 LOAD_ONE_SET((%rsi), PAGE_SIZE * 2, %VEC(8), %VEC(9), %VEC(10), %VEC(11))
874 LOAD_ONE_SET((%rsi), PAGE_SIZE * 3, %VEC(12), %VEC(13), %VEC(14), %VEC(15))
875 subq $-LARGE_LOAD_SIZE, %rsi
885 addq $(PAGE_SIZE * 3), %rsi
896 PREFETCH_ONE_SET (1, (%rsi), PREFETCHED_LOAD_SIZE)
898 VMOVU (%rsi), %VEC(0)
899 VMOVU VEC_SIZE(%rsi), %VEC(1)
900 VMOVU (VEC_SIZE * 2)(%rsi), %VEC(2)
901 VMOVU (VEC_SIZE * 3)(%rsi), %VEC(3)
902 subq $-(VEC_SIZE * 4), %rsi
914 VMOVU -(VEC_SIZE * 4)(%rsi, %rdx), %VEC(0)
915 VMOVU -(VEC_SIZE * 3)(%rsi, %rdx), %VEC(1)
916 VMOVU -(VEC_SIZE * 2)(%rsi, %rdx), %VEC(2)
917 VMOVU -VEC_SIZE(%rsi, %rdx), %VEC(3)