void ar_stride3_vmaxall_u8_neon(const uint8_t* a, uint32_t n, uint8_t* line_results) { uint8x16x3_t a_loaded; uint8x16_t line0_max = vdupq_n_u8(0); uint8x16_t line1_max = vdupq_n_u8(0); uint8x16_t line2_max = vdupq_n_u8(0); line_results[0] = 0; line_results[1] = 0; line_results[2] = 0; uint8_t line0_array[16]; uint8_t line1_array[16]; uint8_t line2_array[16]; for (uint32_t i = 0; i < n; i += 48) { a_loaded = vld3q_u8(&(a[i])); line0_max = vmaxq_u8(a_loaded.val[0], line0_max); line1_max = vmaxq_u8(a_loaded.val[1], line1_max); line2_max = vmaxq_u8(a_loaded.val[2], line2_max); } vst1q_u8(line0_array, line0_max); vst1q_u8(line1_array, line1_max); vst1q_u8(line2_array, line2_max); for (uint32_t i = 0; i < 16; i++) { line_results[0] = ar_max_u8(line_results[0], line0_array[i]); line_results[1] = ar_max_u8(line_results[1], line1_array[i]); line_results[2] = ar_max_u8(line_results[2], line2_array[i]); } }
void test_vmaxQu8 (void) { uint8x16_t out_uint8x16_t; uint8x16_t arg0_uint8x16_t; uint8x16_t arg1_uint8x16_t; out_uint8x16_t = vmaxq_u8 (arg0_uint8x16_t, arg1_uint8x16_t); }
void ar_vmax_u8_neon(uint8_t* res, const uint8_t* a, const uint8_t* b, uint32_t n) { uint8x16_t a_loaded; uint8x16_t b_loaded; uint8x16_t res_loaded; for (uint32_t i = 0; i < n; i += 16) { a_loaded = vld1q_u8(&(a[i])); b_loaded = vld1q_u8(&(b[i])); res_loaded = vmaxq_u8(a_loaded, b_loaded); vst1q_u8(&(res[i]),res_loaded); } }
uint8_t ar_vmaxall_u8_neon(const uint8_t* a, uint32_t n) { uint8x16_t a_loaded; uint8x16_t overall_max = vdupq_n_u8(0); uint8_t om_array[16]; uint8_t themax = 0; for (uint32_t i = 0; i < n; i += 16) { a_loaded = vld1q_u8(&(a[i])); overall_max = vmaxq_u8(a_loaded, overall_max); } vst1q_u8(om_array, overall_max); for (uint32_t i = 0; i < 16; i++) { themax = ar_max_u8(themax, om_array[i]); } return themax; }
template <bool align> SIMD_INLINE void EdgeBackgroundGrowRangeFast(const uint8_t * value, uint8_t * background) { const uint8x16_t _value = Load<align>(value); const uint8x16_t _background = Load<align>(background); Store<align>(background, vmaxq_u8(_background, _value)); }
inline uint8x16_t vmaxq(const uint8x16_t & v0, const uint8x16_t & v1) { return vmaxq_u8 (v0, v1); }
uint8x16_t test_vmaxq_u8 (uint8x16_t __a, uint8x16_t __b) { return vmaxq_u8(__a, __b); }
static INLINE void loop_filter_neon_16(uint8x16_t qblimit, // blimit uint8x16_t qlimit, // limit uint8x16_t qthresh, // thresh uint8x16_t q3, // p3 uint8x16_t q4, // p2 uint8x16_t q5, // p1 uint8x16_t q6, // p0 uint8x16_t q7, // q0 uint8x16_t q8, // q1 uint8x16_t q9, // q2 uint8x16_t q10, // q3 uint8x16_t *q5r, // p1 uint8x16_t *q6r, // p0 uint8x16_t *q7r, // q0 uint8x16_t *q8r) { // q1 uint8x16_t q1u8, q2u8, q11u8, q12u8, q13u8, q14u8, q15u8; int16x8_t q2s16, q11s16; uint16x8_t q4u16; int8x16_t q0s8, q1s8, q2s8, q11s8, q12s8, q13s8; int8x8_t d2s8, d3s8; q11u8 = vabdq_u8(q3, q4); q12u8 = vabdq_u8(q4, q5); q13u8 = vabdq_u8(q5, q6); q14u8 = vabdq_u8(q8, q7); q3 = vabdq_u8(q9, q8); q4 = vabdq_u8(q10, q9); q11u8 = vmaxq_u8(q11u8, q12u8); q12u8 = vmaxq_u8(q13u8, q14u8); q3 = vmaxq_u8(q3, q4); q15u8 = vmaxq_u8(q11u8, q12u8); q9 = vabdq_u8(q6, q7); // vp8_hevmask q13u8 = vcgtq_u8(q13u8, qthresh); q14u8 = vcgtq_u8(q14u8, qthresh); q15u8 = vmaxq_u8(q15u8, q3); q2u8 = vabdq_u8(q5, q8); q9 = vqaddq_u8(q9, q9); q15u8 = vcgeq_u8(qlimit, q15u8); // vp8_filter() function // convert to signed q10 = vdupq_n_u8(0x80); q8 = veorq_u8(q8, q10); q7 = veorq_u8(q7, q10); q6 = veorq_u8(q6, q10); q5 = veorq_u8(q5, q10); q2u8 = vshrq_n_u8(q2u8, 1); q9 = vqaddq_u8(q9, q2u8); q2s16 = vsubl_s8(vget_low_s8(vreinterpretq_s8_u8(q7)), vget_low_s8(vreinterpretq_s8_u8(q6))); q11s16 = vsubl_s8(vget_high_s8(vreinterpretq_s8_u8(q7)), vget_high_s8(vreinterpretq_s8_u8(q6))); q9 = vcgeq_u8(qblimit, q9); q1s8 = vqsubq_s8(vreinterpretq_s8_u8(q5), vreinterpretq_s8_u8(q8)); q14u8 = vorrq_u8(q13u8, q14u8); q4u16 = vdupq_n_u16(3); q2s16 = vmulq_s16(q2s16, vreinterpretq_s16_u16(q4u16)); q11s16 = vmulq_s16(q11s16, vreinterpretq_s16_u16(q4u16)); q1u8 = vandq_u8(vreinterpretq_u8_s8(q1s8), q14u8); q15u8 = vandq_u8(q15u8, q9); q1s8 = vreinterpretq_s8_u8(q1u8); q2s16 = vaddw_s8(q2s16, vget_low_s8(q1s8)); q11s16 = vaddw_s8(q11s16, vget_high_s8(q1s8)); q4 = vdupq_n_u8(3); q9 = vdupq_n_u8(4); // vp8_filter = clamp(vp8_filter + 3 * ( qs0 - ps0)) d2s8 = vqmovn_s16(q2s16); d3s8 = vqmovn_s16(q11s16); q1s8 = vcombine_s8(d2s8, d3s8); q1u8 = vandq_u8(vreinterpretq_u8_s8(q1s8), q15u8); q1s8 = vreinterpretq_s8_u8(q1u8); q2s8 = vqaddq_s8(q1s8, vreinterpretq_s8_u8(q4)); q1s8 = vqaddq_s8(q1s8, vreinterpretq_s8_u8(q9)); q2s8 = vshrq_n_s8(q2s8, 3); q1s8 = vshrq_n_s8(q1s8, 3); q11s8 = vqaddq_s8(vreinterpretq_s8_u8(q6), q2s8); q0s8 = vqsubq_s8(vreinterpretq_s8_u8(q7), q1s8); q1s8 = vrshrq_n_s8(q1s8, 1); q1s8 = vbicq_s8(q1s8, vreinterpretq_s8_u8(q14u8)); q13s8 = vqaddq_s8(vreinterpretq_s8_u8(q5), q1s8); q12s8 = vqsubq_s8(vreinterpretq_s8_u8(q8), q1s8); *q8r = veorq_u8(vreinterpretq_u8_s8(q12s8), q10); *q7r = veorq_u8(vreinterpretq_u8_s8(q0s8), q10); *q6r = veorq_u8(vreinterpretq_u8_s8(q11s8), q10); *q5r = veorq_u8(vreinterpretq_u8_s8(q13s8), q10); return; }
static INLINE void vp8_mbloop_filter_neon( uint8x16_t qblimit, // mblimit uint8x16_t qlimit, // limit uint8x16_t qthresh, // thresh uint8x16_t q3, // p2 uint8x16_t q4, // p2 uint8x16_t q5, // p1 uint8x16_t q6, // p0 uint8x16_t q7, // q0 uint8x16_t q8, // q1 uint8x16_t q9, // q2 uint8x16_t q10, // q3 uint8x16_t *q4r, // p1 uint8x16_t *q5r, // p1 uint8x16_t *q6r, // p0 uint8x16_t *q7r, // q0 uint8x16_t *q8r, // q1 uint8x16_t *q9r) { // q1 uint8x16_t q0u8, q1u8, q11u8, q12u8, q13u8, q14u8, q15u8; int16x8_t q0s16, q2s16, q11s16, q12s16, q13s16, q14s16, q15s16; int8x16_t q1s8, q6s8, q7s8, q2s8, q11s8, q13s8; uint16x8_t q0u16, q11u16, q12u16, q13u16, q14u16, q15u16; int8x16_t q0s8, q12s8, q14s8, q15s8; int8x8_t d0, d1, d2, d3, d4, d5, d24, d25, d28, d29; q11u8 = vabdq_u8(q3, q4); q12u8 = vabdq_u8(q4, q5); q13u8 = vabdq_u8(q5, q6); q14u8 = vabdq_u8(q8, q7); q1u8 = vabdq_u8(q9, q8); q0u8 = vabdq_u8(q10, q9); q11u8 = vmaxq_u8(q11u8, q12u8); q12u8 = vmaxq_u8(q13u8, q14u8); q1u8 = vmaxq_u8(q1u8, q0u8); q15u8 = vmaxq_u8(q11u8, q12u8); q12u8 = vabdq_u8(q6, q7); // vp8_hevmask q13u8 = vcgtq_u8(q13u8, qthresh); q14u8 = vcgtq_u8(q14u8, qthresh); q15u8 = vmaxq_u8(q15u8, q1u8); q15u8 = vcgeq_u8(qlimit, q15u8); q1u8 = vabdq_u8(q5, q8); q12u8 = vqaddq_u8(q12u8, q12u8); // vp8_filter() function // convert to signed q0u8 = vdupq_n_u8(0x80); q9 = veorq_u8(q9, q0u8); q8 = veorq_u8(q8, q0u8); q7 = veorq_u8(q7, q0u8); q6 = veorq_u8(q6, q0u8); q5 = veorq_u8(q5, q0u8); q4 = veorq_u8(q4, q0u8); q1u8 = vshrq_n_u8(q1u8, 1); q12u8 = vqaddq_u8(q12u8, q1u8); q14u8 = vorrq_u8(q13u8, q14u8); q12u8 = vcgeq_u8(qblimit, q12u8); q2s16 = vsubl_s8(vget_low_s8(vreinterpretq_s8_u8(q7)), vget_low_s8(vreinterpretq_s8_u8(q6))); q13s16 = vsubl_s8(vget_high_s8(vreinterpretq_s8_u8(q7)), vget_high_s8(vreinterpretq_s8_u8(q6))); q1s8 = vqsubq_s8(vreinterpretq_s8_u8(q5), vreinterpretq_s8_u8(q8)); q11s16 = vdupq_n_s16(3); q2s16 = vmulq_s16(q2s16, q11s16); q13s16 = vmulq_s16(q13s16, q11s16); q15u8 = vandq_u8(q15u8, q12u8); q2s16 = vaddw_s8(q2s16, vget_low_s8(q1s8)); q13s16 = vaddw_s8(q13s16, vget_high_s8(q1s8)); q12u8 = vdupq_n_u8(3); q11u8 = vdupq_n_u8(4); // vp8_filter = clamp(vp8_filter + 3 * ( qs0 - ps0)) d2 = vqmovn_s16(q2s16); d3 = vqmovn_s16(q13s16); q1s8 = vcombine_s8(d2, d3); q1s8 = vandq_s8(q1s8, vreinterpretq_s8_u8(q15u8)); q13s8 = vandq_s8(q1s8, vreinterpretq_s8_u8(q14u8)); q2s8 = vqaddq_s8(q13s8, vreinterpretq_s8_u8(q11u8)); q13s8 = vqaddq_s8(q13s8, vreinterpretq_s8_u8(q12u8)); q2s8 = vshrq_n_s8(q2s8, 3); q13s8 = vshrq_n_s8(q13s8, 3); q7s8 = vqsubq_s8(vreinterpretq_s8_u8(q7), q2s8); q6s8 = vqaddq_s8(vreinterpretq_s8_u8(q6), q13s8); q1s8 = vbicq_s8(q1s8, vreinterpretq_s8_u8(q14u8)); q0u16 = q11u16 = q12u16 = q13u16 = q14u16 = q15u16 = vdupq_n_u16(63); d5 = vdup_n_s8(9); d4 = vdup_n_s8(18); q0s16 = vmlal_s8(vreinterpretq_s16_u16(q0u16), vget_low_s8(q1s8), d5); q11s16 = vmlal_s8(vreinterpretq_s16_u16(q11u16), vget_high_s8(q1s8), d5); d5 = vdup_n_s8(27); q12s16 = vmlal_s8(vreinterpretq_s16_u16(q12u16), vget_low_s8(q1s8), d4); q13s16 = vmlal_s8(vreinterpretq_s16_u16(q13u16), vget_high_s8(q1s8), d4); q14s16 = vmlal_s8(vreinterpretq_s16_u16(q14u16), vget_low_s8(q1s8), d5); q15s16 = vmlal_s8(vreinterpretq_s16_u16(q15u16), vget_high_s8(q1s8), d5); d0 = vqshrn_n_s16(q0s16 , 7); d1 = vqshrn_n_s16(q11s16, 7); d24 = vqshrn_n_s16(q12s16, 7); d25 = vqshrn_n_s16(q13s16, 7); d28 = vqshrn_n_s16(q14s16, 7); d29 = vqshrn_n_s16(q15s16, 7); q0s8 = vcombine_s8(d0, d1); q12s8 = vcombine_s8(d24, d25); q14s8 = vcombine_s8(d28, d29); q11s8 = vqsubq_s8(vreinterpretq_s8_u8(q9), q0s8); q0s8 = vqaddq_s8(vreinterpretq_s8_u8(q4), q0s8); q13s8 = vqsubq_s8(vreinterpretq_s8_u8(q8), q12s8); q12s8 = vqaddq_s8(vreinterpretq_s8_u8(q5), q12s8); q15s8 = vqsubq_s8((q7s8), q14s8); q14s8 = vqaddq_s8((q6s8), q14s8); q1u8 = vdupq_n_u8(0x80); *q9r = veorq_u8(vreinterpretq_u8_s8(q11s8), q1u8); *q8r = veorq_u8(vreinterpretq_u8_s8(q13s8), q1u8); *q7r = veorq_u8(vreinterpretq_u8_s8(q15s8), q1u8); *q6r = veorq_u8(vreinterpretq_u8_s8(q14s8), q1u8); *q5r = veorq_u8(vreinterpretq_u8_s8(q12s8), q1u8); *q4r = veorq_u8(vreinterpretq_u8_s8(q0s8), q1u8); return; }