static uint32_t EXTRACT4 (value4_t v, int index)
{
switch (index) {
case 0:
return FIRST4 (v);
case 1:
return FIRST4 (__builtin_ia32_pshufd (v, 0x55));
case 2:
return FIRST4 (__builtin_ia32_pshufd (v, 0xAA));
case 3:
return FIRST4 (__builtin_ia32_pshufd (v, 0xFF));
default:
abort();
}
}
static INLINE uint32_t EXTRACT (value_t v, int idx)
{
if (__builtin_constant_p (idx) && idx == 0)
return FIRST (v);
switch (idx) {
case 0:
return FIRST (v);
case 1:
return FIRST (__builtin_ia32_pshufd (v, 0x55));
case 2:
return FIRST (__builtin_ia32_pshufd (v, 0xaa));
case 3:
return FIRST (__builtin_ia32_pshufd (v, 0xff));
}
abort();
}
void f0() {
signed char tmp_c;
// unsigned char tmp_Uc;
signed short tmp_s;
#ifdef USE_ALL
unsigned short tmp_Us;
#endif
signed int tmp_i;
unsigned int tmp_Ui;
signed long long tmp_LLi;
// unsigned long long tmp_ULLi;
float tmp_f;
double tmp_d;
void* tmp_vp;
const void* tmp_vCp;
char* tmp_cp;
const char* tmp_cCp;
int* tmp_ip;
float* tmp_fp;
const float* tmp_fCp;
double* tmp_dp;
const double* tmp_dCp;
#define imm_i 32
#define imm_i_0_2 0
#define imm_i_0_4 3
#define imm_i_0_8 7
#define imm_i_0_16 15
// Check this.
#define imm_i_0_256 0
V2i* tmp_V2ip;
V1LLi* tmp_V1LLip;
V2LLi* tmp_V2LLip;
// 64-bit
V8c tmp_V8c;
V4s tmp_V4s;
V2i tmp_V2i;
V1LLi tmp_V1LLi;
#ifdef USE_3DNOW
V2f tmp_V2f;
#endif
// 128-bit
V16c tmp_V16c;
V8s tmp_V8s;
V4i tmp_V4i;
V2LLi tmp_V2LLi;
V4f tmp_V4f;
V2d tmp_V2d;
tmp_i = __builtin_ia32_comieq(tmp_V4f, tmp_V4f);
tmp_i = __builtin_ia32_comilt(tmp_V4f, tmp_V4f);
tmp_i = __builtin_ia32_comile(tmp_V4f, tmp_V4f);
tmp_i = __builtin_ia32_comigt(tmp_V4f, tmp_V4f);
tmp_i = __builtin_ia32_comige(tmp_V4f, tmp_V4f);
tmp_i = __builtin_ia32_comineq(tmp_V4f, tmp_V4f);
tmp_i = __builtin_ia32_ucomieq(tmp_V4f, tmp_V4f);
tmp_i = __builtin_ia32_ucomilt(tmp_V4f, tmp_V4f);
tmp_i = __builtin_ia32_ucomile(tmp_V4f, tmp_V4f);
tmp_i = __builtin_ia32_ucomigt(tmp_V4f, tmp_V4f);
tmp_i = __builtin_ia32_ucomige(tmp_V4f, tmp_V4f);
tmp_i = __builtin_ia32_ucomineq(tmp_V4f, tmp_V4f);
tmp_i = __builtin_ia32_comisdeq(tmp_V2d, tmp_V2d);
tmp_i = __builtin_ia32_comisdlt(tmp_V2d, tmp_V2d);
tmp_i = __builtin_ia32_comisdle(tmp_V2d, tmp_V2d);
tmp_i = __builtin_ia32_comisdgt(tmp_V2d, tmp_V2d);
tmp_i = __builtin_ia32_comisdge(tmp_V2d, tmp_V2d);
tmp_i = __builtin_ia32_comisdneq(tmp_V2d, tmp_V2d);
tmp_i = __builtin_ia32_ucomisdeq(tmp_V2d, tmp_V2d);
tmp_i = __builtin_ia32_ucomisdlt(tmp_V2d, tmp_V2d);
tmp_i = __builtin_ia32_ucomisdle(tmp_V2d, tmp_V2d);
tmp_i = __builtin_ia32_ucomisdgt(tmp_V2d, tmp_V2d);
tmp_i = __builtin_ia32_ucomisdge(tmp_V2d, tmp_V2d);
tmp_i = __builtin_ia32_ucomisdneq(tmp_V2d, tmp_V2d);
tmp_V4f = __builtin_ia32_addps(tmp_V4f, tmp_V4f);
tmp_V4f = __builtin_ia32_subps(tmp_V4f, tmp_V4f);
tmp_V4f = __builtin_ia32_mulps(tmp_V4f, tmp_V4f);
tmp_V4f = __builtin_ia32_divps(tmp_V4f, tmp_V4f);
tmp_V4f = __builtin_ia32_addss(tmp_V4f, tmp_V4f);
tmp_V4f = __builtin_ia32_subss(tmp_V4f, tmp_V4f);
tmp_V4f = __builtin_ia32_mulss(tmp_V4f, tmp_V4f);
tmp_V4f = __builtin_ia32_divss(tmp_V4f, tmp_V4f);
tmp_V4f = __builtin_ia32_cmpps(tmp_V4f, tmp_V4f, 0);
tmp_V4f = __builtin_ia32_cmpps(tmp_V4f, tmp_V4f, 1);
tmp_V4f = __builtin_ia32_cmpps(tmp_V4f, tmp_V4f, 2);
tmp_V4f = __builtin_ia32_cmpps(tmp_V4f, tmp_V4f, 3);
tmp_V4f = __builtin_ia32_cmpps(tmp_V4f, tmp_V4f, 4);
tmp_V4f = __builtin_ia32_cmpps(tmp_V4f, tmp_V4f, 5);
tmp_V4f = __builtin_ia32_cmpps(tmp_V4f, tmp_V4f, 6);
tmp_V4f = __builtin_ia32_cmpps(tmp_V4f, tmp_V4f, 7);
tmp_V4f = __builtin_ia32_cmpss(tmp_V4f, tmp_V4f, 0);
tmp_V4f = __builtin_ia32_cmpss(tmp_V4f, tmp_V4f, 1);
tmp_V4f = __builtin_ia32_cmpss(tmp_V4f, tmp_V4f, 2);
tmp_V4f = __builtin_ia32_cmpss(tmp_V4f, tmp_V4f, 3);
tmp_V4f = __builtin_ia32_cmpss(tmp_V4f, tmp_V4f, 4);
tmp_V4f = __builtin_ia32_cmpss(tmp_V4f, tmp_V4f, 5);
tmp_V4f = __builtin_ia32_cmpss(tmp_V4f, tmp_V4f, 6);
tmp_V4f = __builtin_ia32_cmpss(tmp_V4f, tmp_V4f, 7);
tmp_V4f = __builtin_ia32_minps(tmp_V4f, tmp_V4f);
tmp_V4f = __builtin_ia32_maxps(tmp_V4f, tmp_V4f);
tmp_V4f = __builtin_ia32_minss(tmp_V4f, tmp_V4f);
tmp_V4f = __builtin_ia32_maxss(tmp_V4f, tmp_V4f);
tmp_V4f = __builtin_ia32_andps(tmp_V4f, tmp_V4f);
tmp_V4f = __builtin_ia32_andnps(tmp_V4f, tmp_V4f);
tmp_V4f = __builtin_ia32_orps(tmp_V4f, tmp_V4f);
tmp_V4f = __builtin_ia32_xorps(tmp_V4f, tmp_V4f);
tmp_V4f = __builtin_ia32_movss(tmp_V4f, tmp_V4f);
tmp_V4f = __builtin_ia32_movhlps(tmp_V4f, tmp_V4f);
tmp_V4f = __builtin_ia32_movlhps(tmp_V4f, tmp_V4f);
tmp_V4f = __builtin_ia32_unpckhps(tmp_V4f, tmp_V4f);
tmp_V4f = __builtin_ia32_unpcklps(tmp_V4f, tmp_V4f);
tmp_V8c = __builtin_ia32_paddb(tmp_V8c, tmp_V8c);
tmp_V4s = __builtin_ia32_paddw(tmp_V4s, tmp_V4s);
tmp_V2i = __builtin_ia32_paddd(tmp_V2i, tmp_V2i);
tmp_V1LLi = __builtin_ia32_paddq(tmp_V1LLi, tmp_V1LLi);
tmp_V8c = __builtin_ia32_psubb(tmp_V8c, tmp_V8c);
tmp_V4s = __builtin_ia32_psubw(tmp_V4s, tmp_V4s);
tmp_V2i = __builtin_ia32_psubd(tmp_V2i, tmp_V2i);
tmp_V1LLi = __builtin_ia32_psubq(tmp_V1LLi, tmp_V1LLi);
tmp_V8c = __builtin_ia32_paddsb(tmp_V8c, tmp_V8c);
tmp_V4s = __builtin_ia32_paddsw(tmp_V4s, tmp_V4s);
tmp_V8c = __builtin_ia32_psubsb(tmp_V8c, tmp_V8c);
tmp_V4s = __builtin_ia32_psubsw(tmp_V4s, tmp_V4s);
tmp_V8c = __builtin_ia32_paddusb(tmp_V8c, tmp_V8c);
tmp_V4s = __builtin_ia32_paddusw(tmp_V4s, tmp_V4s);
tmp_V8c = __builtin_ia32_psubusb(tmp_V8c, tmp_V8c);
tmp_V4s = __builtin_ia32_psubusw(tmp_V4s, tmp_V4s);
tmp_V4s = __builtin_ia32_pmullw(tmp_V4s, tmp_V4s);
tmp_V4s = __builtin_ia32_pmulhw(tmp_V4s, tmp_V4s);
tmp_V4s = __builtin_ia32_pmulhuw(tmp_V4s, tmp_V4s);
tmp_V1LLi = __builtin_ia32_pand(tmp_V1LLi, tmp_V1LLi);
tmp_V1LLi = __builtin_ia32_pandn(tmp_V1LLi, tmp_V1LLi);
tmp_V1LLi = __builtin_ia32_por(tmp_V1LLi, tmp_V1LLi);
tmp_V1LLi = __builtin_ia32_pxor(tmp_V1LLi, tmp_V1LLi);
tmp_V8c = __builtin_ia32_pavgb(tmp_V8c, tmp_V8c);
tmp_V4s = __builtin_ia32_pavgw(tmp_V4s, tmp_V4s);
tmp_V8c = __builtin_ia32_pcmpeqb(tmp_V8c, tmp_V8c);
tmp_V4s = __builtin_ia32_pcmpeqw(tmp_V4s, tmp_V4s);
tmp_V2i = __builtin_ia32_pcmpeqd(tmp_V2i, tmp_V2i);
tmp_V8c = __builtin_ia32_pcmpgtb(tmp_V8c, tmp_V8c);
tmp_V4s = __builtin_ia32_pcmpgtw(tmp_V4s, tmp_V4s);
tmp_V2i = __builtin_ia32_pcmpgtd(tmp_V2i, tmp_V2i);
tmp_V8c = __builtin_ia32_pmaxub(tmp_V8c, tmp_V8c);
tmp_V4s = __builtin_ia32_pmaxsw(tmp_V4s, tmp_V4s);
tmp_V8c = __builtin_ia32_pminub(tmp_V8c, tmp_V8c);
tmp_V4s = __builtin_ia32_pminsw(tmp_V4s, tmp_V4s);
tmp_V8c = __builtin_ia32_punpckhbw(tmp_V8c, tmp_V8c);
tmp_V4s = __builtin_ia32_punpckhwd(tmp_V4s, tmp_V4s);
tmp_V2i = __builtin_ia32_punpckhdq(tmp_V2i, tmp_V2i);
tmp_V8c = __builtin_ia32_punpcklbw(tmp_V8c, tmp_V8c);
tmp_V4s = __builtin_ia32_punpcklwd(tmp_V4s, tmp_V4s);
tmp_V2i = __builtin_ia32_punpckldq(tmp_V2i, tmp_V2i);
tmp_V2d = __builtin_ia32_addpd(tmp_V2d, tmp_V2d);
tmp_V2d = __builtin_ia32_subpd(tmp_V2d, tmp_V2d);
tmp_V2d = __builtin_ia32_mulpd(tmp_V2d, tmp_V2d);
tmp_V2d = __builtin_ia32_divpd(tmp_V2d, tmp_V2d);
tmp_V2d = __builtin_ia32_addsd(tmp_V2d, tmp_V2d);
tmp_V2d = __builtin_ia32_subsd(tmp_V2d, tmp_V2d);
tmp_V2d = __builtin_ia32_mulsd(tmp_V2d, tmp_V2d);
tmp_V2d = __builtin_ia32_divsd(tmp_V2d, tmp_V2d);
tmp_V2d = __builtin_ia32_cmppd(tmp_V2d, tmp_V2d, 0);
tmp_V2d = __builtin_ia32_cmppd(tmp_V2d, tmp_V2d, 1);
tmp_V2d = __builtin_ia32_cmppd(tmp_V2d, tmp_V2d, 2);
tmp_V2d = __builtin_ia32_cmppd(tmp_V2d, tmp_V2d, 3);
tmp_V2d = __builtin_ia32_cmppd(tmp_V2d, tmp_V2d, 4);
tmp_V2d = __builtin_ia32_cmppd(tmp_V2d, tmp_V2d, 5);
tmp_V2d = __builtin_ia32_cmppd(tmp_V2d, tmp_V2d, 6);
tmp_V2d = __builtin_ia32_cmppd(tmp_V2d, tmp_V2d, 7);
tmp_V2d = __builtin_ia32_cmpsd(tmp_V2d, tmp_V2d, 0);
tmp_V2d = __builtin_ia32_cmpsd(tmp_V2d, tmp_V2d, 1);
tmp_V2d = __builtin_ia32_cmpsd(tmp_V2d, tmp_V2d, 2);
tmp_V2d = __builtin_ia32_cmpsd(tmp_V2d, tmp_V2d, 3);
tmp_V2d = __builtin_ia32_cmpsd(tmp_V2d, tmp_V2d, 4);
tmp_V2d = __builtin_ia32_cmpsd(tmp_V2d, tmp_V2d, 5);
tmp_V2d = __builtin_ia32_cmpsd(tmp_V2d, tmp_V2d, 6);
tmp_V2d = __builtin_ia32_cmpsd(tmp_V2d, tmp_V2d, 7);
tmp_V2d = __builtin_ia32_minpd(tmp_V2d, tmp_V2d);
tmp_V2d = __builtin_ia32_maxpd(tmp_V2d, tmp_V2d);
tmp_V2d = __builtin_ia32_minsd(tmp_V2d, tmp_V2d);
tmp_V2d = __builtin_ia32_maxsd(tmp_V2d, tmp_V2d);
tmp_V2d = __builtin_ia32_andpd(tmp_V2d, tmp_V2d);
tmp_V2d = __builtin_ia32_andnpd(tmp_V2d, tmp_V2d);
tmp_V2d = __builtin_ia32_orpd(tmp_V2d, tmp_V2d);
tmp_V2d = __builtin_ia32_xorpd(tmp_V2d, tmp_V2d);
tmp_V2d = __builtin_ia32_movsd(tmp_V2d, tmp_V2d);
tmp_V2d = __builtin_ia32_unpckhpd(tmp_V2d, tmp_V2d);
tmp_V2d = __builtin_ia32_unpcklpd(tmp_V2d, tmp_V2d);
tmp_V16c = __builtin_ia32_paddb128(tmp_V16c, tmp_V16c);
tmp_V8s = __builtin_ia32_paddw128(tmp_V8s, tmp_V8s);
tmp_V4i = __builtin_ia32_paddd128(tmp_V4i, tmp_V4i);
tmp_V2LLi = __builtin_ia32_paddq128(tmp_V2LLi, tmp_V2LLi);
tmp_V16c = __builtin_ia32_psubb128(tmp_V16c, tmp_V16c);
tmp_V8s = __builtin_ia32_psubw128(tmp_V8s, tmp_V8s);
tmp_V4i = __builtin_ia32_psubd128(tmp_V4i, tmp_V4i);
tmp_V2LLi = __builtin_ia32_psubq128(tmp_V2LLi, tmp_V2LLi);
tmp_V16c = __builtin_ia32_paddsb128(tmp_V16c, tmp_V16c);
tmp_V8s = __builtin_ia32_paddsw128(tmp_V8s, tmp_V8s);
tmp_V16c = __builtin_ia32_psubsb128(tmp_V16c, tmp_V16c);
tmp_V8s = __builtin_ia32_psubsw128(tmp_V8s, tmp_V8s);
tmp_V16c = __builtin_ia32_paddusb128(tmp_V16c, tmp_V16c);
tmp_V8s = __builtin_ia32_paddusw128(tmp_V8s, tmp_V8s);
tmp_V16c = __builtin_ia32_psubusb128(tmp_V16c, tmp_V16c);
tmp_V8s = __builtin_ia32_psubusw128(tmp_V8s, tmp_V8s);
tmp_V8s = __builtin_ia32_pmullw128(tmp_V8s, tmp_V8s);
tmp_V8s = __builtin_ia32_pmulhw128(tmp_V8s, tmp_V8s);
tmp_V2LLi = __builtin_ia32_pand128(tmp_V2LLi, tmp_V2LLi);
tmp_V2LLi = __builtin_ia32_pandn128(tmp_V2LLi, tmp_V2LLi);
tmp_V2LLi = __builtin_ia32_por128(tmp_V2LLi, tmp_V2LLi);
tmp_V2LLi = __builtin_ia32_pxor128(tmp_V2LLi, tmp_V2LLi);
tmp_V16c = __builtin_ia32_pavgb128(tmp_V16c, tmp_V16c);
tmp_V8s = __builtin_ia32_pavgw128(tmp_V8s, tmp_V8s);
tmp_V16c = __builtin_ia32_pcmpeqb128(tmp_V16c, tmp_V16c);
tmp_V8s = __builtin_ia32_pcmpeqw128(tmp_V8s, tmp_V8s);
tmp_V4i = __builtin_ia32_pcmpeqd128(tmp_V4i, tmp_V4i);
tmp_V16c = __builtin_ia32_pcmpgtb128(tmp_V16c, tmp_V16c);
tmp_V8s = __builtin_ia32_pcmpgtw128(tmp_V8s, tmp_V8s);
tmp_V4i = __builtin_ia32_pcmpgtd128(tmp_V4i, tmp_V4i);
tmp_V16c = __builtin_ia32_pmaxub128(tmp_V16c, tmp_V16c);
tmp_V8s = __builtin_ia32_pmaxsw128(tmp_V8s, tmp_V8s);
tmp_V16c = __builtin_ia32_pminub128(tmp_V16c, tmp_V16c);
tmp_V8s = __builtin_ia32_pminsw128(tmp_V8s, tmp_V8s);
tmp_V16c = __builtin_ia32_punpckhbw128(tmp_V16c, tmp_V16c);
tmp_V8s = __builtin_ia32_punpckhwd128(tmp_V8s, tmp_V8s);
tmp_V4i = __builtin_ia32_punpckhdq128(tmp_V4i, tmp_V4i);
tmp_V2LLi = __builtin_ia32_punpckhqdq128(tmp_V2LLi, tmp_V2LLi);
tmp_V16c = __builtin_ia32_punpcklbw128(tmp_V16c, tmp_V16c);
tmp_V8s = __builtin_ia32_punpcklwd128(tmp_V8s, tmp_V8s);
tmp_V4i = __builtin_ia32_punpckldq128(tmp_V4i, tmp_V4i);
tmp_V2LLi = __builtin_ia32_punpcklqdq128(tmp_V2LLi, tmp_V2LLi);
tmp_V8s = __builtin_ia32_packsswb128(tmp_V8s, tmp_V8s);
tmp_V4i = __builtin_ia32_packssdw128(tmp_V4i, tmp_V4i);
tmp_V8s = __builtin_ia32_packuswb128(tmp_V8s, tmp_V8s);
tmp_V8s = __builtin_ia32_pmulhuw128(tmp_V8s, tmp_V8s);
tmp_V4f = __builtin_ia32_addsubps(tmp_V4f, tmp_V4f);
tmp_V2d = __builtin_ia32_addsubpd(tmp_V2d, tmp_V2d);
tmp_V4f = __builtin_ia32_haddps(tmp_V4f, tmp_V4f);
tmp_V2d = __builtin_ia32_haddpd(tmp_V2d, tmp_V2d);
tmp_V4f = __builtin_ia32_hsubps(tmp_V4f, tmp_V4f);
tmp_V2d = __builtin_ia32_hsubpd(tmp_V2d, tmp_V2d);
tmp_V8s = __builtin_ia32_phaddw128(tmp_V8s, tmp_V8s);
tmp_V4s = __builtin_ia32_phaddw(tmp_V4s, tmp_V4s);
tmp_V4i = __builtin_ia32_phaddd128(tmp_V4i, tmp_V4i);
tmp_V2i = __builtin_ia32_phaddd(tmp_V2i, tmp_V2i);
tmp_V8s = __builtin_ia32_phaddsw128(tmp_V8s, tmp_V8s);
tmp_V4s = __builtin_ia32_phaddsw(tmp_V4s, tmp_V4s);
tmp_V8s = __builtin_ia32_phsubw128(tmp_V8s, tmp_V8s);
tmp_V4s = __builtin_ia32_phsubw(tmp_V4s, tmp_V4s);
tmp_V4i = __builtin_ia32_phsubd128(tmp_V4i, tmp_V4i);
tmp_V2i = __builtin_ia32_phsubd(tmp_V2i, tmp_V2i);
tmp_V8s = __builtin_ia32_phsubsw128(tmp_V8s, tmp_V8s);
tmp_V4s = __builtin_ia32_phsubsw(tmp_V4s, tmp_V4s);
tmp_V16c = __builtin_ia32_pmaddubsw128(tmp_V16c, tmp_V16c);
tmp_V8c = __builtin_ia32_pmaddubsw(tmp_V8c, tmp_V8c);
tmp_V8s = __builtin_ia32_pmulhrsw128(tmp_V8s, tmp_V8s);
tmp_V4s = __builtin_ia32_pmulhrsw(tmp_V4s, tmp_V4s);
tmp_V16c = __builtin_ia32_pshufb128(tmp_V16c, tmp_V16c);
tmp_V8c = __builtin_ia32_pshufb(tmp_V8c, tmp_V8c);
tmp_V16c = __builtin_ia32_psignb128(tmp_V16c, tmp_V16c);
tmp_V8c = __builtin_ia32_psignb(tmp_V8c, tmp_V8c);
tmp_V8s = __builtin_ia32_psignw128(tmp_V8s, tmp_V8s);
tmp_V4s = __builtin_ia32_psignw(tmp_V4s, tmp_V4s);
tmp_V4i = __builtin_ia32_psignd128(tmp_V4i, tmp_V4i);
tmp_V2i = __builtin_ia32_psignd(tmp_V2i, tmp_V2i);
tmp_V16c = __builtin_ia32_pabsb128(tmp_V16c);
tmp_V8c = __builtin_ia32_pabsb(tmp_V8c);
tmp_V8s = __builtin_ia32_pabsw128(tmp_V8s);
tmp_V4s = __builtin_ia32_pabsw(tmp_V4s);
tmp_V4i = __builtin_ia32_pabsd128(tmp_V4i);
tmp_V2i = __builtin_ia32_pabsd(tmp_V2i);
tmp_V4s = __builtin_ia32_psllw(tmp_V4s, tmp_V1LLi);
tmp_V2i = __builtin_ia32_pslld(tmp_V2i, tmp_V1LLi);
tmp_V1LLi = __builtin_ia32_psllq(tmp_V1LLi, tmp_V1LLi);
tmp_V4s = __builtin_ia32_psrlw(tmp_V4s, tmp_V1LLi);
tmp_V2i = __builtin_ia32_psrld(tmp_V2i, tmp_V1LLi);
tmp_V1LLi = __builtin_ia32_psrlq(tmp_V1LLi, tmp_V1LLi);
tmp_V4s = __builtin_ia32_psraw(tmp_V4s, tmp_V1LLi);
tmp_V2i = __builtin_ia32_psrad(tmp_V2i, tmp_V1LLi);
#ifdef USE_ALL
tmp_V4s = __builtin_ia32_pshufw(tmp_V4s, imm_i);
#endif
tmp_V2i = __builtin_ia32_pmaddwd(tmp_V4s, tmp_V4s);
tmp_V8c = __builtin_ia32_packsswb(tmp_V4s, tmp_V4s);
tmp_V4s = __builtin_ia32_packssdw(tmp_V2i, tmp_V2i);
tmp_V8c = __builtin_ia32_packuswb(tmp_V4s, tmp_V4s);
(void) __builtin_ia32_ldmxcsr(tmp_Ui);
tmp_Ui = __builtin_ia32_stmxcsr();
tmp_V4f = __builtin_ia32_cvtpi2ps(tmp_V4f, tmp_V2i);
tmp_V2i = __builtin_ia32_cvtps2pi(tmp_V4f);
tmp_V4f = __builtin_ia32_cvtsi2ss(tmp_V4f, tmp_i);
#ifdef USE_64
tmp_V4f = __builtin_ia32_cvtsi642ss(tmp_V4f, tmp_LLi);
#endif
tmp_i = __builtin_ia32_cvtss2si(tmp_V4f);
#ifdef USE_64
tmp_LLi = __builtin_ia32_cvtss2si64(tmp_V4f);
#endif
tmp_V2i = __builtin_ia32_cvttps2pi(tmp_V4f);
tmp_i = __builtin_ia32_cvttss2si(tmp_V4f);
#ifdef USE_64
tmp_LLi = __builtin_ia32_cvttss2si64(tmp_V4f);
#endif
(void) __builtin_ia32_maskmovq(tmp_V8c, tmp_V8c, tmp_cp);
tmp_V4f = __builtin_ia32_loadups(tmp_fCp);
(void) __builtin_ia32_storeups(tmp_fp, tmp_V4f);
tmp_V4f = __builtin_ia32_loadhps(tmp_V4f, tmp_V2ip);
tmp_V4f = __builtin_ia32_loadlps(tmp_V4f, tmp_V2ip);
(void) __builtin_ia32_storehps(tmp_V2ip, tmp_V4f);
(void) __builtin_ia32_storelps(tmp_V2ip, tmp_V4f);
tmp_i = __builtin_ia32_movmskps(tmp_V4f);
tmp_i = __builtin_ia32_pmovmskb(tmp_V8c);
(void) __builtin_ia32_movntps(tmp_fp, tmp_V4f);
(void) __builtin_ia32_movntq(tmp_V1LLip, tmp_V1LLi);
(void) __builtin_ia32_sfence();
tmp_V4s = __builtin_ia32_psadbw(tmp_V8c, tmp_V8c);
tmp_V4f = __builtin_ia32_rcpps(tmp_V4f);
tmp_V4f = __builtin_ia32_rcpss(tmp_V4f);
tmp_V4f = __builtin_ia32_rsqrtps(tmp_V4f);
tmp_V4f = __builtin_ia32_rsqrtss(tmp_V4f);
tmp_V4f = __builtin_ia32_sqrtps(tmp_V4f);
tmp_V4f = __builtin_ia32_sqrtss(tmp_V4f);
tmp_V4f = __builtin_ia32_shufps(tmp_V4f, tmp_V4f, imm_i);
#ifdef USE_3DNOW
(void) __builtin_ia32_femms();
tmp_V8c = __builtin_ia32_pavgusb(tmp_V8c, tmp_V8c);
tmp_V2i = __builtin_ia32_pf2id(tmp_V2f);
tmp_V2f = __builtin_ia32_pfacc(tmp_V2f, tmp_V2f);
tmp_V2f = __builtin_ia32_pfadd(tmp_V2f, tmp_V2f);
tmp_V2i = __builtin_ia32_pfcmpeq(tmp_V2f, tmp_V2f);
tmp_V2i = __builtin_ia32_pfcmpge(tmp_V2f, tmp_V2f);
tmp_V2i = __builtin_ia32_pfcmpgt(tmp_V2f, tmp_V2f);
tmp_V2f = __builtin_ia32_pfmax(tmp_V2f, tmp_V2f);
tmp_V2f = __builtin_ia32_pfmin(tmp_V2f, tmp_V2f);
tmp_V2f = __builtin_ia32_pfmul(tmp_V2f, tmp_V2f);
tmp_V2f = __builtin_ia32_pfrcp(tmp_V2f);
tmp_V2f = __builtin_ia32_pfrcpit1(tmp_V2f, tmp_V2f);
tmp_V2f = __builtin_ia32_pfrcpit2(tmp_V2f, tmp_V2f);
tmp_V2f = __builtin_ia32_pfrsqrt(tmp_V2f);
tmp_V2f = __builtin_ia32_pfrsqit1(tmp_V2f, tmp_V2f);
tmp_V2f = __builtin_ia32_pfsub(tmp_V2f, tmp_V2f);
tmp_V2f = __builtin_ia32_pfsubr(tmp_V2f, tmp_V2f);
tmp_V2f = __builtin_ia32_pi2fd(tmp_V2i);
tmp_V4s = __builtin_ia32_pmulhrw(tmp_V4s, tmp_V4s);
#endif
#ifdef USE_3DNOWA
tmp_V2i = __builtin_ia32_pf2iw(tmp_V2f);
tmp_V2f = __builtin_ia32_pfnacc(tmp_V2f, tmp_V2f);
tmp_V2f = __builtin_ia32_pfpnacc(tmp_V2f, tmp_V2f);
tmp_V2f = __builtin_ia32_pi2fw(tmp_V2i);
tmp_V2f = __builtin_ia32_pswapdsf(tmp_V2f);
tmp_V2i = __builtin_ia32_pswapdsi(tmp_V2i);
#endif
(void) __builtin_ia32_maskmovdqu(tmp_V16c, tmp_V16c, tmp_cp);
tmp_V2d = __builtin_ia32_loadupd(tmp_dCp);
(void) __builtin_ia32_storeupd(tmp_dp, tmp_V2d);
tmp_V2d = __builtin_ia32_loadhpd(tmp_V2d, tmp_dCp);
tmp_V2d = __builtin_ia32_loadlpd(tmp_V2d, tmp_dCp);
tmp_i = __builtin_ia32_movmskpd(tmp_V2d);
tmp_i = __builtin_ia32_pmovmskb128(tmp_V16c);
(void) __builtin_ia32_movnti(tmp_ip, tmp_i);
(void) __builtin_ia32_movntpd(tmp_dp, tmp_V2d);
(void) __builtin_ia32_movntdq(tmp_V2LLip, tmp_V2LLi);
tmp_V4i = __builtin_ia32_pshufd(tmp_V4i, imm_i);
tmp_V8s = __builtin_ia32_pshuflw(tmp_V8s, imm_i);
tmp_V8s = __builtin_ia32_pshufhw(tmp_V8s, imm_i);
tmp_V2LLi = __builtin_ia32_psadbw128(tmp_V16c, tmp_V16c);
tmp_V2d = __builtin_ia32_sqrtpd(tmp_V2d);
tmp_V2d = __builtin_ia32_sqrtsd(tmp_V2d);
tmp_V2d = __builtin_ia32_shufpd(tmp_V2d, tmp_V2d, imm_i);
tmp_V2d = __builtin_ia32_cvtdq2pd(tmp_V4i);
tmp_V4f = __builtin_ia32_cvtdq2ps(tmp_V4i);
tmp_V2LLi = __builtin_ia32_cvtpd2dq(tmp_V2d);
tmp_V2i = __builtin_ia32_cvtpd2pi(tmp_V2d);
tmp_V4f = __builtin_ia32_cvtpd2ps(tmp_V2d);
tmp_V4i = __builtin_ia32_cvttpd2dq(tmp_V2d);
tmp_V2i = __builtin_ia32_cvttpd2pi(tmp_V2d);
tmp_V2d = __builtin_ia32_cvtpi2pd(tmp_V2i);
tmp_i = __builtin_ia32_cvtsd2si(tmp_V2d);
tmp_i = __builtin_ia32_cvttsd2si(tmp_V2d);
#ifdef USE_64
tmp_LLi = __builtin_ia32_cvtsd2si64(tmp_V2d);
tmp_LLi = __builtin_ia32_cvttsd2si64(tmp_V2d);
#endif
tmp_V4i = __builtin_ia32_cvtps2dq(tmp_V4f);
tmp_V2d = __builtin_ia32_cvtps2pd(tmp_V4f);
tmp_V4i = __builtin_ia32_cvttps2dq(tmp_V4f);
tmp_V2d = __builtin_ia32_cvtsi2sd(tmp_V2d, tmp_i);
#ifdef USE_64
tmp_V2d = __builtin_ia32_cvtsi642sd(tmp_V2d, tmp_LLi);
#endif
tmp_V4f = __builtin_ia32_cvtsd2ss(tmp_V4f, tmp_V2d);
tmp_V2d = __builtin_ia32_cvtss2sd(tmp_V2d, tmp_V4f);
(void) __builtin_ia32_clflush(tmp_vCp);
(void) __builtin_ia32_lfence();
(void) __builtin_ia32_mfence();
tmp_V16c = __builtin_ia32_loaddqu(tmp_cCp);
(void) __builtin_ia32_storedqu(tmp_cp, tmp_V16c);
tmp_V4s = __builtin_ia32_psllwi(tmp_V4s, tmp_i);
tmp_V2i = __builtin_ia32_pslldi(tmp_V2i, tmp_i);
tmp_V1LLi = __builtin_ia32_psllqi(tmp_V1LLi, tmp_i);
tmp_V4s = __builtin_ia32_psrawi(tmp_V4s, tmp_i);
tmp_V2i = __builtin_ia32_psradi(tmp_V2i, tmp_i);
tmp_V4s = __builtin_ia32_psrlwi(tmp_V4s, tmp_i);
tmp_V2i = __builtin_ia32_psrldi(tmp_V2i, tmp_i);
tmp_V1LLi = __builtin_ia32_psrlqi(tmp_V1LLi, tmp_i);
tmp_V1LLi = __builtin_ia32_pmuludq(tmp_V2i, tmp_V2i);
tmp_V2LLi = __builtin_ia32_pmuludq128(tmp_V4i, tmp_V4i);
tmp_V8s = __builtin_ia32_psraw128(tmp_V8s, tmp_V8s);
tmp_V4i = __builtin_ia32_psrad128(tmp_V4i, tmp_V4i);
tmp_V8s = __builtin_ia32_psrlw128(tmp_V8s, tmp_V8s);
tmp_V4i = __builtin_ia32_psrld128(tmp_V4i, tmp_V4i);
tmp_V2LLi = __builtin_ia32_psrlq128(tmp_V2LLi, tmp_V2LLi);
tmp_V8s = __builtin_ia32_psllw128(tmp_V8s, tmp_V8s);
tmp_V4i = __builtin_ia32_pslld128(tmp_V4i, tmp_V4i);
tmp_V2LLi = __builtin_ia32_psllq128(tmp_V2LLi, tmp_V2LLi);
tmp_V8s = __builtin_ia32_psllwi128(tmp_V8s, tmp_i);
tmp_V4i = __builtin_ia32_pslldi128(tmp_V4i, tmp_i);
tmp_V2LLi = __builtin_ia32_psllqi128(tmp_V2LLi, tmp_i);
tmp_V8s = __builtin_ia32_psrlwi128(tmp_V8s, tmp_i);
tmp_V4i = __builtin_ia32_psrldi128(tmp_V4i, tmp_i);
tmp_V2LLi = __builtin_ia32_psrlqi128(tmp_V2LLi, tmp_i);
tmp_V8s = __builtin_ia32_psrawi128(tmp_V8s, tmp_i);
tmp_V4i = __builtin_ia32_psradi128(tmp_V4i, tmp_i);
tmp_V8s = __builtin_ia32_pmaddwd128(tmp_V8s, tmp_V8s);
(void) __builtin_ia32_monitor(tmp_vp, tmp_Ui, tmp_Ui);
(void) __builtin_ia32_mwait(tmp_Ui, tmp_Ui);
#ifdef USE_ALL
tmp_V4f = __builtin_ia32_movshdup(tmp_V4f);
tmp_V4f = __builtin_ia32_movsldup(tmp_V4f);
#endif
tmp_V16c = __builtin_ia32_lddqu(tmp_cCp);
tmp_V2LLi = __builtin_ia32_palignr128(tmp_V2LLi, tmp_V2LLi, imm_i);
tmp_V1LLi = __builtin_ia32_palignr(tmp_V1LLi, tmp_V1LLi, imm_i);
tmp_V2i = __builtin_ia32_vec_init_v2si(tmp_i, tmp_i);
tmp_V4s = __builtin_ia32_vec_init_v4hi(tmp_s, tmp_s, tmp_s, tmp_s);
tmp_V8c = __builtin_ia32_vec_init_v8qi(tmp_c, tmp_c, tmp_c, tmp_c, tmp_c, tmp_c, tmp_c, tmp_c);
tmp_d = __builtin_ia32_vec_ext_v2df(tmp_V2d, imm_i_0_2);
tmp_LLi = __builtin_ia32_vec_ext_v2di(tmp_V2LLi, imm_i_0_2);
tmp_f = __builtin_ia32_vec_ext_v4sf(tmp_V4f, imm_i_0_4);
tmp_i = __builtin_ia32_vec_ext_v4si(tmp_V4i, imm_i_0_4);
#ifdef USE_ALL
tmp_Us = __builtin_ia32_vec_ext_v8hi(tmp_V8s, imm_i_0_8);
tmp_s = __builtin_ia32_vec_ext_v4hi(tmp_V4s, imm_i_0_4);
#endif
tmp_i = __builtin_ia32_vec_ext_v2si(tmp_V2i, imm_i_0_2);
tmp_V8s = __builtin_ia32_vec_set_v8hi(tmp_V8s, tmp_s, imm_i_0_8);
tmp_V4s = __builtin_ia32_vec_set_v4hi(tmp_V4s, tmp_s, imm_i_0_4);
tmp_V4i = __builtin_ia32_loadlv4si(tmp_V2ip);
(void) __builtin_ia32_storelv4si(tmp_V2ip, tmp_V2LLi);
#ifdef USE_SSE4
tmp_V16c = __builtin_ia32_pblendvb128(tmp_V16c, tmp_V16c, tmp_V16c);
tmp_V8s = __builtin_ia32_pblendw128(tmp_V8s, tmp_V8s, imm_i_0_256);
tmp_V2d = __builtin_ia32_blendpd(tmp_V2d, tmp_V2d, imm_i_0_256);
tmp_V4f = __builtin_ia32_blendps(tmp_V4f, tmp_V4f, imm_i_0_256);
tmp_V2d = __builtin_ia32_blendvpd(tmp_V2d, tmp_V2d, tmp_V2d);
tmp_V4f = __builtin_ia32_blendvps(tmp_V4f, tmp_V4f, tmp_V4f);
tmp_V8s = __builtin_ia32_packusdw128(tmp_V4i, tmp_V4i);
tmp_V16c = __builtin_ia32_pmaxsb128(tmp_V16c, tmp_V16c);
tmp_V4i = __builtin_ia32_pmaxsd128(tmp_V4i, tmp_V4i);
tmp_V4i = __builtin_ia32_pmaxud128(tmp_V4i, tmp_V4i);
tmp_V8s = __builtin_ia32_pmaxuw128(tmp_V8s, tmp_V8s);
tmp_V16c = __builtin_ia32_pminsb128(tmp_V16c, tmp_V16c);
tmp_V4i = __builtin_ia32_pminsd128(tmp_V4i, tmp_V4i);
tmp_V4i = __builtin_ia32_pminud128(tmp_V4i, tmp_V4i);
tmp_V8s = __builtin_ia32_pminuw128(tmp_V8s, tmp_V8s);
tmp_V4i = __builtin_ia32_pmovsxbd128(tmp_V16c);
tmp_V2LLi = __builtin_ia32_pmovsxbq128(tmp_V16c);
tmp_V8s = __builtin_ia32_pmovsxbw128(tmp_V16c);
tmp_V2LLi = __builtin_ia32_pmovsxdq128(tmp_V4i);
tmp_V4i = __builtin_ia32_pmovsxwd128(tmp_V8s);
tmp_V2LLi = __builtin_ia32_pmovsxwq128(tmp_V8s);
tmp_V4i = __builtin_ia32_pmovzxbd128(tmp_V16c);
tmp_V2LLi = __builtin_ia32_pmovzxbq128(tmp_V16c);
tmp_V8s = __builtin_ia32_pmovzxbw128(tmp_V16c);
tmp_V2LLi = __builtin_ia32_pmovzxdq128(tmp_V4i);
tmp_V4i = __builtin_ia32_pmovzxwd128(tmp_V8s);
tmp_V2LLi = __builtin_ia32_pmovzxwq128(tmp_V8s);
tmp_V2LLi = __builtin_ia32_pmuldq128(tmp_V4i, tmp_V4i);
tmp_V4i = __builtin_ia32_pmulld128(tmp_V4i, tmp_V4i);
tmp_V4f = __builtin_ia32_roundps(tmp_V4f, imm_i_0_16);
// tmp_V4f = __builtin_ia32_roundss(tmp_V4f, tmp_V4f, imm_i_0_16);
// tmp_V2d = __builtin_ia32_roundsd(tmp_V2d, tmp_V2d, imm_i_0_16);
tmp_V2d = __builtin_ia32_roundpd(tmp_V2d, imm_i_0_16);
tmp_V16c = __builtin_ia32_vec_set_v16qi(tmp_V16c, tmp_i, tmp_i);
tmp_V4i = __builtin_ia32_vec_set_v4si(tmp_V4i, tmp_i, tmp_i);
tmp_V4f = __builtin_ia32_insertps128(tmp_V4f, tmp_V4f, tmp_i);
tmp_V2LLi = __builtin_ia32_vec_set_v2di(tmp_V2LLi, tmp_LLi, tmp_i);
#endif
}
static void Scaler_DrawLine(v4hi *dst, Uint32 *src, int ww, int repeat, int pitch)
{
int xx;
int yy;
int yrep2;
int yrep3;
int blank;
register v4hi *b2p;
register v4hi r1, r2;
v4hi *d0;
register v4hi *b;
int pitch2;
register int ip;
v4hi r3v[5 * 80];
#if AG_BIG_ENDIAN != 1
const v4ui bb = {0xff000000, 0xff000000, 0xff000000, 0xff000000};
const v4ui order3 = (v4ui){3, 3, 4, 4};
#else
const v4ui bb = {0x000000ff, 0x000000ff, 0x000000ff, 0x000000ff};
const v4ui order3 = (v4ui){3, 3, 4, 4};
#endif
if(repeat <= 0) return;
b = (v4hi *)src;
b2p = dst;
pitch2 = pitch / sizeof(v4hi);
// _prefetch_data_read_l2((void *)src, sizeof(Uint32) * ww);
_prefetch_data_write_l1((void *)r3v, sizeof(r3v));
if(__builtin_expect(((bFullScan) || (repeat < 2)), 1)) {
ip = 0;
for(xx = 0; xx < ww; xx += 8) {
b2p = dst;
r1 = b[0];
r2 = b[1];
// 76543210 -> 77666554443322211000
r3v[ip + 0].uv = __builtin_ia32_pshufd(r1.uv, 0b01000000);
r3v[ip + 1].uv = __builtin_ia32_pshufd(r1.uv, 0b10101001);
r3v[ip + 2] = (v4hi)__builtin_shuffle(r1.uv, r2.uv, order3);
r3v[ip + 3].uv = __builtin_ia32_pshufd(r2.uv, 0b10010100);
r3v[ip + 4].uv = __builtin_ia32_pshufd(r2.uv, 0b11111010);
ip += 5;
b += 2;
}
for(yy = 0; yy < repeat; yy++) {
// _prefetch_data_write_l2((void *)b2p, sizeof(v4hi) * 5);
memcpy((void *)b2p, (void *)r3v, sizeof(v4hi) * ip);
b2p = b2p + pitch2;
}
} else {
ip = 0;
for(xx = 0; xx < ww; xx += 8) {
yy = 0;
// b2p = dst;
r1 = b[0];
r2 = b[1];
// 76543210 -> 77666554443322211000
r3v[ip + 0].uv = __builtin_ia32_pshufd(r1.uv, 0b01000000);
r3v[ip + 1].uv = __builtin_ia32_pshufd(r1.uv, 0b10101001);
r3v[ip + 2] = (v4hi)__builtin_shuffle(r1.uv, r2.uv, order3);
r3v[ip + 3].uv = __builtin_ia32_pshufd(r2.uv, 0b10010100);
r3v[ip + 4].uv = __builtin_ia32_pshufd(r2.uv, 0b11111010);
ip += 5;
b += 2;
}
b2p = dst;
for(yy = 0; yy < repeat - 1; yy++) {
// _prefetch_data_write_l2((void *)b2p, sizeof(v4hi) * 5);
memcpy((void *)b2p, (void *)r3v, ip * sizeof(v4hi));
b2p = b2p + pitch2;
}
// _prefetch_data_write_l2((void *)b2p, sizeof(v4hi) * 5);
for(xx = 0; xx < ip; xx++) b2p[xx].uv = bb;
}
}
SWAP (EXTRACT4 (lo1, 2)),
SWAP (EXTRACT4 (lo1, 3)),
SWAP (EXTRACT4 (hi1, 0)),
SWAP (EXTRACT4 (hi1, 1)),
SWAP (EXTRACT4 (hi1, 2)),
SWAP (EXTRACT4 (hi1, 3)));
// We now have the correct 32-bit words, only in the wrong positions.
// Each 32 bit value has been expanded to 64, so we want
// lo.0 = lo1.0, hi.0 = lo1.1,
// lo.1 = lo1.2, hi.1 = lo1.3,
// lo.2 = hi1.0, hi.2 = hi1.1,
// lo.3 = hi1.2, lo.3 = hi1.3
// If we swap the middle pair of 32 bits in each of lo1 and lo2, then we
// only need to shuffle around 64 bit quantities:
value4_t lo2 = __builtin_ia32_pshufd (lo1, 0xd8);
value4_t hi2 = __builtin_ia32_pshufd (hi1, 0xd8);
BIDEBUG ("I2: %08x %08x %08x %08x %08x %08x %08x %08x\n",
SWAP (EXTRACT4 (lo2, 0)),
SWAP (EXTRACT4 (lo2, 1)),
SWAP (EXTRACT4 (lo2, 2)),
SWAP (EXTRACT4 (lo2, 3)),
SWAP (EXTRACT4 (hi2, 0)),
SWAP (EXTRACT4 (hi2, 1)),
SWAP (EXTRACT4 (hi2, 2)),
SWAP (EXTRACT4 (hi2, 3)));
// Now we want
// lo.0 = lo2.0, hi.0 = lo2.2,
// lo.1 = lo2.1, hi.1 = lo2.3,