void GLMatrix<GLfloat>::glVertex3v(int num, const GLfloat* v_arr)
{
#ifdef GLMATRIX_USE_SSE
__builtin_prefetch(v_arr);
sse_vector r0,r1,r2;
register sse_v4sf m_col0,m_col1,m_col2,m_col3;
m_col0 = __builtin_ia32_loadaps(m);
m_col1 = __builtin_ia32_loadaps(m+4);
m_col2 = __builtin_ia32_loadaps(m+8);
m_col3 = __builtin_ia32_loadaps(m+12);
for(register int k = 0; k < num; ++k)
{
//load x,y,z
r0.v4sf = __builtin_ia32_loadss(v_arr);
r1.v4sf = __builtin_ia32_loadss(v_arr+1);
r2.v4sf = __builtin_ia32_loadss(v_arr+2);
//extend into all 4 single floats
r0.v4sf = __builtin_ia32_shufps(r0.v4sf,r0.v4sf,0x00);
r1.v4sf = __builtin_ia32_shufps(r1.v4sf,r1.v4sf,0x00);
r2.v4sf = __builtin_ia32_shufps(r2.v4sf,r2.v4sf,0x00);
//do the mults
r0.v4sf = __builtin_ia32_mulps(r0.v4sf,m_col0);
v_arr+=3;
r1.v4sf = __builtin_ia32_mulps(r1.v4sf,m_col1);
//add it all up and, voila
r2.v4sf = __builtin_ia32_mulps(r2.v4sf,m_col2);
r0.v4sf = __builtin_ia32_addps(r0.v4sf,r1.v4sf);
r2.v4sf = __builtin_ia32_addps(r2.v4sf,m_col3);
r0.v4sf = __builtin_ia32_addps(r0.v4sf,r2.v4sf);
::glVertex4fv(r0.f);
}
#else
register GLfloat ret[3];
register GLfloat recip;
for(register int k = 0; k < num; ++k)
{
ret[0] = v_arr[k*3]*m0 + v_arr[1+k*3]*m4 + v_arr[2+k*3]*m8 + m12;
ret[1] = v_arr[k*3]*m1 + v_arr[1+k*3]*m5 + v_arr[2+k*3]*m9 + m13;
ret[2] = v_arr[k*3]*m2 + v_arr[1+k*3]*m6 + v_arr[2+k*3]*m10 + m14;
recip = 1/(v_arr[k*3]*m3 + v_arr[1+k*3]*m7 + v_arr[2+k*3]*m11 + m15);
ret[0] *= recip;
ret[1] *= recip;
ret[2] *= recip;
::glVertex3fv(ret);
}
#endif
}
void GLMatrix<GLfloat>::glVertex4v(int num, const GLfloat* v_arr)
{
#ifdef GLMATRIX_USE_SSE
__builtin_prefetch(m);
sse_vector r0,r1,r2,r3;
register sse_v4sf m_col0,m_col1,m_col2,m_col3;
__builtin_prefetch(v_arr);
m_col0 = __builtin_ia32_loadaps(m);
m_col1 = __builtin_ia32_loadaps(m+4);
m_col2 = __builtin_ia32_loadaps(m+8);
m_col3 = __builtin_ia32_loadaps(m+12);
for(register int k = 0; k < num; ++k)
{
//load x,y,z,w into v
r0.v4sf = __builtin_ia32_loadss(v_arr);
r1.v4sf = __builtin_ia32_loadss(v_arr+1);
r2.v4sf = __builtin_ia32_loadss(v_arr+2);
r3.v4sf = __builtin_ia32_loadss(v_arr+3);
r0.v4sf = __builtin_ia32_shufps(r0.v4sf,r0.v4sf,0x00);
r1.v4sf = __builtin_ia32_shufps(r1.v4sf,r1.v4sf,0x00);
r2.v4sf = __builtin_ia32_shufps(r2.v4sf,r2.v4sf,0x00);
r3.v4sf = __builtin_ia32_shufps(r3.v4sf,r3.v4sf,0x00);
r0.v4sf = __builtin_ia32_mulps(m_col0,r0.v4sf);
v_arr+=4;
r1.v4sf = __builtin_ia32_mulps(m_col1,r1.v4sf);
r2.v4sf = __builtin_ia32_mulps(m_col2,r2.v4sf);
r3.v4sf = __builtin_ia32_mulps(m_col3,r3.v4sf);
r0.v4sf = __builtin_ia32_addps(r0.v4sf,r1.v4sf);
r2.v4sf = __builtin_ia32_addps(r2.v4sf,r3.v4sf);
r0.v4sf = __builtin_ia32_addps(r0.v4sf,r2.v4sf);
::glVertex4fv(r0.f);
}
#else
register GLfloat ret[4];
for(register int k = 0; k < num; ++k)
{
for(register unsigned j = 0; j < 4; ++j)
{
ret[j] = 0;
for(register unsigned i = 0; i < 4; ++i)
ret[j] += v_arr[i+k*4]*m[j+i*4];
}
::glVertex4fv(ret);
}
#endif
}
void mul6(float * tab, float ** a, float * b, int n){
int i,j;
float add[4];
v4sf va, vb, vc;
for(i=0;i<n;i++){
va = __builtin_ia32_loadups(a[i]);
vb = __builtin_ia32_loadups(b);
vc = __builtin_ia32_mulps (vb, va);
__builtin_ia32_storeups (add, vc);
for(j=4; j<n; j+=4){
va = __builtin_ia32_loadups(a[i]+j);
vb = __builtin_ia32_loadups(b+j);
vc = __builtin_ia32_mulps (vb, va);
va = __builtin_ia32_loadups(add);
vb = __builtin_ia32_addps (vc, va);
__builtin_ia32_storeups (add, vb);
}
for(j=0; j<4; j++)
tab[i] += add[j];
}
}
void f0() {
signed char tmp_c;
// unsigned char tmp_Uc;
signed short tmp_s;
#ifdef USE_ALL
unsigned short tmp_Us;
#endif
signed int tmp_i;
unsigned int tmp_Ui;
signed long long tmp_LLi;
// unsigned long long tmp_ULLi;
float tmp_f;
double tmp_d;
void* tmp_vp;
const void* tmp_vCp;
char* tmp_cp;
const char* tmp_cCp;
int* tmp_ip;
float* tmp_fp;
const float* tmp_fCp;
double* tmp_dp;
const double* tmp_dCp;
#define imm_i 32
#define imm_i_0_2 0
#define imm_i_0_4 3
#define imm_i_0_8 7
#define imm_i_0_16 15
// Check this.
#define imm_i_0_256 0
V2i* tmp_V2ip;
V1LLi* tmp_V1LLip;
V2LLi* tmp_V2LLip;
// 64-bit
V8c tmp_V8c;
V4s tmp_V4s;
V2i tmp_V2i;
V1LLi tmp_V1LLi;
#ifdef USE_3DNOW
V2f tmp_V2f;
#endif
// 128-bit
V16c tmp_V16c;
V8s tmp_V8s;
V4i tmp_V4i;
V2LLi tmp_V2LLi;
V4f tmp_V4f;
V2d tmp_V2d;
tmp_i = __builtin_ia32_comieq(tmp_V4f, tmp_V4f);
tmp_i = __builtin_ia32_comilt(tmp_V4f, tmp_V4f);
tmp_i = __builtin_ia32_comile(tmp_V4f, tmp_V4f);
tmp_i = __builtin_ia32_comigt(tmp_V4f, tmp_V4f);
tmp_i = __builtin_ia32_comige(tmp_V4f, tmp_V4f);
tmp_i = __builtin_ia32_comineq(tmp_V4f, tmp_V4f);
tmp_i = __builtin_ia32_ucomieq(tmp_V4f, tmp_V4f);
tmp_i = __builtin_ia32_ucomilt(tmp_V4f, tmp_V4f);
tmp_i = __builtin_ia32_ucomile(tmp_V4f, tmp_V4f);
tmp_i = __builtin_ia32_ucomigt(tmp_V4f, tmp_V4f);
tmp_i = __builtin_ia32_ucomige(tmp_V4f, tmp_V4f);
tmp_i = __builtin_ia32_ucomineq(tmp_V4f, tmp_V4f);
tmp_i = __builtin_ia32_comisdeq(tmp_V2d, tmp_V2d);
tmp_i = __builtin_ia32_comisdlt(tmp_V2d, tmp_V2d);
tmp_i = __builtin_ia32_comisdle(tmp_V2d, tmp_V2d);
tmp_i = __builtin_ia32_comisdgt(tmp_V2d, tmp_V2d);
tmp_i = __builtin_ia32_comisdge(tmp_V2d, tmp_V2d);
tmp_i = __builtin_ia32_comisdneq(tmp_V2d, tmp_V2d);
tmp_i = __builtin_ia32_ucomisdeq(tmp_V2d, tmp_V2d);
tmp_i = __builtin_ia32_ucomisdlt(tmp_V2d, tmp_V2d);
tmp_i = __builtin_ia32_ucomisdle(tmp_V2d, tmp_V2d);
tmp_i = __builtin_ia32_ucomisdgt(tmp_V2d, tmp_V2d);
tmp_i = __builtin_ia32_ucomisdge(tmp_V2d, tmp_V2d);
tmp_i = __builtin_ia32_ucomisdneq(tmp_V2d, tmp_V2d);
tmp_V4f = __builtin_ia32_addps(tmp_V4f, tmp_V4f);
tmp_V4f = __builtin_ia32_subps(tmp_V4f, tmp_V4f);
tmp_V4f = __builtin_ia32_mulps(tmp_V4f, tmp_V4f);
tmp_V4f = __builtin_ia32_divps(tmp_V4f, tmp_V4f);
tmp_V4f = __builtin_ia32_addss(tmp_V4f, tmp_V4f);
tmp_V4f = __builtin_ia32_subss(tmp_V4f, tmp_V4f);
tmp_V4f = __builtin_ia32_mulss(tmp_V4f, tmp_V4f);
tmp_V4f = __builtin_ia32_divss(tmp_V4f, tmp_V4f);
tmp_V4f = __builtin_ia32_cmpps(tmp_V4f, tmp_V4f, 0);
tmp_V4f = __builtin_ia32_cmpps(tmp_V4f, tmp_V4f, 1);
tmp_V4f = __builtin_ia32_cmpps(tmp_V4f, tmp_V4f, 2);
tmp_V4f = __builtin_ia32_cmpps(tmp_V4f, tmp_V4f, 3);
tmp_V4f = __builtin_ia32_cmpps(tmp_V4f, tmp_V4f, 4);
tmp_V4f = __builtin_ia32_cmpps(tmp_V4f, tmp_V4f, 5);
tmp_V4f = __builtin_ia32_cmpps(tmp_V4f, tmp_V4f, 6);
tmp_V4f = __builtin_ia32_cmpps(tmp_V4f, tmp_V4f, 7);
tmp_V4f = __builtin_ia32_cmpss(tmp_V4f, tmp_V4f, 0);
tmp_V4f = __builtin_ia32_cmpss(tmp_V4f, tmp_V4f, 1);
tmp_V4f = __builtin_ia32_cmpss(tmp_V4f, tmp_V4f, 2);
tmp_V4f = __builtin_ia32_cmpss(tmp_V4f, tmp_V4f, 3);
tmp_V4f = __builtin_ia32_cmpss(tmp_V4f, tmp_V4f, 4);
tmp_V4f = __builtin_ia32_cmpss(tmp_V4f, tmp_V4f, 5);
tmp_V4f = __builtin_ia32_cmpss(tmp_V4f, tmp_V4f, 6);
tmp_V4f = __builtin_ia32_cmpss(tmp_V4f, tmp_V4f, 7);
tmp_V4f = __builtin_ia32_minps(tmp_V4f, tmp_V4f);
tmp_V4f = __builtin_ia32_maxps(tmp_V4f, tmp_V4f);
tmp_V4f = __builtin_ia32_minss(tmp_V4f, tmp_V4f);
tmp_V4f = __builtin_ia32_maxss(tmp_V4f, tmp_V4f);
tmp_V4f = __builtin_ia32_andps(tmp_V4f, tmp_V4f);
tmp_V4f = __builtin_ia32_andnps(tmp_V4f, tmp_V4f);
tmp_V4f = __builtin_ia32_orps(tmp_V4f, tmp_V4f);
tmp_V4f = __builtin_ia32_xorps(tmp_V4f, tmp_V4f);
tmp_V4f = __builtin_ia32_movss(tmp_V4f, tmp_V4f);
tmp_V4f = __builtin_ia32_movhlps(tmp_V4f, tmp_V4f);
tmp_V4f = __builtin_ia32_movlhps(tmp_V4f, tmp_V4f);
tmp_V4f = __builtin_ia32_unpckhps(tmp_V4f, tmp_V4f);
tmp_V4f = __builtin_ia32_unpcklps(tmp_V4f, tmp_V4f);
tmp_V8c = __builtin_ia32_paddb(tmp_V8c, tmp_V8c);
tmp_V4s = __builtin_ia32_paddw(tmp_V4s, tmp_V4s);
tmp_V2i = __builtin_ia32_paddd(tmp_V2i, tmp_V2i);
tmp_V1LLi = __builtin_ia32_paddq(tmp_V1LLi, tmp_V1LLi);
tmp_V8c = __builtin_ia32_psubb(tmp_V8c, tmp_V8c);
tmp_V4s = __builtin_ia32_psubw(tmp_V4s, tmp_V4s);
tmp_V2i = __builtin_ia32_psubd(tmp_V2i, tmp_V2i);
tmp_V1LLi = __builtin_ia32_psubq(tmp_V1LLi, tmp_V1LLi);
tmp_V8c = __builtin_ia32_paddsb(tmp_V8c, tmp_V8c);
tmp_V4s = __builtin_ia32_paddsw(tmp_V4s, tmp_V4s);
tmp_V8c = __builtin_ia32_psubsb(tmp_V8c, tmp_V8c);
tmp_V4s = __builtin_ia32_psubsw(tmp_V4s, tmp_V4s);
tmp_V8c = __builtin_ia32_paddusb(tmp_V8c, tmp_V8c);
tmp_V4s = __builtin_ia32_paddusw(tmp_V4s, tmp_V4s);
tmp_V8c = __builtin_ia32_psubusb(tmp_V8c, tmp_V8c);
tmp_V4s = __builtin_ia32_psubusw(tmp_V4s, tmp_V4s);
tmp_V4s = __builtin_ia32_pmullw(tmp_V4s, tmp_V4s);
tmp_V4s = __builtin_ia32_pmulhw(tmp_V4s, tmp_V4s);
tmp_V4s = __builtin_ia32_pmulhuw(tmp_V4s, tmp_V4s);
tmp_V1LLi = __builtin_ia32_pand(tmp_V1LLi, tmp_V1LLi);
tmp_V1LLi = __builtin_ia32_pandn(tmp_V1LLi, tmp_V1LLi);
tmp_V1LLi = __builtin_ia32_por(tmp_V1LLi, tmp_V1LLi);
tmp_V1LLi = __builtin_ia32_pxor(tmp_V1LLi, tmp_V1LLi);
tmp_V8c = __builtin_ia32_pavgb(tmp_V8c, tmp_V8c);
tmp_V4s = __builtin_ia32_pavgw(tmp_V4s, tmp_V4s);
tmp_V8c = __builtin_ia32_pcmpeqb(tmp_V8c, tmp_V8c);
tmp_V4s = __builtin_ia32_pcmpeqw(tmp_V4s, tmp_V4s);
tmp_V2i = __builtin_ia32_pcmpeqd(tmp_V2i, tmp_V2i);
tmp_V8c = __builtin_ia32_pcmpgtb(tmp_V8c, tmp_V8c);
tmp_V4s = __builtin_ia32_pcmpgtw(tmp_V4s, tmp_V4s);
tmp_V2i = __builtin_ia32_pcmpgtd(tmp_V2i, tmp_V2i);
tmp_V8c = __builtin_ia32_pmaxub(tmp_V8c, tmp_V8c);
tmp_V4s = __builtin_ia32_pmaxsw(tmp_V4s, tmp_V4s);
tmp_V8c = __builtin_ia32_pminub(tmp_V8c, tmp_V8c);
tmp_V4s = __builtin_ia32_pminsw(tmp_V4s, tmp_V4s);
tmp_V8c = __builtin_ia32_punpckhbw(tmp_V8c, tmp_V8c);
tmp_V4s = __builtin_ia32_punpckhwd(tmp_V4s, tmp_V4s);
tmp_V2i = __builtin_ia32_punpckhdq(tmp_V2i, tmp_V2i);
tmp_V8c = __builtin_ia32_punpcklbw(tmp_V8c, tmp_V8c);
tmp_V4s = __builtin_ia32_punpcklwd(tmp_V4s, tmp_V4s);
tmp_V2i = __builtin_ia32_punpckldq(tmp_V2i, tmp_V2i);
tmp_V2d = __builtin_ia32_addpd(tmp_V2d, tmp_V2d);
tmp_V2d = __builtin_ia32_subpd(tmp_V2d, tmp_V2d);
tmp_V2d = __builtin_ia32_mulpd(tmp_V2d, tmp_V2d);
tmp_V2d = __builtin_ia32_divpd(tmp_V2d, tmp_V2d);
tmp_V2d = __builtin_ia32_addsd(tmp_V2d, tmp_V2d);
tmp_V2d = __builtin_ia32_subsd(tmp_V2d, tmp_V2d);
tmp_V2d = __builtin_ia32_mulsd(tmp_V2d, tmp_V2d);
tmp_V2d = __builtin_ia32_divsd(tmp_V2d, tmp_V2d);
tmp_V2d = __builtin_ia32_cmppd(tmp_V2d, tmp_V2d, 0);
tmp_V2d = __builtin_ia32_cmppd(tmp_V2d, tmp_V2d, 1);
tmp_V2d = __builtin_ia32_cmppd(tmp_V2d, tmp_V2d, 2);
tmp_V2d = __builtin_ia32_cmppd(tmp_V2d, tmp_V2d, 3);
tmp_V2d = __builtin_ia32_cmppd(tmp_V2d, tmp_V2d, 4);
tmp_V2d = __builtin_ia32_cmppd(tmp_V2d, tmp_V2d, 5);
tmp_V2d = __builtin_ia32_cmppd(tmp_V2d, tmp_V2d, 6);
tmp_V2d = __builtin_ia32_cmppd(tmp_V2d, tmp_V2d, 7);
tmp_V2d = __builtin_ia32_cmpsd(tmp_V2d, tmp_V2d, 0);
tmp_V2d = __builtin_ia32_cmpsd(tmp_V2d, tmp_V2d, 1);
tmp_V2d = __builtin_ia32_cmpsd(tmp_V2d, tmp_V2d, 2);
tmp_V2d = __builtin_ia32_cmpsd(tmp_V2d, tmp_V2d, 3);
tmp_V2d = __builtin_ia32_cmpsd(tmp_V2d, tmp_V2d, 4);
tmp_V2d = __builtin_ia32_cmpsd(tmp_V2d, tmp_V2d, 5);
tmp_V2d = __builtin_ia32_cmpsd(tmp_V2d, tmp_V2d, 6);
tmp_V2d = __builtin_ia32_cmpsd(tmp_V2d, tmp_V2d, 7);
tmp_V2d = __builtin_ia32_minpd(tmp_V2d, tmp_V2d);
tmp_V2d = __builtin_ia32_maxpd(tmp_V2d, tmp_V2d);
tmp_V2d = __builtin_ia32_minsd(tmp_V2d, tmp_V2d);
tmp_V2d = __builtin_ia32_maxsd(tmp_V2d, tmp_V2d);
tmp_V2d = __builtin_ia32_andpd(tmp_V2d, tmp_V2d);
tmp_V2d = __builtin_ia32_andnpd(tmp_V2d, tmp_V2d);
tmp_V2d = __builtin_ia32_orpd(tmp_V2d, tmp_V2d);
tmp_V2d = __builtin_ia32_xorpd(tmp_V2d, tmp_V2d);
tmp_V2d = __builtin_ia32_movsd(tmp_V2d, tmp_V2d);
tmp_V2d = __builtin_ia32_unpckhpd(tmp_V2d, tmp_V2d);
tmp_V2d = __builtin_ia32_unpcklpd(tmp_V2d, tmp_V2d);
tmp_V16c = __builtin_ia32_paddb128(tmp_V16c, tmp_V16c);
tmp_V8s = __builtin_ia32_paddw128(tmp_V8s, tmp_V8s);
tmp_V4i = __builtin_ia32_paddd128(tmp_V4i, tmp_V4i);
tmp_V2LLi = __builtin_ia32_paddq128(tmp_V2LLi, tmp_V2LLi);
tmp_V16c = __builtin_ia32_psubb128(tmp_V16c, tmp_V16c);
tmp_V8s = __builtin_ia32_psubw128(tmp_V8s, tmp_V8s);
tmp_V4i = __builtin_ia32_psubd128(tmp_V4i, tmp_V4i);
tmp_V2LLi = __builtin_ia32_psubq128(tmp_V2LLi, tmp_V2LLi);
tmp_V16c = __builtin_ia32_paddsb128(tmp_V16c, tmp_V16c);
tmp_V8s = __builtin_ia32_paddsw128(tmp_V8s, tmp_V8s);
tmp_V16c = __builtin_ia32_psubsb128(tmp_V16c, tmp_V16c);
tmp_V8s = __builtin_ia32_psubsw128(tmp_V8s, tmp_V8s);
tmp_V16c = __builtin_ia32_paddusb128(tmp_V16c, tmp_V16c);
tmp_V8s = __builtin_ia32_paddusw128(tmp_V8s, tmp_V8s);
tmp_V16c = __builtin_ia32_psubusb128(tmp_V16c, tmp_V16c);
tmp_V8s = __builtin_ia32_psubusw128(tmp_V8s, tmp_V8s);
tmp_V8s = __builtin_ia32_pmullw128(tmp_V8s, tmp_V8s);
tmp_V8s = __builtin_ia32_pmulhw128(tmp_V8s, tmp_V8s);
tmp_V2LLi = __builtin_ia32_pand128(tmp_V2LLi, tmp_V2LLi);
tmp_V2LLi = __builtin_ia32_pandn128(tmp_V2LLi, tmp_V2LLi);
tmp_V2LLi = __builtin_ia32_por128(tmp_V2LLi, tmp_V2LLi);
tmp_V2LLi = __builtin_ia32_pxor128(tmp_V2LLi, tmp_V2LLi);
tmp_V16c = __builtin_ia32_pavgb128(tmp_V16c, tmp_V16c);
tmp_V8s = __builtin_ia32_pavgw128(tmp_V8s, tmp_V8s);
tmp_V16c = __builtin_ia32_pcmpeqb128(tmp_V16c, tmp_V16c);
tmp_V8s = __builtin_ia32_pcmpeqw128(tmp_V8s, tmp_V8s);
tmp_V4i = __builtin_ia32_pcmpeqd128(tmp_V4i, tmp_V4i);
tmp_V16c = __builtin_ia32_pcmpgtb128(tmp_V16c, tmp_V16c);
tmp_V8s = __builtin_ia32_pcmpgtw128(tmp_V8s, tmp_V8s);
tmp_V4i = __builtin_ia32_pcmpgtd128(tmp_V4i, tmp_V4i);
tmp_V16c = __builtin_ia32_pmaxub128(tmp_V16c, tmp_V16c);
tmp_V8s = __builtin_ia32_pmaxsw128(tmp_V8s, tmp_V8s);
tmp_V16c = __builtin_ia32_pminub128(tmp_V16c, tmp_V16c);
tmp_V8s = __builtin_ia32_pminsw128(tmp_V8s, tmp_V8s);
tmp_V16c = __builtin_ia32_punpckhbw128(tmp_V16c, tmp_V16c);
tmp_V8s = __builtin_ia32_punpckhwd128(tmp_V8s, tmp_V8s);
tmp_V4i = __builtin_ia32_punpckhdq128(tmp_V4i, tmp_V4i);
tmp_V2LLi = __builtin_ia32_punpckhqdq128(tmp_V2LLi, tmp_V2LLi);
tmp_V16c = __builtin_ia32_punpcklbw128(tmp_V16c, tmp_V16c);
tmp_V8s = __builtin_ia32_punpcklwd128(tmp_V8s, tmp_V8s);
tmp_V4i = __builtin_ia32_punpckldq128(tmp_V4i, tmp_V4i);
tmp_V2LLi = __builtin_ia32_punpcklqdq128(tmp_V2LLi, tmp_V2LLi);
tmp_V8s = __builtin_ia32_packsswb128(tmp_V8s, tmp_V8s);
tmp_V4i = __builtin_ia32_packssdw128(tmp_V4i, tmp_V4i);
tmp_V8s = __builtin_ia32_packuswb128(tmp_V8s, tmp_V8s);
tmp_V8s = __builtin_ia32_pmulhuw128(tmp_V8s, tmp_V8s);
tmp_V4f = __builtin_ia32_addsubps(tmp_V4f, tmp_V4f);
tmp_V2d = __builtin_ia32_addsubpd(tmp_V2d, tmp_V2d);
tmp_V4f = __builtin_ia32_haddps(tmp_V4f, tmp_V4f);
tmp_V2d = __builtin_ia32_haddpd(tmp_V2d, tmp_V2d);
tmp_V4f = __builtin_ia32_hsubps(tmp_V4f, tmp_V4f);
tmp_V2d = __builtin_ia32_hsubpd(tmp_V2d, tmp_V2d);
tmp_V8s = __builtin_ia32_phaddw128(tmp_V8s, tmp_V8s);
tmp_V4s = __builtin_ia32_phaddw(tmp_V4s, tmp_V4s);
tmp_V4i = __builtin_ia32_phaddd128(tmp_V4i, tmp_V4i);
tmp_V2i = __builtin_ia32_phaddd(tmp_V2i, tmp_V2i);
tmp_V8s = __builtin_ia32_phaddsw128(tmp_V8s, tmp_V8s);
tmp_V4s = __builtin_ia32_phaddsw(tmp_V4s, tmp_V4s);
tmp_V8s = __builtin_ia32_phsubw128(tmp_V8s, tmp_V8s);
tmp_V4s = __builtin_ia32_phsubw(tmp_V4s, tmp_V4s);
tmp_V4i = __builtin_ia32_phsubd128(tmp_V4i, tmp_V4i);
tmp_V2i = __builtin_ia32_phsubd(tmp_V2i, tmp_V2i);
tmp_V8s = __builtin_ia32_phsubsw128(tmp_V8s, tmp_V8s);
tmp_V4s = __builtin_ia32_phsubsw(tmp_V4s, tmp_V4s);
tmp_V16c = __builtin_ia32_pmaddubsw128(tmp_V16c, tmp_V16c);
tmp_V8c = __builtin_ia32_pmaddubsw(tmp_V8c, tmp_V8c);
tmp_V8s = __builtin_ia32_pmulhrsw128(tmp_V8s, tmp_V8s);
tmp_V4s = __builtin_ia32_pmulhrsw(tmp_V4s, tmp_V4s);
tmp_V16c = __builtin_ia32_pshufb128(tmp_V16c, tmp_V16c);
tmp_V8c = __builtin_ia32_pshufb(tmp_V8c, tmp_V8c);
tmp_V16c = __builtin_ia32_psignb128(tmp_V16c, tmp_V16c);
tmp_V8c = __builtin_ia32_psignb(tmp_V8c, tmp_V8c);
tmp_V8s = __builtin_ia32_psignw128(tmp_V8s, tmp_V8s);
tmp_V4s = __builtin_ia32_psignw(tmp_V4s, tmp_V4s);
tmp_V4i = __builtin_ia32_psignd128(tmp_V4i, tmp_V4i);
tmp_V2i = __builtin_ia32_psignd(tmp_V2i, tmp_V2i);
tmp_V16c = __builtin_ia32_pabsb128(tmp_V16c);
tmp_V8c = __builtin_ia32_pabsb(tmp_V8c);
tmp_V8s = __builtin_ia32_pabsw128(tmp_V8s);
tmp_V4s = __builtin_ia32_pabsw(tmp_V4s);
tmp_V4i = __builtin_ia32_pabsd128(tmp_V4i);
tmp_V2i = __builtin_ia32_pabsd(tmp_V2i);
tmp_V4s = __builtin_ia32_psllw(tmp_V4s, tmp_V1LLi);
tmp_V2i = __builtin_ia32_pslld(tmp_V2i, tmp_V1LLi);
tmp_V1LLi = __builtin_ia32_psllq(tmp_V1LLi, tmp_V1LLi);
tmp_V4s = __builtin_ia32_psrlw(tmp_V4s, tmp_V1LLi);
tmp_V2i = __builtin_ia32_psrld(tmp_V2i, tmp_V1LLi);
tmp_V1LLi = __builtin_ia32_psrlq(tmp_V1LLi, tmp_V1LLi);
tmp_V4s = __builtin_ia32_psraw(tmp_V4s, tmp_V1LLi);
tmp_V2i = __builtin_ia32_psrad(tmp_V2i, tmp_V1LLi);
#ifdef USE_ALL
tmp_V4s = __builtin_ia32_pshufw(tmp_V4s, imm_i);
#endif
tmp_V2i = __builtin_ia32_pmaddwd(tmp_V4s, tmp_V4s);
tmp_V8c = __builtin_ia32_packsswb(tmp_V4s, tmp_V4s);
tmp_V4s = __builtin_ia32_packssdw(tmp_V2i, tmp_V2i);
tmp_V8c = __builtin_ia32_packuswb(tmp_V4s, tmp_V4s);
(void) __builtin_ia32_ldmxcsr(tmp_Ui);
tmp_Ui = __builtin_ia32_stmxcsr();
tmp_V4f = __builtin_ia32_cvtpi2ps(tmp_V4f, tmp_V2i);
tmp_V2i = __builtin_ia32_cvtps2pi(tmp_V4f);
tmp_V4f = __builtin_ia32_cvtsi2ss(tmp_V4f, tmp_i);
#ifdef USE_64
tmp_V4f = __builtin_ia32_cvtsi642ss(tmp_V4f, tmp_LLi);
#endif
tmp_i = __builtin_ia32_cvtss2si(tmp_V4f);
#ifdef USE_64
tmp_LLi = __builtin_ia32_cvtss2si64(tmp_V4f);
#endif
tmp_V2i = __builtin_ia32_cvttps2pi(tmp_V4f);
tmp_i = __builtin_ia32_cvttss2si(tmp_V4f);
#ifdef USE_64
tmp_LLi = __builtin_ia32_cvttss2si64(tmp_V4f);
#endif
(void) __builtin_ia32_maskmovq(tmp_V8c, tmp_V8c, tmp_cp);
tmp_V4f = __builtin_ia32_loadups(tmp_fCp);
(void) __builtin_ia32_storeups(tmp_fp, tmp_V4f);
tmp_V4f = __builtin_ia32_loadhps(tmp_V4f, tmp_V2ip);
tmp_V4f = __builtin_ia32_loadlps(tmp_V4f, tmp_V2ip);
(void) __builtin_ia32_storehps(tmp_V2ip, tmp_V4f);
(void) __builtin_ia32_storelps(tmp_V2ip, tmp_V4f);
tmp_i = __builtin_ia32_movmskps(tmp_V4f);
tmp_i = __builtin_ia32_pmovmskb(tmp_V8c);
(void) __builtin_ia32_movntps(tmp_fp, tmp_V4f);
(void) __builtin_ia32_movntq(tmp_V1LLip, tmp_V1LLi);
(void) __builtin_ia32_sfence();
tmp_V4s = __builtin_ia32_psadbw(tmp_V8c, tmp_V8c);
tmp_V4f = __builtin_ia32_rcpps(tmp_V4f);
tmp_V4f = __builtin_ia32_rcpss(tmp_V4f);
tmp_V4f = __builtin_ia32_rsqrtps(tmp_V4f);
tmp_V4f = __builtin_ia32_rsqrtss(tmp_V4f);
tmp_V4f = __builtin_ia32_sqrtps(tmp_V4f);
tmp_V4f = __builtin_ia32_sqrtss(tmp_V4f);
tmp_V4f = __builtin_ia32_shufps(tmp_V4f, tmp_V4f, imm_i);
#ifdef USE_3DNOW
(void) __builtin_ia32_femms();
tmp_V8c = __builtin_ia32_pavgusb(tmp_V8c, tmp_V8c);
tmp_V2i = __builtin_ia32_pf2id(tmp_V2f);
tmp_V2f = __builtin_ia32_pfacc(tmp_V2f, tmp_V2f);
tmp_V2f = __builtin_ia32_pfadd(tmp_V2f, tmp_V2f);
tmp_V2i = __builtin_ia32_pfcmpeq(tmp_V2f, tmp_V2f);
tmp_V2i = __builtin_ia32_pfcmpge(tmp_V2f, tmp_V2f);
tmp_V2i = __builtin_ia32_pfcmpgt(tmp_V2f, tmp_V2f);
tmp_V2f = __builtin_ia32_pfmax(tmp_V2f, tmp_V2f);
tmp_V2f = __builtin_ia32_pfmin(tmp_V2f, tmp_V2f);
tmp_V2f = __builtin_ia32_pfmul(tmp_V2f, tmp_V2f);
tmp_V2f = __builtin_ia32_pfrcp(tmp_V2f);
tmp_V2f = __builtin_ia32_pfrcpit1(tmp_V2f, tmp_V2f);
tmp_V2f = __builtin_ia32_pfrcpit2(tmp_V2f, tmp_V2f);
tmp_V2f = __builtin_ia32_pfrsqrt(tmp_V2f);
tmp_V2f = __builtin_ia32_pfrsqit1(tmp_V2f, tmp_V2f);
tmp_V2f = __builtin_ia32_pfsub(tmp_V2f, tmp_V2f);
tmp_V2f = __builtin_ia32_pfsubr(tmp_V2f, tmp_V2f);
tmp_V2f = __builtin_ia32_pi2fd(tmp_V2i);
tmp_V4s = __builtin_ia32_pmulhrw(tmp_V4s, tmp_V4s);
#endif
#ifdef USE_3DNOWA
tmp_V2i = __builtin_ia32_pf2iw(tmp_V2f);
tmp_V2f = __builtin_ia32_pfnacc(tmp_V2f, tmp_V2f);
tmp_V2f = __builtin_ia32_pfpnacc(tmp_V2f, tmp_V2f);
tmp_V2f = __builtin_ia32_pi2fw(tmp_V2i);
tmp_V2f = __builtin_ia32_pswapdsf(tmp_V2f);
tmp_V2i = __builtin_ia32_pswapdsi(tmp_V2i);
#endif
(void) __builtin_ia32_maskmovdqu(tmp_V16c, tmp_V16c, tmp_cp);
tmp_V2d = __builtin_ia32_loadupd(tmp_dCp);
(void) __builtin_ia32_storeupd(tmp_dp, tmp_V2d);
tmp_V2d = __builtin_ia32_loadhpd(tmp_V2d, tmp_dCp);
tmp_V2d = __builtin_ia32_loadlpd(tmp_V2d, tmp_dCp);
tmp_i = __builtin_ia32_movmskpd(tmp_V2d);
tmp_i = __builtin_ia32_pmovmskb128(tmp_V16c);
(void) __builtin_ia32_movnti(tmp_ip, tmp_i);
(void) __builtin_ia32_movntpd(tmp_dp, tmp_V2d);
(void) __builtin_ia32_movntdq(tmp_V2LLip, tmp_V2LLi);
tmp_V4i = __builtin_ia32_pshufd(tmp_V4i, imm_i);
tmp_V8s = __builtin_ia32_pshuflw(tmp_V8s, imm_i);
tmp_V8s = __builtin_ia32_pshufhw(tmp_V8s, imm_i);
tmp_V2LLi = __builtin_ia32_psadbw128(tmp_V16c, tmp_V16c);
tmp_V2d = __builtin_ia32_sqrtpd(tmp_V2d);
tmp_V2d = __builtin_ia32_sqrtsd(tmp_V2d);
tmp_V2d = __builtin_ia32_shufpd(tmp_V2d, tmp_V2d, imm_i);
tmp_V2d = __builtin_ia32_cvtdq2pd(tmp_V4i);
tmp_V4f = __builtin_ia32_cvtdq2ps(tmp_V4i);
tmp_V2LLi = __builtin_ia32_cvtpd2dq(tmp_V2d);
tmp_V2i = __builtin_ia32_cvtpd2pi(tmp_V2d);
tmp_V4f = __builtin_ia32_cvtpd2ps(tmp_V2d);
tmp_V4i = __builtin_ia32_cvttpd2dq(tmp_V2d);
tmp_V2i = __builtin_ia32_cvttpd2pi(tmp_V2d);
tmp_V2d = __builtin_ia32_cvtpi2pd(tmp_V2i);
tmp_i = __builtin_ia32_cvtsd2si(tmp_V2d);
tmp_i = __builtin_ia32_cvttsd2si(tmp_V2d);
#ifdef USE_64
tmp_LLi = __builtin_ia32_cvtsd2si64(tmp_V2d);
tmp_LLi = __builtin_ia32_cvttsd2si64(tmp_V2d);
#endif
tmp_V4i = __builtin_ia32_cvtps2dq(tmp_V4f);
tmp_V2d = __builtin_ia32_cvtps2pd(tmp_V4f);
tmp_V4i = __builtin_ia32_cvttps2dq(tmp_V4f);
tmp_V2d = __builtin_ia32_cvtsi2sd(tmp_V2d, tmp_i);
#ifdef USE_64
tmp_V2d = __builtin_ia32_cvtsi642sd(tmp_V2d, tmp_LLi);
#endif
tmp_V4f = __builtin_ia32_cvtsd2ss(tmp_V4f, tmp_V2d);
tmp_V2d = __builtin_ia32_cvtss2sd(tmp_V2d, tmp_V4f);
(void) __builtin_ia32_clflush(tmp_vCp);
(void) __builtin_ia32_lfence();
(void) __builtin_ia32_mfence();
tmp_V16c = __builtin_ia32_loaddqu(tmp_cCp);
(void) __builtin_ia32_storedqu(tmp_cp, tmp_V16c);
tmp_V4s = __builtin_ia32_psllwi(tmp_V4s, tmp_i);
tmp_V2i = __builtin_ia32_pslldi(tmp_V2i, tmp_i);
tmp_V1LLi = __builtin_ia32_psllqi(tmp_V1LLi, tmp_i);
tmp_V4s = __builtin_ia32_psrawi(tmp_V4s, tmp_i);
tmp_V2i = __builtin_ia32_psradi(tmp_V2i, tmp_i);
tmp_V4s = __builtin_ia32_psrlwi(tmp_V4s, tmp_i);
tmp_V2i = __builtin_ia32_psrldi(tmp_V2i, tmp_i);
tmp_V1LLi = __builtin_ia32_psrlqi(tmp_V1LLi, tmp_i);
tmp_V1LLi = __builtin_ia32_pmuludq(tmp_V2i, tmp_V2i);
tmp_V2LLi = __builtin_ia32_pmuludq128(tmp_V4i, tmp_V4i);
tmp_V8s = __builtin_ia32_psraw128(tmp_V8s, tmp_V8s);
tmp_V4i = __builtin_ia32_psrad128(tmp_V4i, tmp_V4i);
tmp_V8s = __builtin_ia32_psrlw128(tmp_V8s, tmp_V8s);
tmp_V4i = __builtin_ia32_psrld128(tmp_V4i, tmp_V4i);
tmp_V2LLi = __builtin_ia32_psrlq128(tmp_V2LLi, tmp_V2LLi);
tmp_V8s = __builtin_ia32_psllw128(tmp_V8s, tmp_V8s);
tmp_V4i = __builtin_ia32_pslld128(tmp_V4i, tmp_V4i);
tmp_V2LLi = __builtin_ia32_psllq128(tmp_V2LLi, tmp_V2LLi);
tmp_V8s = __builtin_ia32_psllwi128(tmp_V8s, tmp_i);
tmp_V4i = __builtin_ia32_pslldi128(tmp_V4i, tmp_i);
tmp_V2LLi = __builtin_ia32_psllqi128(tmp_V2LLi, tmp_i);
tmp_V8s = __builtin_ia32_psrlwi128(tmp_V8s, tmp_i);
tmp_V4i = __builtin_ia32_psrldi128(tmp_V4i, tmp_i);
tmp_V2LLi = __builtin_ia32_psrlqi128(tmp_V2LLi, tmp_i);
tmp_V8s = __builtin_ia32_psrawi128(tmp_V8s, tmp_i);
tmp_V4i = __builtin_ia32_psradi128(tmp_V4i, tmp_i);
tmp_V8s = __builtin_ia32_pmaddwd128(tmp_V8s, tmp_V8s);
(void) __builtin_ia32_monitor(tmp_vp, tmp_Ui, tmp_Ui);
(void) __builtin_ia32_mwait(tmp_Ui, tmp_Ui);
#ifdef USE_ALL
tmp_V4f = __builtin_ia32_movshdup(tmp_V4f);
tmp_V4f = __builtin_ia32_movsldup(tmp_V4f);
#endif
tmp_V16c = __builtin_ia32_lddqu(tmp_cCp);
tmp_V2LLi = __builtin_ia32_palignr128(tmp_V2LLi, tmp_V2LLi, imm_i);
tmp_V1LLi = __builtin_ia32_palignr(tmp_V1LLi, tmp_V1LLi, imm_i);
tmp_V2i = __builtin_ia32_vec_init_v2si(tmp_i, tmp_i);
tmp_V4s = __builtin_ia32_vec_init_v4hi(tmp_s, tmp_s, tmp_s, tmp_s);
tmp_V8c = __builtin_ia32_vec_init_v8qi(tmp_c, tmp_c, tmp_c, tmp_c, tmp_c, tmp_c, tmp_c, tmp_c);
tmp_d = __builtin_ia32_vec_ext_v2df(tmp_V2d, imm_i_0_2);
tmp_LLi = __builtin_ia32_vec_ext_v2di(tmp_V2LLi, imm_i_0_2);
tmp_f = __builtin_ia32_vec_ext_v4sf(tmp_V4f, imm_i_0_4);
tmp_i = __builtin_ia32_vec_ext_v4si(tmp_V4i, imm_i_0_4);
#ifdef USE_ALL
tmp_Us = __builtin_ia32_vec_ext_v8hi(tmp_V8s, imm_i_0_8);
tmp_s = __builtin_ia32_vec_ext_v4hi(tmp_V4s, imm_i_0_4);
#endif
tmp_i = __builtin_ia32_vec_ext_v2si(tmp_V2i, imm_i_0_2);
tmp_V8s = __builtin_ia32_vec_set_v8hi(tmp_V8s, tmp_s, imm_i_0_8);
tmp_V4s = __builtin_ia32_vec_set_v4hi(tmp_V4s, tmp_s, imm_i_0_4);
tmp_V4i = __builtin_ia32_loadlv4si(tmp_V2ip);
(void) __builtin_ia32_storelv4si(tmp_V2ip, tmp_V2LLi);
#ifdef USE_SSE4
tmp_V16c = __builtin_ia32_pblendvb128(tmp_V16c, tmp_V16c, tmp_V16c);
tmp_V8s = __builtin_ia32_pblendw128(tmp_V8s, tmp_V8s, imm_i_0_256);
tmp_V2d = __builtin_ia32_blendpd(tmp_V2d, tmp_V2d, imm_i_0_256);
tmp_V4f = __builtin_ia32_blendps(tmp_V4f, tmp_V4f, imm_i_0_256);
tmp_V2d = __builtin_ia32_blendvpd(tmp_V2d, tmp_V2d, tmp_V2d);
tmp_V4f = __builtin_ia32_blendvps(tmp_V4f, tmp_V4f, tmp_V4f);
tmp_V8s = __builtin_ia32_packusdw128(tmp_V4i, tmp_V4i);
tmp_V16c = __builtin_ia32_pmaxsb128(tmp_V16c, tmp_V16c);
tmp_V4i = __builtin_ia32_pmaxsd128(tmp_V4i, tmp_V4i);
tmp_V4i = __builtin_ia32_pmaxud128(tmp_V4i, tmp_V4i);
tmp_V8s = __builtin_ia32_pmaxuw128(tmp_V8s, tmp_V8s);
tmp_V16c = __builtin_ia32_pminsb128(tmp_V16c, tmp_V16c);
tmp_V4i = __builtin_ia32_pminsd128(tmp_V4i, tmp_V4i);
tmp_V4i = __builtin_ia32_pminud128(tmp_V4i, tmp_V4i);
tmp_V8s = __builtin_ia32_pminuw128(tmp_V8s, tmp_V8s);
tmp_V4i = __builtin_ia32_pmovsxbd128(tmp_V16c);
tmp_V2LLi = __builtin_ia32_pmovsxbq128(tmp_V16c);
tmp_V8s = __builtin_ia32_pmovsxbw128(tmp_V16c);
tmp_V2LLi = __builtin_ia32_pmovsxdq128(tmp_V4i);
tmp_V4i = __builtin_ia32_pmovsxwd128(tmp_V8s);
tmp_V2LLi = __builtin_ia32_pmovsxwq128(tmp_V8s);
tmp_V4i = __builtin_ia32_pmovzxbd128(tmp_V16c);
tmp_V2LLi = __builtin_ia32_pmovzxbq128(tmp_V16c);
tmp_V8s = __builtin_ia32_pmovzxbw128(tmp_V16c);
tmp_V2LLi = __builtin_ia32_pmovzxdq128(tmp_V4i);
tmp_V4i = __builtin_ia32_pmovzxwd128(tmp_V8s);
tmp_V2LLi = __builtin_ia32_pmovzxwq128(tmp_V8s);
tmp_V2LLi = __builtin_ia32_pmuldq128(tmp_V4i, tmp_V4i);
tmp_V4i = __builtin_ia32_pmulld128(tmp_V4i, tmp_V4i);
tmp_V4f = __builtin_ia32_roundps(tmp_V4f, imm_i_0_16);
// tmp_V4f = __builtin_ia32_roundss(tmp_V4f, tmp_V4f, imm_i_0_16);
// tmp_V2d = __builtin_ia32_roundsd(tmp_V2d, tmp_V2d, imm_i_0_16);
tmp_V2d = __builtin_ia32_roundpd(tmp_V2d, imm_i_0_16);
tmp_V16c = __builtin_ia32_vec_set_v16qi(tmp_V16c, tmp_i, tmp_i);
tmp_V4i = __builtin_ia32_vec_set_v4si(tmp_V4i, tmp_i, tmp_i);
tmp_V4f = __builtin_ia32_insertps128(tmp_V4f, tmp_V4f, tmp_i);
tmp_V2LLi = __builtin_ia32_vec_set_v2di(tmp_V2LLi, tmp_LLi, tmp_i);
#endif
}
extern inline __m128 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) _mm_mul_ps (__m128 __A, __m128 __B) {
return (__m128) __builtin_ia32_mulps ((__v4sf)__A, (__v4sf)__B);
}
void dpa_add(dpa_t * dpa, uint8_t * trace_data, uint8_t * hypos_data)
{
#ifdef SSE
v4sf *sum_cross = (v4sf *) dpa->sum_cross;
v4sf *delta_x;
union f4vec delta_y_vec __attribute__ ((aligned(16)));;
#else
correl_t *sum_cross = dpa->sum_cross;
correl_t *delta_x;
#endif
correl_t *sum_ysq = dpa->sum_ysq;
correl_t *mean_y = dpa->mean_y;
correl_t delta_y;
correl_t num = dpa->traces + 1.0;
correl_t ratio = dpa->traces / num;
uint32_t tracepos, hypo;
if (!(dpa->traces))
return dpa_first_trace(dpa, trace_data, hypos_data);
dpa_add_hypotheses(dpa, hypos_data);
for (tracepos = 0; tracepos < dpa->tracelen; tracepos++) {
delta_y = (correl_t) * (trace_data++) - (*mean_y);
*(mean_y++) += delta_y / num;
*(sum_ysq++) += delta_y * delta_y * ratio;
delta_y *= ratio;
#ifdef SSE
// reset delta_x ptr (1 delta_x per hypothesis)
delta_x = (v4sf *) dpa->delta_x;
delta_y_vec.f[0] = delta_y_vec.f[1] = delta_y_vec.f[2] =
delta_y_vec.f[3] = delta_y;
for (hypo = 0; hypo < dpa->hypo_cnt; hypo += 4) {
*sum_cross =
__builtin_ia32_addps(*sum_cross,
__builtin_ia32_mulps(*
(delta_x++),
delta_y_vec.
v));
sum_cross++;
#else
// reset delta_x ptr (1 delta_x per hypothesis)
delta_x = dpa->delta_x;
for (hypo = 0; hypo < dpa->hypo_cnt; hypo++) {
*(sum_cross++) += *(delta_x++) * delta_y;
#endif
} // calc sum_cross for all hypotheses
} // foreach tracepo
dpa->traces++;
}
void dpa_get_results(dpa_t * dpa, uint32_t hypo, correl_t * results, float *max)
{
correl_t *sum_cross = dpa->sum_cross + hypo;
correl_t *sum_ysq = dpa->sum_ysq;
correl_t sqrt_sumx = sqrt(dpa->sum_xsq[hypo]);
uint32_t hypo_cnt = dpa->hypo_cnt_fake;
uint32_t tracepos;
float max_val = 0;
for (tracepos = 0; tracepos < dpa->tracelen; tracepos++) {
float res = (*sum_cross) / (sqrt_sumx * sqrt(*(sum_ysq++)));
*(results++) = res;
if (ABS(res) > ABS(max_val))
max_val = res;
sum_cross += hypo_cnt;
}
if (max)
*max = max_val;
}
double
mfp_block_prefix_sum(mfp_block * in, mfp_sample scale, mfp_sample initval, mfp_block * out)
{
if (mfp_block_use_sse && mfp_block_compiled_with_sse) {
#ifdef MFP_USE_SSE
float * inptr, * outptr, * endptr;
fv4 scratch = { 0.0, 0.0, 0.0, 0.0 };
__v4sf xmm0, xmm1, xmm2;
__v4sf zeros = (__v4sf) { 0.0, 0.0, 0.0, 0.0 };
__v4si mask = (__v4si) { 0x00, 0xffffffff, 0xffffffff, 0xffffffff };
__v4sf scaler = { scale, scale, scale, scale };
endptr = in->data + in->blocksize;
outptr = out->data;
scratch[0] = initval;
/* xmm1 gets carry in */
xmm1 = *(__v4sf *)scratch;
for(inptr = in->data; inptr < endptr; inptr += 4) {
/* xmm0 gets A+I, B, C, D */
xmm0 = *(__v4sf *)inptr;
xmm0 = __builtin_ia32_mulps(xmm0, scaler);
xmm0 = __builtin_ia32_addss(xmm0, xmm1);
/* xmm2 gets 0, A+I, B, C */
xmm2 = xmm0;
xmm2 = __builtin_ia32_shufps(xmm2, xmm2, 0x60);
xmm2 = __builtin_ia32_andps(xmm2, (__v4sf)mask);
/* xmm2 gets A+I, A+B+I, B+C, C+D */
xmm2 = __builtin_ia32_addps(xmm2, xmm0);
/* xmm0 gets 0, 0, A+I, A+B+I */
xmm0 = zeros;
xmm0 = __builtin_ia32_shufps(xmm0, xmm2, 0x40);
/* xmm0 gets A+I, A+B+I, A+B+C+I, A+B+C+D+I */
xmm0 = __builtin_ia32_addps(xmm0, xmm2);
/* preparing for next iteration, xmm1 gets carry */
xmm1 = xmm0;
xmm1 = __builtin_ia32_shufps(xmm1, xmm1, 0xff);
*(__v4sf *)outptr = xmm0;
outptr += 4;
}
*(__v4sf *)&scratch = xmm1;
return scratch[0];
#endif
}
else {
mfp_sample * iptr, * optr, * iend, accum=initval;
iptr = in->data;
iend = in->data + in->blocksize;
optr = out->data;
for(; iptr < iend; iptr++) {
accum += *iptr * scale;
*optr = accum;
optr++;
}
return accum;
}
}
void Convolver::_multiply_partition_simd(const float *signal,
const float* filter)
{
// f4vector2 tmp1, tmp2;//, tmp3;
f4vector2 sigr, sigi, filtr, filti, out;
// f4vector signalr, filterr;
// f4vector signali, filteri;
// f4vector outputr, outputi;
float dc = _ifft_buffer[0] + signal[0] * filter[0];
float ny = _ifft_buffer[4] + signal[4] * filter[4];
for (unsigned int i = 0u; i < _partition_size; i += 8)
{
// real parts
//signalr.f = signal + i;
//filterr.f = filter + i;
//outputr.f = _ifft_buffer.data() + i;
sigr.v = __builtin_ia32_loadups(signal + i);
filtr.v = __builtin_ia32_loadups(filter + i);
// imag
//signalr.f = signal + i + 4;
//filterr.f = filter + i + 4;
//outputi.f = _ifft_buffer.data() + i + 4;
sigi.v = __builtin_ia32_loadups(signal + i + 4);
filti.v = __builtin_ia32_loadups(filter + i + 4);
//tmp1.v = __builtin_ia32_mulps(*signalr.v, *filterr.v);
//tmp2.v = __builtin_ia32_mulps(*signali.v, *filteri.v);
//tmp1.v = __builtin_ia32_mulps(sigr.v, filtr.v);
//tmp2.v = __builtin_ia32_mulps(sigi.v, filti.v);
//*(outputr.v) += __builtin_ia32_subps(tmp1.v, tmp2.v);
//out.v = __builtin_ia32_subps(tmp1.v, tmp2.v);
out.v = __builtin_ia32_subps(__builtin_ia32_mulps(sigr.v, filtr.v),
__builtin_ia32_mulps(sigi.v, filti.v));
_ifft_buffer[0 + i] += out.f[0];
_ifft_buffer[1 + i] += out.f[1];
_ifft_buffer[2 + i] += out.f[2];
_ifft_buffer[3 + i] += out.f[3];
//tmp3.v = __builtin_ia32_subps(tmp1.v, tmp2.v);
//__builtin_ia32_storeups(outputr.f, tmp3.v);
//tmp1.v = __builtin_ia32_mulps(*signalr.v, *filteri.v);
//tmp2.v = __builtin_ia32_mulps(*signali.v, *filterr.v);
//tmp1.v = __builtin_ia32_mulps(sigr.v, filti.v);
//tmp2.v = __builtin_ia32_mulps(sigi.v, filtr.v);
//*(outputi.v) += __builtin_ia32_addps(tmp1.v, tmp2.v);
//out.v = __builtin_ia32_addps(tmp1.v, tmp2.v);
out.v = __builtin_ia32_addps(__builtin_ia32_mulps(sigr.v, filti.v),
__builtin_ia32_mulps(sigi.v, filtr.v));
//tmp3.v = __builtin_ia32_addps(tmp1.v, tmp2.v);
//__builtin_ia32_storeups(outputi.f, tmp3.v);
_ifft_buffer[4 + i] += out.f[0];
_ifft_buffer[5 + i] += out.f[1];
_ifft_buffer[6 + i] += out.f[2];
_ifft_buffer[7 + i] += out.f[3];
}
_ifft_buffer[0] = dc;
_ifft_buffer[4] = ny;
}
void ldraw_maths_vector_Scale (LdrawMathsVector *self, gfloat scale, LdrawMathsVector* result) {
v4sf scale_vector = {scale, scale, scale, scale};
result->values = __builtin_ia32_mulps(self->values, scale_vector);
return;
}
gfloat ldraw_maths_vector_Dot (LdrawMathsVector *self, LdrawMathsVector* v) {
v4sf parts = __builtin_ia32_mulps(self->values, v->values);
return parts[0] + parts[1] + parts[2];
}
void mulps(float * arg1,float * arg2,float * retval) {
v4sf x = __builtin_ia32_loadups(arg1);
v4sf y = __builtin_ia32_loadups(arg2);
__builtin_ia32_storeups(retval,__builtin_ia32_mulps(x,y));
}
int main()
{
union f4vector a, b, c;
a.f[0] = 1.1; a.f[1] = 2; a.f[2] = 3; a.f[3] = 4.0;
b.f[0] = 5.0; b.f[1] = 6; b.f[2] = 7; b.f[3] = 8.0;
c.f[0] = 9.1; c.f[1] = 10; c.f[2] = 11; c.f[3] = 12.3;
v4sf tmp = __builtin_ia32_mulps (a.v, b.v);
v4sf foo = __builtin_ia32_addps(tmp, c.v);
std::cout << "calculate foo = (a * b) + c:\n";
std::cout << "a = "; printf4vector(&a.v);
std::cout << "b = "; printf4vector(&b.v);
std::cout << "c = "; printf4vector(&c.v);
std::cout << "foo = "; printf4vector(&foo);
v4si A ={1,2,3,4};
v4si B ={5,6,7,8};
v4si C;
std::cout << "A : "; printi4vector(&A);
std::cout << "B : "; printi4vector(&B);
C = A + B;
std::cout << "C=A+B : "; printi4vector(&C);
C = A - B;
std::cout << "C=A-B : "; printi4vector(&C);
C = B - A;
std::cout << "C=B-A : "; printi4vector(&C);
C = A * B;
std::cout << "C=A*B : "; printi4vector(&C);
C = B / A;
std::cout << "C=B/A : "; printi4vector(&C);
C = A / B;
std::cout << "C=A/B : "; printi4vector(&C);
v4sf fA ={1,2,3,4.5};
v4sf fB ={5,6,7,8.5};
v4sf fC;
std::cout << "fA : "; printf4vector(&fA);
std::cout << "fB : "; printf4vector(&fB);
fC = fA + fB;
std::cout << "fC=fA+fB : "; printf4vector(&fC);
fC = fA - fB;
std::cout << "fC=fA-fB : "; printf4vector(&fC);
fC = fB - fA;
std::cout << "fC=fB-fA : "; printf4vector(&fC);
fC = fA * fB;
std::cout << "fC=fA*fB : "; printf4vector(&fC);
fC = fA * fA;
std::cout << "fC=fA*fA : "; printf4vector(&fC);
fC = fB * fB;
std::cout << "fC=fB*fB : "; printf4vector(&fC);
fC = fA / fB;
std::cout << "fC=fA/fB : "; printf4vector(&fC);
fC = fB / fA;
std::cout << "fC=fB/fA : "; printf4vector(&fC);
/* ... */
extern void vectorcode();
vectorcode(); // seems to execute --- no segfault. How about that?
}