void GLMatrix<GLfloat>::glVertex3v(int num, const GLfloat* v_arr) { #ifdef GLMATRIX_USE_SSE __builtin_prefetch(v_arr); sse_vector r0,r1,r2; register sse_v4sf m_col0,m_col1,m_col2,m_col3; m_col0 = __builtin_ia32_loadaps(m); m_col1 = __builtin_ia32_loadaps(m+4); m_col2 = __builtin_ia32_loadaps(m+8); m_col3 = __builtin_ia32_loadaps(m+12); for(register int k = 0; k < num; ++k) { //load x,y,z r0.v4sf = __builtin_ia32_loadss(v_arr); r1.v4sf = __builtin_ia32_loadss(v_arr+1); r2.v4sf = __builtin_ia32_loadss(v_arr+2); //extend into all 4 single floats r0.v4sf = __builtin_ia32_shufps(r0.v4sf,r0.v4sf,0x00); r1.v4sf = __builtin_ia32_shufps(r1.v4sf,r1.v4sf,0x00); r2.v4sf = __builtin_ia32_shufps(r2.v4sf,r2.v4sf,0x00); //do the mults r0.v4sf = __builtin_ia32_mulps(r0.v4sf,m_col0); v_arr+=3; r1.v4sf = __builtin_ia32_mulps(r1.v4sf,m_col1); //add it all up and, voila r2.v4sf = __builtin_ia32_mulps(r2.v4sf,m_col2); r0.v4sf = __builtin_ia32_addps(r0.v4sf,r1.v4sf); r2.v4sf = __builtin_ia32_addps(r2.v4sf,m_col3); r0.v4sf = __builtin_ia32_addps(r0.v4sf,r2.v4sf); ::glVertex4fv(r0.f); } #else register GLfloat ret[3]; register GLfloat recip; for(register int k = 0; k < num; ++k) { ret[0] = v_arr[k*3]*m0 + v_arr[1+k*3]*m4 + v_arr[2+k*3]*m8 + m12; ret[1] = v_arr[k*3]*m1 + v_arr[1+k*3]*m5 + v_arr[2+k*3]*m9 + m13; ret[2] = v_arr[k*3]*m2 + v_arr[1+k*3]*m6 + v_arr[2+k*3]*m10 + m14; recip = 1/(v_arr[k*3]*m3 + v_arr[1+k*3]*m7 + v_arr[2+k*3]*m11 + m15); ret[0] *= recip; ret[1] *= recip; ret[2] *= recip; ::glVertex3fv(ret); } #endif }
void GLMatrix<GLfloat>::glVertex4v(int num, const GLfloat* v_arr) { #ifdef GLMATRIX_USE_SSE __builtin_prefetch(m); sse_vector r0,r1,r2,r3; register sse_v4sf m_col0,m_col1,m_col2,m_col3; __builtin_prefetch(v_arr); m_col0 = __builtin_ia32_loadaps(m); m_col1 = __builtin_ia32_loadaps(m+4); m_col2 = __builtin_ia32_loadaps(m+8); m_col3 = __builtin_ia32_loadaps(m+12); for(register int k = 0; k < num; ++k) { //load x,y,z,w into v r0.v4sf = __builtin_ia32_loadss(v_arr); r1.v4sf = __builtin_ia32_loadss(v_arr+1); r2.v4sf = __builtin_ia32_loadss(v_arr+2); r3.v4sf = __builtin_ia32_loadss(v_arr+3); r0.v4sf = __builtin_ia32_shufps(r0.v4sf,r0.v4sf,0x00); r1.v4sf = __builtin_ia32_shufps(r1.v4sf,r1.v4sf,0x00); r2.v4sf = __builtin_ia32_shufps(r2.v4sf,r2.v4sf,0x00); r3.v4sf = __builtin_ia32_shufps(r3.v4sf,r3.v4sf,0x00); r0.v4sf = __builtin_ia32_mulps(m_col0,r0.v4sf); v_arr+=4; r1.v4sf = __builtin_ia32_mulps(m_col1,r1.v4sf); r2.v4sf = __builtin_ia32_mulps(m_col2,r2.v4sf); r3.v4sf = __builtin_ia32_mulps(m_col3,r3.v4sf); r0.v4sf = __builtin_ia32_addps(r0.v4sf,r1.v4sf); r2.v4sf = __builtin_ia32_addps(r2.v4sf,r3.v4sf); r0.v4sf = __builtin_ia32_addps(r0.v4sf,r2.v4sf); ::glVertex4fv(r0.f); } #else register GLfloat ret[4]; for(register int k = 0; k < num; ++k) { for(register unsigned j = 0; j < 4; ++j) { ret[j] = 0; for(register unsigned i = 0; i < 4; ++i) ret[j] += v_arr[i+k*4]*m[j+i*4]; } ::glVertex4fv(ret); } #endif }
Predictor(const Particle &p, const v2df ti) { const v4sf dt = __builtin_ia32_cvtpd2ps(ti - v2df(p.time)); const v4sf s0 = __builtin_ia32_shufps(dt, dt, 0x00); const v4sf s1 = s0 + s0; const v4sf s2 = s0 * (v4sf)REP4(1.5f); this->posH = p.posH; this->posL = v4sf(p.posL) + s0*(v4sf(p.vel) + s0*(v4sf(p.acc2) + s0*(v4sf(p.jrk6)))); this->vel = v4sf(p.vel) + s1*(v4sf(p.acc2) + s2*(v4sf(p.jrk6))); }
void f0() { signed char tmp_c; // unsigned char tmp_Uc; signed short tmp_s; #ifdef USE_ALL unsigned short tmp_Us; #endif signed int tmp_i; unsigned int tmp_Ui; signed long long tmp_LLi; // unsigned long long tmp_ULLi; float tmp_f; double tmp_d; void* tmp_vp; const void* tmp_vCp; char* tmp_cp; const char* tmp_cCp; int* tmp_ip; float* tmp_fp; const float* tmp_fCp; double* tmp_dp; const double* tmp_dCp; #define imm_i 32 #define imm_i_0_2 0 #define imm_i_0_4 3 #define imm_i_0_8 7 #define imm_i_0_16 15 // Check this. #define imm_i_0_256 0 V2i* tmp_V2ip; V1LLi* tmp_V1LLip; V2LLi* tmp_V2LLip; // 64-bit V8c tmp_V8c; V4s tmp_V4s; V2i tmp_V2i; V1LLi tmp_V1LLi; #ifdef USE_3DNOW V2f tmp_V2f; #endif // 128-bit V16c tmp_V16c; V8s tmp_V8s; V4i tmp_V4i; V2LLi tmp_V2LLi; V4f tmp_V4f; V2d tmp_V2d; tmp_i = __builtin_ia32_comieq(tmp_V4f, tmp_V4f); tmp_i = __builtin_ia32_comilt(tmp_V4f, tmp_V4f); tmp_i = __builtin_ia32_comile(tmp_V4f, tmp_V4f); tmp_i = __builtin_ia32_comigt(tmp_V4f, tmp_V4f); tmp_i = __builtin_ia32_comige(tmp_V4f, tmp_V4f); tmp_i = __builtin_ia32_comineq(tmp_V4f, tmp_V4f); tmp_i = __builtin_ia32_ucomieq(tmp_V4f, tmp_V4f); tmp_i = __builtin_ia32_ucomilt(tmp_V4f, tmp_V4f); tmp_i = __builtin_ia32_ucomile(tmp_V4f, tmp_V4f); tmp_i = __builtin_ia32_ucomigt(tmp_V4f, tmp_V4f); tmp_i = __builtin_ia32_ucomige(tmp_V4f, tmp_V4f); tmp_i = __builtin_ia32_ucomineq(tmp_V4f, tmp_V4f); tmp_i = __builtin_ia32_comisdeq(tmp_V2d, tmp_V2d); tmp_i = __builtin_ia32_comisdlt(tmp_V2d, tmp_V2d); tmp_i = __builtin_ia32_comisdle(tmp_V2d, tmp_V2d); tmp_i = __builtin_ia32_comisdgt(tmp_V2d, tmp_V2d); tmp_i = __builtin_ia32_comisdge(tmp_V2d, tmp_V2d); tmp_i = __builtin_ia32_comisdneq(tmp_V2d, tmp_V2d); tmp_i = __builtin_ia32_ucomisdeq(tmp_V2d, tmp_V2d); tmp_i = __builtin_ia32_ucomisdlt(tmp_V2d, tmp_V2d); tmp_i = __builtin_ia32_ucomisdle(tmp_V2d, tmp_V2d); tmp_i = __builtin_ia32_ucomisdgt(tmp_V2d, tmp_V2d); tmp_i = __builtin_ia32_ucomisdge(tmp_V2d, tmp_V2d); tmp_i = __builtin_ia32_ucomisdneq(tmp_V2d, tmp_V2d); tmp_V4f = __builtin_ia32_addps(tmp_V4f, tmp_V4f); tmp_V4f = __builtin_ia32_subps(tmp_V4f, tmp_V4f); tmp_V4f = __builtin_ia32_mulps(tmp_V4f, tmp_V4f); tmp_V4f = __builtin_ia32_divps(tmp_V4f, tmp_V4f); tmp_V4f = __builtin_ia32_addss(tmp_V4f, tmp_V4f); tmp_V4f = __builtin_ia32_subss(tmp_V4f, tmp_V4f); tmp_V4f = __builtin_ia32_mulss(tmp_V4f, tmp_V4f); tmp_V4f = __builtin_ia32_divss(tmp_V4f, tmp_V4f); tmp_V4f = __builtin_ia32_cmpps(tmp_V4f, tmp_V4f, 0); tmp_V4f = __builtin_ia32_cmpps(tmp_V4f, tmp_V4f, 1); tmp_V4f = __builtin_ia32_cmpps(tmp_V4f, tmp_V4f, 2); tmp_V4f = __builtin_ia32_cmpps(tmp_V4f, tmp_V4f, 3); tmp_V4f = __builtin_ia32_cmpps(tmp_V4f, tmp_V4f, 4); tmp_V4f = __builtin_ia32_cmpps(tmp_V4f, tmp_V4f, 5); tmp_V4f = __builtin_ia32_cmpps(tmp_V4f, tmp_V4f, 6); tmp_V4f = __builtin_ia32_cmpps(tmp_V4f, tmp_V4f, 7); tmp_V4f = __builtin_ia32_cmpss(tmp_V4f, tmp_V4f, 0); tmp_V4f = __builtin_ia32_cmpss(tmp_V4f, tmp_V4f, 1); tmp_V4f = __builtin_ia32_cmpss(tmp_V4f, tmp_V4f, 2); tmp_V4f = __builtin_ia32_cmpss(tmp_V4f, tmp_V4f, 3); tmp_V4f = __builtin_ia32_cmpss(tmp_V4f, tmp_V4f, 4); tmp_V4f = __builtin_ia32_cmpss(tmp_V4f, tmp_V4f, 5); tmp_V4f = __builtin_ia32_cmpss(tmp_V4f, tmp_V4f, 6); tmp_V4f = __builtin_ia32_cmpss(tmp_V4f, tmp_V4f, 7); tmp_V4f = __builtin_ia32_minps(tmp_V4f, tmp_V4f); tmp_V4f = __builtin_ia32_maxps(tmp_V4f, tmp_V4f); tmp_V4f = __builtin_ia32_minss(tmp_V4f, tmp_V4f); tmp_V4f = __builtin_ia32_maxss(tmp_V4f, tmp_V4f); tmp_V4f = __builtin_ia32_andps(tmp_V4f, tmp_V4f); tmp_V4f = __builtin_ia32_andnps(tmp_V4f, tmp_V4f); tmp_V4f = __builtin_ia32_orps(tmp_V4f, tmp_V4f); tmp_V4f = __builtin_ia32_xorps(tmp_V4f, tmp_V4f); tmp_V4f = __builtin_ia32_movss(tmp_V4f, tmp_V4f); tmp_V4f = __builtin_ia32_movhlps(tmp_V4f, tmp_V4f); tmp_V4f = __builtin_ia32_movlhps(tmp_V4f, tmp_V4f); tmp_V4f = __builtin_ia32_unpckhps(tmp_V4f, tmp_V4f); tmp_V4f = __builtin_ia32_unpcklps(tmp_V4f, tmp_V4f); tmp_V8c = __builtin_ia32_paddb(tmp_V8c, tmp_V8c); tmp_V4s = __builtin_ia32_paddw(tmp_V4s, tmp_V4s); tmp_V2i = __builtin_ia32_paddd(tmp_V2i, tmp_V2i); tmp_V1LLi = __builtin_ia32_paddq(tmp_V1LLi, tmp_V1LLi); tmp_V8c = __builtin_ia32_psubb(tmp_V8c, tmp_V8c); tmp_V4s = __builtin_ia32_psubw(tmp_V4s, tmp_V4s); tmp_V2i = __builtin_ia32_psubd(tmp_V2i, tmp_V2i); tmp_V1LLi = __builtin_ia32_psubq(tmp_V1LLi, tmp_V1LLi); tmp_V8c = __builtin_ia32_paddsb(tmp_V8c, tmp_V8c); tmp_V4s = __builtin_ia32_paddsw(tmp_V4s, tmp_V4s); tmp_V8c = __builtin_ia32_psubsb(tmp_V8c, tmp_V8c); tmp_V4s = __builtin_ia32_psubsw(tmp_V4s, tmp_V4s); tmp_V8c = __builtin_ia32_paddusb(tmp_V8c, tmp_V8c); tmp_V4s = __builtin_ia32_paddusw(tmp_V4s, tmp_V4s); tmp_V8c = __builtin_ia32_psubusb(tmp_V8c, tmp_V8c); tmp_V4s = __builtin_ia32_psubusw(tmp_V4s, tmp_V4s); tmp_V4s = __builtin_ia32_pmullw(tmp_V4s, tmp_V4s); tmp_V4s = __builtin_ia32_pmulhw(tmp_V4s, tmp_V4s); tmp_V4s = __builtin_ia32_pmulhuw(tmp_V4s, tmp_V4s); tmp_V1LLi = __builtin_ia32_pand(tmp_V1LLi, tmp_V1LLi); tmp_V1LLi = __builtin_ia32_pandn(tmp_V1LLi, tmp_V1LLi); tmp_V1LLi = __builtin_ia32_por(tmp_V1LLi, tmp_V1LLi); tmp_V1LLi = __builtin_ia32_pxor(tmp_V1LLi, tmp_V1LLi); tmp_V8c = __builtin_ia32_pavgb(tmp_V8c, tmp_V8c); tmp_V4s = __builtin_ia32_pavgw(tmp_V4s, tmp_V4s); tmp_V8c = __builtin_ia32_pcmpeqb(tmp_V8c, tmp_V8c); tmp_V4s = __builtin_ia32_pcmpeqw(tmp_V4s, tmp_V4s); tmp_V2i = __builtin_ia32_pcmpeqd(tmp_V2i, tmp_V2i); tmp_V8c = __builtin_ia32_pcmpgtb(tmp_V8c, tmp_V8c); tmp_V4s = __builtin_ia32_pcmpgtw(tmp_V4s, tmp_V4s); tmp_V2i = __builtin_ia32_pcmpgtd(tmp_V2i, tmp_V2i); tmp_V8c = __builtin_ia32_pmaxub(tmp_V8c, tmp_V8c); tmp_V4s = __builtin_ia32_pmaxsw(tmp_V4s, tmp_V4s); tmp_V8c = __builtin_ia32_pminub(tmp_V8c, tmp_V8c); tmp_V4s = __builtin_ia32_pminsw(tmp_V4s, tmp_V4s); tmp_V8c = __builtin_ia32_punpckhbw(tmp_V8c, tmp_V8c); tmp_V4s = __builtin_ia32_punpckhwd(tmp_V4s, tmp_V4s); tmp_V2i = __builtin_ia32_punpckhdq(tmp_V2i, tmp_V2i); tmp_V8c = __builtin_ia32_punpcklbw(tmp_V8c, tmp_V8c); tmp_V4s = __builtin_ia32_punpcklwd(tmp_V4s, tmp_V4s); tmp_V2i = __builtin_ia32_punpckldq(tmp_V2i, tmp_V2i); tmp_V2d = __builtin_ia32_addpd(tmp_V2d, tmp_V2d); tmp_V2d = __builtin_ia32_subpd(tmp_V2d, tmp_V2d); tmp_V2d = __builtin_ia32_mulpd(tmp_V2d, tmp_V2d); tmp_V2d = __builtin_ia32_divpd(tmp_V2d, tmp_V2d); tmp_V2d = __builtin_ia32_addsd(tmp_V2d, tmp_V2d); tmp_V2d = __builtin_ia32_subsd(tmp_V2d, tmp_V2d); tmp_V2d = __builtin_ia32_mulsd(tmp_V2d, tmp_V2d); tmp_V2d = __builtin_ia32_divsd(tmp_V2d, tmp_V2d); tmp_V2d = __builtin_ia32_cmppd(tmp_V2d, tmp_V2d, 0); tmp_V2d = __builtin_ia32_cmppd(tmp_V2d, tmp_V2d, 1); tmp_V2d = __builtin_ia32_cmppd(tmp_V2d, tmp_V2d, 2); tmp_V2d = __builtin_ia32_cmppd(tmp_V2d, tmp_V2d, 3); tmp_V2d = __builtin_ia32_cmppd(tmp_V2d, tmp_V2d, 4); tmp_V2d = __builtin_ia32_cmppd(tmp_V2d, tmp_V2d, 5); tmp_V2d = __builtin_ia32_cmppd(tmp_V2d, tmp_V2d, 6); tmp_V2d = __builtin_ia32_cmppd(tmp_V2d, tmp_V2d, 7); tmp_V2d = __builtin_ia32_cmpsd(tmp_V2d, tmp_V2d, 0); tmp_V2d = __builtin_ia32_cmpsd(tmp_V2d, tmp_V2d, 1); tmp_V2d = __builtin_ia32_cmpsd(tmp_V2d, tmp_V2d, 2); tmp_V2d = __builtin_ia32_cmpsd(tmp_V2d, tmp_V2d, 3); tmp_V2d = __builtin_ia32_cmpsd(tmp_V2d, tmp_V2d, 4); tmp_V2d = __builtin_ia32_cmpsd(tmp_V2d, tmp_V2d, 5); tmp_V2d = __builtin_ia32_cmpsd(tmp_V2d, tmp_V2d, 6); tmp_V2d = __builtin_ia32_cmpsd(tmp_V2d, tmp_V2d, 7); tmp_V2d = __builtin_ia32_minpd(tmp_V2d, tmp_V2d); tmp_V2d = __builtin_ia32_maxpd(tmp_V2d, tmp_V2d); tmp_V2d = __builtin_ia32_minsd(tmp_V2d, tmp_V2d); tmp_V2d = __builtin_ia32_maxsd(tmp_V2d, tmp_V2d); tmp_V2d = __builtin_ia32_andpd(tmp_V2d, tmp_V2d); tmp_V2d = __builtin_ia32_andnpd(tmp_V2d, tmp_V2d); tmp_V2d = __builtin_ia32_orpd(tmp_V2d, tmp_V2d); tmp_V2d = __builtin_ia32_xorpd(tmp_V2d, tmp_V2d); tmp_V2d = __builtin_ia32_movsd(tmp_V2d, tmp_V2d); tmp_V2d = __builtin_ia32_unpckhpd(tmp_V2d, tmp_V2d); tmp_V2d = __builtin_ia32_unpcklpd(tmp_V2d, tmp_V2d); tmp_V16c = __builtin_ia32_paddb128(tmp_V16c, tmp_V16c); tmp_V8s = __builtin_ia32_paddw128(tmp_V8s, tmp_V8s); tmp_V4i = __builtin_ia32_paddd128(tmp_V4i, tmp_V4i); tmp_V2LLi = __builtin_ia32_paddq128(tmp_V2LLi, tmp_V2LLi); tmp_V16c = __builtin_ia32_psubb128(tmp_V16c, tmp_V16c); tmp_V8s = __builtin_ia32_psubw128(tmp_V8s, tmp_V8s); tmp_V4i = __builtin_ia32_psubd128(tmp_V4i, tmp_V4i); tmp_V2LLi = __builtin_ia32_psubq128(tmp_V2LLi, tmp_V2LLi); tmp_V16c = __builtin_ia32_paddsb128(tmp_V16c, tmp_V16c); tmp_V8s = __builtin_ia32_paddsw128(tmp_V8s, tmp_V8s); tmp_V16c = __builtin_ia32_psubsb128(tmp_V16c, tmp_V16c); tmp_V8s = __builtin_ia32_psubsw128(tmp_V8s, tmp_V8s); tmp_V16c = __builtin_ia32_paddusb128(tmp_V16c, tmp_V16c); tmp_V8s = __builtin_ia32_paddusw128(tmp_V8s, tmp_V8s); tmp_V16c = __builtin_ia32_psubusb128(tmp_V16c, tmp_V16c); tmp_V8s = __builtin_ia32_psubusw128(tmp_V8s, tmp_V8s); tmp_V8s = __builtin_ia32_pmullw128(tmp_V8s, tmp_V8s); tmp_V8s = __builtin_ia32_pmulhw128(tmp_V8s, tmp_V8s); tmp_V2LLi = __builtin_ia32_pand128(tmp_V2LLi, tmp_V2LLi); tmp_V2LLi = __builtin_ia32_pandn128(tmp_V2LLi, tmp_V2LLi); tmp_V2LLi = __builtin_ia32_por128(tmp_V2LLi, tmp_V2LLi); tmp_V2LLi = __builtin_ia32_pxor128(tmp_V2LLi, tmp_V2LLi); tmp_V16c = __builtin_ia32_pavgb128(tmp_V16c, tmp_V16c); tmp_V8s = __builtin_ia32_pavgw128(tmp_V8s, tmp_V8s); tmp_V16c = __builtin_ia32_pcmpeqb128(tmp_V16c, tmp_V16c); tmp_V8s = __builtin_ia32_pcmpeqw128(tmp_V8s, tmp_V8s); tmp_V4i = __builtin_ia32_pcmpeqd128(tmp_V4i, tmp_V4i); tmp_V16c = __builtin_ia32_pcmpgtb128(tmp_V16c, tmp_V16c); tmp_V8s = __builtin_ia32_pcmpgtw128(tmp_V8s, tmp_V8s); tmp_V4i = __builtin_ia32_pcmpgtd128(tmp_V4i, tmp_V4i); tmp_V16c = __builtin_ia32_pmaxub128(tmp_V16c, tmp_V16c); tmp_V8s = __builtin_ia32_pmaxsw128(tmp_V8s, tmp_V8s); tmp_V16c = __builtin_ia32_pminub128(tmp_V16c, tmp_V16c); tmp_V8s = __builtin_ia32_pminsw128(tmp_V8s, tmp_V8s); tmp_V16c = __builtin_ia32_punpckhbw128(tmp_V16c, tmp_V16c); tmp_V8s = __builtin_ia32_punpckhwd128(tmp_V8s, tmp_V8s); tmp_V4i = __builtin_ia32_punpckhdq128(tmp_V4i, tmp_V4i); tmp_V2LLi = __builtin_ia32_punpckhqdq128(tmp_V2LLi, tmp_V2LLi); tmp_V16c = __builtin_ia32_punpcklbw128(tmp_V16c, tmp_V16c); tmp_V8s = __builtin_ia32_punpcklwd128(tmp_V8s, tmp_V8s); tmp_V4i = __builtin_ia32_punpckldq128(tmp_V4i, tmp_V4i); tmp_V2LLi = __builtin_ia32_punpcklqdq128(tmp_V2LLi, tmp_V2LLi); tmp_V8s = __builtin_ia32_packsswb128(tmp_V8s, tmp_V8s); tmp_V4i = __builtin_ia32_packssdw128(tmp_V4i, tmp_V4i); tmp_V8s = __builtin_ia32_packuswb128(tmp_V8s, tmp_V8s); tmp_V8s = __builtin_ia32_pmulhuw128(tmp_V8s, tmp_V8s); tmp_V4f = __builtin_ia32_addsubps(tmp_V4f, tmp_V4f); tmp_V2d = __builtin_ia32_addsubpd(tmp_V2d, tmp_V2d); tmp_V4f = __builtin_ia32_haddps(tmp_V4f, tmp_V4f); tmp_V2d = __builtin_ia32_haddpd(tmp_V2d, tmp_V2d); tmp_V4f = __builtin_ia32_hsubps(tmp_V4f, tmp_V4f); tmp_V2d = __builtin_ia32_hsubpd(tmp_V2d, tmp_V2d); tmp_V8s = __builtin_ia32_phaddw128(tmp_V8s, tmp_V8s); tmp_V4s = __builtin_ia32_phaddw(tmp_V4s, tmp_V4s); tmp_V4i = __builtin_ia32_phaddd128(tmp_V4i, tmp_V4i); tmp_V2i = __builtin_ia32_phaddd(tmp_V2i, tmp_V2i); tmp_V8s = __builtin_ia32_phaddsw128(tmp_V8s, tmp_V8s); tmp_V4s = __builtin_ia32_phaddsw(tmp_V4s, tmp_V4s); tmp_V8s = __builtin_ia32_phsubw128(tmp_V8s, tmp_V8s); tmp_V4s = __builtin_ia32_phsubw(tmp_V4s, tmp_V4s); tmp_V4i = __builtin_ia32_phsubd128(tmp_V4i, tmp_V4i); tmp_V2i = __builtin_ia32_phsubd(tmp_V2i, tmp_V2i); tmp_V8s = __builtin_ia32_phsubsw128(tmp_V8s, tmp_V8s); tmp_V4s = __builtin_ia32_phsubsw(tmp_V4s, tmp_V4s); tmp_V16c = __builtin_ia32_pmaddubsw128(tmp_V16c, tmp_V16c); tmp_V8c = __builtin_ia32_pmaddubsw(tmp_V8c, tmp_V8c); tmp_V8s = __builtin_ia32_pmulhrsw128(tmp_V8s, tmp_V8s); tmp_V4s = __builtin_ia32_pmulhrsw(tmp_V4s, tmp_V4s); tmp_V16c = __builtin_ia32_pshufb128(tmp_V16c, tmp_V16c); tmp_V8c = __builtin_ia32_pshufb(tmp_V8c, tmp_V8c); tmp_V16c = __builtin_ia32_psignb128(tmp_V16c, tmp_V16c); tmp_V8c = __builtin_ia32_psignb(tmp_V8c, tmp_V8c); tmp_V8s = __builtin_ia32_psignw128(tmp_V8s, tmp_V8s); tmp_V4s = __builtin_ia32_psignw(tmp_V4s, tmp_V4s); tmp_V4i = __builtin_ia32_psignd128(tmp_V4i, tmp_V4i); tmp_V2i = __builtin_ia32_psignd(tmp_V2i, tmp_V2i); tmp_V16c = __builtin_ia32_pabsb128(tmp_V16c); tmp_V8c = __builtin_ia32_pabsb(tmp_V8c); tmp_V8s = __builtin_ia32_pabsw128(tmp_V8s); tmp_V4s = __builtin_ia32_pabsw(tmp_V4s); tmp_V4i = __builtin_ia32_pabsd128(tmp_V4i); tmp_V2i = __builtin_ia32_pabsd(tmp_V2i); tmp_V4s = __builtin_ia32_psllw(tmp_V4s, tmp_V1LLi); tmp_V2i = __builtin_ia32_pslld(tmp_V2i, tmp_V1LLi); tmp_V1LLi = __builtin_ia32_psllq(tmp_V1LLi, tmp_V1LLi); tmp_V4s = __builtin_ia32_psrlw(tmp_V4s, tmp_V1LLi); tmp_V2i = __builtin_ia32_psrld(tmp_V2i, tmp_V1LLi); tmp_V1LLi = __builtin_ia32_psrlq(tmp_V1LLi, tmp_V1LLi); tmp_V4s = __builtin_ia32_psraw(tmp_V4s, tmp_V1LLi); tmp_V2i = __builtin_ia32_psrad(tmp_V2i, tmp_V1LLi); #ifdef USE_ALL tmp_V4s = __builtin_ia32_pshufw(tmp_V4s, imm_i); #endif tmp_V2i = __builtin_ia32_pmaddwd(tmp_V4s, tmp_V4s); tmp_V8c = __builtin_ia32_packsswb(tmp_V4s, tmp_V4s); tmp_V4s = __builtin_ia32_packssdw(tmp_V2i, tmp_V2i); tmp_V8c = __builtin_ia32_packuswb(tmp_V4s, tmp_V4s); (void) __builtin_ia32_ldmxcsr(tmp_Ui); tmp_Ui = __builtin_ia32_stmxcsr(); tmp_V4f = __builtin_ia32_cvtpi2ps(tmp_V4f, tmp_V2i); tmp_V2i = __builtin_ia32_cvtps2pi(tmp_V4f); tmp_V4f = __builtin_ia32_cvtsi2ss(tmp_V4f, tmp_i); #ifdef USE_64 tmp_V4f = __builtin_ia32_cvtsi642ss(tmp_V4f, tmp_LLi); #endif tmp_i = __builtin_ia32_cvtss2si(tmp_V4f); #ifdef USE_64 tmp_LLi = __builtin_ia32_cvtss2si64(tmp_V4f); #endif tmp_V2i = __builtin_ia32_cvttps2pi(tmp_V4f); tmp_i = __builtin_ia32_cvttss2si(tmp_V4f); #ifdef USE_64 tmp_LLi = __builtin_ia32_cvttss2si64(tmp_V4f); #endif (void) __builtin_ia32_maskmovq(tmp_V8c, tmp_V8c, tmp_cp); tmp_V4f = __builtin_ia32_loadups(tmp_fCp); (void) __builtin_ia32_storeups(tmp_fp, tmp_V4f); tmp_V4f = __builtin_ia32_loadhps(tmp_V4f, tmp_V2ip); tmp_V4f = __builtin_ia32_loadlps(tmp_V4f, tmp_V2ip); (void) __builtin_ia32_storehps(tmp_V2ip, tmp_V4f); (void) __builtin_ia32_storelps(tmp_V2ip, tmp_V4f); tmp_i = __builtin_ia32_movmskps(tmp_V4f); tmp_i = __builtin_ia32_pmovmskb(tmp_V8c); (void) __builtin_ia32_movntps(tmp_fp, tmp_V4f); (void) __builtin_ia32_movntq(tmp_V1LLip, tmp_V1LLi); (void) __builtin_ia32_sfence(); tmp_V4s = __builtin_ia32_psadbw(tmp_V8c, tmp_V8c); tmp_V4f = __builtin_ia32_rcpps(tmp_V4f); tmp_V4f = __builtin_ia32_rcpss(tmp_V4f); tmp_V4f = __builtin_ia32_rsqrtps(tmp_V4f); tmp_V4f = __builtin_ia32_rsqrtss(tmp_V4f); tmp_V4f = __builtin_ia32_sqrtps(tmp_V4f); tmp_V4f = __builtin_ia32_sqrtss(tmp_V4f); tmp_V4f = __builtin_ia32_shufps(tmp_V4f, tmp_V4f, imm_i); #ifdef USE_3DNOW (void) __builtin_ia32_femms(); tmp_V8c = __builtin_ia32_pavgusb(tmp_V8c, tmp_V8c); tmp_V2i = __builtin_ia32_pf2id(tmp_V2f); tmp_V2f = __builtin_ia32_pfacc(tmp_V2f, tmp_V2f); tmp_V2f = __builtin_ia32_pfadd(tmp_V2f, tmp_V2f); tmp_V2i = __builtin_ia32_pfcmpeq(tmp_V2f, tmp_V2f); tmp_V2i = __builtin_ia32_pfcmpge(tmp_V2f, tmp_V2f); tmp_V2i = __builtin_ia32_pfcmpgt(tmp_V2f, tmp_V2f); tmp_V2f = __builtin_ia32_pfmax(tmp_V2f, tmp_V2f); tmp_V2f = __builtin_ia32_pfmin(tmp_V2f, tmp_V2f); tmp_V2f = __builtin_ia32_pfmul(tmp_V2f, tmp_V2f); tmp_V2f = __builtin_ia32_pfrcp(tmp_V2f); tmp_V2f = __builtin_ia32_pfrcpit1(tmp_V2f, tmp_V2f); tmp_V2f = __builtin_ia32_pfrcpit2(tmp_V2f, tmp_V2f); tmp_V2f = __builtin_ia32_pfrsqrt(tmp_V2f); tmp_V2f = __builtin_ia32_pfrsqit1(tmp_V2f, tmp_V2f); tmp_V2f = __builtin_ia32_pfsub(tmp_V2f, tmp_V2f); tmp_V2f = __builtin_ia32_pfsubr(tmp_V2f, tmp_V2f); tmp_V2f = __builtin_ia32_pi2fd(tmp_V2i); tmp_V4s = __builtin_ia32_pmulhrw(tmp_V4s, tmp_V4s); #endif #ifdef USE_3DNOWA tmp_V2i = __builtin_ia32_pf2iw(tmp_V2f); tmp_V2f = __builtin_ia32_pfnacc(tmp_V2f, tmp_V2f); tmp_V2f = __builtin_ia32_pfpnacc(tmp_V2f, tmp_V2f); tmp_V2f = __builtin_ia32_pi2fw(tmp_V2i); tmp_V2f = __builtin_ia32_pswapdsf(tmp_V2f); tmp_V2i = __builtin_ia32_pswapdsi(tmp_V2i); #endif (void) __builtin_ia32_maskmovdqu(tmp_V16c, tmp_V16c, tmp_cp); tmp_V2d = __builtin_ia32_loadupd(tmp_dCp); (void) __builtin_ia32_storeupd(tmp_dp, tmp_V2d); tmp_V2d = __builtin_ia32_loadhpd(tmp_V2d, tmp_dCp); tmp_V2d = __builtin_ia32_loadlpd(tmp_V2d, tmp_dCp); tmp_i = __builtin_ia32_movmskpd(tmp_V2d); tmp_i = __builtin_ia32_pmovmskb128(tmp_V16c); (void) __builtin_ia32_movnti(tmp_ip, tmp_i); (void) __builtin_ia32_movntpd(tmp_dp, tmp_V2d); (void) __builtin_ia32_movntdq(tmp_V2LLip, tmp_V2LLi); tmp_V4i = __builtin_ia32_pshufd(tmp_V4i, imm_i); tmp_V8s = __builtin_ia32_pshuflw(tmp_V8s, imm_i); tmp_V8s = __builtin_ia32_pshufhw(tmp_V8s, imm_i); tmp_V2LLi = __builtin_ia32_psadbw128(tmp_V16c, tmp_V16c); tmp_V2d = __builtin_ia32_sqrtpd(tmp_V2d); tmp_V2d = __builtin_ia32_sqrtsd(tmp_V2d); tmp_V2d = __builtin_ia32_shufpd(tmp_V2d, tmp_V2d, imm_i); tmp_V2d = __builtin_ia32_cvtdq2pd(tmp_V4i); tmp_V4f = __builtin_ia32_cvtdq2ps(tmp_V4i); tmp_V2LLi = __builtin_ia32_cvtpd2dq(tmp_V2d); tmp_V2i = __builtin_ia32_cvtpd2pi(tmp_V2d); tmp_V4f = __builtin_ia32_cvtpd2ps(tmp_V2d); tmp_V4i = __builtin_ia32_cvttpd2dq(tmp_V2d); tmp_V2i = __builtin_ia32_cvttpd2pi(tmp_V2d); tmp_V2d = __builtin_ia32_cvtpi2pd(tmp_V2i); tmp_i = __builtin_ia32_cvtsd2si(tmp_V2d); tmp_i = __builtin_ia32_cvttsd2si(tmp_V2d); #ifdef USE_64 tmp_LLi = __builtin_ia32_cvtsd2si64(tmp_V2d); tmp_LLi = __builtin_ia32_cvttsd2si64(tmp_V2d); #endif tmp_V4i = __builtin_ia32_cvtps2dq(tmp_V4f); tmp_V2d = __builtin_ia32_cvtps2pd(tmp_V4f); tmp_V4i = __builtin_ia32_cvttps2dq(tmp_V4f); tmp_V2d = __builtin_ia32_cvtsi2sd(tmp_V2d, tmp_i); #ifdef USE_64 tmp_V2d = __builtin_ia32_cvtsi642sd(tmp_V2d, tmp_LLi); #endif tmp_V4f = __builtin_ia32_cvtsd2ss(tmp_V4f, tmp_V2d); tmp_V2d = __builtin_ia32_cvtss2sd(tmp_V2d, tmp_V4f); (void) __builtin_ia32_clflush(tmp_vCp); (void) __builtin_ia32_lfence(); (void) __builtin_ia32_mfence(); tmp_V16c = __builtin_ia32_loaddqu(tmp_cCp); (void) __builtin_ia32_storedqu(tmp_cp, tmp_V16c); tmp_V4s = __builtin_ia32_psllwi(tmp_V4s, tmp_i); tmp_V2i = __builtin_ia32_pslldi(tmp_V2i, tmp_i); tmp_V1LLi = __builtin_ia32_psllqi(tmp_V1LLi, tmp_i); tmp_V4s = __builtin_ia32_psrawi(tmp_V4s, tmp_i); tmp_V2i = __builtin_ia32_psradi(tmp_V2i, tmp_i); tmp_V4s = __builtin_ia32_psrlwi(tmp_V4s, tmp_i); tmp_V2i = __builtin_ia32_psrldi(tmp_V2i, tmp_i); tmp_V1LLi = __builtin_ia32_psrlqi(tmp_V1LLi, tmp_i); tmp_V1LLi = __builtin_ia32_pmuludq(tmp_V2i, tmp_V2i); tmp_V2LLi = __builtin_ia32_pmuludq128(tmp_V4i, tmp_V4i); tmp_V8s = __builtin_ia32_psraw128(tmp_V8s, tmp_V8s); tmp_V4i = __builtin_ia32_psrad128(tmp_V4i, tmp_V4i); tmp_V8s = __builtin_ia32_psrlw128(tmp_V8s, tmp_V8s); tmp_V4i = __builtin_ia32_psrld128(tmp_V4i, tmp_V4i); tmp_V2LLi = __builtin_ia32_psrlq128(tmp_V2LLi, tmp_V2LLi); tmp_V8s = __builtin_ia32_psllw128(tmp_V8s, tmp_V8s); tmp_V4i = __builtin_ia32_pslld128(tmp_V4i, tmp_V4i); tmp_V2LLi = __builtin_ia32_psllq128(tmp_V2LLi, tmp_V2LLi); tmp_V8s = __builtin_ia32_psllwi128(tmp_V8s, tmp_i); tmp_V4i = __builtin_ia32_pslldi128(tmp_V4i, tmp_i); tmp_V2LLi = __builtin_ia32_psllqi128(tmp_V2LLi, tmp_i); tmp_V8s = __builtin_ia32_psrlwi128(tmp_V8s, tmp_i); tmp_V4i = __builtin_ia32_psrldi128(tmp_V4i, tmp_i); tmp_V2LLi = __builtin_ia32_psrlqi128(tmp_V2LLi, tmp_i); tmp_V8s = __builtin_ia32_psrawi128(tmp_V8s, tmp_i); tmp_V4i = __builtin_ia32_psradi128(tmp_V4i, tmp_i); tmp_V8s = __builtin_ia32_pmaddwd128(tmp_V8s, tmp_V8s); (void) __builtin_ia32_monitor(tmp_vp, tmp_Ui, tmp_Ui); (void) __builtin_ia32_mwait(tmp_Ui, tmp_Ui); #ifdef USE_ALL tmp_V4f = __builtin_ia32_movshdup(tmp_V4f); tmp_V4f = __builtin_ia32_movsldup(tmp_V4f); #endif tmp_V16c = __builtin_ia32_lddqu(tmp_cCp); tmp_V2LLi = __builtin_ia32_palignr128(tmp_V2LLi, tmp_V2LLi, imm_i); tmp_V1LLi = __builtin_ia32_palignr(tmp_V1LLi, tmp_V1LLi, imm_i); tmp_V2i = __builtin_ia32_vec_init_v2si(tmp_i, tmp_i); tmp_V4s = __builtin_ia32_vec_init_v4hi(tmp_s, tmp_s, tmp_s, tmp_s); tmp_V8c = __builtin_ia32_vec_init_v8qi(tmp_c, tmp_c, tmp_c, tmp_c, tmp_c, tmp_c, tmp_c, tmp_c); tmp_d = __builtin_ia32_vec_ext_v2df(tmp_V2d, imm_i_0_2); tmp_LLi = __builtin_ia32_vec_ext_v2di(tmp_V2LLi, imm_i_0_2); tmp_f = __builtin_ia32_vec_ext_v4sf(tmp_V4f, imm_i_0_4); tmp_i = __builtin_ia32_vec_ext_v4si(tmp_V4i, imm_i_0_4); #ifdef USE_ALL tmp_Us = __builtin_ia32_vec_ext_v8hi(tmp_V8s, imm_i_0_8); tmp_s = __builtin_ia32_vec_ext_v4hi(tmp_V4s, imm_i_0_4); #endif tmp_i = __builtin_ia32_vec_ext_v2si(tmp_V2i, imm_i_0_2); tmp_V8s = __builtin_ia32_vec_set_v8hi(tmp_V8s, tmp_s, imm_i_0_8); tmp_V4s = __builtin_ia32_vec_set_v4hi(tmp_V4s, tmp_s, imm_i_0_4); tmp_V4i = __builtin_ia32_loadlv4si(tmp_V2ip); (void) __builtin_ia32_storelv4si(tmp_V2ip, tmp_V2LLi); #ifdef USE_SSE4 tmp_V16c = __builtin_ia32_pblendvb128(tmp_V16c, tmp_V16c, tmp_V16c); tmp_V8s = __builtin_ia32_pblendw128(tmp_V8s, tmp_V8s, imm_i_0_256); tmp_V2d = __builtin_ia32_blendpd(tmp_V2d, tmp_V2d, imm_i_0_256); tmp_V4f = __builtin_ia32_blendps(tmp_V4f, tmp_V4f, imm_i_0_256); tmp_V2d = __builtin_ia32_blendvpd(tmp_V2d, tmp_V2d, tmp_V2d); tmp_V4f = __builtin_ia32_blendvps(tmp_V4f, tmp_V4f, tmp_V4f); tmp_V8s = __builtin_ia32_packusdw128(tmp_V4i, tmp_V4i); tmp_V16c = __builtin_ia32_pmaxsb128(tmp_V16c, tmp_V16c); tmp_V4i = __builtin_ia32_pmaxsd128(tmp_V4i, tmp_V4i); tmp_V4i = __builtin_ia32_pmaxud128(tmp_V4i, tmp_V4i); tmp_V8s = __builtin_ia32_pmaxuw128(tmp_V8s, tmp_V8s); tmp_V16c = __builtin_ia32_pminsb128(tmp_V16c, tmp_V16c); tmp_V4i = __builtin_ia32_pminsd128(tmp_V4i, tmp_V4i); tmp_V4i = __builtin_ia32_pminud128(tmp_V4i, tmp_V4i); tmp_V8s = __builtin_ia32_pminuw128(tmp_V8s, tmp_V8s); tmp_V4i = __builtin_ia32_pmovsxbd128(tmp_V16c); tmp_V2LLi = __builtin_ia32_pmovsxbq128(tmp_V16c); tmp_V8s = __builtin_ia32_pmovsxbw128(tmp_V16c); tmp_V2LLi = __builtin_ia32_pmovsxdq128(tmp_V4i); tmp_V4i = __builtin_ia32_pmovsxwd128(tmp_V8s); tmp_V2LLi = __builtin_ia32_pmovsxwq128(tmp_V8s); tmp_V4i = __builtin_ia32_pmovzxbd128(tmp_V16c); tmp_V2LLi = __builtin_ia32_pmovzxbq128(tmp_V16c); tmp_V8s = __builtin_ia32_pmovzxbw128(tmp_V16c); tmp_V2LLi = __builtin_ia32_pmovzxdq128(tmp_V4i); tmp_V4i = __builtin_ia32_pmovzxwd128(tmp_V8s); tmp_V2LLi = __builtin_ia32_pmovzxwq128(tmp_V8s); tmp_V2LLi = __builtin_ia32_pmuldq128(tmp_V4i, tmp_V4i); tmp_V4i = __builtin_ia32_pmulld128(tmp_V4i, tmp_V4i); tmp_V4f = __builtin_ia32_roundps(tmp_V4f, imm_i_0_16); // tmp_V4f = __builtin_ia32_roundss(tmp_V4f, tmp_V4f, imm_i_0_16); // tmp_V2d = __builtin_ia32_roundsd(tmp_V2d, tmp_V2d, imm_i_0_16); tmp_V2d = __builtin_ia32_roundpd(tmp_V2d, imm_i_0_16); tmp_V16c = __builtin_ia32_vec_set_v16qi(tmp_V16c, tmp_i, tmp_i); tmp_V4i = __builtin_ia32_vec_set_v4si(tmp_V4i, tmp_i, tmp_i); tmp_V4f = __builtin_ia32_insertps128(tmp_V4f, tmp_V4f, tmp_i); tmp_V2LLi = __builtin_ia32_vec_set_v2di(tmp_V2LLi, tmp_LLi, tmp_i); #endif }
double mfp_block_prefix_sum(mfp_block * in, mfp_sample scale, mfp_sample initval, mfp_block * out) { if (mfp_block_use_sse && mfp_block_compiled_with_sse) { #ifdef MFP_USE_SSE float * inptr, * outptr, * endptr; fv4 scratch = { 0.0, 0.0, 0.0, 0.0 }; __v4sf xmm0, xmm1, xmm2; __v4sf zeros = (__v4sf) { 0.0, 0.0, 0.0, 0.0 }; __v4si mask = (__v4si) { 0x00, 0xffffffff, 0xffffffff, 0xffffffff }; __v4sf scaler = { scale, scale, scale, scale }; endptr = in->data + in->blocksize; outptr = out->data; scratch[0] = initval; /* xmm1 gets carry in */ xmm1 = *(__v4sf *)scratch; for(inptr = in->data; inptr < endptr; inptr += 4) { /* xmm0 gets A+I, B, C, D */ xmm0 = *(__v4sf *)inptr; xmm0 = __builtin_ia32_mulps(xmm0, scaler); xmm0 = __builtin_ia32_addss(xmm0, xmm1); /* xmm2 gets 0, A+I, B, C */ xmm2 = xmm0; xmm2 = __builtin_ia32_shufps(xmm2, xmm2, 0x60); xmm2 = __builtin_ia32_andps(xmm2, (__v4sf)mask); /* xmm2 gets A+I, A+B+I, B+C, C+D */ xmm2 = __builtin_ia32_addps(xmm2, xmm0); /* xmm0 gets 0, 0, A+I, A+B+I */ xmm0 = zeros; xmm0 = __builtin_ia32_shufps(xmm0, xmm2, 0x40); /* xmm0 gets A+I, A+B+I, A+B+C+I, A+B+C+D+I */ xmm0 = __builtin_ia32_addps(xmm0, xmm2); /* preparing for next iteration, xmm1 gets carry */ xmm1 = xmm0; xmm1 = __builtin_ia32_shufps(xmm1, xmm1, 0xff); *(__v4sf *)outptr = xmm0; outptr += 4; } *(__v4sf *)&scratch = xmm1; return scratch[0]; #endif } else { mfp_sample * iptr, * optr, * iend, accum=initval; iptr = in->data; iend = in->data + in->blocksize; optr = out->data; for(; iptr < iend; iptr++) { accum += *iptr * scale; *optr = accum; optr++; } return accum; } }
void GPUNB_regf( int ni, double h2d[], double dtr[], double xid[][3], double vid[][3], double acc[][3], double jrk[][3], double pot[], int lmax, int nbmax, int *listbase, int m_flag){ // std::cout << " Call GPUNB_regf " << ni << std::endl; time_grav -= get_wtime(); numInter += ni * nbody; ::icall++; ::ini +=ni; #pragma omp parallel for for(int i=0; i<ni; i+=4){ int tid = omp_get_thread_num(); nblist[tid][0].clear(); nblist[tid][1].clear(); nblist[tid][2].clear(); nblist[tid][3].clear(); int nii = std::min(4, ni-i); v4sf xi = {xid[i+0][0], xid[i+1][0], xid[i+2][0], xid[i+3][0]}; v4sf yi = {xid[i+0][1], xid[i+1][1], xid[i+2][1], xid[i+3][1]}; v4sf zi = {xid[i+0][2], xid[i+1][2], xid[i+2][2], xid[i+3][2]}; v4sf vxi = {vid[i+0][0], vid[i+1][0], vid[i+2][0], vid[i+3][0]}; v4sf vyi = {vid[i+0][1], vid[i+1][1], vid[i+2][1], vid[i+3][1]}; v4sf vzi = {vid[i+0][2], vid[i+1][2], vid[i+2][2], vid[i+3][2]}; v4sf h2i = {h2d[i+0], h2d[i+1], h2d[i+2], h2d[i+3]}; static const v4sf h2mask[5] = { {0.0, 0.0, 0.0, 0.0}, {1.0, 0.0, 0.0, 0.0}, {1.0, 1.0, 0.0, 0.0}, {1.0, 1.0, 1.0, 0.0}, {1.0, 1.0, 1.0, 1.0}, }; h2i *= h2mask[nii]; v4sf dtri = {dtr[i+0], dtr[i+1], dtr[i+2], dtr[i+3]}; v4sf Ax = {0.f, 0.f, 0.f, 0.f}; v4sf Ay = {0.f, 0.f, 0.f, 0.f}; v4sf Az = {0.f, 0.f, 0.f, 0.f}; v4sf Jx = {0.f, 0.f, 0.f, 0.f}; v4sf Jy = {0.f, 0.f, 0.f, 0.f}; v4sf Jz = {0.f, 0.f, 0.f, 0.f}; v4sf poti = {0.f, 0.f, 0.f, 0.f}; v4sf *jpp = (v4sf *)jp_host; for(int j=0; j<nbody; j++, jpp+=2){ v4sf jp0 = jpp[0]; v4sf jp1 = jpp[1]; v4sf xj = __builtin_ia32_shufps(jp0, jp0, 0x00); v4sf yj = __builtin_ia32_shufps(jp0, jp0, 0x55); v4sf zj = __builtin_ia32_shufps(jp0, jp0, 0xaa); v4sf mj = __builtin_ia32_shufps(jp0, jp0, 0xff); v4sf vxj = __builtin_ia32_shufps(jp1, jp1, 0x00); v4sf vyj = __builtin_ia32_shufps(jp1, jp1, 0x55); v4sf vzj = __builtin_ia32_shufps(jp1, jp1, 0xaa); v4sf dx = xj - xi; v4sf dy = yj - yi; v4sf dz = zj - zi; v4sf dvx = vxj - vxi; v4sf dvy = vyj - vyi; v4sf dvz = vzj - vzi; v4sf dxp = dx + dtri * dvx; v4sf dyp = dy + dtri * dvy; v4sf dzp = dz + dtri * dvz; v4sf r2 = dx*dx + dy*dy + dz*dz; v4sf rv = dx*dvx + dy*dvy + dz*dvz; v4sf r2p = dxp*dxp + dyp*dyp + dzp*dzp; v4sf mask; // v4sf mask = (v4sf)__builtin_ia32_cmpltps(r2, h2i); if(m_flag) { v4sf mh2i = mj * h2i; mask = (v4sf)__builtin_ia32_cmpltps( __builtin_ia32_minps(r2,r2p), mh2i); } else { mask = (v4sf)__builtin_ia32_cmpltps( __builtin_ia32_minps(r2,r2p), h2i); } int bits = __builtin_ia32_movmskps(mask); // mj = __builtin_ia32_andnps(mask, mj); if(bits){ if (bits&1) nblist[tid][0].push_back(j); if (bits&2) nblist[tid][1].push_back(j); if (bits&4) nblist[tid][2].push_back(j); if (bits&8) nblist[tid][3].push_back(j); } v4sf rinv1 = v4sf_rsqrt(r2); rinv1 = __builtin_ia32_andnps(mask, rinv1); // v4sf rinv1 = __builtin_ia32_rsqrtps(r2); v4sf rinv2 = rinv1 * rinv1; rinv1 *= mj; poti += rinv1; v4sf rinv3 = rinv1 * rinv2; rv *= (v4sf){-3.f, -3.f, -3.f, -3.f} * rinv2; Ax += rinv3 * dx; Ay += rinv3 * dy; Az += rinv3 * dz; Jx += rinv3 * (dvx + rv * dx); Jy += rinv3 * (dvy + rv * dy); Jz += rinv3 * (dvz + rv * dz); } // for(j) union { struct{ v4sf Ax, Ay, Az, Jx, Jy, Jz, Pot; }; struct{ float acc[3][4], jrk[3][4], pot[4]; }; } u; u.Ax = Ax; u.Ay = Ay; u.Az = Az; u.Jx = Jx; u.Jy = Jy; u.Jz = Jz; u.Pot = poti; for(int ii=0; ii<nii; ii++){ for(int k=0; k<3; k++){ acc[i+ii][k] = u.acc[k][ii]; jrk[i+ii][k] = u.jrk[k][ii]; } pot[i+ii] = u.pot[ii]; int nnb = nblist[tid][ii].size(); int *nnbp = listbase + lmax * (i+ii); int *nblistp = nnbp + 1; if(nnb > nbmax){ *nnbp = -nnb; }else{ *nnbp = nnb; for(int k=0; k<nnb; k++){ nblistp[k] = nblist[tid][ii][k]; } } } } // printf("gpu: %e %e %e %d\n", xid[0][0], acc[0][0], jrk[0][0], *listbase); #if 0 if(ni > 0){ FILE *fp = fopen("Force.sse", "w"); assert(fp); for(int i=0; i<ni; i++){ int nnb = listbase[i*lmax]; fprintf(fp, "%d %9.2e %9.2e %9.2e %9.2e %9.2e %9.2e %d\n", i, acc[i][0], acc[i][1], acc[i][2], jrk[i][0], jrk[i][1], jrk[i][2], nnb); } fprintf(fp, "\n"); fclose(fp); exit(1); } #endif time_grav += get_wtime(); }
static v4sf bcast3(const v4sf v){ return __builtin_ia32_shufps(v, v, 0xff); }