h264idct_neon.S (14881B)
1 /* 2 * Copyright (c) 2008 Mans Rullgard <mans@mansr.com> 3 * 4 * This file is part of FFmpeg. 5 * 6 * FFmpeg is free software; you can redistribute it and/or 7 * modify it under the terms of the GNU Lesser General Public 8 * License as published by the Free Software Foundation; either 9 * version 2.1 of the License, or (at your option) any later version. 10 * 11 * FFmpeg is distributed in the hope that it will be useful, 12 * but WITHOUT ANY WARRANTY; without even the implied warranty of 13 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU 14 * Lesser General Public License for more details. 15 * 16 * You should have received a copy of the GNU Lesser General Public 17 * License along with FFmpeg; if not, write to the Free Software 18 * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA 19 */ 20 21 #include "libavutil/arm/asm.S" 22 23 function ff_h264_idct_add_neon, export=1 24 h264_idct_add_neon_nothumb: 25 vld1.64 {d0-d3}, [r1,:128] 26 vmov.i16 q15, #0 27 28 vswp d1, d2 29 vst1.16 {q15}, [r1,:128]! 30 vadd.i16 d4, d0, d1 31 vst1.16 {q15}, [r1,:128]! 32 vshr.s16 q8, q1, #1 33 vsub.i16 d5, d0, d1 34 vadd.i16 d6, d2, d17 35 vsub.i16 d7, d16, d3 36 vadd.i16 q0, q2, q3 37 vsub.i16 q1, q2, q3 38 39 vtrn.16 d0, d1 40 vtrn.16 d3, d2 41 vtrn.32 d0, d3 42 vtrn.32 d1, d2 43 44 vadd.i16 d4, d0, d3 45 vld1.32 {d18[0]}, [r0,:32], r2 46 vswp d1, d3 47 vshr.s16 q8, q1, #1 48 vld1.32 {d19[1]}, [r0,:32], r2 49 vsub.i16 d5, d0, d1 50 vld1.32 {d18[1]}, [r0,:32], r2 51 vadd.i16 d6, d16, d3 52 vld1.32 {d19[0]}, [r0,:32], r2 53 vsub.i16 d7, d2, d17 54 sub r0, r0, r2, lsl #2 55 vadd.i16 q0, q2, q3 56 vsub.i16 q1, q2, q3 57 58 vrshr.s16 q0, q0, #6 59 vrshr.s16 q1, q1, #6 60 61 vaddw.u8 q0, q0, d18 62 vaddw.u8 q1, q1, d19 63 64 vqmovun.s16 d0, q0 65 vqmovun.s16 d1, q1 66 67 vst1.32 {d0[0]}, [r0,:32], r2 68 vst1.32 {d1[1]}, [r0,:32], r2 69 vst1.32 {d0[1]}, [r0,:32], r2 70 vst1.32 {d1[0]}, [r0,:32], r2 71 72 sub r1, r1, #32 73 bx lr 74 endfunc 75 76 function ff_h264_idct_dc_add_neon, export=1 77 h264_idct_dc_add_neon_nothumb: 78 mov r3, #0 79 vld1.16 {d2[],d3[]}, [r1,:16] 80 strh r3, [r1] 81 vrshr.s16 q1, q1, #6 82 vld1.32 {d0[0]}, [r0,:32], r2 83 vld1.32 {d0[1]}, [r0,:32], r2 84 vaddw.u8 q2, q1, d0 85 vld1.32 {d1[0]}, [r0,:32], r2 86 vld1.32 {d1[1]}, [r0,:32], r2 87 vaddw.u8 q1, q1, d1 88 vqmovun.s16 d0, q2 89 vqmovun.s16 d1, q1 90 sub r0, r0, r2, lsl #2 91 vst1.32 {d0[0]}, [r0,:32], r2 92 vst1.32 {d0[1]}, [r0,:32], r2 93 vst1.32 {d1[0]}, [r0,:32], r2 94 vst1.32 {d1[1]}, [r0,:32], r2 95 bx lr 96 endfunc 97 98 function ff_h264_idct_add16_neon, export=1 99 push {r4-r8,lr} 100 mov r4, r0 101 mov r5, r1 102 mov r1, r2 103 mov r2, r3 104 ldr r6, [sp, #24] 105 movrel r7, scan8 106 mov ip, #16 107 1: ldrb r8, [r7], #1 108 ldr r0, [r5], #4 109 ldrb r8, [r6, r8] 110 subs r8, r8, #1 111 blt 2f 112 ldrsh lr, [r1] 113 add r0, r0, r4 114 it ne 115 movne lr, #0 116 cmp lr, #0 117 ite ne 118 adrne lr, h264_idct_dc_add_neon_nothumb + CONFIG_THUMB 119 adreq lr, h264_idct_add_neon_nothumb + CONFIG_THUMB 120 blx lr 121 2: subs ip, ip, #1 122 add r1, r1, #32 123 bne 1b 124 pop {r4-r8,pc} 125 endfunc 126 127 function ff_h264_idct_add16intra_neon, export=1 128 push {r4-r8,lr} 129 mov r4, r0 130 mov r5, r1 131 mov r1, r2 132 mov r2, r3 133 ldr r6, [sp, #24] 134 movrel r7, scan8 135 mov ip, #16 136 1: ldrb r8, [r7], #1 137 ldr r0, [r5], #4 138 ldrb r8, [r6, r8] 139 add r0, r0, r4 140 cmp r8, #0 141 ldrsh r8, [r1] 142 iteet ne 143 adrne lr, h264_idct_add_neon_nothumb + CONFIG_THUMB 144 adreq lr, h264_idct_dc_add_neon_nothumb + CONFIG_THUMB 145 cmpeq r8, #0 146 blxne lr 147 subs ip, ip, #1 148 add r1, r1, #32 149 bne 1b 150 pop {r4-r8,pc} 151 endfunc 152 153 function ff_h264_idct_add8_neon, export=1 154 push {r4-r10,lr} 155 ldm r0, {r4,r9} 156 add r5, r1, #16*4 157 add r1, r2, #16*32 158 mov r2, r3 159 mov r10, r1 160 ldr r6, [sp, #32] 161 movrel r7, scan8+16 162 mov r12, #0 163 1: ldrb r8, [r7, r12] 164 ldr r0, [r5, r12, lsl #2] 165 ldrb r8, [r6, r8] 166 add r0, r0, r4 167 add r1, r10, r12, lsl #5 168 cmp r8, #0 169 ldrsh r8, [r1] 170 iteet ne 171 adrne lr, h264_idct_add_neon_nothumb + CONFIG_THUMB 172 adreq lr, h264_idct_dc_add_neon_nothumb + CONFIG_THUMB 173 cmpeq r8, #0 174 blxne lr 175 add r12, r12, #1 176 cmp r12, #4 177 itt eq 178 moveq r12, #16 179 moveq r4, r9 180 cmp r12, #20 181 blt 1b 182 pop {r4-r10,pc} 183 endfunc 184 185 .macro idct8x8_cols pass 186 .if \pass == 0 187 qa .req q2 188 qb .req q14 189 vshr.s16 q2, q10, #1 190 vadd.i16 q0, q8, q12 191 vld1.16 {q14-q15},[r1,:128] 192 vst1.16 {q3}, [r1,:128]! 193 vst1.16 {q3}, [r1,:128]! 194 vsub.i16 q1, q8, q12 195 vshr.s16 q3, q14, #1 196 vsub.i16 q2, q2, q14 197 vadd.i16 q3, q3, q10 198 .else 199 qa .req q14 200 qb .req q2 201 vtrn.32 q8, q10 202 vtrn.16 q12, q13 203 vtrn.32 q9, q11 204 vtrn.32 q12, q2 205 vtrn.32 q13, q15 206 vswp d21, d4 207 vshr.s16 q14, q10, #1 208 vswp d17, d24 209 vshr.s16 q3, q2, #1 210 vswp d19, d26 211 vadd.i16 q0, q8, q12 212 vswp d23, d30 213 vsub.i16 q1, q8, q12 214 vsub.i16 q14, q14, q2 215 vadd.i16 q3, q3, q10 216 .endif 217 vadd.i16 q10, q1, qa 218 vsub.i16 q12, q1, qa 219 vadd.i16 q8, q0, q3 220 vsub.i16 qb, q0, q3 221 vsub.i16 q0, q13, q11 222 vadd.i16 q1, q15, q9 223 vsub.i16 qa, q15, q9 224 vadd.i16 q3, q13, q11 225 vsub.i16 q0, q0, q15 226 vsub.i16 q1, q1, q11 227 vadd.i16 qa, qa, q13 228 vadd.i16 q3, q3, q9 229 vshr.s16 q9, q9, #1 230 vshr.s16 q11, q11, #1 231 vshr.s16 q13, q13, #1 232 vshr.s16 q15, q15, #1 233 vsub.i16 q0, q0, q15 234 vsub.i16 q1, q1, q11 235 vadd.i16 qa, qa, q13 236 vadd.i16 q3, q3, q9 237 vshr.s16 q9, q0, #2 238 vshr.s16 q11, q1, #2 239 vshr.s16 q13, qa, #2 240 vshr.s16 q15, q3, #2 241 vsub.i16 q3, q3, q9 242 vsub.i16 qa, q11, qa 243 vadd.i16 q1, q1, q13 244 vadd.i16 q0, q0, q15 245 .if \pass == 0 246 vsub.i16 q15, q8, q3 247 vadd.i16 q8, q8, q3 248 vadd.i16 q9, q10, q2 249 vsub.i16 q2, q10, q2 250 vtrn.16 q8, q9 251 vadd.i16 q10, q12, q1 252 vtrn.16 q2, q15 253 vadd.i16 q11, q14, q0 254 vsub.i16 q13, q12, q1 255 vtrn.16 q10, q11 256 vsub.i16 q12, q14, q0 257 .else 258 vsub.i16 q15, q8, q3 259 vadd.i16 q8, q8, q3 260 vadd.i16 q9, q10, q14 261 vsub.i16 q14, q10, q14 262 vadd.i16 q10, q12, q1 263 vsub.i16 q13, q12, q1 264 vadd.i16 q11, q2, q0 265 vsub.i16 q12, q2, q0 266 .endif 267 .unreq qa 268 .unreq qb 269 .endm 270 271 function ff_h264_idct8_add_neon, export=1 272 h264_idct8_add_neon_nothumb: 273 vmov.i16 q3, #0 274 vld1.16 {q8-q9}, [r1,:128] 275 vst1.16 {q3}, [r1,:128]! 276 vst1.16 {q3}, [r1,:128]! 277 vld1.16 {q10-q11},[r1,:128] 278 vst1.16 {q3}, [r1,:128]! 279 vst1.16 {q3}, [r1,:128]! 280 vld1.16 {q12-q13},[r1,:128] 281 vst1.16 {q3}, [r1,:128]! 282 vst1.16 {q3}, [r1,:128]! 283 284 idct8x8_cols 0 285 idct8x8_cols 1 286 287 mov r3, r0 288 vrshr.s16 q8, q8, #6 289 vld1.8 {d0}, [r0,:64], r2 290 vrshr.s16 q9, q9, #6 291 vld1.8 {d1}, [r0,:64], r2 292 vrshr.s16 q10, q10, #6 293 vld1.8 {d2}, [r0,:64], r2 294 vrshr.s16 q11, q11, #6 295 vld1.8 {d3}, [r0,:64], r2 296 vrshr.s16 q12, q12, #6 297 vld1.8 {d4}, [r0,:64], r2 298 vrshr.s16 q13, q13, #6 299 vld1.8 {d5}, [r0,:64], r2 300 vrshr.s16 q14, q14, #6 301 vld1.8 {d6}, [r0,:64], r2 302 vrshr.s16 q15, q15, #6 303 vld1.8 {d7}, [r0,:64], r2 304 vaddw.u8 q8, q8, d0 305 vaddw.u8 q9, q9, d1 306 vaddw.u8 q10, q10, d2 307 vqmovun.s16 d0, q8 308 vaddw.u8 q11, q11, d3 309 vqmovun.s16 d1, q9 310 vaddw.u8 q12, q12, d4 311 vqmovun.s16 d2, q10 312 vst1.8 {d0}, [r3,:64], r2 313 vaddw.u8 q13, q13, d5 314 vqmovun.s16 d3, q11 315 vst1.8 {d1}, [r3,:64], r2 316 vaddw.u8 q14, q14, d6 317 vqmovun.s16 d4, q12 318 vst1.8 {d2}, [r3,:64], r2 319 vaddw.u8 q15, q15, d7 320 vqmovun.s16 d5, q13 321 vst1.8 {d3}, [r3,:64], r2 322 vqmovun.s16 d6, q14 323 vqmovun.s16 d7, q15 324 vst1.8 {d4}, [r3,:64], r2 325 vst1.8 {d5}, [r3,:64], r2 326 vst1.8 {d6}, [r3,:64], r2 327 vst1.8 {d7}, [r3,:64], r2 328 329 sub r1, r1, #128 330 bx lr 331 endfunc 332 333 function ff_h264_idct8_dc_add_neon, export=1 334 h264_idct8_dc_add_neon_nothumb: 335 mov r3, #0 336 vld1.16 {d30[],d31[]},[r1,:16] 337 strh r3, [r1] 338 vld1.32 {d0}, [r0,:64], r2 339 vrshr.s16 q15, q15, #6 340 vld1.32 {d1}, [r0,:64], r2 341 vld1.32 {d2}, [r0,:64], r2 342 vaddw.u8 q8, q15, d0 343 vld1.32 {d3}, [r0,:64], r2 344 vaddw.u8 q9, q15, d1 345 vld1.32 {d4}, [r0,:64], r2 346 vaddw.u8 q10, q15, d2 347 vld1.32 {d5}, [r0,:64], r2 348 vaddw.u8 q11, q15, d3 349 vld1.32 {d6}, [r0,:64], r2 350 vaddw.u8 q12, q15, d4 351 vld1.32 {d7}, [r0,:64], r2 352 vaddw.u8 q13, q15, d5 353 vaddw.u8 q14, q15, d6 354 vaddw.u8 q15, q15, d7 355 vqmovun.s16 d0, q8 356 vqmovun.s16 d1, q9 357 vqmovun.s16 d2, q10 358 vqmovun.s16 d3, q11 359 sub r0, r0, r2, lsl #3 360 vst1.32 {d0}, [r0,:64], r2 361 vqmovun.s16 d4, q12 362 vst1.32 {d1}, [r0,:64], r2 363 vqmovun.s16 d5, q13 364 vst1.32 {d2}, [r0,:64], r2 365 vqmovun.s16 d6, q14 366 vst1.32 {d3}, [r0,:64], r2 367 vqmovun.s16 d7, q15 368 vst1.32 {d4}, [r0,:64], r2 369 vst1.32 {d5}, [r0,:64], r2 370 vst1.32 {d6}, [r0,:64], r2 371 vst1.32 {d7}, [r0,:64], r2 372 bx lr 373 endfunc 374 375 function ff_h264_idct8_add4_neon, export=1 376 push {r4-r8,lr} 377 mov r4, r0 378 mov r5, r1 379 mov r1, r2 380 mov r2, r3 381 ldr r6, [sp, #24] 382 movrel r7, scan8 383 mov r12, #16 384 1: ldrb r8, [r7], #4 385 ldr r0, [r5], #16 386 ldrb r8, [r6, r8] 387 subs r8, r8, #1 388 blt 2f 389 ldrsh lr, [r1] 390 add r0, r0, r4 391 it ne 392 movne lr, #0 393 cmp lr, #0 394 ite ne 395 adrne lr, h264_idct8_dc_add_neon_nothumb + CONFIG_THUMB 396 adreq lr, h264_idct8_add_neon_nothumb + CONFIG_THUMB 397 blx lr 398 2: subs r12, r12, #4 399 add r1, r1, #128 400 bne 1b 401 pop {r4-r8,pc} 402 endfunc 403 404 const scan8 405 .byte 4+ 1*8, 5+ 1*8, 4+ 2*8, 5+ 2*8 406 .byte 6+ 1*8, 7+ 1*8, 6+ 2*8, 7+ 2*8 407 .byte 4+ 3*8, 5+ 3*8, 4+ 4*8, 5+ 4*8 408 .byte 6+ 3*8, 7+ 3*8, 6+ 4*8, 7+ 4*8 409 .byte 4+ 6*8, 5+ 6*8, 4+ 7*8, 5+ 7*8 410 .byte 6+ 6*8, 7+ 6*8, 6+ 7*8, 7+ 7*8 411 .byte 4+ 8*8, 5+ 8*8, 4+ 9*8, 5+ 9*8 412 .byte 6+ 8*8, 7+ 8*8, 6+ 9*8, 7+ 9*8 413 .byte 4+11*8, 5+11*8, 4+12*8, 5+12*8 414 .byte 6+11*8, 7+11*8, 6+12*8, 7+12*8 415 .byte 4+13*8, 5+13*8, 4+14*8, 5+14*8 416 .byte 6+13*8, 7+13*8, 6+14*8, 7+14*8 417 endconst