Fix T53001: more workarounds for crash in AMD compiler with recent drivers.
[blender-staging.git] / intern / cycles / kernel / kernel_compat_cuda.h
1 /*
2  * Copyright 2011-2013 Blender Foundation
3  *
4  * Licensed under the Apache License, Version 2.0 (the "License");
5  * you may not use this file except in compliance with the License.
6  * You may obtain a copy of the License at
7  *
8  * http://www.apache.org/licenses/LICENSE-2.0
9  *
10  * Unless required by applicable law or agreed to in writing, software
11  * distributed under the License is distributed on an "AS IS" BASIS,
12  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
13  * See the License for the specific language governing permissions and
14  * limitations under the License.
15  */
16
17 #ifndef __KERNEL_COMPAT_CUDA_H__
18 #define __KERNEL_COMPAT_CUDA_H__
19
20 #define __KERNEL_GPU__
21 #define __KERNEL_CUDA__
22 #define CCL_NAMESPACE_BEGIN
23 #define CCL_NAMESPACE_END
24
25 /* Selective nodes compilation. */
26 #ifndef __NODES_MAX_GROUP__
27 #  define __NODES_MAX_GROUP__ NODE_GROUP_LEVEL_MAX
28 #endif
29 #ifndef __NODES_FEATURES__
30 #  define __NODES_FEATURES__ NODE_FEATURE_ALL
31 #endif
32
33 #include <cuda.h>
34 #include <cuda_fp16.h>
35 #include <float.h>
36 #include <stdint.h>
37
38 /* Qualifier wrappers for different names on different devices */
39
40 #define ccl_device  __device__ __inline__
41 #if __CUDA_ARCH__ < 300
42 #  define ccl_device_inline  __device__ __inline__
43 #  define ccl_device_forceinline  __device__ __forceinline__
44 #elif __CUDA_ARCH__ < 500
45 #  define ccl_device_inline  __device__ __forceinline__
46 #  define ccl_device_forceinline  __device__ __forceinline__
47 #else
48 #  define ccl_device_inline  __device__ __inline__
49 #  define ccl_device_forceinline  __device__ __forceinline__
50 #endif
51 #define ccl_device_noinline  __device__ __noinline__
52 #define ccl_global
53 #define ccl_static_constant __constant__
54 #define ccl_constant const
55 #define ccl_local __shared__
56 #define ccl_local_param
57 #define ccl_private
58 #define ccl_may_alias
59 #define ccl_addr_space
60 #define ccl_restrict __restrict__
61 /* TODO(sergey): In theory we might use references with CUDA, however
62  * performance impact yet to be investigated.
63  */
64 #define ccl_ref
65 #define ccl_align(n) __align__(n)
66
67 #define ATTR_FALLTHROUGH
68
69 #define CCL_MAX_LOCAL_SIZE (CUDA_THREADS_BLOCK_WIDTH*CUDA_THREADS_BLOCK_WIDTH)
70
71
72 /* No assert supported for CUDA */
73
74 #define kernel_assert(cond)
75
76 /* Types */
77
78 #include "util/util_half.h"
79 #include "util/util_types.h"
80
81 /* Work item functions */
82
83 ccl_device_inline uint ccl_local_id(uint d)
84 {
85         switch(d) {
86                 case 0: return threadIdx.x;
87                 case 1: return threadIdx.y;
88                 case 2: return threadIdx.z;
89                 default: return 0;
90         }
91 }
92
93 #define ccl_global_id(d) (ccl_group_id(d) * ccl_local_size(d) + ccl_local_id(d))
94
95 ccl_device_inline uint ccl_local_size(uint d)
96 {
97         switch(d) {
98                 case 0: return blockDim.x;
99                 case 1: return blockDim.y;
100                 case 2: return blockDim.z;
101                 default: return 0;
102         }
103 }
104
105 #define ccl_global_size(d) (ccl_num_groups(d) * ccl_local_size(d))
106
107 ccl_device_inline uint ccl_group_id(uint d)
108 {
109         switch(d) {
110                 case 0: return blockIdx.x;
111                 case 1: return blockIdx.y;
112                 case 2: return blockIdx.z;
113                 default: return 0;
114         }
115 }
116
117 ccl_device_inline uint ccl_num_groups(uint d)
118 {
119         switch(d) {
120                 case 0: return gridDim.x;
121                 case 1: return gridDim.y;
122                 case 2: return gridDim.z;
123                 default: return 0;
124         }
125 }
126
127 /* Textures */
128
129 typedef texture<float4, 1> texture_float4;
130 typedef texture<float2, 1> texture_float2;
131 typedef texture<float, 1> texture_float;
132 typedef texture<uint, 1> texture_uint;
133 typedef texture<int, 1> texture_int;
134 typedef texture<uint4, 1> texture_uint4;
135 typedef texture<uchar, 1> texture_uchar;
136 typedef texture<uchar4, 1> texture_uchar4;
137 typedef texture<float4, 2> texture_image_float4;
138 typedef texture<float4, 3> texture_image3d_float4;
139 typedef texture<uchar4, 2, cudaReadModeNormalizedFloat> texture_image_uchar4;
140
141 /* Macros to handle different memory storage on different devices */
142
143 /* On Fermi cards (4xx and 5xx), we use regular textures for both data and images.
144  * On Kepler (6xx) and above, we use Bindless Textures for images and arrays for data.
145  *
146  * Arrays are necessary in order to use the full VRAM on newer cards, and it's slightly faster.
147  * Using Arrays on Fermi turned out to be slower.*/
148
149 /* Fermi */
150 #if __CUDA_ARCH__ < 300
151 #  define __KERNEL_CUDA_TEX_STORAGE__
152 #  define kernel_tex_fetch(t, index) tex1Dfetch(t, index)
153
154 #  define kernel_tex_image_interp(t, x, y) tex2D(t, x, y)
155 #  define kernel_tex_image_interp_3d(t, x, y, z) tex3D(t, x, y, z)
156
157 /* Kepler */
158 #else
159 #  define kernel_tex_fetch(t, index) t[(index)]
160
161 #  define kernel_tex_image_interp_float4(t, x, y) tex2D<float4>(t, x, y)
162 #  define kernel_tex_image_interp_float(t, x, y) tex2D<float>(t, x, y)
163 #  define kernel_tex_image_interp_3d_float4(t, x, y, z) tex3D<float4>(t, x, y, z)
164 #  define kernel_tex_image_interp_3d_float(t, x, y, z) tex3D<float>(t, x, y, z)
165 #endif
166
167 #define kernel_data __data
168
169 /* Use fast math functions */
170
171 #define cosf(x) __cosf(((float)(x)))
172 #define sinf(x) __sinf(((float)(x)))
173 #define powf(x, y) __powf(((float)(x)), ((float)(y)))
174 #define tanf(x) __tanf(((float)(x)))
175 #define logf(x) __logf(((float)(x)))
176 #define expf(x) __expf(((float)(x)))
177
178 #endif /* __KERNEL_COMPAT_CUDA_H__ */