ClangFormat: apply to source, most of intern
[blender.git] / intern / cycles / kernel / split / kernel_shader_sort.h
1 /*
2  * Copyright 2011-2017 Blender Foundation
3  *
4  * Licensed under the Apache License, Version 2.0 (the "License");
5  * you may not use this file except in compliance with the License.
6  * You may obtain a copy of the License at
7  *
8  * http://www.apache.org/licenses/LICENSE-2.0
9  *
10  * Unless required by applicable law or agreed to in writing, software
11  * distributed under the License is distributed on an "AS IS" BASIS,
12  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
13  * See the License for the specific language governing permissions and
14  * limitations under the License.
15  */
16
17 CCL_NAMESPACE_BEGIN
18
19 ccl_device void kernel_shader_sort(KernelGlobals *kg, ccl_local_param ShaderSortLocals *locals)
20 {
21 #ifndef __KERNEL_CUDA__
22   int tid = ccl_global_id(1) * ccl_global_size(0) + ccl_global_id(0);
23   uint qsize = kernel_split_params.queue_index[QUEUE_ACTIVE_AND_REGENERATED_RAYS];
24   if (tid == 0) {
25     kernel_split_params.queue_index[QUEUE_SHADER_SORTED_RAYS] = qsize;
26   }
27
28   uint offset = (tid / SHADER_SORT_LOCAL_SIZE) * SHADER_SORT_BLOCK_SIZE;
29   if (offset >= qsize) {
30     return;
31   }
32
33   int lid = ccl_local_id(1) * ccl_local_size(0) + ccl_local_id(0);
34   uint input = QUEUE_ACTIVE_AND_REGENERATED_RAYS * (kernel_split_params.queue_size);
35   uint output = QUEUE_SHADER_SORTED_RAYS * (kernel_split_params.queue_size);
36   ccl_local uint *local_value = &locals->local_value[0];
37   ccl_local ushort *local_index = &locals->local_index[0];
38
39   /* copy to local memory */
40   for (uint i = 0; i < SHADER_SORT_BLOCK_SIZE; i += SHADER_SORT_LOCAL_SIZE) {
41     uint idx = offset + i + lid;
42     uint add = input + idx;
43     uint value = (~0);
44     if (idx < qsize) {
45       int ray_index = kernel_split_state.queue_data[add];
46       bool valid = (ray_index != QUEUE_EMPTY_SLOT) &&
47                    IS_STATE(kernel_split_state.ray_state, ray_index, RAY_ACTIVE);
48       if (valid) {
49         value = kernel_split_sd(sd, ray_index)->shader & SHADER_MASK;
50       }
51     }
52     local_value[i + lid] = value;
53     local_index[i + lid] = i + lid;
54   }
55   ccl_barrier(CCL_LOCAL_MEM_FENCE);
56
57   /* skip sorting for cpu split kernel */
58 #  ifdef __KERNEL_OPENCL__
59
60   /* bitonic sort */
61   for (uint length = 1; length < SHADER_SORT_BLOCK_SIZE; length <<= 1) {
62     for (uint inc = length; inc > 0; inc >>= 1) {
63       for (uint ii = 0; ii < SHADER_SORT_BLOCK_SIZE; ii += SHADER_SORT_LOCAL_SIZE) {
64         uint i = lid + ii;
65         bool direction = ((i & (length << 1)) != 0);
66         uint j = i ^ inc;
67         ushort ioff = local_index[i];
68         ushort joff = local_index[j];
69         uint iKey = local_value[ioff];
70         uint jKey = local_value[joff];
71         bool smaller = (jKey < iKey) || (jKey == iKey && j < i);
72         bool swap = smaller ^ (j < i) ^ direction;
73         ccl_barrier(CCL_LOCAL_MEM_FENCE);
74         local_index[i] = (swap) ? joff : ioff;
75         local_index[j] = (swap) ? ioff : joff;
76         ccl_barrier(CCL_LOCAL_MEM_FENCE);
77       }
78     }
79   }
80 #  endif /* __KERNEL_OPENCL__ */
81
82   /* copy to destination */
83   for (uint i = 0; i < SHADER_SORT_BLOCK_SIZE; i += SHADER_SORT_LOCAL_SIZE) {
84     uint idx = offset + i + lid;
85     uint lidx = local_index[i + lid];
86     uint outi = output + idx;
87     uint ini = input + offset + lidx;
88     uint value = local_value[lidx];
89     if (idx < qsize) {
90       kernel_split_state.queue_data[outi] = (value == (~0)) ? QUEUE_EMPTY_SLOT :
91                                                               kernel_split_state.queue_data[ini];
92     }
93   }
94 #endif /* __KERNEL_CUDA__ */
95 }
96
97 CCL_NAMESPACE_END