Cycles: Faster split branched path tracing by sharing samples with inactive threads
[blender-staging.git] / intern / cycles / kernel / kernel_types.h
1 /*
2  * Copyright 2011-2013 Blender Foundation
3  *
4  * Licensed under the Apache License, Version 2.0 (the "License");
5  * you may not use this file except in compliance with the License.
6  * You may obtain a copy of the License at
7  *
8  * http://www.apache.org/licenses/LICENSE-2.0
9  *
10  * Unless required by applicable law or agreed to in writing, software
11  * distributed under the License is distributed on an "AS IS" BASIS,
12  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
13  * See the License for the specific language governing permissions and
14  * limitations under the License.
15  */
16
17 #ifndef __KERNEL_TYPES_H__
18 #define __KERNEL_TYPES_H__
19
20 #include "kernel/kernel_math.h"
21 #include "kernel/svm/svm_types.h"
22 #include "util/util_static_assert.h"
23
24 #ifndef __KERNEL_GPU__
25 #  define __KERNEL_CPU__
26 #endif
27
28 /* TODO(sergey): This is only to make it possible to include this header
29  * from outside of the kernel. but this could be done somewhat cleaner?
30  */
31 #ifndef ccl_addr_space
32 #  define ccl_addr_space
33 #endif
34
35 CCL_NAMESPACE_BEGIN
36
37 /* constants */
38 #define OBJECT_SIZE             12
39 #define OBJECT_VECTOR_SIZE      6
40 #define LIGHT_SIZE              11
41 #define FILTER_TABLE_SIZE       1024
42 #define RAMP_TABLE_SIZE         256
43 #define SHUTTER_TABLE_SIZE              256
44 #define PARTICLE_SIZE           5
45 #define SHADER_SIZE             5
46
47 #define BSSRDF_MIN_RADIUS                       1e-8f
48 #define BSSRDF_MAX_HITS                         4
49
50 #define BECKMANN_TABLE_SIZE             256
51
52 #define SHADER_NONE                             (~0)
53 #define OBJECT_NONE                             (~0)
54 #define PRIM_NONE                               (~0)
55 #define LAMP_NONE                               (~0)
56
57 #define VOLUME_STACK_SIZE               16
58
59 #define WORK_POOL_SIZE_GPU 64
60 #define WORK_POOL_SIZE_CPU 1
61 #ifdef __KERNEL_GPU__
62 #  define WORK_POOL_SIZE WORK_POOL_SIZE_GPU
63 #else
64 #  define WORK_POOL_SIZE WORK_POOL_SIZE_CPU
65 #endif
66
67
68 #define SHADER_SORT_BLOCK_SIZE 2048
69
70 #ifdef __KERNEL_OPENCL__
71 #  define SHADER_SORT_LOCAL_SIZE 64
72 #elif defined(__KERNEL_CUDA__)
73 #  define SHADER_SORT_LOCAL_SIZE 32
74 #else
75 #  define SHADER_SORT_LOCAL_SIZE 1
76 #endif
77
78
79 /* device capabilities */
80 #ifdef __KERNEL_CPU__
81 #  ifdef __KERNEL_SSE2__
82 #    define __QBVH__
83 #  endif
84 #  define __KERNEL_SHADING__
85 #  define __KERNEL_ADV_SHADING__
86 #  define __BRANCHED_PATH__
87 #  ifdef WITH_OSL
88 #    define __OSL__
89 #  endif
90 #  define __PRINCIPLED__
91 #  define __SUBSURFACE__
92 #  define __CMJ__
93 #  define __VOLUME__
94 #  define __VOLUME_SCATTER__
95 #  define __SHADOW_RECORD_ALL__
96 #  define __VOLUME_DECOUPLED__
97 #  define __VOLUME_RECORD_ALL__
98 #endif  /* __KERNEL_CPU__ */
99
100 #ifdef __KERNEL_CUDA__
101 #  define __KERNEL_SHADING__
102 #  define __KERNEL_ADV_SHADING__
103 #  define __VOLUME__
104 #  define __VOLUME_SCATTER__
105 #  define __SUBSURFACE__
106 #  define __PRINCIPLED__
107 #  define __SHADOW_RECORD_ALL__
108 #  define __CMJ__
109 #  ifndef __SPLIT_KERNEL__
110 #    define __BRANCHED_PATH__
111 #  endif
112 #endif  /* __KERNEL_CUDA__ */
113
114 #ifdef __KERNEL_OPENCL__
115
116 /* keep __KERNEL_ADV_SHADING__ in sync with opencl_kernel_use_advanced_shading! */
117
118 #  ifdef __KERNEL_OPENCL_NVIDIA__
119 #    define __KERNEL_SHADING__
120 #    define __KERNEL_ADV_SHADING__
121 #    define __SUBSURFACE__
122 #    define __PRINCIPLED__
123 #    define __VOLUME__
124 #    define __VOLUME_SCATTER__
125 #    define __SHADOW_RECORD_ALL__
126 #    define __CMJ__
127 #    define __BRANCHED_PATH__
128 #  endif  /* __KERNEL_OPENCL_NVIDIA__ */
129
130 #  ifdef __KERNEL_OPENCL_APPLE__
131 #    define __KERNEL_SHADING__
132 #    define __KERNEL_ADV_SHADING__
133 #    define __CMJ__
134 /* TODO(sergey): Currently experimental section is ignored here,
135  * this is because megakernel in device_opencl does not support
136  * custom cflags depending on the scene features.
137  */
138 #  endif  /* __KERNEL_OPENCL_NVIDIA__ */
139
140 #  ifdef __KERNEL_OPENCL_AMD__
141 #    define __CL_USE_NATIVE__
142 #    define __KERNEL_SHADING__
143 #    define __KERNEL_ADV_SHADING__
144 #    define __SUBSURFACE__
145 #    define __PRINCIPLED__
146 #    define __VOLUME__
147 #    define __VOLUME_SCATTER__
148 #    define __SHADOW_RECORD_ALL__
149 #    define __CMJ__
150 #    define __BRANCHED_PATH__
151 #  endif  /* __KERNEL_OPENCL_AMD__ */
152
153 #  ifdef __KERNEL_OPENCL_INTEL_CPU__
154 #    define __CL_USE_NATIVE__
155 #    define __KERNEL_SHADING__
156 #    define __KERNEL_ADV_SHADING__
157 #    define __CMJ__
158 #  endif  /* __KERNEL_OPENCL_INTEL_CPU__ */
159
160 #endif  /* __KERNEL_OPENCL__ */
161
162 /* kernel features */
163 #define __SOBOL__
164 #define __INSTANCING__
165 #define __DPDU__
166 #define __UV__
167 #define __BACKGROUND__
168 #define __CAUSTICS_TRICKS__
169 #define __VISIBILITY_FLAG__
170 #define __RAY_DIFFERENTIALS__
171 #define __CAMERA_CLIPPING__
172 #define __INTERSECTION_REFINE__
173 #define __CLAMP_SAMPLE__
174 #define __PATCH_EVAL__
175 #define __SHADOW_TRICKS__
176
177 #define __DENOISING_FEATURES__
178
179 #ifdef __KERNEL_SHADING__
180 #  define __SVM__
181 #  define __EMISSION__
182 #  define __TEXTURES__
183 #  define __EXTRA_NODES__
184 #  define __HOLDOUT__
185 #endif
186
187 #ifdef __KERNEL_ADV_SHADING__
188 #  define __MULTI_CLOSURE__
189 #  define __TRANSPARENT_SHADOWS__
190 #  define __PASSES__
191 #  define __BACKGROUND_MIS__
192 #  define __LAMP_MIS__
193 #  define __AO__
194 #  define __CAMERA_MOTION__
195 #  define __OBJECT_MOTION__
196 #  define __HAIR__
197 #  define __BAKING__
198 #endif
199
200 #ifdef WITH_CYCLES_DEBUG
201 #  define __KERNEL_DEBUG__
202 #endif
203
204 /* Scene-based selective features compilation. */
205 #ifdef __NO_CAMERA_MOTION__
206 #  undef __CAMERA_MOTION__
207 #endif
208 #ifdef __NO_OBJECT_MOTION__
209 #  undef __OBJECT_MOTION__
210 #endif
211 #ifdef __NO_HAIR__
212 #  undef __HAIR__
213 #endif
214 #ifdef __NO_VOLUME__
215 #  undef __VOLUME__
216 #  undef __VOLUME_SCATTER__
217 #endif
218 #ifdef __NO_SUBSURFACE__
219 #  undef __SUBSURFACE__
220 #endif
221 #ifdef __NO_BAKING__
222 #  undef __BAKING__
223 #endif
224 #ifdef __NO_BRANCHED_PATH__
225 #  undef __BRANCHED_PATH__
226 #endif
227 #ifdef __NO_PATCH_EVAL__
228 #  undef __PATCH_EVAL__
229 #endif
230 #ifdef __NO_TRANSPARENT__
231 #  undef __TRANSPARENT_SHADOWS__
232 #endif
233 #ifdef __NO_SHADOW_TRICKS__
234 #  undef __SHADOW_TRICKS__
235 #endif
236 #ifdef __NO_PRINCIPLED__
237 #  undef __PRINCIPLED__
238 #endif
239
240 /* Random Numbers */
241
242 typedef uint RNG;
243
244 /* Shader Evaluation */
245
246 typedef enum ShaderEvalType {
247         SHADER_EVAL_DISPLACE,
248         SHADER_EVAL_BACKGROUND,
249         /* bake types */
250         SHADER_EVAL_BAKE, /* no real shade, it's used in the code to
251                            * differentiate the type of shader eval from the above
252                            */
253         /* data passes */
254         SHADER_EVAL_NORMAL,
255         SHADER_EVAL_UV,
256         SHADER_EVAL_DIFFUSE_COLOR,
257         SHADER_EVAL_GLOSSY_COLOR,
258         SHADER_EVAL_TRANSMISSION_COLOR,
259         SHADER_EVAL_SUBSURFACE_COLOR,
260         SHADER_EVAL_EMISSION,
261
262         /* light passes */
263         SHADER_EVAL_AO,
264         SHADER_EVAL_COMBINED,
265         SHADER_EVAL_SHADOW,
266         SHADER_EVAL_DIFFUSE,
267         SHADER_EVAL_GLOSSY,
268         SHADER_EVAL_TRANSMISSION,
269         SHADER_EVAL_SUBSURFACE,
270
271         /* extra */
272         SHADER_EVAL_ENVIRONMENT,
273 } ShaderEvalType;
274
275 /* Path Tracing
276  * note we need to keep the u/v pairs at even values */
277
278 enum PathTraceDimension {
279         PRNG_FILTER_U = 0,
280         PRNG_FILTER_V = 1,
281         PRNG_LENS_U = 2,
282         PRNG_LENS_V = 3,
283 #ifdef __CAMERA_MOTION__
284         PRNG_TIME = 4,
285         PRNG_UNUSED_0 = 5,
286         PRNG_UNUSED_1 = 6,      /* for some reason (6, 7) is a bad sobol pattern */
287         PRNG_UNUSED_2 = 7,  /* with a low number of samples (< 64) */
288 #endif
289         PRNG_BASE_NUM = 8,
290
291         PRNG_BSDF_U = 0,
292         PRNG_BSDF_V = 1,
293         PRNG_BSDF = 2,
294         PRNG_LIGHT = 3,
295         PRNG_LIGHT_U = 4,
296         PRNG_LIGHT_V = 5,
297         PRNG_LIGHT_TERMINATE = 6,
298         PRNG_TERMINATE = 7,
299
300 #ifdef __VOLUME__
301         PRNG_PHASE_U = 8,
302         PRNG_PHASE_V = 9,
303         PRNG_PHASE = 10,
304         PRNG_SCATTER_DISTANCE = 11,
305 #endif
306
307         PRNG_BOUNCE_NUM = 12,
308 };
309
310 enum SamplingPattern {
311         SAMPLING_PATTERN_SOBOL = 0,
312         SAMPLING_PATTERN_CMJ = 1,
313
314         SAMPLING_NUM_PATTERNS,
315 };
316
317 /* these flags values correspond to raytypes in osl.cpp, so keep them in sync! */
318
319 enum PathRayFlag {
320         PATH_RAY_CAMERA              = (1 << 0),
321         PATH_RAY_REFLECT             = (1 << 1),
322         PATH_RAY_TRANSMIT            = (1 << 2),
323         PATH_RAY_DIFFUSE             = (1 << 3),
324         PATH_RAY_GLOSSY              = (1 << 4),
325         PATH_RAY_SINGULAR            = (1 << 5),
326         PATH_RAY_TRANSPARENT         = (1 << 6),
327
328         PATH_RAY_SHADOW_OPAQUE       = (1 << 7),
329         PATH_RAY_SHADOW_TRANSPARENT  = (1 << 8),
330         PATH_RAY_SHADOW = (PATH_RAY_SHADOW_OPAQUE|PATH_RAY_SHADOW_TRANSPARENT),
331
332         PATH_RAY_CURVE               = (1 << 9), /* visibility flag to define curve segments */
333         PATH_RAY_VOLUME_SCATTER      = (1 << 10), /* volume scattering */
334
335         /* Special flag to tag unaligned BVH nodes. */
336         PATH_RAY_NODE_UNALIGNED = (1 << 11),
337
338         PATH_RAY_ALL_VISIBILITY = ((1 << 12)-1),
339
340         PATH_RAY_MIS_SKIP            = (1 << 12),
341         PATH_RAY_DIFFUSE_ANCESTOR    = (1 << 13),
342         PATH_RAY_SINGLE_PASS_DONE    = (1 << 14),
343         PATH_RAY_SHADOW_CATCHER      = (1 << 15),
344         PATH_RAY_SHADOW_CATCHER_ONLY = (1 << 16),
345         PATH_RAY_STORE_SHADOW_INFO   = (1 << 17),
346 };
347
348 /* Closure Label */
349
350 typedef enum ClosureLabel {
351         LABEL_NONE = 0,
352         LABEL_TRANSMIT = 1,
353         LABEL_REFLECT = 2,
354         LABEL_DIFFUSE = 4,
355         LABEL_GLOSSY = 8,
356         LABEL_SINGULAR = 16,
357         LABEL_TRANSPARENT = 32,
358         LABEL_VOLUME_SCATTER = 64,
359 } ClosureLabel;
360
361 /* Render Passes */
362
363 typedef enum PassType {
364         PASS_NONE = 0,
365         PASS_COMBINED = (1 << 0),
366         PASS_DEPTH = (1 << 1),
367         PASS_NORMAL = (1 << 2),
368         PASS_UV = (1 << 3),
369         PASS_OBJECT_ID = (1 << 4),
370         PASS_MATERIAL_ID = (1 << 5),
371         PASS_DIFFUSE_COLOR = (1 << 6),
372         PASS_GLOSSY_COLOR = (1 << 7),
373         PASS_TRANSMISSION_COLOR = (1 << 8),
374         PASS_DIFFUSE_INDIRECT = (1 << 9),
375         PASS_GLOSSY_INDIRECT = (1 << 10),
376         PASS_TRANSMISSION_INDIRECT = (1 << 11),
377         PASS_DIFFUSE_DIRECT = (1 << 12),
378         PASS_GLOSSY_DIRECT = (1 << 13),
379         PASS_TRANSMISSION_DIRECT = (1 << 14),
380         PASS_EMISSION = (1 << 15),
381         PASS_BACKGROUND = (1 << 16),
382         PASS_AO = (1 << 17),
383         PASS_SHADOW = (1 << 18),
384         PASS_MOTION = (1 << 19),
385         PASS_MOTION_WEIGHT = (1 << 20),
386         PASS_MIST = (1 << 21),
387         PASS_SUBSURFACE_DIRECT = (1 << 22),
388         PASS_SUBSURFACE_INDIRECT = (1 << 23),
389         PASS_SUBSURFACE_COLOR = (1 << 24),
390         PASS_LIGHT = (1 << 25), /* no real pass, used to force use_light_pass */
391 #ifdef __KERNEL_DEBUG__
392         PASS_BVH_TRAVERSED_NODES = (1 << 26),
393         PASS_BVH_TRAVERSED_INSTANCES = (1 << 27),
394         PASS_BVH_INTERSECTIONS = (1 << 28),
395         PASS_RAY_BOUNCES = (1 << 29),
396 #endif
397 } PassType;
398
399 #define PASS_ALL (~0)
400
401 typedef enum DenoisingPassOffsets {
402         DENOISING_PASS_NORMAL             = 0,
403         DENOISING_PASS_NORMAL_VAR         = 3,
404         DENOISING_PASS_ALBEDO             = 6,
405         DENOISING_PASS_ALBEDO_VAR         = 9,
406         DENOISING_PASS_DEPTH              = 12,
407         DENOISING_PASS_DEPTH_VAR          = 13,
408         DENOISING_PASS_SHADOW_A           = 14,
409         DENOISING_PASS_SHADOW_B           = 17,
410         DENOISING_PASS_COLOR              = 20,
411         DENOISING_PASS_COLOR_VAR          = 23,
412
413         DENOISING_PASS_SIZE_BASE          = 26,
414         DENOISING_PASS_SIZE_CLEAN         = 3,
415 } DenoisingPassOffsets;
416
417 typedef enum BakePassFilter {
418         BAKE_FILTER_NONE = 0,
419         BAKE_FILTER_DIRECT = (1 << 0),
420         BAKE_FILTER_INDIRECT = (1 << 1),
421         BAKE_FILTER_COLOR = (1 << 2),
422         BAKE_FILTER_DIFFUSE = (1 << 3),
423         BAKE_FILTER_GLOSSY = (1 << 4),
424         BAKE_FILTER_TRANSMISSION = (1 << 5),
425         BAKE_FILTER_SUBSURFACE = (1 << 6),
426         BAKE_FILTER_EMISSION = (1 << 7),
427         BAKE_FILTER_AO = (1 << 8),
428 } BakePassFilter;
429
430 typedef enum BakePassFilterCombos {
431         BAKE_FILTER_COMBINED = (
432             BAKE_FILTER_DIRECT |
433             BAKE_FILTER_INDIRECT |
434             BAKE_FILTER_DIFFUSE |
435             BAKE_FILTER_GLOSSY |
436             BAKE_FILTER_TRANSMISSION |
437             BAKE_FILTER_SUBSURFACE |
438             BAKE_FILTER_EMISSION |
439             BAKE_FILTER_AO),
440         BAKE_FILTER_DIFFUSE_DIRECT = (BAKE_FILTER_DIRECT | BAKE_FILTER_DIFFUSE),
441         BAKE_FILTER_GLOSSY_DIRECT = (BAKE_FILTER_DIRECT | BAKE_FILTER_GLOSSY),
442         BAKE_FILTER_TRANSMISSION_DIRECT = (BAKE_FILTER_DIRECT | BAKE_FILTER_TRANSMISSION),
443         BAKE_FILTER_SUBSURFACE_DIRECT = (BAKE_FILTER_DIRECT | BAKE_FILTER_SUBSURFACE),
444         BAKE_FILTER_DIFFUSE_INDIRECT = (BAKE_FILTER_INDIRECT | BAKE_FILTER_DIFFUSE),
445         BAKE_FILTER_GLOSSY_INDIRECT = (BAKE_FILTER_INDIRECT | BAKE_FILTER_GLOSSY),
446         BAKE_FILTER_TRANSMISSION_INDIRECT = (BAKE_FILTER_INDIRECT | BAKE_FILTER_TRANSMISSION),
447         BAKE_FILTER_SUBSURFACE_INDIRECT = (BAKE_FILTER_INDIRECT | BAKE_FILTER_SUBSURFACE),
448 } BakePassFilterCombos;
449
450 typedef enum DenoiseFlag {
451         DENOISING_CLEAN_DIFFUSE_DIR      = (1 << 0),
452         DENOISING_CLEAN_DIFFUSE_IND      = (1 << 1),
453         DENOISING_CLEAN_GLOSSY_DIR       = (1 << 2),
454         DENOISING_CLEAN_GLOSSY_IND       = (1 << 3),
455         DENOISING_CLEAN_TRANSMISSION_DIR = (1 << 4),
456         DENOISING_CLEAN_TRANSMISSION_IND = (1 << 5),
457         DENOISING_CLEAN_SUBSURFACE_DIR   = (1 << 6),
458         DENOISING_CLEAN_SUBSURFACE_IND   = (1 << 7),
459         DENOISING_CLEAN_ALL_PASSES       = (1 << 8)-1,
460 } DenoiseFlag;
461
462 typedef ccl_addr_space struct PathRadiance {
463 #ifdef __PASSES__
464         int use_light_pass;
465 #endif
466
467         float3 emission;
468 #ifdef __PASSES__
469         float3 background;
470         float3 ao;
471
472         float3 indirect;
473         float3 direct_throughput;
474         float3 direct_emission;
475
476         float3 color_diffuse;
477         float3 color_glossy;
478         float3 color_transmission;
479         float3 color_subsurface;
480         float3 color_scatter;
481
482         float3 direct_diffuse;
483         float3 direct_glossy;
484         float3 direct_transmission;
485         float3 direct_subsurface;
486         float3 direct_scatter;
487
488         float3 indirect_diffuse;
489         float3 indirect_glossy;
490         float3 indirect_transmission;
491         float3 indirect_subsurface;
492         float3 indirect_scatter;
493
494         float3 path_diffuse;
495         float3 path_glossy;
496         float3 path_transmission;
497         float3 path_subsurface;
498         float3 path_scatter;
499
500         float4 shadow;
501         float mist;
502 #endif
503
504 #ifdef __SHADOW_TRICKS__
505         /* Total light reachable across the path, ignoring shadow blocked queries. */
506         float3 path_total;
507         /* Total light reachable across the path with shadow blocked queries
508          * applied here.
509          *
510          * Dividing this figure by path_total will give estimate of shadow pass.
511          */
512         float3 path_total_shaded;
513
514         /* Color of the background on which shadow is alpha-overed. */
515         float3 shadow_color;
516 #endif
517
518 #ifdef __DENOISING_FEATURES__
519         float3 denoising_normal;
520         float3 denoising_albedo;
521         float denoising_depth;
522 #endif  /* __DENOISING_FEATURES__ */
523 } PathRadiance;
524
525 typedef struct BsdfEval {
526 #ifdef __PASSES__
527         int use_light_pass;
528 #endif
529
530         float3 diffuse;
531 #ifdef __PASSES__
532         float3 glossy;
533         float3 transmission;
534         float3 transparent;
535         float3 subsurface;
536         float3 scatter;
537 #endif
538 #ifdef __SHADOW_TRICKS__
539         float3 sum_no_mis;
540 #endif
541 } BsdfEval;
542
543 /* Shader Flag */
544
545 typedef enum ShaderFlag {
546         SHADER_SMOOTH_NORMAL = (1 << 31),
547         SHADER_CAST_SHADOW = (1 << 30),
548         SHADER_AREA_LIGHT = (1 << 29),
549         SHADER_USE_MIS = (1 << 28),
550         SHADER_EXCLUDE_DIFFUSE = (1 << 27),
551         SHADER_EXCLUDE_GLOSSY = (1 << 26),
552         SHADER_EXCLUDE_TRANSMIT = (1 << 25),
553         SHADER_EXCLUDE_CAMERA = (1 << 24),
554         SHADER_EXCLUDE_SCATTER = (1 << 23),
555         SHADER_EXCLUDE_ANY = (SHADER_EXCLUDE_DIFFUSE|SHADER_EXCLUDE_GLOSSY|SHADER_EXCLUDE_TRANSMIT|SHADER_EXCLUDE_CAMERA|SHADER_EXCLUDE_SCATTER),
556
557         SHADER_MASK = ~(SHADER_SMOOTH_NORMAL|SHADER_CAST_SHADOW|SHADER_AREA_LIGHT|SHADER_USE_MIS|SHADER_EXCLUDE_ANY)
558 } ShaderFlag;
559
560 /* Light Type */
561
562 typedef enum LightType {
563         LIGHT_POINT,
564         LIGHT_DISTANT,
565         LIGHT_BACKGROUND,
566         LIGHT_AREA,
567         LIGHT_SPOT,
568         LIGHT_TRIANGLE
569 } LightType;
570
571 /* Camera Type */
572
573 enum CameraType {
574         CAMERA_PERSPECTIVE,
575         CAMERA_ORTHOGRAPHIC,
576         CAMERA_PANORAMA
577 };
578
579 /* Panorama Type */
580
581 enum PanoramaType {
582         PANORAMA_EQUIRECTANGULAR = 0,
583         PANORAMA_FISHEYE_EQUIDISTANT = 1,
584         PANORAMA_FISHEYE_EQUISOLID = 2,
585         PANORAMA_MIRRORBALL = 3,
586
587         PANORAMA_NUM_TYPES,
588 };
589
590 /* Differential */
591
592 typedef struct differential3 {
593         float3 dx;
594         float3 dy;
595 } differential3;
596
597 typedef struct differential {
598         float dx;
599         float dy;
600 } differential;
601
602 /* Ray */
603
604 typedef struct Ray {
605 /* TODO(sergey): This is only needed because current AMD
606  * compiler has hard time building the kernel with this
607  * reshuffle. And at the same time reshuffle will cause
608  * less optimal CPU code in certain places.
609  *
610  * We'll get rid of this nasty exception once AMD compiler
611  * is fixed.
612  */
613 #ifndef __KERNEL_OPENCL_AMD__
614         float3 P;               /* origin */
615         float3 D;               /* direction */
616
617         float t;                /* length of the ray */
618         float time;             /* time (for motion blur) */
619 #else
620         float t;                /* length of the ray */
621         float time;             /* time (for motion blur) */
622         float3 P;               /* origin */
623         float3 D;               /* direction */
624 #endif
625
626 #ifdef __RAY_DIFFERENTIALS__
627         differential3 dP;
628         differential3 dD;
629 #endif
630 } Ray;
631
632 /* Intersection */
633
634 typedef struct Intersection {
635         float t, u, v;
636         int prim;
637         int object;
638         int type;
639
640 #ifdef __KERNEL_DEBUG__
641         int num_traversed_nodes;
642         int num_traversed_instances;
643         int num_intersections;
644 #endif
645 } Intersection;
646
647 /* Primitives */
648
649 typedef enum PrimitiveType {
650         PRIMITIVE_NONE            = 0,
651         PRIMITIVE_TRIANGLE        = (1 << 0),
652         PRIMITIVE_MOTION_TRIANGLE = (1 << 1),
653         PRIMITIVE_CURVE           = (1 << 2),
654         PRIMITIVE_MOTION_CURVE    = (1 << 3),
655         /* Lamp primitive is not included below on purpose,
656          * since it is no real traceable primitive.
657          */
658         PRIMITIVE_LAMP            = (1 << 4),
659
660         PRIMITIVE_ALL_TRIANGLE = (PRIMITIVE_TRIANGLE|PRIMITIVE_MOTION_TRIANGLE),
661         PRIMITIVE_ALL_CURVE = (PRIMITIVE_CURVE|PRIMITIVE_MOTION_CURVE),
662         PRIMITIVE_ALL_MOTION = (PRIMITIVE_MOTION_TRIANGLE|PRIMITIVE_MOTION_CURVE),
663         PRIMITIVE_ALL = (PRIMITIVE_ALL_TRIANGLE|PRIMITIVE_ALL_CURVE),
664
665         /* Total number of different traceable primitives.
666          * NOTE: This is an actual value, not a bitflag.
667          */
668         PRIMITIVE_NUM_TOTAL = 4,
669 } PrimitiveType;
670
671 #define PRIMITIVE_PACK_SEGMENT(type, segment) ((segment << PRIMITIVE_NUM_TOTAL) | (type))
672 #define PRIMITIVE_UNPACK_SEGMENT(type) (type >> PRIMITIVE_NUM_TOTAL)
673
674 /* Attributes */
675
676 typedef enum AttributePrimitive {
677         ATTR_PRIM_TRIANGLE = 0,
678         ATTR_PRIM_CURVE,
679         ATTR_PRIM_SUBD,
680
681         ATTR_PRIM_TYPES
682 } AttributePrimitive;
683
684 typedef enum AttributeElement {
685         ATTR_ELEMENT_NONE,
686         ATTR_ELEMENT_OBJECT,
687         ATTR_ELEMENT_MESH,
688         ATTR_ELEMENT_FACE,
689         ATTR_ELEMENT_VERTEX,
690         ATTR_ELEMENT_VERTEX_MOTION,
691         ATTR_ELEMENT_CORNER,
692         ATTR_ELEMENT_CORNER_BYTE,
693         ATTR_ELEMENT_CURVE,
694         ATTR_ELEMENT_CURVE_KEY,
695         ATTR_ELEMENT_CURVE_KEY_MOTION,
696         ATTR_ELEMENT_VOXEL
697 } AttributeElement;
698
699 typedef enum AttributeStandard {
700         ATTR_STD_NONE = 0,
701         ATTR_STD_VERTEX_NORMAL,
702         ATTR_STD_FACE_NORMAL,
703         ATTR_STD_UV,
704         ATTR_STD_UV_TANGENT,
705         ATTR_STD_UV_TANGENT_SIGN,
706         ATTR_STD_GENERATED,
707         ATTR_STD_GENERATED_TRANSFORM,
708         ATTR_STD_POSITION_UNDEFORMED,
709         ATTR_STD_POSITION_UNDISPLACED,
710         ATTR_STD_MOTION_VERTEX_POSITION,
711         ATTR_STD_MOTION_VERTEX_NORMAL,
712         ATTR_STD_PARTICLE,
713         ATTR_STD_CURVE_INTERCEPT,
714         ATTR_STD_PTEX_FACE_ID,
715         ATTR_STD_PTEX_UV,
716         ATTR_STD_VOLUME_DENSITY,
717         ATTR_STD_VOLUME_COLOR,
718         ATTR_STD_VOLUME_FLAME,
719         ATTR_STD_VOLUME_HEAT,
720         ATTR_STD_VOLUME_VELOCITY,
721         ATTR_STD_POINTINESS,
722         ATTR_STD_NUM,
723
724         ATTR_STD_NOT_FOUND = ~0
725 } AttributeStandard;
726
727 typedef enum AttributeFlag {
728         ATTR_FINAL_SIZE = (1 << 0),
729         ATTR_SUBDIVIDED = (1 << 1),
730 } AttributeFlag;
731
732 typedef struct AttributeDescriptor {
733         AttributeElement element;
734         NodeAttributeType type;
735         uint flags; /* see enum AttributeFlag */
736         int offset;
737 } AttributeDescriptor;
738
739 /* Closure data */
740
741 #ifdef __MULTI_CLOSURE__
742 #  ifndef __MAX_CLOSURE__
743 #     define MAX_CLOSURE 64
744 #  else
745 #    define MAX_CLOSURE __MAX_CLOSURE__
746 #  endif
747 #else
748 #  define MAX_CLOSURE 1
749 #endif
750
751 /* This struct is the base class for all closures. The common members are
752  * duplicated in all derived classes since we don't have C++ in the kernel
753  * yet, and because it lets us lay out the members to minimize padding. The
754  * weight member is located at the beginning of the struct for this reason.
755  *
756  * ShaderClosure has a fixed size, and any extra space must be allocated
757  * with closure_alloc_extra().
758  *
759  * We pad the struct to 80 bytes and ensure it is aligned to 16 bytes, which
760  * we assume to be the maximum required alignment for any struct. */
761
762 #define SHADER_CLOSURE_BASE \
763         float3 weight; \
764         ClosureType type; \
765         float sample_weight; \
766         float3 N
767
768 typedef ccl_addr_space struct ccl_align(16) ShaderClosure {
769         SHADER_CLOSURE_BASE;
770
771         float data[10]; /* pad to 80 bytes */
772 } ShaderClosure;
773
774 /* Shader Context
775  *
776  * For OSL we recycle a fixed number of contexts for speed */
777
778 typedef enum ShaderContext {
779         SHADER_CONTEXT_MAIN = 0,
780         SHADER_CONTEXT_INDIRECT = 1,
781         SHADER_CONTEXT_EMISSION = 2,
782         SHADER_CONTEXT_SHADOW = 3,
783         SHADER_CONTEXT_SSS = 4,
784         SHADER_CONTEXT_VOLUME = 5,
785         SHADER_CONTEXT_NUM = 6
786 } ShaderContext;
787
788 /* Shader Data
789  *
790  * Main shader state at a point on the surface or in a volume. All coordinates
791  * are in world space.
792  */
793
794 enum ShaderDataFlag {
795         /* Runtime flags. */
796
797         /* Set when ray hits backside of surface. */
798         SD_BACKFACING      = (1 << 0),
799         /* Shader has emissive closure. */
800         SD_EMISSION        = (1 << 1),
801         /* Shader has BSDF closure. */
802         SD_BSDF            = (1 << 2),
803         /* Shader has non-singular BSDF closure. */
804         SD_BSDF_HAS_EVAL   = (1 << 3),
805         /* Shader has BSSRDF closure. */
806         SD_BSSRDF          = (1 << 4),
807         /* Shader has holdout closure. */
808         SD_HOLDOUT         = (1 << 5),
809         /* Shader has volume absorption closure. */
810         SD_ABSORPTION      = (1 << 6),
811         /* Shader has have volume phase (scatter) closure. */
812         SD_SCATTER         = (1 << 7),
813         /* Shader has AO closure. */
814         SD_AO              = (1 << 8),
815         /* Shader has transparent closure. */
816         SD_TRANSPARENT     = (1 << 9),
817         /* BSDF requires LCG for evaluation. */
818         SD_BSDF_NEEDS_LCG  = (1 << 10),
819
820         SD_CLOSURE_FLAGS = (SD_EMISSION |
821                             SD_BSDF |
822                             SD_BSDF_HAS_EVAL |
823                             SD_BSSRDF |
824                             SD_HOLDOUT |
825                             SD_ABSORPTION |
826                             SD_SCATTER |
827                             SD_AO |
828                             SD_BSDF_NEEDS_LCG),
829
830         /* Shader flags. */
831
832         /* direct light sample */
833         SD_USE_MIS                = (1 << 16),
834         /* Has transparent shadow. */
835         SD_HAS_TRANSPARENT_SHADOW = (1 << 17),
836         /* Has volume shader. */
837         SD_HAS_VOLUME             = (1 << 18),
838         /* Has only volume shader, no surface. */
839         SD_HAS_ONLY_VOLUME        = (1 << 19),
840         /* Has heterogeneous volume. */
841         SD_HETEROGENEOUS_VOLUME   = (1 << 20),
842         /* BSSRDF normal uses bump. */
843         SD_HAS_BSSRDF_BUMP        = (1 << 21),
844         /* Use equiangular volume sampling */
845         SD_VOLUME_EQUIANGULAR     = (1 << 22),
846         /* Use multiple importance volume sampling. */
847         SD_VOLUME_MIS             = (1 << 23),
848         /* Use cubic interpolation for voxels. */
849         SD_VOLUME_CUBIC           = (1 << 24),
850         /* Has data connected to the displacement input. */
851         SD_HAS_BUMP               = (1 << 25),
852         /* Has true displacement. */
853         SD_HAS_DISPLACEMENT       = (1 << 26),
854         /* Has constant emission (value stored in __shader_flag) */
855         SD_HAS_CONSTANT_EMISSION  = (1 << 27),
856
857         SD_SHADER_FLAGS = (SD_USE_MIS |
858                            SD_HAS_TRANSPARENT_SHADOW |
859                            SD_HAS_VOLUME |
860                            SD_HAS_ONLY_VOLUME |
861                            SD_HETEROGENEOUS_VOLUME|
862                            SD_HAS_BSSRDF_BUMP |
863                            SD_VOLUME_EQUIANGULAR |
864                            SD_VOLUME_MIS |
865                            SD_VOLUME_CUBIC |
866                            SD_HAS_BUMP |
867                            SD_HAS_DISPLACEMENT |
868                            SD_HAS_CONSTANT_EMISSION)
869 };
870
871         /* Object flags. */
872 enum ShaderDataObjectFlag {
873         /* Holdout for camera rays. */
874         SD_OBJECT_HOLDOUT_MASK           = (1 << 0),
875         /* Has object motion blur. */
876         SD_OBJECT_MOTION                 = (1 << 1),
877         /* Vertices have transform applied. */
878         SD_OBJECT_TRANSFORM_APPLIED      = (1 << 2),
879         /* Vertices have negative scale applied. */
880         SD_OBJECT_NEGATIVE_SCALE_APPLIED = (1 << 3),
881         /* Object has a volume shader. */
882         SD_OBJECT_HAS_VOLUME             = (1 << 4),
883         /* Object intersects AABB of an object with volume shader. */
884         SD_OBJECT_INTERSECTS_VOLUME      = (1 << 5),
885         /* Has position for motion vertices. */
886         SD_OBJECT_HAS_VERTEX_MOTION      = (1 << 6),
887         /* object is used to catch shadows */
888         SD_OBJECT_SHADOW_CATCHER         = (1 << 7),
889
890         SD_OBJECT_FLAGS = (SD_OBJECT_HOLDOUT_MASK |
891                            SD_OBJECT_MOTION |
892                            SD_OBJECT_TRANSFORM_APPLIED |
893                            SD_OBJECT_NEGATIVE_SCALE_APPLIED |
894                            SD_OBJECT_HAS_VOLUME |
895                            SD_OBJECT_INTERSECTS_VOLUME |
896                            SD_OBJECT_SHADOW_CATCHER)
897 };
898
899 typedef ccl_addr_space struct ShaderData {
900         /* position */
901         float3 P;
902         /* smooth normal for shading */
903         float3 N;
904         /* true geometric normal */
905         float3 Ng;
906         /* view/incoming direction */
907         float3 I;
908         /* shader id */
909         int shader;
910         /* booleans describing shader, see ShaderDataFlag */
911         int flag;
912         /* booleans describing object of the shader, see ShaderDataObjectFlag */
913         int object_flag;
914
915         /* primitive id if there is one, ~0 otherwise */
916         int prim;
917
918         /* combined type and curve segment for hair */
919         int type;
920
921         /* parametric coordinates
922          * - barycentric weights for triangles */
923         float u;
924         float v;
925         /* object id if there is one, ~0 otherwise */
926         int object;
927
928         /* motion blur sample time */
929         float time;
930
931         /* length of the ray being shaded */
932         float ray_length;
933
934 #ifdef __RAY_DIFFERENTIALS__
935         /* differential of P. these are orthogonal to Ng, not N */
936         differential3 dP;
937         /* differential of I */
938         differential3 dI;
939         /* differential of u, v */
940         differential du;
941         differential dv;
942 #endif
943 #ifdef __DPDU__
944         /* differential of P w.r.t. parametric coordinates. note that dPdu is
945          * not readily suitable as a tangent for shading on triangles. */
946         float3 dPdu;
947         float3 dPdv;
948 #endif
949
950 #ifdef __OBJECT_MOTION__
951         /* object <-> world space transformations, cached to avoid
952          * re-interpolating them constantly for shading */
953         Transform ob_tfm;
954         Transform ob_itfm;
955 #endif
956
957         /* Closure data, we store a fixed array of closures */
958         struct ShaderClosure closure[MAX_CLOSURE];
959         int num_closure;
960         int num_closure_extra;
961         float randb_closure;
962         float3 svm_closure_weight;
963
964         /* LCG state for closures that require additional random numbers. */
965         uint lcg_state;
966
967         /* ray start position, only set for backgrounds */
968         float3 ray_P;
969         differential3 ray_dP;
970
971 #ifdef __OSL__
972         struct KernelGlobals *osl_globals;
973         struct PathState *osl_path_state;
974 #endif
975 } ShaderData;
976
977 /* Path State */
978
979 #ifdef __VOLUME__
980 typedef struct VolumeStack {
981         int object;
982         int shader;
983 } VolumeStack;
984 #endif
985
986 typedef struct PathState {
987         /* see enum PathRayFlag */
988         int flag;
989
990         /* random number generator state */
991         int rng_offset;                 /* dimension offset */
992         int sample;                     /* path sample number */
993         int num_samples;                /* total number of times this path will be sampled */
994
995         /* bounce counting */
996         int bounce;
997         int diffuse_bounce;
998         int glossy_bounce;
999         int transmission_bounce;
1000         int transparent_bounce;
1001
1002 #ifdef __DENOISING_FEATURES__
1003         float denoising_feature_weight;
1004 #endif  /* __DENOISING_FEATURES__ */
1005
1006         /* multiple importance sampling */
1007         float min_ray_pdf; /* smallest bounce pdf over entire path up to now */
1008         float ray_pdf;     /* last bounce pdf */
1009 #ifdef __LAMP_MIS__
1010         float ray_t;       /* accumulated distance through transparent surfaces */
1011 #endif
1012
1013         /* volume rendering */
1014 #ifdef __VOLUME__
1015         int volume_bounce;
1016         RNG rng_congruential;
1017         VolumeStack volume_stack[VOLUME_STACK_SIZE];
1018 #endif
1019
1020 #ifdef __SHADOW_TRICKS__
1021         int catcher_object;
1022 #endif
1023 } PathState;
1024
1025 /* Subsurface */
1026
1027 /* Struct to gather multiple SSS hits. */
1028 typedef struct SubsurfaceIntersection
1029 {
1030         Ray ray;
1031         float3 weight[BSSRDF_MAX_HITS];
1032
1033         int num_hits;
1034         struct Intersection hits[BSSRDF_MAX_HITS];
1035         float3 Ng[BSSRDF_MAX_HITS];
1036 } SubsurfaceIntersection;
1037
1038 /* Struct to gather SSS indirect rays and delay tracing them. */
1039 typedef struct SubsurfaceIndirectRays
1040 {
1041         bool need_update_volume_stack;
1042         bool tracing;
1043         PathState state[BSSRDF_MAX_HITS];
1044         struct PathRadiance direct_L;
1045
1046         int num_rays;
1047         struct Ray rays[BSSRDF_MAX_HITS];
1048         float3 throughputs[BSSRDF_MAX_HITS];
1049         struct PathRadiance L[BSSRDF_MAX_HITS];
1050 } SubsurfaceIndirectRays;
1051
1052 /* Constant Kernel Data
1053  *
1054  * These structs are passed from CPU to various devices, and the struct layout
1055  * must match exactly. Structs are padded to ensure 16 byte alignment, and we
1056  * do not use float3 because its size may not be the same on all devices. */
1057
1058 typedef struct KernelCamera {
1059         /* type */
1060         int type;
1061
1062         /* panorama */
1063         int panorama_type;
1064         float fisheye_fov;
1065         float fisheye_lens;
1066         float4 equirectangular_range;
1067
1068         /* stereo */
1069         float interocular_offset;
1070         float convergence_distance;
1071         float pole_merge_angle_from;
1072         float pole_merge_angle_to;
1073
1074         /* matrices */
1075         Transform cameratoworld;
1076         Transform rastertocamera;
1077
1078         /* differentials */
1079         float4 dx;
1080         float4 dy;
1081
1082         /* depth of field */
1083         float aperturesize;
1084         float blades;
1085         float bladesrotation;
1086         float focaldistance;
1087
1088         /* motion blur */
1089         float shuttertime;
1090         int have_motion, have_perspective_motion;
1091
1092         /* clipping */
1093         float nearclip;
1094         float cliplength;
1095
1096         /* sensor size */
1097         float sensorwidth;
1098         float sensorheight;
1099
1100         /* render size */
1101         float width, height;
1102         int resolution;
1103
1104         /* anamorphic lens bokeh */
1105         float inv_aperture_ratio;
1106
1107         int is_inside_volume;
1108
1109         /* more matrices */
1110         Transform screentoworld;
1111         Transform rastertoworld;
1112         /* work around cuda sm 2.0 crash, this seems to
1113          * cross some limit in combination with motion 
1114          * Transform ndctoworld; */
1115         Transform worldtoscreen;
1116         Transform worldtoraster;
1117         Transform worldtondc;
1118         Transform worldtocamera;
1119
1120         MotionTransform motion;
1121
1122         /* Denotes changes in the projective matrix, namely in rastertocamera.
1123          * Used for camera zoom motion blur,
1124          */
1125         PerspectiveMotionTransform perspective_motion;
1126
1127         int shutter_table_offset;
1128
1129         /* Rolling shutter */
1130         int rolling_shutter_type;
1131         float rolling_shutter_duration;
1132
1133         int pad;
1134 } KernelCamera;
1135 static_assert_align(KernelCamera, 16);
1136
1137 typedef struct KernelFilm {
1138         float exposure;
1139         int pass_flag;
1140         int pass_stride;
1141         int use_light_pass;
1142
1143         int pass_combined;
1144         int pass_depth;
1145         int pass_normal;
1146         int pass_motion;
1147
1148         int pass_motion_weight;
1149         int pass_uv;
1150         int pass_object_id;
1151         int pass_material_id;
1152
1153         int pass_diffuse_color;
1154         int pass_glossy_color;
1155         int pass_transmission_color;
1156         int pass_subsurface_color;
1157         
1158         int pass_diffuse_indirect;
1159         int pass_glossy_indirect;
1160         int pass_transmission_indirect;
1161         int pass_subsurface_indirect;
1162         
1163         int pass_diffuse_direct;
1164         int pass_glossy_direct;
1165         int pass_transmission_direct;
1166         int pass_subsurface_direct;
1167         
1168         int pass_emission;
1169         int pass_background;
1170         int pass_ao;
1171         float pass_alpha_threshold;
1172
1173         int pass_shadow;
1174         float pass_shadow_scale;
1175         int filter_table_offset;
1176         int pass_pad2;
1177
1178         int pass_mist;
1179         float mist_start;
1180         float mist_inv_depth;
1181         float mist_falloff;
1182
1183         int pass_denoising_data;
1184         int pass_denoising_clean;
1185         int denoising_flags;
1186         int pad;
1187
1188 #ifdef __KERNEL_DEBUG__
1189         int pass_bvh_traversed_nodes;
1190         int pass_bvh_traversed_instances;
1191         int pass_bvh_intersections;
1192         int pass_ray_bounces;
1193 #endif
1194 } KernelFilm;
1195 static_assert_align(KernelFilm, 16);
1196
1197 typedef struct KernelBackground {
1198         /* only shader index */
1199         int surface_shader;
1200         int volume_shader;
1201         int transparent;
1202         int pad;
1203
1204         /* ambient occlusion */
1205         float ao_factor;
1206         float ao_distance;
1207         float ao_pad1, ao_pad2;
1208 } KernelBackground;
1209 static_assert_align(KernelBackground, 16);
1210
1211 typedef struct KernelIntegrator {
1212         /* emission */
1213         int use_direct_light;
1214         int use_ambient_occlusion;
1215         int num_distribution;
1216         int num_all_lights;
1217         float pdf_triangles;
1218         float pdf_lights;
1219         float inv_pdf_lights;
1220         int pdf_background_res;
1221
1222         /* light portals */
1223         float portal_pdf;
1224         int num_portals;
1225         int portal_offset;
1226
1227         /* bounces */
1228         int min_bounce;
1229         int max_bounce;
1230
1231         int max_diffuse_bounce;
1232         int max_glossy_bounce;
1233         int max_transmission_bounce;
1234         int max_volume_bounce;
1235
1236         int ao_bounces;
1237
1238         /* transparent */
1239         int transparent_min_bounce;
1240         int transparent_max_bounce;
1241         int transparent_shadows;
1242
1243         /* caustics */
1244         int caustics_reflective;
1245         int caustics_refractive;
1246         float filter_glossy;
1247
1248         /* seed */
1249         int seed;
1250
1251         /* clamp */
1252         float sample_clamp_direct;
1253         float sample_clamp_indirect;
1254
1255         /* branched path */
1256         int branched;
1257         int diffuse_samples;
1258         int glossy_samples;
1259         int transmission_samples;
1260         int ao_samples;
1261         int mesh_light_samples;
1262         int subsurface_samples;
1263         int sample_all_lights_direct;
1264         int sample_all_lights_indirect;
1265
1266         /* mis */
1267         int use_lamp_mis;
1268
1269         /* sampler */
1270         int sampling_pattern;
1271         int aa_samples;
1272
1273         /* volume render */
1274         int use_volumes;
1275         int volume_max_steps;
1276         float volume_step_size;
1277         int volume_samples;
1278
1279         float light_inv_rr_threshold;
1280
1281         int start_sample;
1282         int pad1, pad2, pad3;
1283 } KernelIntegrator;
1284 static_assert_align(KernelIntegrator, 16);
1285
1286 typedef struct KernelBVH {
1287         /* root node */
1288         int root;
1289         int attributes_map_stride;
1290         int have_motion;
1291         int have_curves;
1292         int have_instancing;
1293         int use_qbvh;
1294         int use_bvh_steps;
1295         int pad1;
1296 } KernelBVH;
1297 static_assert_align(KernelBVH, 16);
1298
1299 typedef enum CurveFlag {
1300         /* runtime flags */
1301         CURVE_KN_BACKFACING = 1,                                /* backside of cylinder? */
1302         CURVE_KN_ENCLOSEFILTER = 2,                             /* don't consider strands surrounding start point? */
1303         CURVE_KN_INTERPOLATE = 4,                               /* render as a curve? */
1304         CURVE_KN_ACCURATE = 8,                                  /* use accurate intersections test? */
1305         CURVE_KN_INTERSECTCORRECTION = 16,              /* correct for width after determing closest midpoint? */
1306         CURVE_KN_TRUETANGENTGNORMAL = 32,               /* use tangent normal for geometry? */
1307         CURVE_KN_RIBBONS = 64,                                  /* use flat curve ribbons */
1308 } CurveFlag;
1309
1310 typedef struct KernelCurves {
1311         int curveflags;
1312         int subdivisions;
1313
1314         float minimum_width;
1315         float maximum_width;
1316 } KernelCurves;
1317 static_assert_align(KernelCurves, 16);
1318
1319 typedef struct KernelTables {
1320         int beckmann_offset;
1321         int pad1, pad2, pad3;
1322 } KernelTables;
1323 static_assert_align(KernelTables, 16);
1324
1325 typedef struct KernelData {
1326         KernelCamera cam;
1327         KernelFilm film;
1328         KernelBackground background;
1329         KernelIntegrator integrator;
1330         KernelBVH bvh;
1331         KernelCurves curve;
1332         KernelTables tables;
1333 } KernelData;
1334 static_assert_align(KernelData, 16);
1335
1336 #ifdef __KERNEL_DEBUG__
1337 /* NOTE: This is a runtime-only struct, alignment is not
1338  * really important here.
1339  */
1340 typedef ccl_addr_space struct DebugData {
1341         int num_bvh_traversed_nodes;
1342         int num_bvh_traversed_instances;
1343         int num_bvh_intersections;
1344         int num_ray_bounces;
1345 } DebugData;
1346 #endif
1347
1348 /* Declarations required for split kernel */
1349
1350 /* Macro for queues */
1351 /* Value marking queue's empty slot */
1352 #define QUEUE_EMPTY_SLOT -1
1353
1354 /*
1355  * Queue 1 - Active rays
1356  * Queue 2 - Background queue
1357  * Queue 3 - Shadow ray cast kernel - AO
1358  * Queeu 4 - Shadow ray cast kernel - direct lighting
1359  */
1360
1361 /* Queue names */
1362 enum QueueNumber {
1363         /* All active rays and regenerated rays are enqueued here. */
1364         QUEUE_ACTIVE_AND_REGENERATED_RAYS = 0,
1365
1366         /* All
1367          * 1. Background-hit rays,
1368          * 2. Rays that has exited path-iteration but needs to update output buffer
1369          * 3. Rays to be regenerated
1370          * are enqueued here.
1371          */
1372         QUEUE_HITBG_BUFF_UPDATE_TOREGEN_RAYS,
1373
1374         /* All rays for which a shadow ray should be cast to determine radiance
1375          * contribution for AO are enqueued here.
1376          */
1377         QUEUE_SHADOW_RAY_CAST_AO_RAYS,
1378
1379         /* All rays for which a shadow ray should be cast to determine radiance
1380          * contributing for direct lighting are enqueued here.
1381          */
1382         QUEUE_SHADOW_RAY_CAST_DL_RAYS,
1383
1384         /* Rays sorted according to shader->id */
1385         QUEUE_SHADER_SORTED_RAYS,
1386
1387 #ifdef __BRANCHED_PATH__
1388         /* All rays moving to next iteration of the indirect loop for light */
1389         QUEUE_LIGHT_INDIRECT_ITER,
1390         /* Queue of all inactive rays. These are candidates for sharing work of indirect loops */
1391         QUEUE_INACTIVE_RAYS,
1392 #  ifdef __VOLUME__
1393         /* All rays moving to next iteration of the indirect loop for volumes */
1394         QUEUE_VOLUME_INDIRECT_ITER,
1395 #  endif
1396 #  ifdef __SUBSURFACE__
1397         /* All rays moving to next iteration of the indirect loop for subsurface */
1398         QUEUE_SUBSURFACE_INDIRECT_ITER,
1399 #  endif
1400 #endif  /* __BRANCHED_PATH__ */
1401
1402         NUM_QUEUES
1403 };
1404
1405 /* We use RAY_STATE_MASK to get ray_state */
1406 #define RAY_STATE_MASK 0x0F
1407 #define RAY_FLAG_MASK 0xF0
1408 enum RayState {
1409         RAY_INVALID = 0,
1410         /* Denotes ray is actively involved in path-iteration. */
1411         RAY_ACTIVE,
1412         /* Denotes ray has completed processing all samples and is inactive. */
1413         RAY_INACTIVE,
1414         /* Denoted ray has exited path-iteration and needs to update output buffer. */
1415         RAY_UPDATE_BUFFER,
1416         /* Donotes ray has hit background */
1417         RAY_HIT_BACKGROUND,
1418         /* Denotes ray has to be regenerated */
1419         RAY_TO_REGENERATE,
1420         /* Denotes ray has been regenerated */
1421         RAY_REGENERATED,
1422         /* Denotes ray is moving to next iteration of the branched indirect loop */
1423         RAY_LIGHT_INDIRECT_NEXT_ITER,
1424         RAY_VOLUME_INDIRECT_NEXT_ITER,
1425         RAY_SUBSURFACE_INDIRECT_NEXT_ITER,
1426
1427         /* Ray flags */
1428
1429         /* Flags to denote that the ray is currently evaluating the branched indirect loop */
1430         RAY_BRANCHED_LIGHT_INDIRECT = (1 << 4),
1431         RAY_BRANCHED_VOLUME_INDIRECT = (1 << 5),
1432         RAY_BRANCHED_SUBSURFACE_INDIRECT = (1 << 6),
1433         RAY_BRANCHED_INDIRECT = (RAY_BRANCHED_LIGHT_INDIRECT | RAY_BRANCHED_VOLUME_INDIRECT | RAY_BRANCHED_SUBSURFACE_INDIRECT),
1434
1435         /* Ray is evaluating an iteration of an indirect loop for another thread */
1436         RAY_BRANCHED_INDIRECT_SHARED = (1 << 7),
1437 };
1438
1439 #define ASSIGN_RAY_STATE(ray_state, ray_index, state) (ray_state[ray_index] = ((ray_state[ray_index] & RAY_FLAG_MASK) | state))
1440 #define IS_STATE(ray_state, ray_index, state) ((ray_index) != QUEUE_EMPTY_SLOT && ((ray_state)[(ray_index)] & RAY_STATE_MASK) == (state))
1441 #define ADD_RAY_FLAG(ray_state, ray_index, flag) (ray_state[ray_index] = (ray_state[ray_index] | flag))
1442 #define REMOVE_RAY_FLAG(ray_state, ray_index, flag) (ray_state[ray_index] = (ray_state[ray_index] & (~flag)))
1443 #define IS_FLAG(ray_state, ray_index, flag) (ray_state[ray_index] & flag)
1444
1445 /* Patches */
1446
1447 #define PATCH_MAX_CONTROL_VERTS 16
1448
1449 /* Patch map node flags */
1450
1451 #define PATCH_MAP_NODE_IS_SET (1 << 30)
1452 #define PATCH_MAP_NODE_IS_LEAF (1u << 31)
1453 #define PATCH_MAP_NODE_INDEX_MASK (~(PATCH_MAP_NODE_IS_SET | PATCH_MAP_NODE_IS_LEAF))
1454
1455 CCL_NAMESPACE_END
1456
1457 #endif /*  __KERNEL_TYPES_H__ */
1458