Cycles: Consolidate the various split CL kernel feature defines within the AMD platform
[blender-staging.git] / intern / cycles / kernel / kernel_types.h
1 /*
2  * Copyright 2011-2013 Blender Foundation
3  *
4  * Licensed under the Apache License, Version 2.0 (the "License");
5  * you may not use this file except in compliance with the License.
6  * You may obtain a copy of the License at
7  *
8  * http://www.apache.org/licenses/LICENSE-2.0
9  *
10  * Unless required by applicable law or agreed to in writing, software
11  * distributed under the License is distributed on an "AS IS" BASIS,
12  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
13  * See the License for the specific language governing permissions and
14  * limitations under the License.
15  */
16
17 #ifndef __KERNEL_TYPES_H__
18 #define __KERNEL_TYPES_H__
19
20 #include "kernel_math.h"
21 #include "svm/svm_types.h"
22 #include "util_static_assert.h"
23
24 #ifndef __KERNEL_GPU__
25 #  define __KERNEL_CPU__
26 #endif
27
28 /* TODO(sergey): This is only to make it possible to include this header
29  * from outside of the kernel. but this could be done somewhat cleaner?
30  */
31 #ifndef ccl_addr_space
32 #  define ccl_addr_space
33 #endif
34
35 CCL_NAMESPACE_BEGIN
36
37 /* constants */
38 #define OBJECT_SIZE             12
39 #define OBJECT_VECTOR_SIZE      6
40 #define LIGHT_SIZE                      5
41 #define FILTER_TABLE_SIZE       1024
42 #define RAMP_TABLE_SIZE         256
43 #define SHUTTER_TABLE_SIZE              256
44 #define PARTICLE_SIZE           5
45 #define TIME_INVALID            FLT_MAX
46
47 #define BSSRDF_MIN_RADIUS                       1e-8f
48 #define BSSRDF_MAX_HITS                         4
49
50 #define BECKMANN_TABLE_SIZE             256
51
52 #define SHADER_NONE                             (~0)
53 #define OBJECT_NONE                             (~0)
54 #define PRIM_NONE                               (~0)
55 #define LAMP_NONE                               (~0)
56
57 #define VOLUME_STACK_SIZE               16
58
59 /* device capabilities */
60 #ifdef __KERNEL_CPU__
61 #  ifdef __KERNEL_SSE2__
62 #    define __QBVH__
63 #  endif
64 #  define __KERNEL_SHADING__
65 #  define __KERNEL_ADV_SHADING__
66 #  define __BRANCHED_PATH__
67 #  ifdef WITH_OSL
68 #    define __OSL__
69 #  endif
70 #  define __SUBSURFACE__
71 #  define __CMJ__
72 #  define __VOLUME__
73 #  define __VOLUME_DECOUPLED__
74 #  define __VOLUME_SCATTER__
75 #  define __SHADOW_RECORD_ALL__
76 #  define __VOLUME_RECORD_ALL__
77 #endif  /* __KERNEL_CPU__ */
78
79 #ifdef __KERNEL_CUDA__
80 #  define __KERNEL_SHADING__
81 #  define __KERNEL_ADV_SHADING__
82 #  define __BRANCHED_PATH__
83 #  define __VOLUME__
84 #  define __VOLUME_SCATTER__
85 #  define __SUBSURFACE__
86 #  define __CMJ__
87 #endif  /* __KERNEL_CUDA__ */
88
89 #ifdef __KERNEL_OPENCL__
90
91 /* keep __KERNEL_ADV_SHADING__ in sync with opencl_kernel_use_advanced_shading! */
92
93 #  ifdef __KERNEL_OPENCL_NVIDIA__
94 #    define __KERNEL_SHADING__
95 #    define __KERNEL_ADV_SHADING__
96 #    ifdef __KERNEL_EXPERIMENTAL__
97 #      define __CMJ__
98 #    endif
99 #  endif  /* __KERNEL_OPENCL_NVIDIA__ */
100
101 #  ifdef __KERNEL_OPENCL_APPLE__
102 #    define __KERNEL_SHADING__
103 #    define __KERNEL_ADV_SHADING__
104 /* TODO(sergey): Currently experimental section is ignored here,
105  * this is because megakernel in device_opencl does not support
106  * custom cflags depending on the scene features.
107  */
108 #    ifdef __KERNEL_EXPERIMENTAL__
109 #      define __CMJ__
110 #    endif
111 #  endif  /* __KERNEL_OPENCL_NVIDIA__ */
112
113 #  ifdef __KERNEL_OPENCL_AMD__
114 #    define __CL_USE_NATIVE__
115 #    define __KERNEL_SHADING__
116 #    define __KERNEL_ADV_SHADING__
117 #  endif  /* __KERNEL_OPENCL_AMD__ */
118
119 #  ifdef __KERNEL_OPENCL_INTEL_CPU__
120 #    define __CL_USE_NATIVE__
121 #    define __KERNEL_SHADING__
122 #    define __KERNEL_ADV_SHADING__
123 #    ifdef __KERNEL_EXPERIMENTAL__
124 #      define __CMJ__
125 #    endif
126 #  endif  /* __KERNEL_OPENCL_INTEL_CPU__ */
127
128 #endif  /* __KERNEL_OPENCL__ */
129
130 /* kernel features */
131 #define __SOBOL__
132 #define __INSTANCING__
133 #define __DPDU__
134 #define __UV__
135 #define __BACKGROUND__
136 #define __CAUSTICS_TRICKS__
137 #define __VISIBILITY_FLAG__
138 #define __RAY_DIFFERENTIALS__
139 #define __CAMERA_CLIPPING__
140 #define __INTERSECTION_REFINE__
141 #define __CLAMP_SAMPLE__
142 #define __PATCH_EVAL__
143
144 #ifdef __KERNEL_SHADING__
145 #  define __SVM__
146 #  define __EMISSION__
147 #  define __TEXTURES__
148 #  define __EXTRA_NODES__
149 #  define __HOLDOUT__
150 #endif
151
152 #ifdef __KERNEL_ADV_SHADING__
153 #  define __MULTI_CLOSURE__
154 #  define __TRANSPARENT_SHADOWS__
155 #  define __PASSES__
156 #  define __BACKGROUND_MIS__
157 #  define __LAMP_MIS__
158 #  define __AO__
159 #  define __CAMERA_MOTION__
160 #  define __OBJECT_MOTION__
161 #  define __HAIR__
162 #  define __BAKING__
163 #endif
164
165 #ifdef WITH_CYCLES_DEBUG
166 #  define __KERNEL_DEBUG__
167 #endif
168
169 /* Scene-based selective features compilation. */
170 #ifdef __NO_CAMERA_MOTION__
171 #  undef __CAMERA_MOTION__
172 #endif
173 #ifdef __NO_OBJECT_MOTION__
174 #  undef __OBJECT_MOTION__
175 #endif
176 #ifdef __NO_HAIR__
177 #  undef __HAIR__
178 #endif
179 #ifdef __NO_VOLUME__
180 #  undef __VOLUME__
181 #  undef __VOLUME_SCATTER__
182 #endif
183 #ifdef __NO_SUBSURFACE__
184 #  undef __SUBSURFACE__
185 #endif
186 #ifdef __NO_BAKING__
187 #  undef __BAKING__
188 #endif
189 #ifdef __NO_BRANCHED_PATH__
190 #  undef __BRANCHED_PATH__
191 #endif
192 #ifdef __NO_PATCH_EVAL__
193 #  undef __PATCH_EVAL__
194 #endif
195
196 /* Random Numbers */
197
198 typedef uint RNG;
199
200 /* Shader Evaluation */
201
202 typedef enum ShaderEvalType {
203         SHADER_EVAL_DISPLACE,
204         SHADER_EVAL_BACKGROUND,
205         /* bake types */
206         SHADER_EVAL_BAKE, /* no real shade, it's used in the code to
207                            * differentiate the type of shader eval from the above
208                            */
209         /* data passes */
210         SHADER_EVAL_NORMAL,
211         SHADER_EVAL_UV,
212         SHADER_EVAL_DIFFUSE_COLOR,
213         SHADER_EVAL_GLOSSY_COLOR,
214         SHADER_EVAL_TRANSMISSION_COLOR,
215         SHADER_EVAL_SUBSURFACE_COLOR,
216         SHADER_EVAL_EMISSION,
217
218         /* light passes */
219         SHADER_EVAL_AO,
220         SHADER_EVAL_COMBINED,
221         SHADER_EVAL_SHADOW,
222         SHADER_EVAL_DIFFUSE,
223         SHADER_EVAL_GLOSSY,
224         SHADER_EVAL_TRANSMISSION,
225         SHADER_EVAL_SUBSURFACE,
226
227         /* extra */
228         SHADER_EVAL_ENVIRONMENT,
229 } ShaderEvalType;
230
231 /* Path Tracing
232  * note we need to keep the u/v pairs at even values */
233
234 enum PathTraceDimension {
235         PRNG_FILTER_U = 0,
236         PRNG_FILTER_V = 1,
237         PRNG_LENS_U = 2,
238         PRNG_LENS_V = 3,
239 #ifdef __CAMERA_MOTION__
240         PRNG_TIME = 4,
241         PRNG_UNUSED_0 = 5,
242         PRNG_UNUSED_1 = 6,      /* for some reason (6, 7) is a bad sobol pattern */
243         PRNG_UNUSED_2 = 7,  /* with a low number of samples (< 64) */
244 #endif
245         PRNG_BASE_NUM = 8,
246
247         PRNG_BSDF_U = 0,
248         PRNG_BSDF_V = 1,
249         PRNG_BSDF = 2,
250         PRNG_LIGHT = 3,
251         PRNG_LIGHT_U = 4,
252         PRNG_LIGHT_V = 5,
253         PRNG_UNUSED_3 = 6,
254         PRNG_TERMINATE = 7,
255
256 #ifdef __VOLUME__
257         PRNG_PHASE_U = 8,
258         PRNG_PHASE_V = 9,
259         PRNG_PHASE = 10,
260         PRNG_SCATTER_DISTANCE = 11,
261 #endif
262
263         PRNG_BOUNCE_NUM = 12,
264 };
265
266 enum SamplingPattern {
267         SAMPLING_PATTERN_SOBOL = 0,
268         SAMPLING_PATTERN_CMJ = 1,
269
270         SAMPLING_NUM_PATTERNS,
271 };
272
273 /* these flags values correspond to raytypes in osl.cpp, so keep them in sync! */
274
275 enum PathRayFlag {
276         PATH_RAY_CAMERA = 1,
277         PATH_RAY_REFLECT = 2,
278         PATH_RAY_TRANSMIT = 4,
279         PATH_RAY_DIFFUSE = 8,
280         PATH_RAY_GLOSSY = 16,
281         PATH_RAY_SINGULAR = 32,
282         PATH_RAY_TRANSPARENT = 64,
283
284         PATH_RAY_SHADOW_OPAQUE = 128,
285         PATH_RAY_SHADOW_TRANSPARENT = 256,
286         PATH_RAY_SHADOW = (PATH_RAY_SHADOW_OPAQUE|PATH_RAY_SHADOW_TRANSPARENT),
287
288         PATH_RAY_CURVE = 512, /* visibility flag to define curve segments */
289         PATH_RAY_VOLUME_SCATTER = 1024, /* volume scattering */
290
291         /* Special flag to tag unaligned BVH nodes. */
292         PATH_RAY_NODE_UNALIGNED = 2048,
293
294         PATH_RAY_ALL_VISIBILITY = (1|2|4|8|16|32|64|128|256|512|1024|2048),
295
296         PATH_RAY_MIS_SKIP = 4096,
297         PATH_RAY_DIFFUSE_ANCESTOR = 8192,
298         PATH_RAY_SINGLE_PASS_DONE = 16384,
299 };
300
301 /* Closure Label */
302
303 typedef enum ClosureLabel {
304         LABEL_NONE = 0,
305         LABEL_TRANSMIT = 1,
306         LABEL_REFLECT = 2,
307         LABEL_DIFFUSE = 4,
308         LABEL_GLOSSY = 8,
309         LABEL_SINGULAR = 16,
310         LABEL_TRANSPARENT = 32,
311         LABEL_VOLUME_SCATTER = 64,
312 } ClosureLabel;
313
314 /* Render Passes */
315
316 typedef enum PassType {
317         PASS_NONE = 0,
318         PASS_COMBINED = (1 << 0),
319         PASS_DEPTH = (1 << 1),
320         PASS_NORMAL = (1 << 2),
321         PASS_UV = (1 << 3),
322         PASS_OBJECT_ID = (1 << 4),
323         PASS_MATERIAL_ID = (1 << 5),
324         PASS_DIFFUSE_COLOR = (1 << 6),
325         PASS_GLOSSY_COLOR = (1 << 7),
326         PASS_TRANSMISSION_COLOR = (1 << 8),
327         PASS_DIFFUSE_INDIRECT = (1 << 9),
328         PASS_GLOSSY_INDIRECT = (1 << 10),
329         PASS_TRANSMISSION_INDIRECT = (1 << 11),
330         PASS_DIFFUSE_DIRECT = (1 << 12),
331         PASS_GLOSSY_DIRECT = (1 << 13),
332         PASS_TRANSMISSION_DIRECT = (1 << 14),
333         PASS_EMISSION = (1 << 15),
334         PASS_BACKGROUND = (1 << 16),
335         PASS_AO = (1 << 17),
336         PASS_SHADOW = (1 << 18),
337         PASS_MOTION = (1 << 19),
338         PASS_MOTION_WEIGHT = (1 << 20),
339         PASS_MIST = (1 << 21),
340         PASS_SUBSURFACE_DIRECT = (1 << 22),
341         PASS_SUBSURFACE_INDIRECT = (1 << 23),
342         PASS_SUBSURFACE_COLOR = (1 << 24),
343         PASS_LIGHT = (1 << 25), /* no real pass, used to force use_light_pass */
344 #ifdef __KERNEL_DEBUG__
345         PASS_BVH_TRAVERSAL_STEPS = (1 << 26),
346         PASS_BVH_TRAVERSED_INSTANCES = (1 << 27),
347         PASS_RAY_BOUNCES = (1 << 28),
348 #endif
349 } PassType;
350
351 #define PASS_ALL (~0)
352
353 typedef enum BakePassFilter {
354         BAKE_FILTER_NONE = 0,
355         BAKE_FILTER_DIRECT = (1 << 0),
356         BAKE_FILTER_INDIRECT = (1 << 1),
357         BAKE_FILTER_COLOR = (1 << 2),
358         BAKE_FILTER_DIFFUSE = (1 << 3),
359         BAKE_FILTER_GLOSSY = (1 << 4),
360         BAKE_FILTER_TRANSMISSION = (1 << 5),
361         BAKE_FILTER_SUBSURFACE = (1 << 6),
362         BAKE_FILTER_EMISSION = (1 << 7),
363         BAKE_FILTER_AO = (1 << 8),
364 } BakePassFilter;
365
366 typedef enum BakePassFilterCombos {
367         BAKE_FILTER_COMBINED = (
368             BAKE_FILTER_DIRECT |
369             BAKE_FILTER_INDIRECT |
370             BAKE_FILTER_DIFFUSE |
371             BAKE_FILTER_GLOSSY |
372             BAKE_FILTER_TRANSMISSION |
373             BAKE_FILTER_SUBSURFACE |
374             BAKE_FILTER_EMISSION |
375             BAKE_FILTER_AO),
376         BAKE_FILTER_DIFFUSE_DIRECT = (BAKE_FILTER_DIRECT | BAKE_FILTER_DIFFUSE),
377         BAKE_FILTER_GLOSSY_DIRECT = (BAKE_FILTER_DIRECT | BAKE_FILTER_GLOSSY),
378         BAKE_FILTER_TRANSMISSION_DIRECT = (BAKE_FILTER_DIRECT | BAKE_FILTER_TRANSMISSION),
379         BAKE_FILTER_SUBSURFACE_DIRECT = (BAKE_FILTER_DIRECT | BAKE_FILTER_SUBSURFACE),
380         BAKE_FILTER_DIFFUSE_INDIRECT = (BAKE_FILTER_INDIRECT | BAKE_FILTER_DIFFUSE),
381         BAKE_FILTER_GLOSSY_INDIRECT = (BAKE_FILTER_INDIRECT | BAKE_FILTER_GLOSSY),
382         BAKE_FILTER_TRANSMISSION_INDIRECT = (BAKE_FILTER_INDIRECT | BAKE_FILTER_TRANSMISSION),
383         BAKE_FILTER_SUBSURFACE_INDIRECT = (BAKE_FILTER_INDIRECT | BAKE_FILTER_SUBSURFACE),
384 } BakePassFilterCombos;
385
386 typedef ccl_addr_space struct PathRadiance {
387 #ifdef __PASSES__
388         int use_light_pass;
389 #endif
390
391         float3 emission;
392 #ifdef __PASSES__
393         float3 background;
394         float3 ao;
395
396         float3 indirect;
397         float3 direct_throughput;
398         float3 direct_emission;
399
400         float3 color_diffuse;
401         float3 color_glossy;
402         float3 color_transmission;
403         float3 color_subsurface;
404         float3 color_scatter;
405
406         float3 direct_diffuse;
407         float3 direct_glossy;
408         float3 direct_transmission;
409         float3 direct_subsurface;
410         float3 direct_scatter;
411
412         float3 indirect_diffuse;
413         float3 indirect_glossy;
414         float3 indirect_transmission;
415         float3 indirect_subsurface;
416         float3 indirect_scatter;
417
418         float3 path_diffuse;
419         float3 path_glossy;
420         float3 path_transmission;
421         float3 path_subsurface;
422         float3 path_scatter;
423
424         float4 shadow;
425         float mist;
426 #endif
427 } PathRadiance;
428
429 typedef struct BsdfEval {
430 #ifdef __PASSES__
431         int use_light_pass;
432 #endif
433
434         float3 diffuse;
435 #ifdef __PASSES__
436         float3 glossy;
437         float3 transmission;
438         float3 transparent;
439         float3 subsurface;
440         float3 scatter;
441 #endif
442 } BsdfEval;
443
444 /* Shader Flag */
445
446 typedef enum ShaderFlag {
447         SHADER_SMOOTH_NORMAL = (1 << 31),
448         SHADER_CAST_SHADOW = (1 << 30),
449         SHADER_AREA_LIGHT = (1 << 29),
450         SHADER_USE_MIS = (1 << 28),
451         SHADER_EXCLUDE_DIFFUSE = (1 << 27),
452         SHADER_EXCLUDE_GLOSSY = (1 << 26),
453         SHADER_EXCLUDE_TRANSMIT = (1 << 25),
454         SHADER_EXCLUDE_CAMERA = (1 << 24),
455         SHADER_EXCLUDE_SCATTER = (1 << 23),
456         SHADER_EXCLUDE_ANY = (SHADER_EXCLUDE_DIFFUSE|SHADER_EXCLUDE_GLOSSY|SHADER_EXCLUDE_TRANSMIT|SHADER_EXCLUDE_CAMERA|SHADER_EXCLUDE_SCATTER),
457
458         SHADER_MASK = ~(SHADER_SMOOTH_NORMAL|SHADER_CAST_SHADOW|SHADER_AREA_LIGHT|SHADER_USE_MIS|SHADER_EXCLUDE_ANY)
459 } ShaderFlag;
460
461 /* Light Type */
462
463 typedef enum LightType {
464         LIGHT_POINT,
465         LIGHT_DISTANT,
466         LIGHT_BACKGROUND,
467         LIGHT_AREA,
468         LIGHT_SPOT,
469         LIGHT_TRIANGLE
470 } LightType;
471
472 /* Camera Type */
473
474 enum CameraType {
475         CAMERA_PERSPECTIVE,
476         CAMERA_ORTHOGRAPHIC,
477         CAMERA_PANORAMA
478 };
479
480 /* Panorama Type */
481
482 enum PanoramaType {
483         PANORAMA_EQUIRECTANGULAR = 0,
484         PANORAMA_FISHEYE_EQUIDISTANT = 1,
485         PANORAMA_FISHEYE_EQUISOLID = 2,
486         PANORAMA_MIRRORBALL = 3,
487
488         PANORAMA_NUM_TYPES,
489 };
490
491 /* Differential */
492
493 typedef struct differential3 {
494         float3 dx;
495         float3 dy;
496 } differential3;
497
498 typedef struct differential {
499         float dx;
500         float dy;
501 } differential;
502
503 /* Ray */
504
505 typedef struct Ray {
506 /* TODO(sergey): This is only needed because current AMD
507  * compiler has hard time building the kernel with this
508  * reshuffle. And at the same time reshuffle will cause
509  * less optimal CPU code in certain places.
510  *
511  * We'll get rid of this nasty exception once AMD compiler
512  * is fixed.
513  */
514 #ifndef __KERNEL_OPENCL_AMD__
515         float3 P;               /* origin */
516         float3 D;               /* direction */
517
518         float t;                /* length of the ray */
519         float time;             /* time (for motion blur) */
520 #else
521         float t;                /* length of the ray */
522         float time;             /* time (for motion blur) */
523         float3 P;               /* origin */
524         float3 D;               /* direction */
525 #endif
526
527 #ifdef __RAY_DIFFERENTIALS__
528         differential3 dP;
529         differential3 dD;
530 #endif
531 } Ray;
532
533 /* Intersection */
534
535 typedef ccl_addr_space struct Intersection {
536         float t, u, v;
537         int prim;
538         int object;
539         int type;
540
541 #ifdef __KERNEL_DEBUG__
542         int num_traversal_steps;
543         int num_traversed_instances;
544 #endif
545 } Intersection;
546
547 /* Primitives */
548
549 typedef enum PrimitiveType {
550         PRIMITIVE_NONE = 0,
551         PRIMITIVE_TRIANGLE = 1,
552         PRIMITIVE_MOTION_TRIANGLE = 2,
553         PRIMITIVE_CURVE = 4,
554         PRIMITIVE_MOTION_CURVE = 8,
555
556         PRIMITIVE_ALL_TRIANGLE = (PRIMITIVE_TRIANGLE|PRIMITIVE_MOTION_TRIANGLE),
557         PRIMITIVE_ALL_CURVE = (PRIMITIVE_CURVE|PRIMITIVE_MOTION_CURVE),
558         PRIMITIVE_ALL_MOTION = (PRIMITIVE_MOTION_TRIANGLE|PRIMITIVE_MOTION_CURVE),
559         PRIMITIVE_ALL = (PRIMITIVE_ALL_TRIANGLE|PRIMITIVE_ALL_CURVE),
560
561         /* Total number of different primitives.
562          * NOTE: This is an actual value, not a bitflag.
563          */
564         PRIMITIVE_NUM_TOTAL = 4,
565 } PrimitiveType;
566
567 #define PRIMITIVE_PACK_SEGMENT(type, segment) ((segment << 16) | type)
568 #define PRIMITIVE_UNPACK_SEGMENT(type) (type >> 16)
569
570 /* Attributes */
571
572 typedef enum AttributePrimitive {
573         ATTR_PRIM_TRIANGLE = 0,
574         ATTR_PRIM_CURVE,
575         ATTR_PRIM_SUBD,
576
577         ATTR_PRIM_TYPES
578 } AttributePrimitive;
579
580 typedef enum AttributeElement {
581         ATTR_ELEMENT_NONE,
582         ATTR_ELEMENT_OBJECT,
583         ATTR_ELEMENT_MESH,
584         ATTR_ELEMENT_FACE,
585         ATTR_ELEMENT_VERTEX,
586         ATTR_ELEMENT_VERTEX_MOTION,
587         ATTR_ELEMENT_CORNER,
588         ATTR_ELEMENT_CORNER_BYTE,
589         ATTR_ELEMENT_CURVE,
590         ATTR_ELEMENT_CURVE_KEY,
591         ATTR_ELEMENT_CURVE_KEY_MOTION,
592         ATTR_ELEMENT_VOXEL
593 } AttributeElement;
594
595 typedef enum AttributeStandard {
596         ATTR_STD_NONE = 0,
597         ATTR_STD_VERTEX_NORMAL,
598         ATTR_STD_FACE_NORMAL,
599         ATTR_STD_UV,
600         ATTR_STD_UV_TANGENT,
601         ATTR_STD_UV_TANGENT_SIGN,
602         ATTR_STD_GENERATED,
603         ATTR_STD_GENERATED_TRANSFORM,
604         ATTR_STD_POSITION_UNDEFORMED,
605         ATTR_STD_POSITION_UNDISPLACED,
606         ATTR_STD_MOTION_VERTEX_POSITION,
607         ATTR_STD_MOTION_VERTEX_NORMAL,
608         ATTR_STD_PARTICLE,
609         ATTR_STD_CURVE_INTERCEPT,
610         ATTR_STD_PTEX_FACE_ID,
611         ATTR_STD_PTEX_UV,
612         ATTR_STD_VOLUME_DENSITY,
613         ATTR_STD_VOLUME_COLOR,
614         ATTR_STD_VOLUME_FLAME,
615         ATTR_STD_VOLUME_HEAT,
616         ATTR_STD_VOLUME_VELOCITY,
617         ATTR_STD_POINTINESS,
618         ATTR_STD_NUM,
619
620         ATTR_STD_NOT_FOUND = ~0
621 } AttributeStandard;
622
623 typedef enum AttributeFlag {
624         ATTR_FINAL_SIZE = (1 << 0),
625         ATTR_SUBDIVIDED = (1 << 1),
626 } AttributeFlag;
627
628 typedef struct AttributeDescriptor {
629         AttributeElement element;
630         NodeAttributeType type;
631         uint flags; /* see enum AttributeFlag */
632         int offset;
633 } AttributeDescriptor;
634
635 /* Closure data */
636
637 #ifdef __MULTI_CLOSURE__
638 #  ifndef __MAX_CLOSURE__
639 #     define MAX_CLOSURE 64
640 #  else
641 #    define MAX_CLOSURE __MAX_CLOSURE__
642 #  endif
643 #else
644 #  define MAX_CLOSURE 1
645 #endif
646
647 /* This struct is the base class for all closures. The common members are
648  * duplicated in all derived classes since we don't have C++ in the kernel
649  * yet, and because it lets us lay out the members to minimize padding. The
650  * weight member is located at the beginning of the struct for this reason.
651  *
652  * ShaderClosure has a fixed size, and any extra space must be allocated
653  * with closure_alloc_extra().
654  *
655  * We pad the struct to 80 bytes and ensure it is aligned to 16 bytes, which
656  * we assume to be the maximum required alignment for any struct. */
657
658 #define SHADER_CLOSURE_BASE \
659         float3 weight; \
660         ClosureType type; \
661         float sample_weight \
662
663 typedef ccl_addr_space struct ccl_align(16) ShaderClosure {
664         SHADER_CLOSURE_BASE;
665
666         float data[14]; /* pad to 80 bytes */
667 } ShaderClosure;
668
669 /* Shader Context
670  *
671  * For OSL we recycle a fixed number of contexts for speed */
672
673 typedef enum ShaderContext {
674         SHADER_CONTEXT_MAIN = 0,
675         SHADER_CONTEXT_INDIRECT = 1,
676         SHADER_CONTEXT_EMISSION = 2,
677         SHADER_CONTEXT_SHADOW = 3,
678         SHADER_CONTEXT_SSS = 4,
679         SHADER_CONTEXT_VOLUME = 5,
680         SHADER_CONTEXT_NUM = 6
681 } ShaderContext;
682
683 /* Shader Data
684  *
685  * Main shader state at a point on the surface or in a volume. All coordinates
686  * are in world space. */
687
688 enum ShaderDataFlag {
689         /* runtime flags */
690         SD_BACKFACING      = (1 << 0),   /* backside of surface? */
691         SD_EMISSION        = (1 << 1),   /* have emissive closure? */
692         SD_BSDF            = (1 << 2),   /* have bsdf closure? */
693         SD_BSDF_HAS_EVAL   = (1 << 3),   /* have non-singular bsdf closure? */
694         SD_BSSRDF          = (1 << 4),   /* have bssrdf */
695         SD_HOLDOUT         = (1 << 5),   /* have holdout closure? */
696         SD_ABSORPTION      = (1 << 6),   /* have volume absorption closure? */
697         SD_SCATTER         = (1 << 7),   /* have volume phase closure? */
698         SD_AO              = (1 << 8),   /* have ao closure? */
699         SD_TRANSPARENT     = (1 << 9),  /* have transparent closure? */
700         SD_BSDF_NEEDS_LCG  = (1 << 10),
701
702         SD_CLOSURE_FLAGS = (SD_EMISSION|SD_BSDF|SD_BSDF_HAS_EVAL|SD_BSSRDF|
703                             SD_HOLDOUT|SD_ABSORPTION|SD_SCATTER|SD_AO|
704                             SD_BSDF_NEEDS_LCG),
705
706         /* shader flags */
707         SD_USE_MIS                = (1 << 12),  /* direct light sample */
708         SD_HAS_TRANSPARENT_SHADOW = (1 << 13),  /* has transparent shadow */
709         SD_HAS_VOLUME             = (1 << 14),  /* has volume shader */
710         SD_HAS_ONLY_VOLUME        = (1 << 15),  /* has only volume shader, no surface */
711         SD_HETEROGENEOUS_VOLUME   = (1 << 16),  /* has heterogeneous volume */
712         SD_HAS_BSSRDF_BUMP        = (1 << 17),  /* bssrdf normal uses bump */
713         SD_VOLUME_EQUIANGULAR     = (1 << 18),  /* use equiangular sampling */
714         SD_VOLUME_MIS             = (1 << 19),  /* use multiple importance sampling */
715         SD_VOLUME_CUBIC           = (1 << 20),  /* use cubic interpolation for voxels */
716         SD_HAS_BUMP               = (1 << 21),  /* has data connected to the displacement input */
717
718         SD_SHADER_FLAGS = (SD_USE_MIS|SD_HAS_TRANSPARENT_SHADOW|SD_HAS_VOLUME|
719                            SD_HAS_ONLY_VOLUME|SD_HETEROGENEOUS_VOLUME|
720                            SD_HAS_BSSRDF_BUMP|SD_VOLUME_EQUIANGULAR|SD_VOLUME_MIS|
721                            SD_VOLUME_CUBIC|SD_HAS_BUMP),
722
723         /* object flags */
724         SD_HOLDOUT_MASK             = (1 << 22),  /* holdout for camera rays */
725         SD_OBJECT_MOTION            = (1 << 23),  /* has object motion blur */
726         SD_TRANSFORM_APPLIED        = (1 << 24),  /* vertices have transform applied */
727         SD_NEGATIVE_SCALE_APPLIED   = (1 << 25),  /* vertices have negative scale applied */
728         SD_OBJECT_HAS_VOLUME        = (1 << 26),  /* object has a volume shader */
729         SD_OBJECT_INTERSECTS_VOLUME = (1 << 27),  /* object intersects AABB of an object with volume shader */
730         SD_OBJECT_HAS_VERTEX_MOTION = (1 << 28),  /* has position for motion vertices */
731
732         SD_OBJECT_FLAGS = (SD_HOLDOUT_MASK|SD_OBJECT_MOTION|SD_TRANSFORM_APPLIED|
733                            SD_NEGATIVE_SCALE_APPLIED|SD_OBJECT_HAS_VOLUME|
734                            SD_OBJECT_INTERSECTS_VOLUME)
735 };
736
737 #ifdef __SPLIT_KERNEL__
738 #  define SD_THREAD (get_global_id(1) * get_global_size(0) + get_global_id(0))
739 #  if !defined(__SPLIT_KERNEL_SOA__)
740      /* ShaderData is stored as an Array-of-Structures */
741 #    define ccl_soa_member(type, name) type soa_##name
742 #    define ccl_fetch(s, t) (s[SD_THREAD].soa_##t)
743 #    define ccl_fetch_array(s, t, index) (&s[SD_THREAD].soa_##t[index])
744 #  else
745      /* ShaderData is stored as an Structure-of-Arrays */
746 #    define SD_GLOBAL_SIZE (get_global_size(0) * get_global_size(1))
747 #    define SD_FIELD_SIZE(t) sizeof(((struct ShaderData*)0)->t)
748 #    define SD_OFFSETOF(t) ((char*)(&((struct ShaderData*)0)->t) - (char*)0)
749 #    define ccl_soa_member(type, name) type soa_##name
750 #    define ccl_fetch(s, t) (((ShaderData*)((ccl_addr_space char*)s + SD_GLOBAL_SIZE * SD_OFFSETOF(soa_##t) +  SD_FIELD_SIZE(soa_##t) * SD_THREAD - SD_OFFSETOF(soa_##t)))->soa_##t)
751 #    define ccl_fetch_array(s, t, index) (&ccl_fetch(s, t)[index])
752 #  endif
753 #else
754 #  define ccl_soa_member(type, name) type name
755 #  define ccl_fetch(s, t) (s->t)
756 #  define ccl_fetch_array(s, t, index) (&s->t[index])
757 #endif
758
759 typedef ccl_addr_space struct ShaderData {
760         /* position */
761         ccl_soa_member(float3, P);
762         /* smooth normal for shading */
763         ccl_soa_member(float3, N);
764         /* true geometric normal */
765         ccl_soa_member(float3, Ng);
766         /* view/incoming direction */
767         ccl_soa_member(float3, I);
768         /* shader id */
769         ccl_soa_member(int, shader);
770         /* booleans describing shader, see ShaderDataFlag */
771         ccl_soa_member(int, flag);
772
773         /* primitive id if there is one, ~0 otherwise */
774         ccl_soa_member(int, prim);
775
776         /* combined type and curve segment for hair */
777         ccl_soa_member(int, type);
778
779         /* parametric coordinates
780          * - barycentric weights for triangles */
781         ccl_soa_member(float, u);
782         ccl_soa_member(float, v);
783         /* object id if there is one, ~0 otherwise */
784         ccl_soa_member(int, object);
785
786         /* motion blur sample time */
787         ccl_soa_member(float, time);
788
789         /* length of the ray being shaded */
790         ccl_soa_member(float, ray_length);
791
792 #ifdef __RAY_DIFFERENTIALS__
793         /* differential of P. these are orthogonal to Ng, not N */
794         ccl_soa_member(differential3, dP);
795         /* differential of I */
796         ccl_soa_member(differential3, dI);
797         /* differential of u, v */
798         ccl_soa_member(differential, du);
799         ccl_soa_member(differential, dv);
800 #endif
801 #ifdef __DPDU__
802         /* differential of P w.r.t. parametric coordinates. note that dPdu is
803          * not readily suitable as a tangent for shading on triangles. */
804         ccl_soa_member(float3, dPdu);
805         ccl_soa_member(float3, dPdv);
806 #endif
807
808 #ifdef __OBJECT_MOTION__
809         /* object <-> world space transformations, cached to avoid
810          * re-interpolating them constantly for shading */
811         ccl_soa_member(Transform, ob_tfm);
812         ccl_soa_member(Transform, ob_itfm);
813 #endif
814
815         /* Closure data, we store a fixed array of closures */
816         ccl_soa_member(struct ShaderClosure, closure[MAX_CLOSURE]);
817         ccl_soa_member(int, num_closure);
818         ccl_soa_member(int, num_closure_extra);
819         ccl_soa_member(float, randb_closure);
820         ccl_soa_member(float3, svm_closure_weight);
821
822         /* LCG state for closures that require additional random numbers. */
823         ccl_soa_member(uint, lcg_state);
824
825         /* ray start position, only set for backgrounds */
826         ccl_soa_member(float3, ray_P);
827         ccl_soa_member(differential3, ray_dP);
828
829 #ifdef __OSL__
830         struct KernelGlobals * osl_globals;
831         struct PathState *osl_path_state;
832 #endif
833 } ShaderData;
834
835 /* Path State */
836
837 #ifdef __VOLUME__
838 typedef struct VolumeStack {
839         int object;
840         int shader;
841 } VolumeStack;
842 #endif
843
844 typedef struct PathState {
845         /* see enum PathRayFlag */
846         int flag;
847
848         /* random number generator state */
849         int rng_offset;                 /* dimension offset */
850         int sample;                     /* path sample number */
851         int num_samples;                /* total number of times this path will be sampled */
852
853         /* bounce counting */
854         int bounce;
855         int diffuse_bounce;
856         int glossy_bounce;
857         int transmission_bounce;
858         int transparent_bounce;
859
860         /* multiple importance sampling */
861         float min_ray_pdf; /* smallest bounce pdf over entire path up to now */
862         float ray_pdf;     /* last bounce pdf */
863 #ifdef __LAMP_MIS__
864         float ray_t;       /* accumulated distance through transparent surfaces */
865 #endif
866
867         /* volume rendering */
868 #ifdef __VOLUME__
869         int volume_bounce;
870         RNG rng_congruential;
871         VolumeStack volume_stack[VOLUME_STACK_SIZE];
872 #endif
873 } PathState;
874
875 /* Subsurface */
876
877 /* Struct to gather multiple SSS hits. */
878 struct SubsurfaceIntersection
879 {
880         Ray ray;
881         float3 weight[BSSRDF_MAX_HITS];
882
883         int num_hits;
884         struct Intersection hits[BSSRDF_MAX_HITS];
885         float3 Ng[BSSRDF_MAX_HITS];
886 };
887
888 /* Struct to gather SSS indirect rays and delay tracing them. */
889 struct SubsurfaceIndirectRays
890 {
891         bool need_update_volume_stack;
892         bool tracing;
893         PathState state[BSSRDF_MAX_HITS];
894         struct PathRadiance direct_L;
895
896         int num_rays;
897         struct Ray rays[BSSRDF_MAX_HITS];
898         float3 throughputs[BSSRDF_MAX_HITS];
899         struct PathRadiance L[BSSRDF_MAX_HITS];
900 };
901
902 /* Constant Kernel Data
903  *
904  * These structs are passed from CPU to various devices, and the struct layout
905  * must match exactly. Structs are padded to ensure 16 byte alignment, and we
906  * do not use float3 because its size may not be the same on all devices. */
907
908 typedef struct KernelCamera {
909         /* type */
910         int type;
911
912         /* panorama */
913         int panorama_type;
914         float fisheye_fov;
915         float fisheye_lens;
916         float4 equirectangular_range;
917
918         /* stereo */
919         float interocular_offset;
920         float convergence_distance;
921         float pole_merge_angle_from;
922         float pole_merge_angle_to;
923
924         /* matrices */
925         Transform cameratoworld;
926         Transform rastertocamera;
927
928         /* differentials */
929         float4 dx;
930         float4 dy;
931
932         /* depth of field */
933         float aperturesize;
934         float blades;
935         float bladesrotation;
936         float focaldistance;
937
938         /* motion blur */
939         float shuttertime;
940         int have_motion, have_perspective_motion;
941
942         /* clipping */
943         float nearclip;
944         float cliplength;
945
946         /* sensor size */
947         float sensorwidth;
948         float sensorheight;
949
950         /* render size */
951         float width, height;
952         int resolution;
953
954         /* anamorphic lens bokeh */
955         float inv_aperture_ratio;
956
957         int is_inside_volume;
958
959         /* more matrices */
960         Transform screentoworld;
961         Transform rastertoworld;
962         /* work around cuda sm 2.0 crash, this seems to
963          * cross some limit in combination with motion 
964          * Transform ndctoworld; */
965         Transform worldtoscreen;
966         Transform worldtoraster;
967         Transform worldtondc;
968         Transform worldtocamera;
969
970         MotionTransform motion;
971
972         /* Denotes changes in the projective matrix, namely in rastertocamera.
973          * Used for camera zoom motion blur,
974          */
975         PerspectiveMotionTransform perspective_motion;
976
977         int shutter_table_offset;
978
979         /* Rolling shutter */
980         int rolling_shutter_type;
981         float rolling_shutter_duration;
982
983         int pad;
984 } KernelCamera;
985 static_assert_align(KernelCamera, 16);
986
987 typedef struct KernelFilm {
988         float exposure;
989         int pass_flag;
990         int pass_stride;
991         int use_light_pass;
992
993         int pass_combined;
994         int pass_depth;
995         int pass_normal;
996         int pass_motion;
997
998         int pass_motion_weight;
999         int pass_uv;
1000         int pass_object_id;
1001         int pass_material_id;
1002
1003         int pass_diffuse_color;
1004         int pass_glossy_color;
1005         int pass_transmission_color;
1006         int pass_subsurface_color;
1007         
1008         int pass_diffuse_indirect;
1009         int pass_glossy_indirect;
1010         int pass_transmission_indirect;
1011         int pass_subsurface_indirect;
1012         
1013         int pass_diffuse_direct;
1014         int pass_glossy_direct;
1015         int pass_transmission_direct;
1016         int pass_subsurface_direct;
1017         
1018         int pass_emission;
1019         int pass_background;
1020         int pass_ao;
1021         float pass_alpha_threshold;
1022
1023         int pass_shadow;
1024         float pass_shadow_scale;
1025         int filter_table_offset;
1026         int pass_pad2;
1027
1028         int pass_mist;
1029         float mist_start;
1030         float mist_inv_depth;
1031         float mist_falloff;
1032
1033 #ifdef __KERNEL_DEBUG__
1034         int pass_bvh_traversal_steps;
1035         int pass_bvh_traversed_instances;
1036         int pass_ray_bounces;
1037         int pass_pad3;
1038 #endif
1039 } KernelFilm;
1040 static_assert_align(KernelFilm, 16);
1041
1042 typedef struct KernelBackground {
1043         /* only shader index */
1044         int surface_shader;
1045         int volume_shader;
1046         int transparent;
1047         int pad;
1048
1049         /* ambient occlusion */
1050         float ao_factor;
1051         float ao_distance;
1052         float ao_pad1, ao_pad2;
1053 } KernelBackground;
1054 static_assert_align(KernelBackground, 16);
1055
1056 typedef struct KernelIntegrator {
1057         /* emission */
1058         int use_direct_light;
1059         int use_ambient_occlusion;
1060         int num_distribution;
1061         int num_all_lights;
1062         float pdf_triangles;
1063         float pdf_lights;
1064         float inv_pdf_lights;
1065         int pdf_background_res;
1066
1067         /* light portals */
1068         float portal_pdf;
1069         int num_portals;
1070         int portal_offset;
1071
1072         /* bounces */
1073         int min_bounce;
1074         int max_bounce;
1075
1076         int max_diffuse_bounce;
1077         int max_glossy_bounce;
1078         int max_transmission_bounce;
1079         int max_volume_bounce;
1080
1081         /* transparent */
1082         int transparent_min_bounce;
1083         int transparent_max_bounce;
1084         int transparent_shadows;
1085
1086         /* caustics */
1087         int caustics_reflective;
1088         int caustics_refractive;
1089         float filter_glossy;
1090
1091         /* seed */
1092         int seed;
1093
1094         /* clamp */
1095         float sample_clamp_direct;
1096         float sample_clamp_indirect;
1097
1098         /* branched path */
1099         int branched;
1100         int diffuse_samples;
1101         int glossy_samples;
1102         int transmission_samples;
1103         int ao_samples;
1104         int mesh_light_samples;
1105         int subsurface_samples;
1106         int sample_all_lights_direct;
1107         int sample_all_lights_indirect;
1108
1109         /* mis */
1110         int use_lamp_mis;
1111
1112         /* sampler */
1113         int sampling_pattern;
1114         int aa_samples;
1115
1116         /* volume render */
1117         int use_volumes;
1118         int volume_max_steps;
1119         float volume_step_size;
1120         int volume_samples;
1121
1122         int pad1;
1123         int pad2;
1124 } KernelIntegrator;
1125 static_assert_align(KernelIntegrator, 16);
1126
1127 typedef struct KernelBVH {
1128         /* root node */
1129         int root;
1130         int attributes_map_stride;
1131         int have_motion;
1132         int have_curves;
1133         int have_instancing;
1134         int use_qbvh;
1135         int pad1, pad2;
1136 } KernelBVH;
1137 static_assert_align(KernelBVH, 16);
1138
1139 typedef enum CurveFlag {
1140         /* runtime flags */
1141         CURVE_KN_BACKFACING = 1,                                /* backside of cylinder? */
1142         CURVE_KN_ENCLOSEFILTER = 2,                             /* don't consider strands surrounding start point? */
1143         CURVE_KN_INTERPOLATE = 4,                               /* render as a curve? */
1144         CURVE_KN_ACCURATE = 8,                                  /* use accurate intersections test? */
1145         CURVE_KN_INTERSECTCORRECTION = 16,              /* correct for width after determing closest midpoint? */
1146         CURVE_KN_TRUETANGENTGNORMAL = 32,               /* use tangent normal for geometry? */
1147         CURVE_KN_RIBBONS = 64,                                  /* use flat curve ribbons */
1148 } CurveFlag;
1149
1150 typedef struct KernelCurves {
1151         int curveflags;
1152         int subdivisions;
1153
1154         float minimum_width;
1155         float maximum_width;
1156 } KernelCurves;
1157 static_assert_align(KernelCurves, 16);
1158
1159 typedef struct KernelTables {
1160         int beckmann_offset;
1161         int pad1, pad2, pad3;
1162 } KernelTables;
1163 static_assert_align(KernelTables, 16);
1164
1165 typedef struct KernelData {
1166         KernelCamera cam;
1167         KernelFilm film;
1168         KernelBackground background;
1169         KernelIntegrator integrator;
1170         KernelBVH bvh;
1171         KernelCurves curve;
1172         KernelTables tables;
1173 } KernelData;
1174 static_assert_align(KernelData, 16);
1175
1176 #ifdef __KERNEL_DEBUG__
1177 /* NOTE: This is a runtime-only struct, alignment is not
1178  * really important here.
1179  */
1180 typedef ccl_addr_space struct DebugData {
1181         // Total number of BVH node traversal steps and primitives intersections
1182         // for the camera rays.
1183         int num_bvh_traversal_steps;
1184         int num_bvh_traversed_instances;
1185         int num_ray_bounces;
1186 } DebugData;
1187 #endif
1188
1189 /* Declarations required for split kernel */
1190
1191 /* Macro for queues */
1192 /* Value marking queue's empty slot */
1193 #define QUEUE_EMPTY_SLOT -1
1194
1195 /*
1196  * Queue 1 - Active rays
1197  * Queue 2 - Background queue
1198  * Queue 3 - Shadow ray cast kernel - AO
1199  * Queeu 4 - Shadow ray cast kernel - direct lighting
1200  */
1201 #define NUM_QUEUES 4
1202
1203 /* Queue names */
1204 enum QueueNumber {
1205         /* All active rays and regenerated rays are enqueued here. */
1206         QUEUE_ACTIVE_AND_REGENERATED_RAYS = 0,
1207
1208         /* All
1209          * 1. Background-hit rays,
1210          * 2. Rays that has exited path-iteration but needs to update output buffer
1211          * 3. Rays to be regenerated
1212          * are enqueued here.
1213          */
1214         QUEUE_HITBG_BUFF_UPDATE_TOREGEN_RAYS = 1,
1215
1216         /* All rays for which a shadow ray should be cast to determine radiance
1217          * contribution for AO are enqueued here.
1218          */
1219         QUEUE_SHADOW_RAY_CAST_AO_RAYS = 2,
1220
1221         /* All rays for which a shadow ray should be cast to determine radiance
1222          * contributing for direct lighting are enqueued here.
1223          */
1224         QUEUE_SHADOW_RAY_CAST_DL_RAYS = 3,
1225 };
1226
1227 /* We use RAY_STATE_MASK to get ray_state (enums 0 to 5) */
1228 #define RAY_STATE_MASK 0x007
1229 #define RAY_FLAG_MASK 0x0F8
1230 enum RayState {
1231         /* Denotes ray is actively involved in path-iteration. */
1232         RAY_ACTIVE = 0,
1233         /* Denotes ray has completed processing all samples and is inactive. */
1234         RAY_INACTIVE = 1,
1235         /* Denoted ray has exited path-iteration and needs to update output buffer. */
1236         RAY_UPDATE_BUFFER = 2,
1237         /* Donotes ray has hit background */
1238         RAY_HIT_BACKGROUND = 3,
1239         /* Denotes ray has to be regenerated */
1240         RAY_TO_REGENERATE = 4,
1241         /* Denotes ray has been regenerated */
1242         RAY_REGENERATED = 5,
1243         /* Denotes ray should skip direct lighting */
1244         RAY_SKIP_DL = 6,
1245         /* Flag's ray has to execute shadow blocked function in AO part */
1246         RAY_SHADOW_RAY_CAST_AO = 16,
1247         /* Flag's ray has to execute shadow blocked function in direct lighting part. */
1248         RAY_SHADOW_RAY_CAST_DL = 32,
1249 };
1250
1251 #define ASSIGN_RAY_STATE(ray_state, ray_index, state) (ray_state[ray_index] = ((ray_state[ray_index] & RAY_FLAG_MASK) | state))
1252 #define IS_STATE(ray_state, ray_index, state) ((ray_state[ray_index] & RAY_STATE_MASK) == state)
1253 #define ADD_RAY_FLAG(ray_state, ray_index, flag) (ray_state[ray_index] = (ray_state[ray_index] | flag))
1254 #define REMOVE_RAY_FLAG(ray_state, ray_index, flag) (ray_state[ray_index] = (ray_state[ray_index] & (~flag)))
1255 #define IS_FLAG(ray_state, ray_index, flag) (ray_state[ray_index] & flag)
1256
1257 /* Patches */
1258
1259 #define PATCH_MAX_CONTROL_VERTS 16
1260
1261 /* Patch map node flags */
1262
1263 #define PATCH_MAP_NODE_IS_SET (1 << 30)
1264 #define PATCH_MAP_NODE_IS_LEAF (1u << 31)
1265 #define PATCH_MAP_NODE_INDEX_MASK (~(PATCH_MAP_NODE_IS_SET | PATCH_MAP_NODE_IS_LEAF))
1266
1267 CCL_NAMESPACE_END
1268
1269 #endif /*  __KERNEL_TYPES_H__ */
1270