245832ae163e57514220d8bec598b349a20f4ee1
[blender.git] / intern / cycles / kernel / kernel_types.h
1 /*
2  * Copyright 2011-2013 Blender Foundation
3  *
4  * Licensed under the Apache License, Version 2.0 (the "License");
5  * you may not use this file except in compliance with the License.
6  * You may obtain a copy of the License at
7  *
8  * http://www.apache.org/licenses/LICENSE-2.0
9  *
10  * Unless required by applicable law or agreed to in writing, software
11  * distributed under the License is distributed on an "AS IS" BASIS,
12  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
13  * See the License for the specific language governing permissions and
14  * limitations under the License.
15  */
16
17 #ifndef __KERNEL_TYPES_H__
18 #define __KERNEL_TYPES_H__
19
20 #include "kernel_math.h"
21 #include "svm/svm_types.h"
22 #include "util_static_assert.h"
23
24 #ifndef __KERNEL_GPU__
25 #  define __KERNEL_CPU__
26 #endif
27
28 /* TODO(sergey): This is only to make it possible to include this header
29  * from outside of the kernel. but this could be done somewhat cleaner?
30  */
31 #ifndef ccl_addr_space
32 #  define ccl_addr_space
33 #endif
34
35 CCL_NAMESPACE_BEGIN
36
37 /* constants */
38 #define OBJECT_SIZE             12
39 #define OBJECT_VECTOR_SIZE      6
40 #define LIGHT_SIZE              11
41 #define FILTER_TABLE_SIZE       1024
42 #define RAMP_TABLE_SIZE         256
43 #define SHUTTER_TABLE_SIZE              256
44 #define PARTICLE_SIZE           5
45 #define SHADER_SIZE             5
46
47 #define BSSRDF_MIN_RADIUS                       1e-8f
48 #define BSSRDF_MAX_HITS                         4
49
50 #define BECKMANN_TABLE_SIZE             256
51
52 #define SHADER_NONE                             (~0)
53 #define OBJECT_NONE                             (~0)
54 #define PRIM_NONE                               (~0)
55 #define LAMP_NONE                               (~0)
56
57 #define VOLUME_STACK_SIZE               16
58
59 #define WORK_POOL_SIZE 64
60
61 /* device capabilities */
62 #ifdef __KERNEL_CPU__
63 #  ifdef __KERNEL_SSE2__
64 #    define __QBVH__
65 #  endif
66 #  define __KERNEL_SHADING__
67 #  define __KERNEL_ADV_SHADING__
68 #  ifndef __SPLIT_KERNEL__
69 #    define __BRANCHED_PATH__
70 #  endif
71 #  ifdef WITH_OSL
72 #    define __OSL__
73 #  endif
74 #  define __SUBSURFACE__
75 #  define __CMJ__
76 #  define __VOLUME__
77 #  define __VOLUME_SCATTER__
78 #  define __SHADOW_RECORD_ALL__
79 #  ifndef __SPLIT_KERNEL__
80 #    define __VOLUME_DECOUPLED__
81 #    define __VOLUME_RECORD_ALL__
82 #  endif
83 #endif  /* __KERNEL_CPU__ */
84
85 #ifdef __KERNEL_CUDA__
86 #  define __KERNEL_SHADING__
87 #  define __KERNEL_ADV_SHADING__
88 #  define __VOLUME__
89 #  define __VOLUME_SCATTER__
90 #  define __SUBSURFACE__
91 #  define __SHADOW_RECORD_ALL__
92 #  ifndef __SPLIT_KERNEL__
93 #    define __BRANCHED_PATH__
94 #    define __CMJ__
95 #  endif
96 #endif  /* __KERNEL_CUDA__ */
97
98 #ifdef __KERNEL_OPENCL__
99
100 /* keep __KERNEL_ADV_SHADING__ in sync with opencl_kernel_use_advanced_shading! */
101
102 #  ifdef __KERNEL_OPENCL_NVIDIA__
103 #    define __KERNEL_SHADING__
104 #    define __KERNEL_ADV_SHADING__
105 #    define __SUBSURFACE__
106 #    define __VOLUME__
107 #    define __VOLUME_SCATTER__
108 #    define __SHADOW_RECORD_ALL__
109 #    ifdef __KERNEL_EXPERIMENTAL__
110 #      define __CMJ__
111 #    endif
112 #  endif  /* __KERNEL_OPENCL_NVIDIA__ */
113
114 #  ifdef __KERNEL_OPENCL_APPLE__
115 #    define __KERNEL_SHADING__
116 #    define __KERNEL_ADV_SHADING__
117 /* TODO(sergey): Currently experimental section is ignored here,
118  * this is because megakernel in device_opencl does not support
119  * custom cflags depending on the scene features.
120  */
121 #    ifdef __KERNEL_EXPERIMENTAL__
122 #      define __CMJ__
123 #    endif
124 #  endif  /* __KERNEL_OPENCL_NVIDIA__ */
125
126 #  ifdef __KERNEL_OPENCL_AMD__
127 #    define __CL_USE_NATIVE__
128 #    define __KERNEL_SHADING__
129 #    define __KERNEL_ADV_SHADING__
130 #    define __SUBSURFACE__
131 #    define __VOLUME__
132 #    define __VOLUME_SCATTER__
133 #    define __SHADOW_RECORD_ALL__
134 #  endif  /* __KERNEL_OPENCL_AMD__ */
135
136 #  ifdef __KERNEL_OPENCL_INTEL_CPU__
137 #    define __CL_USE_NATIVE__
138 #    define __KERNEL_SHADING__
139 #    define __KERNEL_ADV_SHADING__
140 #    ifdef __KERNEL_EXPERIMENTAL__
141 #      define __CMJ__
142 #    endif
143 #  endif  /* __KERNEL_OPENCL_INTEL_CPU__ */
144
145 #endif  /* __KERNEL_OPENCL__ */
146
147 /* kernel features */
148 #define __SOBOL__
149 #define __INSTANCING__
150 #define __DPDU__
151 #define __UV__
152 #define __BACKGROUND__
153 #define __CAUSTICS_TRICKS__
154 #define __VISIBILITY_FLAG__
155 #define __RAY_DIFFERENTIALS__
156 #define __CAMERA_CLIPPING__
157 #define __INTERSECTION_REFINE__
158 #define __CLAMP_SAMPLE__
159 #define __PATCH_EVAL__
160
161 #ifdef __KERNEL_SHADING__
162 #  define __SVM__
163 #  define __EMISSION__
164 #  define __TEXTURES__
165 #  define __EXTRA_NODES__
166 #  define __HOLDOUT__
167 #endif
168
169 #ifdef __KERNEL_ADV_SHADING__
170 #  define __MULTI_CLOSURE__
171 #  define __TRANSPARENT_SHADOWS__
172 #  define __PASSES__
173 #  define __BACKGROUND_MIS__
174 #  define __LAMP_MIS__
175 #  define __AO__
176 #  define __CAMERA_MOTION__
177 #  define __OBJECT_MOTION__
178 #  define __HAIR__
179 #  define __BAKING__
180 #endif
181
182 #ifdef WITH_CYCLES_DEBUG
183 #  define __KERNEL_DEBUG__
184 #endif
185
186 /* Scene-based selective features compilation. */
187 #ifdef __NO_CAMERA_MOTION__
188 #  undef __CAMERA_MOTION__
189 #endif
190 #ifdef __NO_OBJECT_MOTION__
191 #  undef __OBJECT_MOTION__
192 #endif
193 #ifdef __NO_HAIR__
194 #  undef __HAIR__
195 #endif
196 #ifdef __NO_VOLUME__
197 #  undef __VOLUME__
198 #  undef __VOLUME_SCATTER__
199 #endif
200 #ifdef __NO_SUBSURFACE__
201 #  undef __SUBSURFACE__
202 #endif
203 #ifdef __NO_BAKING__
204 #  undef __BAKING__
205 #endif
206 #ifdef __NO_BRANCHED_PATH__
207 #  undef __BRANCHED_PATH__
208 #endif
209 #ifdef __NO_PATCH_EVAL__
210 #  undef __PATCH_EVAL__
211 #endif
212 #ifdef __NO_TRANSPARENT__
213 #  undef __TRANSPARENT_SHADOWS__
214 #endif
215
216 /* Random Numbers */
217
218 typedef uint RNG;
219
220 /* Shader Evaluation */
221
222 typedef enum ShaderEvalType {
223         SHADER_EVAL_DISPLACE,
224         SHADER_EVAL_BACKGROUND,
225         /* bake types */
226         SHADER_EVAL_BAKE, /* no real shade, it's used in the code to
227                            * differentiate the type of shader eval from the above
228                            */
229         /* data passes */
230         SHADER_EVAL_NORMAL,
231         SHADER_EVAL_UV,
232         SHADER_EVAL_DIFFUSE_COLOR,
233         SHADER_EVAL_GLOSSY_COLOR,
234         SHADER_EVAL_TRANSMISSION_COLOR,
235         SHADER_EVAL_SUBSURFACE_COLOR,
236         SHADER_EVAL_EMISSION,
237
238         /* light passes */
239         SHADER_EVAL_AO,
240         SHADER_EVAL_COMBINED,
241         SHADER_EVAL_SHADOW,
242         SHADER_EVAL_DIFFUSE,
243         SHADER_EVAL_GLOSSY,
244         SHADER_EVAL_TRANSMISSION,
245         SHADER_EVAL_SUBSURFACE,
246
247         /* extra */
248         SHADER_EVAL_ENVIRONMENT,
249 } ShaderEvalType;
250
251 /* Path Tracing
252  * note we need to keep the u/v pairs at even values */
253
254 enum PathTraceDimension {
255         PRNG_FILTER_U = 0,
256         PRNG_FILTER_V = 1,
257         PRNG_LENS_U = 2,
258         PRNG_LENS_V = 3,
259 #ifdef __CAMERA_MOTION__
260         PRNG_TIME = 4,
261         PRNG_UNUSED_0 = 5,
262         PRNG_UNUSED_1 = 6,      /* for some reason (6, 7) is a bad sobol pattern */
263         PRNG_UNUSED_2 = 7,  /* with a low number of samples (< 64) */
264 #endif
265         PRNG_BASE_NUM = 8,
266
267         PRNG_BSDF_U = 0,
268         PRNG_BSDF_V = 1,
269         PRNG_BSDF = 2,
270         PRNG_LIGHT = 3,
271         PRNG_LIGHT_U = 4,
272         PRNG_LIGHT_V = 5,
273         PRNG_LIGHT_TERMINATE = 6,
274         PRNG_TERMINATE = 7,
275
276 #ifdef __VOLUME__
277         PRNG_PHASE_U = 8,
278         PRNG_PHASE_V = 9,
279         PRNG_PHASE = 10,
280         PRNG_SCATTER_DISTANCE = 11,
281 #endif
282
283         PRNG_BOUNCE_NUM = 12,
284 };
285
286 enum SamplingPattern {
287         SAMPLING_PATTERN_SOBOL = 0,
288         SAMPLING_PATTERN_CMJ = 1,
289
290         SAMPLING_NUM_PATTERNS,
291 };
292
293 /* these flags values correspond to raytypes in osl.cpp, so keep them in sync! */
294
295 enum PathRayFlag {
296         PATH_RAY_CAMERA = 1,
297         PATH_RAY_REFLECT = 2,
298         PATH_RAY_TRANSMIT = 4,
299         PATH_RAY_DIFFUSE = 8,
300         PATH_RAY_GLOSSY = 16,
301         PATH_RAY_SINGULAR = 32,
302         PATH_RAY_TRANSPARENT = 64,
303
304         PATH_RAY_SHADOW_OPAQUE = 128,
305         PATH_RAY_SHADOW_TRANSPARENT = 256,
306         PATH_RAY_SHADOW = (PATH_RAY_SHADOW_OPAQUE|PATH_RAY_SHADOW_TRANSPARENT),
307
308         PATH_RAY_CURVE = 512, /* visibility flag to define curve segments */
309         PATH_RAY_VOLUME_SCATTER = 1024, /* volume scattering */
310
311         /* Special flag to tag unaligned BVH nodes. */
312         PATH_RAY_NODE_UNALIGNED = 2048,
313
314         PATH_RAY_ALL_VISIBILITY = (1|2|4|8|16|32|64|128|256|512|1024|2048),
315
316         PATH_RAY_MIS_SKIP = 4096,
317         PATH_RAY_DIFFUSE_ANCESTOR = 8192,
318         PATH_RAY_SINGLE_PASS_DONE = 16384,
319 };
320
321 /* Closure Label */
322
323 typedef enum ClosureLabel {
324         LABEL_NONE = 0,
325         LABEL_TRANSMIT = 1,
326         LABEL_REFLECT = 2,
327         LABEL_DIFFUSE = 4,
328         LABEL_GLOSSY = 8,
329         LABEL_SINGULAR = 16,
330         LABEL_TRANSPARENT = 32,
331         LABEL_VOLUME_SCATTER = 64,
332 } ClosureLabel;
333
334 /* Render Passes */
335
336 typedef enum PassType {
337         PASS_NONE = 0,
338         PASS_COMBINED = (1 << 0),
339         PASS_DEPTH = (1 << 1),
340         PASS_NORMAL = (1 << 2),
341         PASS_UV = (1 << 3),
342         PASS_OBJECT_ID = (1 << 4),
343         PASS_MATERIAL_ID = (1 << 5),
344         PASS_DIFFUSE_COLOR = (1 << 6),
345         PASS_GLOSSY_COLOR = (1 << 7),
346         PASS_TRANSMISSION_COLOR = (1 << 8),
347         PASS_DIFFUSE_INDIRECT = (1 << 9),
348         PASS_GLOSSY_INDIRECT = (1 << 10),
349         PASS_TRANSMISSION_INDIRECT = (1 << 11),
350         PASS_DIFFUSE_DIRECT = (1 << 12),
351         PASS_GLOSSY_DIRECT = (1 << 13),
352         PASS_TRANSMISSION_DIRECT = (1 << 14),
353         PASS_EMISSION = (1 << 15),
354         PASS_BACKGROUND = (1 << 16),
355         PASS_AO = (1 << 17),
356         PASS_SHADOW = (1 << 18),
357         PASS_MOTION = (1 << 19),
358         PASS_MOTION_WEIGHT = (1 << 20),
359         PASS_MIST = (1 << 21),
360         PASS_SUBSURFACE_DIRECT = (1 << 22),
361         PASS_SUBSURFACE_INDIRECT = (1 << 23),
362         PASS_SUBSURFACE_COLOR = (1 << 24),
363         PASS_LIGHT = (1 << 25), /* no real pass, used to force use_light_pass */
364 #ifdef __KERNEL_DEBUG__
365         PASS_BVH_TRAVERSED_NODES = (1 << 26),
366         PASS_BVH_TRAVERSED_INSTANCES = (1 << 27),
367         PASS_BVH_INTERSECTIONS = (1 << 28),
368         PASS_RAY_BOUNCES = (1 << 29),
369 #endif
370 } PassType;
371
372 #define PASS_ALL (~0)
373
374 typedef enum BakePassFilter {
375         BAKE_FILTER_NONE = 0,
376         BAKE_FILTER_DIRECT = (1 << 0),
377         BAKE_FILTER_INDIRECT = (1 << 1),
378         BAKE_FILTER_COLOR = (1 << 2),
379         BAKE_FILTER_DIFFUSE = (1 << 3),
380         BAKE_FILTER_GLOSSY = (1 << 4),
381         BAKE_FILTER_TRANSMISSION = (1 << 5),
382         BAKE_FILTER_SUBSURFACE = (1 << 6),
383         BAKE_FILTER_EMISSION = (1 << 7),
384         BAKE_FILTER_AO = (1 << 8),
385 } BakePassFilter;
386
387 typedef enum BakePassFilterCombos {
388         BAKE_FILTER_COMBINED = (
389             BAKE_FILTER_DIRECT |
390             BAKE_FILTER_INDIRECT |
391             BAKE_FILTER_DIFFUSE |
392             BAKE_FILTER_GLOSSY |
393             BAKE_FILTER_TRANSMISSION |
394             BAKE_FILTER_SUBSURFACE |
395             BAKE_FILTER_EMISSION |
396             BAKE_FILTER_AO),
397         BAKE_FILTER_DIFFUSE_DIRECT = (BAKE_FILTER_DIRECT | BAKE_FILTER_DIFFUSE),
398         BAKE_FILTER_GLOSSY_DIRECT = (BAKE_FILTER_DIRECT | BAKE_FILTER_GLOSSY),
399         BAKE_FILTER_TRANSMISSION_DIRECT = (BAKE_FILTER_DIRECT | BAKE_FILTER_TRANSMISSION),
400         BAKE_FILTER_SUBSURFACE_DIRECT = (BAKE_FILTER_DIRECT | BAKE_FILTER_SUBSURFACE),
401         BAKE_FILTER_DIFFUSE_INDIRECT = (BAKE_FILTER_INDIRECT | BAKE_FILTER_DIFFUSE),
402         BAKE_FILTER_GLOSSY_INDIRECT = (BAKE_FILTER_INDIRECT | BAKE_FILTER_GLOSSY),
403         BAKE_FILTER_TRANSMISSION_INDIRECT = (BAKE_FILTER_INDIRECT | BAKE_FILTER_TRANSMISSION),
404         BAKE_FILTER_SUBSURFACE_INDIRECT = (BAKE_FILTER_INDIRECT | BAKE_FILTER_SUBSURFACE),
405 } BakePassFilterCombos;
406
407 typedef ccl_addr_space struct PathRadiance {
408 #ifdef __PASSES__
409         int use_light_pass;
410 #endif
411
412         float3 emission;
413 #ifdef __PASSES__
414         float3 background;
415         float3 ao;
416
417         float3 indirect;
418         float3 direct_throughput;
419         float3 direct_emission;
420
421         float3 color_diffuse;
422         float3 color_glossy;
423         float3 color_transmission;
424         float3 color_subsurface;
425         float3 color_scatter;
426
427         float3 direct_diffuse;
428         float3 direct_glossy;
429         float3 direct_transmission;
430         float3 direct_subsurface;
431         float3 direct_scatter;
432
433         float3 indirect_diffuse;
434         float3 indirect_glossy;
435         float3 indirect_transmission;
436         float3 indirect_subsurface;
437         float3 indirect_scatter;
438
439         float3 path_diffuse;
440         float3 path_glossy;
441         float3 path_transmission;
442         float3 path_subsurface;
443         float3 path_scatter;
444
445         float4 shadow;
446         float mist;
447 #endif
448 } PathRadiance;
449
450 typedef struct BsdfEval {
451 #ifdef __PASSES__
452         int use_light_pass;
453 #endif
454
455         float3 diffuse;
456 #ifdef __PASSES__
457         float3 glossy;
458         float3 transmission;
459         float3 transparent;
460         float3 subsurface;
461         float3 scatter;
462 #endif
463 } BsdfEval;
464
465 /* Shader Flag */
466
467 typedef enum ShaderFlag {
468         SHADER_SMOOTH_NORMAL = (1 << 31),
469         SHADER_CAST_SHADOW = (1 << 30),
470         SHADER_AREA_LIGHT = (1 << 29),
471         SHADER_USE_MIS = (1 << 28),
472         SHADER_EXCLUDE_DIFFUSE = (1 << 27),
473         SHADER_EXCLUDE_GLOSSY = (1 << 26),
474         SHADER_EXCLUDE_TRANSMIT = (1 << 25),
475         SHADER_EXCLUDE_CAMERA = (1 << 24),
476         SHADER_EXCLUDE_SCATTER = (1 << 23),
477         SHADER_EXCLUDE_ANY = (SHADER_EXCLUDE_DIFFUSE|SHADER_EXCLUDE_GLOSSY|SHADER_EXCLUDE_TRANSMIT|SHADER_EXCLUDE_CAMERA|SHADER_EXCLUDE_SCATTER),
478
479         SHADER_MASK = ~(SHADER_SMOOTH_NORMAL|SHADER_CAST_SHADOW|SHADER_AREA_LIGHT|SHADER_USE_MIS|SHADER_EXCLUDE_ANY)
480 } ShaderFlag;
481
482 /* Light Type */
483
484 typedef enum LightType {
485         LIGHT_POINT,
486         LIGHT_DISTANT,
487         LIGHT_BACKGROUND,
488         LIGHT_AREA,
489         LIGHT_SPOT,
490         LIGHT_TRIANGLE
491 } LightType;
492
493 /* Camera Type */
494
495 enum CameraType {
496         CAMERA_PERSPECTIVE,
497         CAMERA_ORTHOGRAPHIC,
498         CAMERA_PANORAMA
499 };
500
501 /* Panorama Type */
502
503 enum PanoramaType {
504         PANORAMA_EQUIRECTANGULAR = 0,
505         PANORAMA_FISHEYE_EQUIDISTANT = 1,
506         PANORAMA_FISHEYE_EQUISOLID = 2,
507         PANORAMA_MIRRORBALL = 3,
508
509         PANORAMA_NUM_TYPES,
510 };
511
512 /* Differential */
513
514 typedef struct differential3 {
515         float3 dx;
516         float3 dy;
517 } differential3;
518
519 typedef struct differential {
520         float dx;
521         float dy;
522 } differential;
523
524 /* Ray */
525
526 typedef struct Ray {
527 /* TODO(sergey): This is only needed because current AMD
528  * compiler has hard time building the kernel with this
529  * reshuffle. And at the same time reshuffle will cause
530  * less optimal CPU code in certain places.
531  *
532  * We'll get rid of this nasty exception once AMD compiler
533  * is fixed.
534  */
535 #ifndef __KERNEL_OPENCL_AMD__
536         float3 P;               /* origin */
537         float3 D;               /* direction */
538
539         float t;                /* length of the ray */
540         float time;             /* time (for motion blur) */
541 #else
542         float t;                /* length of the ray */
543         float time;             /* time (for motion blur) */
544         float3 P;               /* origin */
545         float3 D;               /* direction */
546 #endif
547
548 #ifdef __RAY_DIFFERENTIALS__
549         differential3 dP;
550         differential3 dD;
551 #endif
552 } Ray;
553
554 /* Intersection */
555
556 typedef struct Intersection {
557         float t, u, v;
558         int prim;
559         int object;
560         int type;
561
562 #ifdef __KERNEL_DEBUG__
563         int num_traversed_nodes;
564         int num_traversed_instances;
565         int num_intersections;
566 #endif
567 } Intersection;
568
569 /* Primitives */
570
571 typedef enum PrimitiveType {
572         PRIMITIVE_NONE            = 0,
573         PRIMITIVE_TRIANGLE        = (1 << 0),
574         PRIMITIVE_MOTION_TRIANGLE = (1 << 1),
575         PRIMITIVE_CURVE           = (1 << 2),
576         PRIMITIVE_MOTION_CURVE    = (1 << 3),
577         /* Lamp primitive is not included below on purpose,
578          * since it is no real traceable primitive.
579          */
580         PRIMITIVE_LAMP            = (1 << 4),
581
582         PRIMITIVE_ALL_TRIANGLE = (PRIMITIVE_TRIANGLE|PRIMITIVE_MOTION_TRIANGLE),
583         PRIMITIVE_ALL_CURVE = (PRIMITIVE_CURVE|PRIMITIVE_MOTION_CURVE),
584         PRIMITIVE_ALL_MOTION = (PRIMITIVE_MOTION_TRIANGLE|PRIMITIVE_MOTION_CURVE),
585         PRIMITIVE_ALL = (PRIMITIVE_ALL_TRIANGLE|PRIMITIVE_ALL_CURVE),
586
587         /* Total number of different traceable primitives.
588          * NOTE: This is an actual value, not a bitflag.
589          */
590         PRIMITIVE_NUM_TOTAL = 4,
591 } PrimitiveType;
592
593 #define PRIMITIVE_PACK_SEGMENT(type, segment) ((segment << PRIMITIVE_NUM_TOTAL) | (type))
594 #define PRIMITIVE_UNPACK_SEGMENT(type) (type >> PRIMITIVE_NUM_TOTAL)
595
596 /* Attributes */
597
598 typedef enum AttributePrimitive {
599         ATTR_PRIM_TRIANGLE = 0,
600         ATTR_PRIM_CURVE,
601         ATTR_PRIM_SUBD,
602
603         ATTR_PRIM_TYPES
604 } AttributePrimitive;
605
606 typedef enum AttributeElement {
607         ATTR_ELEMENT_NONE,
608         ATTR_ELEMENT_OBJECT,
609         ATTR_ELEMENT_MESH,
610         ATTR_ELEMENT_FACE,
611         ATTR_ELEMENT_VERTEX,
612         ATTR_ELEMENT_VERTEX_MOTION,
613         ATTR_ELEMENT_CORNER,
614         ATTR_ELEMENT_CORNER_BYTE,
615         ATTR_ELEMENT_CURVE,
616         ATTR_ELEMENT_CURVE_KEY,
617         ATTR_ELEMENT_CURVE_KEY_MOTION,
618         ATTR_ELEMENT_VOXEL
619 } AttributeElement;
620
621 typedef enum AttributeStandard {
622         ATTR_STD_NONE = 0,
623         ATTR_STD_VERTEX_NORMAL,
624         ATTR_STD_FACE_NORMAL,
625         ATTR_STD_UV,
626         ATTR_STD_UV_TANGENT,
627         ATTR_STD_UV_TANGENT_SIGN,
628         ATTR_STD_GENERATED,
629         ATTR_STD_GENERATED_TRANSFORM,
630         ATTR_STD_POSITION_UNDEFORMED,
631         ATTR_STD_POSITION_UNDISPLACED,
632         ATTR_STD_MOTION_VERTEX_POSITION,
633         ATTR_STD_MOTION_VERTEX_NORMAL,
634         ATTR_STD_PARTICLE,
635         ATTR_STD_CURVE_INTERCEPT,
636         ATTR_STD_PTEX_FACE_ID,
637         ATTR_STD_PTEX_UV,
638         ATTR_STD_VOLUME_DENSITY,
639         ATTR_STD_VOLUME_COLOR,
640         ATTR_STD_VOLUME_FLAME,
641         ATTR_STD_VOLUME_HEAT,
642         ATTR_STD_VOLUME_VELOCITY,
643         ATTR_STD_POINTINESS,
644         ATTR_STD_NUM,
645
646         ATTR_STD_NOT_FOUND = ~0
647 } AttributeStandard;
648
649 typedef enum AttributeFlag {
650         ATTR_FINAL_SIZE = (1 << 0),
651         ATTR_SUBDIVIDED = (1 << 1),
652 } AttributeFlag;
653
654 typedef struct AttributeDescriptor {
655         AttributeElement element;
656         NodeAttributeType type;
657         uint flags; /* see enum AttributeFlag */
658         int offset;
659 } AttributeDescriptor;
660
661 /* Closure data */
662
663 #ifdef __MULTI_CLOSURE__
664 #  ifndef __MAX_CLOSURE__
665 #     define MAX_CLOSURE 64
666 #  else
667 #    define MAX_CLOSURE __MAX_CLOSURE__
668 #  endif
669 #else
670 #  define MAX_CLOSURE 1
671 #endif
672
673 /* This struct is the base class for all closures. The common members are
674  * duplicated in all derived classes since we don't have C++ in the kernel
675  * yet, and because it lets us lay out the members to minimize padding. The
676  * weight member is located at the beginning of the struct for this reason.
677  *
678  * ShaderClosure has a fixed size, and any extra space must be allocated
679  * with closure_alloc_extra().
680  *
681  * We pad the struct to 80 bytes and ensure it is aligned to 16 bytes, which
682  * we assume to be the maximum required alignment for any struct. */
683
684 #define SHADER_CLOSURE_BASE \
685         float3 weight; \
686         ClosureType type; \
687         float sample_weight \
688
689 typedef ccl_addr_space struct ccl_align(16) ShaderClosure {
690         SHADER_CLOSURE_BASE;
691
692         float data[14]; /* pad to 80 bytes */
693 } ShaderClosure;
694
695 /* Shader Context
696  *
697  * For OSL we recycle a fixed number of contexts for speed */
698
699 typedef enum ShaderContext {
700         SHADER_CONTEXT_MAIN = 0,
701         SHADER_CONTEXT_INDIRECT = 1,
702         SHADER_CONTEXT_EMISSION = 2,
703         SHADER_CONTEXT_SHADOW = 3,
704         SHADER_CONTEXT_SSS = 4,
705         SHADER_CONTEXT_VOLUME = 5,
706         SHADER_CONTEXT_NUM = 6
707 } ShaderContext;
708
709 /* Shader Data
710  *
711  * Main shader state at a point on the surface or in a volume. All coordinates
712  * are in world space.
713  */
714
715 enum ShaderDataFlag {
716         /* Runtime flags. */
717
718         /* Set when ray hits backside of surface. */
719         SD_BACKFACING      = (1 << 0),
720         /* Shader has emissive closure. */
721         SD_EMISSION        = (1 << 1),
722         /* Shader has BSDF closure. */
723         SD_BSDF            = (1 << 2),
724         /* Shader has non-singular BSDF closure. */
725         SD_BSDF_HAS_EVAL   = (1 << 3),
726         /* Shader has BSSRDF closure. */
727         SD_BSSRDF          = (1 << 4),
728         /* Shader has holdout closure. */
729         SD_HOLDOUT         = (1 << 5),
730         /* Shader has volume absorption closure. */
731         SD_ABSORPTION      = (1 << 6),
732         /* Shader has have volume phase (scatter) closure. */
733         SD_SCATTER         = (1 << 7),
734         /* Shader has AO closure. */
735         SD_AO              = (1 << 8),
736         /* Shader has transparent closure. */
737         SD_TRANSPARENT     = (1 << 9),
738         /* BSDF requires LCG for evaluation. */
739         SD_BSDF_NEEDS_LCG  = (1 << 10),
740
741         SD_CLOSURE_FLAGS = (SD_EMISSION |
742                             SD_BSDF |
743                             SD_BSDF_HAS_EVAL |
744                             SD_BSSRDF |
745                             SD_HOLDOUT |
746                             SD_ABSORPTION |
747                             SD_SCATTER |
748                             SD_AO |
749                             SD_BSDF_NEEDS_LCG),
750
751         /* Shader flags. */
752
753         /* direct light sample */
754         SD_USE_MIS                = (1 << 16),
755         /* Has transparent shadow. */
756         SD_HAS_TRANSPARENT_SHADOW = (1 << 17),
757         /* Has volume shader. */
758         SD_HAS_VOLUME             = (1 << 18),
759         /* Has only volume shader, no surface. */
760         SD_HAS_ONLY_VOLUME        = (1 << 19),
761         /* Has heterogeneous volume. */
762         SD_HETEROGENEOUS_VOLUME   = (1 << 20),
763         /* BSSRDF normal uses bump. */
764         SD_HAS_BSSRDF_BUMP        = (1 << 21),
765         /* Use equiangular volume sampling */
766         SD_VOLUME_EQUIANGULAR     = (1 << 22),
767         /* Use multiple importance volume sampling. */
768         SD_VOLUME_MIS             = (1 << 23),
769         /* Use cubic interpolation for voxels. */
770         SD_VOLUME_CUBIC           = (1 << 24),
771         /* Has data connected to the displacement input. */
772         SD_HAS_BUMP               = (1 << 25),
773         /* Has true displacement. */
774         SD_HAS_DISPLACEMENT       = (1 << 26),
775         /* Has constant emission (value stored in __shader_flag) */
776         SD_HAS_CONSTANT_EMISSION  = (1 << 27),
777
778         SD_SHADER_FLAGS = (SD_USE_MIS |
779                            SD_HAS_TRANSPARENT_SHADOW |
780                            SD_HAS_VOLUME |
781                            SD_HAS_ONLY_VOLUME |
782                            SD_HETEROGENEOUS_VOLUME|
783                            SD_HAS_BSSRDF_BUMP |
784                            SD_VOLUME_EQUIANGULAR |
785                            SD_VOLUME_MIS |
786                            SD_VOLUME_CUBIC |
787                            SD_HAS_BUMP |
788                            SD_HAS_DISPLACEMENT |
789                            SD_HAS_CONSTANT_EMISSION)
790 };
791
792         /* Object flags. */
793 enum ShaderDataObjectFlag {
794         /* Holdout for camera rays. */
795         SD_OBJECT_HOLDOUT_MASK           = (1 << 0),
796         /* Has object motion blur. */
797         SD_OBJECT_MOTION                 = (1 << 1),
798         /* Vertices have transform applied. */
799         SD_OBJECT_TRANSFORM_APPLIED      = (1 << 2),
800         /* Vertices have negative scale applied. */
801         SD_OBJECT_NEGATIVE_SCALE_APPLIED = (1 << 3),
802         /* Object has a volume shader. */
803         SD_OBJECT_HAS_VOLUME             = (1 << 4),
804         /* Object intersects AABB of an object with volume shader. */
805         SD_OBJECT_INTERSECTS_VOLUME      = (1 << 5),
806         /* Has position for motion vertices. */
807         SD_OBJECT_HAS_VERTEX_MOTION      = (1 << 6),
808
809         SD_OBJECT_FLAGS = (SD_OBJECT_HOLDOUT_MASK |
810                            SD_OBJECT_MOTION |
811                            SD_OBJECT_TRANSFORM_APPLIED |
812                            SD_OBJECT_NEGATIVE_SCALE_APPLIED |
813                            SD_OBJECT_HAS_VOLUME |
814                            SD_OBJECT_INTERSECTS_VOLUME)
815 };
816
817 typedef ccl_addr_space struct ShaderData {
818         /* position */
819         float3 P;
820         /* smooth normal for shading */
821         float3 N;
822         /* true geometric normal */
823         float3 Ng;
824         /* view/incoming direction */
825         float3 I;
826         /* shader id */
827         int shader;
828         /* booleans describing shader, see ShaderDataFlag */
829         int flag;
830         /* booleans describing object of the shader, see ShaderDataObjectFlag */
831         int object_flag;
832
833         /* primitive id if there is one, ~0 otherwise */
834         int prim;
835
836         /* combined type and curve segment for hair */
837         int type;
838
839         /* parametric coordinates
840          * - barycentric weights for triangles */
841         float u;
842         float v;
843         /* object id if there is one, ~0 otherwise */
844         int object;
845
846         /* motion blur sample time */
847         float time;
848
849         /* length of the ray being shaded */
850         float ray_length;
851
852 #ifdef __RAY_DIFFERENTIALS__
853         /* differential of P. these are orthogonal to Ng, not N */
854         differential3 dP;
855         /* differential of I */
856         differential3 dI;
857         /* differential of u, v */
858         differential du;
859         differential dv;
860 #endif
861 #ifdef __DPDU__
862         /* differential of P w.r.t. parametric coordinates. note that dPdu is
863          * not readily suitable as a tangent for shading on triangles. */
864         float3 dPdu;
865         float3 dPdv;
866 #endif
867
868 #ifdef __OBJECT_MOTION__
869         /* object <-> world space transformations, cached to avoid
870          * re-interpolating them constantly for shading */
871         Transform ob_tfm;
872         Transform ob_itfm;
873 #endif
874
875         /* Closure data, we store a fixed array of closures */
876         struct ShaderClosure closure[MAX_CLOSURE];
877         int num_closure;
878         int num_closure_extra;
879         float randb_closure;
880         float3 svm_closure_weight;
881
882         /* LCG state for closures that require additional random numbers. */
883         uint lcg_state;
884
885         /* ray start position, only set for backgrounds */
886         float3 ray_P;
887         differential3 ray_dP;
888
889 #ifdef __OSL__
890         struct KernelGlobals *osl_globals;
891         struct PathState *osl_path_state;
892 #endif
893 } ShaderData;
894
895 /* Path State */
896
897 #ifdef __VOLUME__
898 typedef struct VolumeStack {
899         int object;
900         int shader;
901 } VolumeStack;
902 #endif
903
904 typedef struct PathState {
905         /* see enum PathRayFlag */
906         int flag;
907
908         /* random number generator state */
909         int rng_offset;                 /* dimension offset */
910         int sample;                     /* path sample number */
911         int num_samples;                /* total number of times this path will be sampled */
912
913         /* bounce counting */
914         int bounce;
915         int diffuse_bounce;
916         int glossy_bounce;
917         int transmission_bounce;
918         int transparent_bounce;
919
920         /* multiple importance sampling */
921         float min_ray_pdf; /* smallest bounce pdf over entire path up to now */
922         float ray_pdf;     /* last bounce pdf */
923 #ifdef __LAMP_MIS__
924         float ray_t;       /* accumulated distance through transparent surfaces */
925 #endif
926
927         /* volume rendering */
928 #ifdef __VOLUME__
929         int volume_bounce;
930         RNG rng_congruential;
931         VolumeStack volume_stack[VOLUME_STACK_SIZE];
932 #endif
933 } PathState;
934
935 /* Subsurface */
936
937 /* Struct to gather multiple SSS hits. */
938 typedef struct SubsurfaceIntersection
939 {
940         Ray ray;
941         float3 weight[BSSRDF_MAX_HITS];
942
943         int num_hits;
944         struct Intersection hits[BSSRDF_MAX_HITS];
945         float3 Ng[BSSRDF_MAX_HITS];
946 } SubsurfaceIntersection;
947
948 /* Struct to gather SSS indirect rays and delay tracing them. */
949 typedef struct SubsurfaceIndirectRays
950 {
951         bool need_update_volume_stack;
952         bool tracing;
953         PathState state[BSSRDF_MAX_HITS];
954         struct PathRadiance direct_L;
955
956         int num_rays;
957         struct Ray rays[BSSRDF_MAX_HITS];
958         float3 throughputs[BSSRDF_MAX_HITS];
959         struct PathRadiance L[BSSRDF_MAX_HITS];
960 } SubsurfaceIndirectRays;
961
962 /* Constant Kernel Data
963  *
964  * These structs are passed from CPU to various devices, and the struct layout
965  * must match exactly. Structs are padded to ensure 16 byte alignment, and we
966  * do not use float3 because its size may not be the same on all devices. */
967
968 typedef struct KernelCamera {
969         /* type */
970         int type;
971
972         /* panorama */
973         int panorama_type;
974         float fisheye_fov;
975         float fisheye_lens;
976         float4 equirectangular_range;
977
978         /* stereo */
979         float interocular_offset;
980         float convergence_distance;
981         float pole_merge_angle_from;
982         float pole_merge_angle_to;
983
984         /* matrices */
985         Transform cameratoworld;
986         Transform rastertocamera;
987
988         /* differentials */
989         float4 dx;
990         float4 dy;
991
992         /* depth of field */
993         float aperturesize;
994         float blades;
995         float bladesrotation;
996         float focaldistance;
997
998         /* motion blur */
999         float shuttertime;
1000         int have_motion, have_perspective_motion;
1001
1002         /* clipping */
1003         float nearclip;
1004         float cliplength;
1005
1006         /* sensor size */
1007         float sensorwidth;
1008         float sensorheight;
1009
1010         /* render size */
1011         float width, height;
1012         int resolution;
1013
1014         /* anamorphic lens bokeh */
1015         float inv_aperture_ratio;
1016
1017         int is_inside_volume;
1018
1019         /* more matrices */
1020         Transform screentoworld;
1021         Transform rastertoworld;
1022         /* work around cuda sm 2.0 crash, this seems to
1023          * cross some limit in combination with motion 
1024          * Transform ndctoworld; */
1025         Transform worldtoscreen;
1026         Transform worldtoraster;
1027         Transform worldtondc;
1028         Transform worldtocamera;
1029
1030         MotionTransform motion;
1031
1032         /* Denotes changes in the projective matrix, namely in rastertocamera.
1033          * Used for camera zoom motion blur,
1034          */
1035         PerspectiveMotionTransform perspective_motion;
1036
1037         int shutter_table_offset;
1038
1039         /* Rolling shutter */
1040         int rolling_shutter_type;
1041         float rolling_shutter_duration;
1042
1043         int pad;
1044 } KernelCamera;
1045 static_assert_align(KernelCamera, 16);
1046
1047 typedef struct KernelFilm {
1048         float exposure;
1049         int pass_flag;
1050         int pass_stride;
1051         int use_light_pass;
1052
1053         int pass_combined;
1054         int pass_depth;
1055         int pass_normal;
1056         int pass_motion;
1057
1058         int pass_motion_weight;
1059         int pass_uv;
1060         int pass_object_id;
1061         int pass_material_id;
1062
1063         int pass_diffuse_color;
1064         int pass_glossy_color;
1065         int pass_transmission_color;
1066         int pass_subsurface_color;
1067         
1068         int pass_diffuse_indirect;
1069         int pass_glossy_indirect;
1070         int pass_transmission_indirect;
1071         int pass_subsurface_indirect;
1072         
1073         int pass_diffuse_direct;
1074         int pass_glossy_direct;
1075         int pass_transmission_direct;
1076         int pass_subsurface_direct;
1077         
1078         int pass_emission;
1079         int pass_background;
1080         int pass_ao;
1081         float pass_alpha_threshold;
1082
1083         int pass_shadow;
1084         float pass_shadow_scale;
1085         int filter_table_offset;
1086         int pass_pad2;
1087
1088         int pass_mist;
1089         float mist_start;
1090         float mist_inv_depth;
1091         float mist_falloff;
1092
1093 #ifdef __KERNEL_DEBUG__
1094         int pass_bvh_traversed_nodes;
1095         int pass_bvh_traversed_instances;
1096         int pass_bvh_intersections;
1097         int pass_ray_bounces;
1098 #endif
1099 } KernelFilm;
1100 static_assert_align(KernelFilm, 16);
1101
1102 typedef struct KernelBackground {
1103         /* only shader index */
1104         int surface_shader;
1105         int volume_shader;
1106         int transparent;
1107         int pad;
1108
1109         /* ambient occlusion */
1110         float ao_factor;
1111         float ao_distance;
1112         float ao_pad1, ao_pad2;
1113 } KernelBackground;
1114 static_assert_align(KernelBackground, 16);
1115
1116 typedef struct KernelIntegrator {
1117         /* emission */
1118         int use_direct_light;
1119         int use_ambient_occlusion;
1120         int num_distribution;
1121         int num_all_lights;
1122         float pdf_triangles;
1123         float pdf_lights;
1124         float inv_pdf_lights;
1125         int pdf_background_res;
1126
1127         /* light portals */
1128         float portal_pdf;
1129         int num_portals;
1130         int portal_offset;
1131
1132         /* bounces */
1133         int min_bounce;
1134         int max_bounce;
1135
1136         int max_diffuse_bounce;
1137         int max_glossy_bounce;
1138         int max_transmission_bounce;
1139         int max_volume_bounce;
1140
1141         int ao_bounces;
1142
1143         /* transparent */
1144         int transparent_min_bounce;
1145         int transparent_max_bounce;
1146         int transparent_shadows;
1147
1148         /* caustics */
1149         int caustics_reflective;
1150         int caustics_refractive;
1151         float filter_glossy;
1152
1153         /* seed */
1154         int seed;
1155
1156         /* clamp */
1157         float sample_clamp_direct;
1158         float sample_clamp_indirect;
1159
1160         /* branched path */
1161         int branched;
1162         int diffuse_samples;
1163         int glossy_samples;
1164         int transmission_samples;
1165         int ao_samples;
1166         int mesh_light_samples;
1167         int subsurface_samples;
1168         int sample_all_lights_direct;
1169         int sample_all_lights_indirect;
1170
1171         /* mis */
1172         int use_lamp_mis;
1173
1174         /* sampler */
1175         int sampling_pattern;
1176         int aa_samples;
1177
1178         /* volume render */
1179         int use_volumes;
1180         int volume_max_steps;
1181         float volume_step_size;
1182         int volume_samples;
1183
1184         float light_inv_rr_threshold;
1185
1186         int start_sample;
1187         int pad1, pad2, pad3;
1188 } KernelIntegrator;
1189 static_assert_align(KernelIntegrator, 16);
1190
1191 typedef struct KernelBVH {
1192         /* root node */
1193         int root;
1194         int attributes_map_stride;
1195         int have_motion;
1196         int have_curves;
1197         int have_instancing;
1198         int use_qbvh;
1199         int use_bvh_steps;
1200         int pad1;
1201 } KernelBVH;
1202 static_assert_align(KernelBVH, 16);
1203
1204 typedef enum CurveFlag {
1205         /* runtime flags */
1206         CURVE_KN_BACKFACING = 1,                                /* backside of cylinder? */
1207         CURVE_KN_ENCLOSEFILTER = 2,                             /* don't consider strands surrounding start point? */
1208         CURVE_KN_INTERPOLATE = 4,                               /* render as a curve? */
1209         CURVE_KN_ACCURATE = 8,                                  /* use accurate intersections test? */
1210         CURVE_KN_INTERSECTCORRECTION = 16,              /* correct for width after determing closest midpoint? */
1211         CURVE_KN_TRUETANGENTGNORMAL = 32,               /* use tangent normal for geometry? */
1212         CURVE_KN_RIBBONS = 64,                                  /* use flat curve ribbons */
1213 } CurveFlag;
1214
1215 typedef struct KernelCurves {
1216         int curveflags;
1217         int subdivisions;
1218
1219         float minimum_width;
1220         float maximum_width;
1221 } KernelCurves;
1222 static_assert_align(KernelCurves, 16);
1223
1224 typedef struct KernelTables {
1225         int beckmann_offset;
1226         int pad1, pad2, pad3;
1227 } KernelTables;
1228 static_assert_align(KernelTables, 16);
1229
1230 typedef struct KernelData {
1231         KernelCamera cam;
1232         KernelFilm film;
1233         KernelBackground background;
1234         KernelIntegrator integrator;
1235         KernelBVH bvh;
1236         KernelCurves curve;
1237         KernelTables tables;
1238 } KernelData;
1239 static_assert_align(KernelData, 16);
1240
1241 #ifdef __KERNEL_DEBUG__
1242 /* NOTE: This is a runtime-only struct, alignment is not
1243  * really important here.
1244  */
1245 typedef ccl_addr_space struct DebugData {
1246         int num_bvh_traversed_nodes;
1247         int num_bvh_traversed_instances;
1248         int num_bvh_intersections;
1249         int num_ray_bounces;
1250 } DebugData;
1251 #endif
1252
1253 /* Declarations required for split kernel */
1254
1255 /* Macro for queues */
1256 /* Value marking queue's empty slot */
1257 #define QUEUE_EMPTY_SLOT -1
1258
1259 /*
1260  * Queue 1 - Active rays
1261  * Queue 2 - Background queue
1262  * Queue 3 - Shadow ray cast kernel - AO
1263  * Queeu 4 - Shadow ray cast kernel - direct lighting
1264  */
1265 #define NUM_QUEUES 4
1266
1267 /* Queue names */
1268 enum QueueNumber {
1269         /* All active rays and regenerated rays are enqueued here. */
1270         QUEUE_ACTIVE_AND_REGENERATED_RAYS = 0,
1271
1272         /* All
1273          * 1. Background-hit rays,
1274          * 2. Rays that has exited path-iteration but needs to update output buffer
1275          * 3. Rays to be regenerated
1276          * are enqueued here.
1277          */
1278         QUEUE_HITBG_BUFF_UPDATE_TOREGEN_RAYS = 1,
1279
1280         /* All rays for which a shadow ray should be cast to determine radiance
1281          * contribution for AO are enqueued here.
1282          */
1283         QUEUE_SHADOW_RAY_CAST_AO_RAYS = 2,
1284
1285         /* All rays for which a shadow ray should be cast to determine radiance
1286          * contributing for direct lighting are enqueued here.
1287          */
1288         QUEUE_SHADOW_RAY_CAST_DL_RAYS = 3,
1289 };
1290
1291 /* We use RAY_STATE_MASK to get ray_state (enums 0 to 5) */
1292 #define RAY_STATE_MASK 0x007
1293 #define RAY_FLAG_MASK 0x0F8
1294 enum RayState {
1295         RAY_INVALID = 0,
1296         /* Denotes ray is actively involved in path-iteration. */
1297         RAY_ACTIVE,
1298         /* Denotes ray has completed processing all samples and is inactive. */
1299         RAY_INACTIVE,
1300         /* Denoted ray has exited path-iteration and needs to update output buffer. */
1301         RAY_UPDATE_BUFFER,
1302         /* Donotes ray has hit background */
1303         RAY_HIT_BACKGROUND,
1304         /* Denotes ray has to be regenerated */
1305         RAY_TO_REGENERATE,
1306         /* Denotes ray has been regenerated */
1307         RAY_REGENERATED,
1308         /* Flag's ray has to execute shadow blocked function in AO part */
1309         RAY_SHADOW_RAY_CAST_AO = 16,
1310         /* Flag's ray has to execute shadow blocked function in direct lighting part. */
1311         RAY_SHADOW_RAY_CAST_DL = 32,
1312 };
1313
1314 #define ASSIGN_RAY_STATE(ray_state, ray_index, state) (ray_state[ray_index] = ((ray_state[ray_index] & RAY_FLAG_MASK) | state))
1315 #define IS_STATE(ray_state, ray_index, state) ((ray_state[ray_index] & RAY_STATE_MASK) == state)
1316 #define ADD_RAY_FLAG(ray_state, ray_index, flag) (ray_state[ray_index] = (ray_state[ray_index] | flag))
1317 #define REMOVE_RAY_FLAG(ray_state, ray_index, flag) (ray_state[ray_index] = (ray_state[ray_index] & (~flag)))
1318 #define IS_FLAG(ray_state, ray_index, flag) (ray_state[ray_index] & flag)
1319
1320 /* Patches */
1321
1322 #define PATCH_MAX_CONTROL_VERTS 16
1323
1324 /* Patch map node flags */
1325
1326 #define PATCH_MAP_NODE_IS_SET (1 << 30)
1327 #define PATCH_MAP_NODE_IS_LEAF (1u << 31)
1328 #define PATCH_MAP_NODE_INDEX_MASK (~(PATCH_MAP_NODE_IS_SET | PATCH_MAP_NODE_IS_LEAF))
1329
1330 CCL_NAMESPACE_END
1331
1332 #endif /*  __KERNEL_TYPES_H__ */
1333