CMake: correct py-module on OSX

Fix T48860: Cycles SSS artifacts with spatially split BVH

The issue was caused by SSS intersection code gathering all
intersections without check for duplicated ones. This caused
situations when same intersection will be recorded twice in
the case if triangle is shared by several BVH nodes.

Usually this is handled by checking intersection distance
after sorting intersections (in shadow_blocked for example)
but for SSS we don't do such sorting and using number of
intersections to calculate various things.

Didn't find anything smarter than to check intersection
distance in triangle_intersect_subsurface().

This solves render artifacts in the cost of 1.5% slowdown
of extreme case rendering (SSS object filling in whole
FullHD screen).

Reviewers: brecht

Reviewed By: brecht

Differential Revision: https://developer.blender.org/D2105

Cycles: Fix OpenCL compilation after the recent numerical fixes

BLI_heap: replace memarena w/ local allocator

- Since element size its known it's less work to do inline.
- In test with high-poly model, gave ~9% overall speedup for decimate modifier.

Cleanup: minor edits to BLI_heap

Cycles: Fix three numerical issues in the fresnel, normal map and Beckmann code

- In fresnel_dielectric, the differentials calculation sometimes divided by zero.
- When the normal map was (0.5, 0.5, 0.5), the code would try to normalize a zero vector. Now, it just uses the regular normal as a fallback.
- The approximate error function used in Beckmann sampling sometimes overflowed to inf while calculating r^16. The final value is 1 - 1/r^16, however,
  so now it just returns 1 if the computation would overflow otherwise.

Cycles: Deduplicate geometric factor calculation in the Beckmann distribution

Also, this fixes a numerical issue where A would be inf.
Since later G is set to 1 if A is larger than 1.6, the code now checks the reciprocal of A for being smaller than 1/1.6 - same effect, but no inf involved.

Fix use after free error from ab993e37

Cleanup: spelling

Cleanup: line length

Use the value `VIEW_PROJ_PERSP` in the remaining places

also changes the name of the callbacks:
- walk_parent_snap_project_cb to cb_walk_parent_snap_project;
- cb_leaf_snap_vert to cb_walk_leaf_snap_vert;
- cb_leaf_snap_edge to cb_walk_leaf_snap_edge;
- test_vert_depth_cb to test_vert_ray_dist_cb;
- test_edge_depth_cb to test_edge_ray_dist_cb;

and cleanup:

Cycles: Fix refitting of regular BVH

Was causing CUDA issues on viewport edits.

UI: modifier keys now trigger number button updates

Number buttons & sliders weren't updating when shift/ctrl were pressed.

Note that this is a regression in 2.77 but hard to track down since it worked unreliably for some time.

Bump maximum threads number to 1024

This commit contains all the changes required for most optimal maximum threads
number bump. This is needed to avoid possibly unneeded initialization or data
allocation on systems with lower threads count.

TODO: Still need to review arrays in render data structures from render_types.h,

P.S. We might remove actual bump of max threads from this patch, so when we'll
be applying the patch we can do all the preparation work and then do actual
bump of max threads.

Reviewers: mont29, campbellbarton

Reviewed By: mont29, campbellbarton

Maniphest Tasks: T43306

Differential Revision: https://developer.blender.org/D1343

Cycles: Add option to disable new Hair BVH

While it's an extra option added to the interface which might not be
fully obvious for artists, it allows to save up to 20% of memory in
hairy scenes.

This is high enough memory saver in my opinion which might become
handy for some production files where it's more important to make
scene to fit into memory rather than trying to use more optimal BVH
structure but go into swap or crash.

Reviewers: dingto, brecht

Reviewed By: dingto, brecht

Differential Revision: https://developer.blender.org/D2090

fix T48857: Improved the handling of Material Alpha, based on patch D1949 with some small modifications

Collada: changed specification of material alpha from using transparency to using transparent with opaque=A_ONE

Re-initialize source/tools submodule

missed from last commit

Object Snap: make normal argument optional

Often its not needed, setting correctly takes some extra calculation - so allow for it to be left unset.

Fix T48855: Ruler thickness broken in ortho view

Don't do ray-casts from the view unless cursor coords are passed.

Object Snap: replace perspective bool with enum

Allows to set the projection as none,
to make it more obvious when we don't want to handle viewport projections in some cases.

Correct error in snap commit

Cleanup: use BLI_math for paint smooth-stroke

Cleanup: rename snap vars

Add "Snap Selection to Active" option in menu

D1963 by @wisaac, re-worked to de-duplicate logic

Support for loading multiple images from the file selector

D2035 by @jside, extended to support mixing single images and sequences in the one selection.

Fix select grouped parent, extend option was ignored

D2067 by @mangostaniko

UI: Remove spaces around '/'

D2093 by @Blendify

Sequencer: Remove add effect strip filesel properties

D2096 by @chadf

Unused, copy-paste error.

Fix py-driver in startup.blend crash in background mode

Obscure regression in own commit from b34929786.
While this could be considered correct, it introduces a crash so disable the update call.

Code cleanup: show unused arguments names for ShaderNode::constant_fold.

fix T48857: Added support for transparency (used Patch D1949 from bwrsandman with some slight changes)

Use BMesh solver for new boolean modifiers

Cleanup: comment blocks

Fix T48844: Nodetrees of appended materials/textures/etc. were not correctly made local.

Previous commits now allow to use id_make_local() here, as one would expect.

Note that I also checked T36003 case, working fine as well with new code.

Correct recent own fix to id_clear_lib_data_ex().

Datablocks' nodetree are *never* in main, while shapekeys are...

Cleanup/refactor: handle shapekeys exactly like 'owned' nodetrees in make_local process.

Cleanup: use BKE's ntreeFromID in readfile instead of local same function.

Also, no need to set ntree->id.lib to NULL after BKE_libblock_copy_nolib(),
generic datablock copy function always make copy local.

Fix bad handling of datablock's nodetree id_clear_lib_data_ex().

Those data blocks are never shared, exactly as with shapekeys, much simpler
to also clear their lib_data (especially since they have no user!).

Get rid of BKE_key_make_local().

This function was only a wrapper around id_clear_lib_data(), and shapekeys
are not linkable nor shareable anyway, no point keeping this currently,
was only adding confusion about shapekey 'status' as a datatblock.

Add option to id_make_local to force localization of datablock, even if not used locally.

Will be used by link/append code.

Fix T48843: Sequencer crash with many effects

Switch from a fixed stack to a linked list,
since guessing the maximum possible size may fail with invalid/overlapping strips.

Add developer tools submodule

This is intended for utilities to help with development,
which aren't needed for building.

See https://wiki.blender.org/index.php/Dev:Doc/Tools/Blender_Tools_Repo for details

Cleanup: line length

PyAPI: minor cleanup with library linking

Consolidate multiple checks for out->rect_float in prepare_effect_imbufs()

Many checks for out->rect_float being [non-]NULL are done back-to-back.
Combining them into a single check for slightly more efficient code and
less code clutter for easier readability/understanding.

Differential Revision: https://developer.blender.org/D2097

Cleanup: Use BKE_scene_base_add for creating bases

And use __func__ macro.

Cycles: Give better idea which OpenCL kernel is currently compiling

Cycles: Avoid strings passed by value in OpenCL device

Also use more const qualifiers in the code.

Make --debug-all include --debug-cycles and --debug-libmv

Libmv: Fix some strict compiler warnings

One of them was a real bug!

Cycles: Fix wrong size of sobol texture

After reformulation of SSS indirect rays it became possible to
try accessing dimension higher than was pre-calculated on scene
preparation.

This is because we're traversing rays backwards, which means we
are using higher dimensions first now.

Cycles: Fix wrong termination criteria in intersect_all functions

It was possible to miss bounces termination criteria in this functions,
mainly when max_hits was set to 0.

Made the check more robust in traversal functions (which should not
affect performance, it's an operation of same complexity AFAIK).

Also avoid doing ray-scene intersection from shadow_blocked when
limit of transparent bounces was already reached.

CMake: per-target CFLAG & CXXFLAG support

Applying cflags globally can be problematic especially with extern, intern libs.

Now flags from target named will be used when defined,
allowing for developers to define flags for modules they maintain.

Convention is CMAKE_CFLAGS_${UPPERCASE_TARGET_NAME}, (CXXFLAGS for C++).

eg: CMAKE_CFLAGS_BF_BLENDER, CMAKE_CFLAGS_MAKESDNA, CMAKE_CXXFLAGS_CYCLES_KERNEL

On Linux run `make help` for full list of names, MSVC shows these in the solution.

PyAPI: Leak fix caused crash w/ attr swap trick

Accessing `bpy.app.binary_path_python does search, then swaps its getset with the string it finds.
This caused a freed pointer to be stored in bpy.app's dictionary.

Fix by using the same string for get/set access.

PyAPI: fix leak linking library data

PyAPI: fix memory leaks in dictionary assignment

Thanks to Kévin Dietrich for spotting driver leak,
checked other uses of PyDict_SetItem and found more.

PyAPI: Use module names on initializaton

No need to re-convert from C strings to PyUnicode.

Improves the accuracy of snap to edges

Recently the snap to edges has been changed to work with coordinates 2d. Thus, the lambda of the snap pointon on edge becomes different from the actual lambda in a 3d edge.

The solution to correct the lambda was this:

```
if (is_persp) {
const float fac = depth_a / (depth_a + depth_b);
lambda *= (1.0f + (fac - 0.5f) * (1.0f - lambda));
````

...
But the lambda was still not very accurate.
Now the function uses the `dist_squared_ray_to_seg_v3` to get the coordinate of the snap point on the edge. And then tests that point.

The accuracy returned to normal values.

Cleanup: style

Use BLI_endian_switch in dna_genfile

Simplify snapping functions

from D2104: reference all repeated (and strange) equations (example: mul_m4_m4m4(pmat_local, pmat, obmat)) in the function `precalc_project.

This is useful for maintenance.

Fix T48846: Ruler/Protractor crash in ortho mode

Error in recent snap changes.

Fix T48845: Crash when right-clicking on a curve property

Caused by typo in rBd2312602125a452e6562a76ab91779943c67396d

Fix T48734: Driver not updating when using Single From Driver within same object

Fix T48839: Selection from pose mode gives wrong snap results

Current code changes the selection then then runs ED_armature_sync_selection
to copy to the bones rootsel flag from the parents tipsel.

Use this logic for entering edit-mode too.

Boolean Modifier: Add back BMesh option

There are still issues with overlapping geometry,
however some of the issues reported are are causing problems,
or fail entirely with Carve too.

Depsgraph: Make proxy behavior closer to old depsgraph

Fixes possible missing update of proxy_from pointer before using
it in relations builder.

Revert "Depsgraph: Russian electric tape bodge to have multiple proxies work"

This reverts commit 47d0d9cca4d0c3ccbdc368e97fc24652379fd368.

Reverting the commit. Not only it did not solve all the cases of proxy popping,
but also broke real cases with single proxy involved.

Depsgraph: Accumulate object layers from all bases

This solves bug when same object is instanced from multiple bases.

Use BLI_bvhtree_walk_dfs for snapping

The snapping functions when performed in the perspective view,
have some problems in the threshold (a distortion) and in the clip plane (the normal is incorrect).
These problems can be only observed when making the snap to edges or to vertices (nearest to ray function).

This patch propose a totally different solution.
The idea is to project the edges of bvh nodes and test the 2d projection of the snap element.

For this it used the BLI_bvhtree_walk_dfs function.

It is important to pay particular attention also to the changes in `ED_transform_snap_object_project_view3d_ex`

Vertex/Weight Paint: Support view-selected on last-stroke

D1875 by @lichtwerk

Fix 48831, Step II: UI icon code was not able to update/generate 'auto ID icon' from non-ID icon draw code.

Now using generic icon rendering system in that case too, instead of custom code
which was only handling 'deferred' custom file-loaded icons.

Fix 48831, Step I: Mismatch issues bewteen ID icon and preview system.

- icon_id from ID and PreviewImage were not guaranteed to be in sync.
- PreviewImage one was not reset on file read.
- Through RNA e.g., it was possible to ensure an ID icon via its preview image,
  which was running code designed for custom previews/icons system, instead
  of generating correct 'auto ID icon'.

Revert "OpenJPEG: update to 2.1 from 1.5"

This reverts commit f12204196fb1ee985ab9745cf9c70877601145f9.

Campbell, sorry. have to revert this for the time being.

We've missed some very important bits, such as:

- FFmpeg is usually linked against OpenJPEG
- OIIO needs OpenJPEG as well.

For FFmpeg issues we can either disable OpenJPEG there (since
we don't really use it), or bump FFmpeg to version 3.1.1 which
can use either of OpenJPEG 1.5 or 2.1.

For OIIO we do need OpenJPEG support (otherwise Cycles will
not be able to use j2k/j2c textures) and currently there is
NO solution to make OIIO working with OpenJPEG 2.1.

According to Matthias Fauconneau (aka mfv) Larry is working
on the patch to get OIIO work with OpenJPEG 2.1, but it'll
take some time still.

I've tried to look into support of some sort of build system
flag and do ifdefs, but it all becomes quite nasty, especially
with bundled OpenJPEG bumped to 2.1.

Surely such an update is something we'll have to apply to
but at this exact moment it causes quite some pain for all
developers.

Suggest to wait for until OIIO supports OpenJPEG 2.1 and then
go with the updates for real.

Fix T48818: Objects with alpha maps cast wrong ray shadows in BI

OpenJPEG: update to 2.1 from 1.5

Stream handling has changed so this required changes to how files & memory are accessed.

Fix saving jpeg2k images from Python

Quality was defaulting to lowest and no codec was set.

Cleanup: remove redundant check

Fix T48830: Outliner draw crash, missing NULL check

Fix from @cheleb

writefile: reuse SDNA between writes

Avoids decoding the SDNA string every undo step.

readfile: report SDNA decoding errors on file read

This was printed to the stdout, however the error case wasn't checked or well supported.
Also, errors decoding SDNA would sometimes call exit(1).

writefile: remove SDNA last-hit, optimize DNA reconstruct

- Move last-hit index out of SDNA struct
  (allows for access by multiple threads).
- Replace O(n^2) search with hash lookup in DNA reconstruction.

Remove usercount handling from BKE_id_expand_local.

Idea looked good, but we have too much custom situations here (some half-fake-sub-ID
being copied with their 'owner', animdata, etc.), let's let datablock copy functions
handle that themselves.

Also allows to safely call BKE_id_expand_local from all copy functions now (only when
copying linked data).

Cleanup: remove call to BKE_id_lib_local_paths() in make_local functions.

This one is already called by matching copy functions, no need to call it twice!

Use new generic BKE_id_expand_local() for make_local() for object.

Use new generic BKE_id_expand_local() for make_local() for image/material/texture/world.

As said in previous commits, did not touch to copy functions for now, due to ntree issues...

Revert 'use new BKE_id_expand_local()' change for Lamp's copy function.

ntree is once more time a PITA - actually, all sub-IDs that get copied together with the 'main' one are
(shapekey was workedaround, as was animdata/action issue, but nodes are more touchy).

For now, better not to touch that, needs careful check & rethink.

Use new generic BKE_id_expand_local() for make_local() for nodetree.

Did not changed ntree copy for now, this func is a mess of expand/non-expand/bmain/non-bmain cases...
Keep it for later!

Use new generic BKE_id_expand_local() for both make_local() and copy() functions of actions, brushes and particles.

This greatly simplifies said code, once again no change expected from user PoV.

Use new generic BKE_id_expand_local() for both make_local() and copy() functions of obdata
(armature, mesh, curve, mball, lattice, lamp, camera, and speaker).

This greatly simplifies said code, once again no change expected from user PoV.

Add an exception/hack to new BKE_id_expand_local(), to ignore actions datablock in its usercount handling.

Reason is, typically those actions datablock usercounts have already been adjusted in BKE_animdata_copy()
(called by generic iddata copy function).

Think this needs to be reworked a bit too, there are way too much ways to copy animdata currently,
it's rather confusing. But not the goal here, so for now we'll live with the hack!

Fix (unreported) memory leak when making local linked databock which has a preview image.

Also cleaned-up/synchronized code across al ID types that support preview.

Add generic 'BKE_id_expand_local' to BKE_library,
will be used by both make_local() and copy() datablock functions.

Note that this new func make 'extern' all IDs used by localized datablock,
not only refcounted ones as it used to be in each type's functions (with a few exceptions).

Cycles: Fix compilation error on Windows with OSL enabled

Seems there's some conflict around `near` identifier in that configuration.

Cycles: Fix typo

Fix T48824: Crash when having too many ray-to-volume intersections

Code might have writing past the array boundaries.

Fix T48812: Brush size invalid with HIDPI

Missed from c5b2f12b

Depsgraph: Fix crash in Weight VG modifier