Sunday merger of orange branch with bf-blender

Fix #1 to resolve corrupted NLA files with lib-linked groups.

- If a library became unreadable, with a print like:
  ERROR: can't find lib //../../../../../../..//jorma_light.blend
  Then set the F10 "rt" button to 111. :)
  That will read files with a stripping routine to fix it.

- For lost actions in strips: press Lkey in NLA editor, this is the new
  "re-link action" option. To get it work, dont forget to fill in the
  proper Armature in NKey panel.

The real fix, for the code that corrupted relative paths, will be
part of the bf-blender branch merging, which follows.

Fix: reading library files with option "Relative Paths" set, whilst library
was read already AND relative, caused the path for libraries to corrupt...

Error caused big headaches in studio Orange... :)

Added depsgraph update call on 'add group'.

Orange: made duplicators work for dynamic particle systems. Meaning; a
particle generator can be duplicated.

Note that the particles are only generated once, on the original, and just
get duplicated.
For static particles it worked already OK.

Added note for previous grouping commit; group-duplicators should support
fully all animation systems, including modifiers and particles.

Orange: Removed old duplicator stuff from renderconverter.c...

Big commit with work on Groups & Libraries:

-> Any Group Duplicate now can get local timing and local NLA override. This
   enables to control the entire animation system of the Group.

Two methods for this have been implemented.
1) The quick way: just give the duplicator a "Startframe" offset.
2) Advanced: in the NLA Editor you can add ActionStrips to the duplicator
   to override NLA/action of any Grouped Object.

For "Group NLA" to work, an ActionStrip needs to know which Object in a
group it controls. On adding a strip, the code checks if an Action was
already used by an Object in the Group, and assigns it automatic to that
Object.
You can also set this in the Nkey "Properties" panel for the strip.

Change in NLA: the SHIFT+A "Add strip" command now always adds strips to
the active Object. (It used to check where mouse was). This allows to add
NLA strips to Objects that didn't have actions/nla yet.

Important note: In Blender, duplicates are fully procedural and generated
on the fly for each redraw. This means that redraw speed equals to stepping
through frames, when using animated Duplicated Groups.

-> Recoded entire duplicator system

The old method was antique and clumsy, using globals and full temporal
copies of Object. The new system is nicer in control, faster, and since it
doesn't use temporal object copies anymore, it works better with Derived
Mesh and DisplayList and rendering.

By centralizing the code for duplicating, more options can be easier added.
Features to note:

- Duplicates now draw selected/unselected based on its Duplicator setting.
- Same goes for the drawtype (wire, solid, selection outline, etc)
- Duplicated Groups can be normally selected too

Bonus goodie: SHIFT+A (Toolbox) now has entry "Add group" too, with a
listing of all groups, allowing to add Group instances immediate.

-> Library System

- SHIFT+F4 data browse now shows the entire path for linked data
- Outliner draws Library Icons to denote linked data
- Outliner operation added: "Make Local" for library data.
- Outliner now also draws Groups in regular view, allowing to unlink too.

-> Fixes

- depsgraph missed signal update for bone-parented Objects
- on reading file, the entire database was tagged to "recalc" fully,
  causing unnecessary slowdown on reading.

Might have missed stuff... :)

Added some details in the Mathutils documentation.

-- Bugfix #3573: Deleting a scriptlink when some other scriptlinks were no
   longer linked to a script would cause a crash.  We now delete all
   scriptlinks which are not linked.

-- Bugfix #3564: Texture.getImage() always returned None for Env maps, even if
   an image was assigned.

Bugfix #3526

Division with zero caused wrong pixels to be rendered with Ortho camera.

Orange; WIP commit for inclusion of "Tangent" vector in rendering.
This first implementation only supports it for Meshes with UV maps, and
only tangents in V direction.

Tangent diffuse:
http://www.blender.org/bf/0001_0080.avi
Tangent spec, diffuse, and bump:
http://www.blender.org/bf/20001_0080.avi

NOTE: since UV coordinates are still very badly subsurfed, this won't work
well for subsurf meshes... on the todo.

On the todo;
- generate tangents for meshes without UV (with some options)
- use tangents from Curve/Surface
- add the Ashkimin shader from tracker

-----

Important bugfix; curves didn't render anymore since yesterday. :)

change return of getMarked method for dict {framnum:['nameframe']}
.

bugfix #3550

Fixing Loopcut smooth to actually cut smooth

I think this will go to HEAD now...

-- Bugfix #3520: Text with extrusion and/or bevelling would would disappear
   when edit mode was entered.

-- Bugfix #3545: Toggling the "apply modifier to editing cage during
   Editmode" flag in one modifier cleared the flag for all other modifiers.
   It now only allows toggling of the last modifier in the stack.

New feature: "Stress" texture input channel

(As usual movies disappears after while)

Face example showing stress values on a blend. White is stretch, black
is squeeze
http://www.blender.org/bf/0001_0014.avi

Quick test with softbody stretch
http://www.blender.org/bf/0001_0100.avi

Based on the difference of the "Orco" (original undeformed coordinate)
and the actual render coordinate, a stress value is computed to make
textures react to stretching or wrinking skin.

The texture coordinate is neutral (0) on relaxed state. -1 is squeezed
to zero, +1 is stretched to infinity.
Note that scaling (object itself or parent) also will result in
stress values.

The reason for the huge commit is a cleanup in allocating memory for
the vertices. These were growing too large with new options, so now it
allocates the optional coordinates dynamically.
Saves about 20 MB memory per 1M vertices already. But best of all is that
I now can add much more fun... so tangents, here we come!

bugfix #3550

Fixing Loopcut smooth to actually cut smooth

Orange: fix for duplicator-group using X-Ray or Transparent draw options.
Note that X-ray is skipped, since it can only work for clearing the zbuffer,
but Transparent works now.

Orange: Made Action Editor to respect Bone layers too.

Note: only works when an Object has Action linked, and not for pinned
actions.

Orange: Action editor didn't reset selection flag on selecting Pose bones.

Orange: More fixes in bone-layers (#$@%!).
- constraint buttons were drawing the hidden bone settings
- ctrl+I or 'Add constraint' didn't respect layers yet

Orange: Made Nkey and info text in 3d window respect Bone Layers.

Made Mesh verts/edges/faces hashable (as they were in NMesh); this will
make it easier for some scripts to be converted.

Orange fixes;

- protected editing library data names in outliner
- layer-bone recode caused selection from posemode not to flush correctly
  to editmode

Bugfix from own collection: Rename option in Outliner didn't handle an ESC
correctly. Button wasn't closed then.

Orange: Bugfix for uninitialized variables in lscm/stretch, forgot to
update initialization when switching from MEM_callocN to BLI_memarena.
This should fix the windows crashes.

Patch by Jens, thanks!

Orange: Group with curve objects in it, and used with group-duplication,
didn't update display when original was on hidden layer.

A patch from Ken Hughes per request of Bassam here at Orange: Python access to armature visibility layers.

Orange: option "Add to new group" (CTRL+G) didn't work when a group
already existed.

Orange: Custom drawing types for bones in Poses!

In Armature Pose-bone panel, the 'hide' button got replaced with a button
where you can type (TAB complete works) a name for a Mesh Object. It then
draws that Object instead of the indicated bone drawing type.

Fixes for bone layers:
- Akey in Editmode didnt work proper (now deselects all non visible bones
  too. selection for editmode works on the vertices, not bones...
- Snap in Editmode now respects layers

Orange Bugfix: depsgraph code crashed on building particle system without
forcefields.... tsk!

Orange request; Bones in Armature now have own layer settings.

Works like for Object layers, but local within Armature itself. Each Bone
can be in (16 now) any layer, and the Armature layer defines what is
visible or not. Also note that hiding will still work too.

Since the Blender code is *stuffed* with Bone options now, this commit
requires a good test if all tools we got now comply to layers...
(I counted 130 cases for checking for selected Bones in code!)

In PoseMode; hotkey M will show 'movetolayer' menu. Not in editmode...
then its the mirror menu.

Todo: make action/nla drawing comply to Armature layer settings.

-- Bugfix #3551: fix memory corruption problem if Text3d.setText() called
   while selected text is in edit mode.

(Future note: now that there is Unicode support in Blender, we need to add
support for it in the BPy Text3d API.)

Fix memory leak; if Blender quits while in text edit mode, free textbuf
inside of free_editText().

Fix for bug #3529

Provided by Jorge Bernal (lordloki)

Function was returning a wrong value in a switch statement.

Kent

-- Bugfix #3548: material.setMode() was doing incorrect range check on
   inputs, returned error setting RAYMIRROR or RAYTRANSP modes.

Orange:

Depsgraph support for animated duplicated groups that come from Library
files.... so nice, a huge walking group of characters in a 90k file or so!

Orange:
Series of fixes in Library linking of groups;

- On library-linking (SHIFT-F1) a Group, the Objects now don't get a "Base"
  anymore, meaning they won't show up as Objects in the Scene.
  This ensures you can use the linked Group as duplicator without having
  your file polluted with new (and linked) objects.
  (I realize it should be possible to have it with Base too, will check)
- On append or file-read, the linked Group Objects get drawn properly,
  but the animation system doesn't run yet.
- Group buttons (F7) now shows if a Group is from Library
- Outliner draws Library linked data with blue-ish text

Other fixes;

- Using group-duplicator, with originals in hidden layer, now shows and
  updates animated Objects correctly.
- All of Object button panels did not have a proper protection against
  editing Library data.

Orange:
Pointer was checked before being set... but it refused to crash on me! For
everyone else it crashed on rendering.
Thanks Toni for the bughunt.

Orange: fix for reading material light groups (didnt set pointer OK yet)
(Thanks Lee for finding it!)

Orange: tuesday sync with bf-blender

Orange branch: Revived hidden treasure, the Groups!

Previous experiment (in 2000) didn't satisfy, it had even some primitive
NLA option in groups... so, cleaned up the old code (removed most) and
integrated it back in a more useful way.

Usage:
- CTRL+G gives menu to add group, add to existing group, or remove from
  groups.
- In Object buttons, a new (should become first) Panel was added, showing
  not only Object "ID button" and Parent, but also the Groups the Object
  Belongs to. These buttons also allow rename, assigning or removing.
- To indicate Objects are grouped, they're drawn in a (not theme yet, so
  temporal?) green wire color.
- Use ALT+SHIFT mouse-select to (de)select an entire group

But, the real power of groups is in the following features:

-> Particle Force field and Guide control
In the "Particle Motion" Panel, you can indicate a Group name, this then
limits force fields or guides to members of that Group. (Note that layers
still work on top of that... not sure about that).

-> Light Groups
In the Material "Shaders" Panel, you can indicate a Group name to limit
lighting for the Material to lamps in this group. The Lights in a Group do
need to be 'visible' for the Scene to be rendered (as usual).

-> Group Duplicator
In the Object "Anim" Panel, you can set any Object (use Empty!) to
duplicate an entire Group. It will make copies of all Objects in that Group.
Also works for animated Objects, but it will copy the current positions or
deforms. Control over 'local timing' (so we can do Massive anims!) will be
added later.
(Note; this commit won't render Group duplicators yet, a fix in bf-blender
will enable that, next commit will sync)

-> Library Appending
In the SHIFT-F1 or SHIFT+F4 browsers, you can also find the Groups listed.
By appending or linking the Group itself, and use the Group Duplicator, you
now can animate and position linked Objects. The nice thing is that the
local saved file itself will only store the Group name that was linked, so
on a next file read, the Group Objects will be re-read as stored (changed)
in the Library file.
(Note; current implementation also "gives a base" to linked Group Objects,
to show them as Objects in the current Scene. Need that now for testing
purposes, but probably will be removed later).

-> Outliner
Outliner now shows Groups as optio too, nice to organize your data a bit too!

In General, Groups have a very good potential... for example, it could
become default for MetaBall Objects too (jiri, I can help you later on how
this works). All current 'layer relationships' in Blender should be dropped
in time, I guess...

More corrections and additions to Ipo and IpoCurve documentation.

Added some extra parameter checking in Ipo driver code.

Added GPL licence header. possibly some other new stuff, not sure how old the CVS console script was.

Updated bvh importer. tested on over 100 bvh files.

* Modified to use Mathutils for matrix math,
* Fixed possible joint naming bug,
* Imports BVH's with bad EOF gracefully
* Fixed duplicate joint names, make them unique
* Use \r as well as \n for newlines
* Added suppot for nodes with 0 motion channels
* Rotation IPOs never cross more then 180d
   fixes sub frame tweening and time scaling
* 5x overall speedup.

-- Bugfix 3543: call to test_index_face() in decimateModifier_applyModifier()
   was passing pointer to the wrong face, which led to eekadoodle later in
   EditMode.

Modified the logic under linux.
My 64bit box fell through and didn't do anything
because it didn't match a CPU type, so changed the logic so there is a default.

Kent

-- Bugfix #3072: As discussed on IRC, matrix.invert() should throw a
   ValueError exception if matrix is singular.

-- Bugfix 3453: coercion operations were doing an extra incref on coerced
   objects.  Also found extra increfs on some newly-created quat and matrix
   objects, from calls to Matrix_Identity() and Quaternion_Identity().

"Make Local" menu (Lkey) now has as first option to make only Objects
local, keeping all Data stuff (Mesh, Materials) from Library.

The animation stuff on Object becomes local though;
- Ipo
- Action
- NLA

Bugfix #3514

Once an Object Ipo position was inserted, the object couldn't be moved when
a particle system was tied to it. Needed code to copy object settings,
before the particle animation was done.

Bugfix #3512

Duplicated objects, that have modifiers, didn't render (or not correct).
Bug reported case with softbody being duplicated.

The duplicator system is ancient... integration with new derivedmesh or
modifiers has not been really done yet.

Hrms... setting the undosteps to zero then should also work! :)

Bugfix #3507

Global Undo didn't use the 'undo steps' value in the user presets yet...
even whilst button mentioned 'editmode undo' there, an easy fix to add.

Fix unchecked parameter in M_Ipo_Recalc, and some documentation fixes.

-- remove unused variable "dict" which was giving compiler warnings.

fix for exotic msvc6 projects building
so i think i can do, though we're BCON-4 ( official builds are VC7 anyway )

building elbeem debug lib with proper threading model

Orange bramch:
New diffuse shader, "Fresnel", which using existing fresnel formula.
Since it hilights edges (away from lamp), nice to fill darker parts with
the new layering system.

Weird stuff though;
http://www.blender.org/bf/0001_0040.avi
(Movie disappears in a couple of days!)

Note; for ray-shadow you need to use the Bias, to prevent 'terminator'
problems. I made that option default now.

-- Fix segfault when callign Blender.Armature.Get() with no parameters

Dang, another fix in orange tree... I keep spamming commit maillist that
way!

This fixes a sometimes-crash when doing previews for world or lamp.

Orange: two fixes,

- Texture buttons preview didn't show for material layers
- layers now have a 'number of users' button, which allows to make a
  full copy of the material.

Sunday sync of Orange with bf-blender

Bf-blender commit! :)

Forgot to put back window/screen-size clipping when opening render window.
Note for windows coders; check this diff, here's where you might need to
add an ifdef too for windows, to get the window opening correct for the
top of the screen (probably because of windows bottom toolbar?)

Orange 'layer commit' fix: Texture buttons crash when selecting an empty
texture channel

Orange fix: previous commit from Brecht called unwrap_lscm_live_end()
without check for correct spacetype in use. :)

Orange branch feature; Material Layering

(WIP, don't bugs for this in tracker yet please!)

- New Panel "Layers" in Material buttons, allows to add unlimited amount
  of materials on top of each other.
- Every Layer is actually just another Material, which gets rendered/shaded
  (including texture), and then added on top of previous layer with an
  operation like Mix, Add, Mult, etc.
- Layers render fully independent, so bumpmaps are not passed on to next
  layers.
- Per Layer you can set if it influences Diffuse, Specular or Alpha
- If a Material returns alpha (like from texture), the alpha value is
  used for adding the layers too.
- New texture "Map To" channel allows to have a texture work on a Layer
- Each layer, including basis Material, can be turned on/off individually

Notes:

- at this moment, the full shading pass happens for each layer, including
  shadow, AO and raytraced mirror or transparency...
- I had to remove old hacks from preview render, which corrected reflected
  normals for preview texturing.
- still needs loadsa testing!

More work on the new unwrapper code (orange branch):

- There is now a (temporary) dropdown box in the image window header for
  switching between the old an new unwrapper code. So to test the changes
  described below you need to enable the new unwrapper code.
- Pinning is now more predictable, if one uv is pinned, the others belonging
  to the same vertex are pinned also.
- Live LSCM is much faster, since the LU factorization, the most expensive
  part of the computation, is now stored and reused (was Jens' idea).
- Packing multiple uv charts is slightly improved, by doing a binary search
  over the texture width. This fixes the case where all the charts are
  packed at the bottom of the image.
- LSCM now uses an angle based formulation, and the results seem somewhat
  different (maybe slightly better?), didn't find out why yet.

- fixed output behaviour (now behaves just like render output,
  thus directories in the path are created using RE_make_existing_file
  in fluidsim.c)
- changed default output to be '//fluidsimdata/...'
- hopefully fixed bugs #3466 and #3470 (orco texture coords caused
  problems when the fluidsim mesh was bigger than the original one,
  one no other deformations were used - new deformedVerts are now
  allocated in this case in DerivedMesh.c)

Added Copy/Paste 'mapping' options for World/Lamp buttons.

Also: moved render defines from scene to render module itself.

Orange tree:
Raytrace mirror crash, due to mixup in skyshade call (for 'glob' texture)

Just one more useful commit from Desoto: added a newline to the end
of the file. Hold the applause please.

fix for #3498

(Swap colors on bigendian machines)

I also made it so that the env variable is tried ahead of all
of the other looking.  (That way you can override a system default
if its broken without having to upgrade)

This also makes it so we can remove the OSX ifdef.  So I did.
lukep: If you still want it add it back in but my gut says the less ifdefs
we have the better ;)

Kent

Small changes to API docs on curves and space handlers explanations.

This commit does very little for the number of files touched.
I updated gen_dynlibtiff.py so its in sync with the file(s) it creates.
I added a little more documentation to the readme.txt for adding
new file formats.

I also added two dummy functions to the tiff.c so it stopped whining
about them being NULL.

(I'm still working on the reported bugs but thought this was a good time
to at least get this in)

Kent

-- Bugfix #3524: theEditMesh structure was not being initialized correctly.

Friday merge of bf-blender into orange branch.

Extra texture channel input for Mist effect; "Global". This feeds the
global coordinate (from faces) to the sky texture color calculus, this to
make textured mist a bit less transparent (was only view coordinate).

Just copied over changes in engine, from bf-blender. This someohow was
missing in the previous bf-blender sync.
Now engine compiles for orange tree too.

True X-mirror mesh editing!

Set the option in EditMode, in 2nd mesh tools panel. It only works on
transform options now (grab/rot/scale), and of course assumes a near-
perfect symmetrical mesh. Mesh Object itself can be on any location
though (and rotated etc).

Bugfix #3510

Adding a couple of countall() to update header after using the Vertgroup and Material Group "select" and "deselect" buttons

- last bugfix caused problems when using the makefile, this should work as well now

Wee li'll commit in tooltip for "W" button softbodies.

- this should fix bug #3468 (scons problem with fluidsim off)

Small addition to stretch minimize: with pad +/- or the wheel mouse
you can now blend between the original and minimized.

Stretch minimizing trades conformality (= perfect squares in checkerboard
texture) for a better sampling of the texture (= often not so well shaped
checkerboard), so it is useful to let the user find a balance between the
two.

Updated the sconscript for new file parametrizer.c

-- Bugfix #3139: Blender.Library.Open() was changing current .blend
   filename.  We now save and restore file before opening library.

Make curnurb.flagU and curnurb.flagV range check their inputs, plus make
the documentation correctly describe how the attributes and methods work.

Orange branch commit.

This commit adds new underlying uv unwrapper code, intended to be
more extensible. At the moment this has a re-implementation of LSCM.
This has not been activated yet, since it doesn't add anything new.

What's new is the stretch minimize tool from tuhopuu. It works by
selecting some some uv's in the uv editor window, and then pressing
ctrl+V. The uv's on the boundary stay fixed.

More stuff will follow as I port it over & fix it.

Orange bugreport; disabling (with small icon button) a deforming modifier
for EditMode, the CrazySpace correction still worked. Made it check for
the modifier mode flag.

-- previous commit was decrefing a borrowed reference; thanks Ascotan for
   tracking this down!

Bugfix - own repertoire :)

- Curves without bevel or extrude didn't calculate the Z value for
  softbody when the "3d" option for curves was off.
- Typo in softbody.c, for switch of // comments to /* */

Boolean op error handling has been added. When a no closed mesh is used the follow message is showed:
"Both meshes must be a closed mesh"

Boolean op are undeffined when one of the two meshes are a no closed mesh (without holes).
I put a test to check the input meshes before do any thing. If one mesh have holes a error code is returned.

Syncing Orange branch with bf-blender

-- Bugfix #3186: Fix memory leaks caused by multiple calls to
   PyDict_SetItemString() with objects that were not properly decrefed
   afterwards.  Due to the number of places this was used, I added a
   wrapper EXPP_dict_set_item_str() to gen_utils.c to handle it.

   This started as a scriptlink bug, due to how many times scripts were
   being executed I think it just magnified how bad the memory leak in
   BPy was.  Animating the blend attached with this bug report would cause
   memory to grow by about 3MB for every 280 frames.  After the patch,
   memory did not appear to grow at all (or at least not noticably using
   Unix's ps and top utils).

   Since many of the PyDict_SetItemString() calls were in initialization
   modules I think my tests executed most of the changed code, but would
   appreciate script users really giving feedback.

-- Bugfix #2868: NMesh.update(0,0,1) with derived mesh data would cause a
   crash.  Hopefully the NMesh module will die a silent death before we
   discovere this doesn't really fix the problem :-)

Bugfix #496

Noticed that static particle orcos (strands) actually were global
coordinates. This was code copied from dynamic particles...

Bugreporter (hi env!) tried to make nice zebra texture, which of course
very much failed.

Note; orco textures for strand give the same texture coordinate for the
entire hair. UV maps don't work here yet.

Bugfix #3494

An image texture without picture returned a '0', causing the texture code
to generate a bump normal that warped the entire shading around.
In bugreport it was showing terminator issues with ray shadow.

Terminator problems can still occor with more extreme bumpmaps though,
something to look at further.