Fix T44231: Freestyle causes crash on render.
authorTamito Kajiyama <rd6t-kjym@asahi-net.or.jp>
Wed, 28 Oct 2015 14:09:10 +0000 (23:09 +0900)
committerTamito Kajiyama <rd6t-kjym@asahi-net.or.jp>
Wed, 28 Oct 2015 14:22:58 +0000 (23:22 +0900)
The reported crash was confirmed as a segmentation fault in std::sort().
The cause of the crash was traced down to a binary comparison function
that was not satisfying the so-called strict weak ordering requirements of
the C++ standard sorting function.  Specifically, the comparison operator
has to return false when two objects are equivalent (i.e., comp(a, a) must
be false), but that requirement was not met.

Since the binary comparison operator in question could be a user-defined
Python function, here a safety measure is implemented in the C++ layer to
make sure the aforementioned requirement is always satisfied.

source/blender/freestyle/intern/stroke/Operators.cpp

index 87ba34e8f42f222481f069cfb6856261a914b348..dfb50d903f795a0214e9d4234e37c3f033ab8549 100644 (file)
@@ -996,6 +996,8 @@ public:
 
        inline bool operator()(Interface1D *i1, Interface1D *i2)
        {
+               if (i1 == i2)
+                       return false;
                if ((*_pred)(*i1, *i2) < 0)
                        throw std::runtime_error("comparison failed");
                return _pred->result;