freeing mempool elements now fills freed memory with --debug for debug builds.
[blender.git] / source / blender / blenlib / intern / BLI_mempool.c
1 /*
2  * ***** BEGIN GPL LICENSE BLOCK *****
3  *
4  * This program is free software; you can redistribute it and/or
5  * modify it under the terms of the GNU General Public License
6  * as published by the Free Software Foundation; either version 2
7  * of the License, or (at your option) any later version.
8  *
9  * This program is distributed in the hope that it will be useful,
10  * but WITHOUT ANY WARRANTY; without even the implied warranty of
11  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
12  * GNU General Public License for more details.
13  *
14  * You should have received a copy of the GNU General Public License
15  * along with this program; if not, write to the Free Software Foundation,
16  * Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301, USA.
17  *
18  * The Original Code is Copyright (C) 2008 by Blender Foundation.
19  * All rights reserved.
20  *
21  * The Original Code is: all of this file.
22  *
23  * Contributor(s): Geoffery Bantle
24  *
25  * ***** END GPL LICENSE BLOCK *****
26  */
27
28 /** \file blender/blenlib/intern/BLI_mempool.c
29  *  \ingroup bli
30  *
31  * Simple, fast memory allocator for allocating many elements of the same size.
32  */
33
34 #include <string.h>
35 #include <stdlib.h>
36
37 #include "BLI_utildefines.h"
38 #include "BLI_listbase.h"
39
40 #include "BLI_mempool.h" /* own include */
41
42 #include "DNA_listBase.h"
43
44 #include "MEM_guardedalloc.h"
45
46 #include "BLI_strict_flags.h"  /* keep last */
47
48 #ifdef WITH_MEM_VALGRIND
49 #  include "valgrind/memcheck.h"
50 #endif
51
52 /* note: copied from BLO_blend_defs.h, don't use here because we're in BLI */
53 #ifdef __BIG_ENDIAN__
54 /* Big Endian */
55 #  define MAKE_ID(a, b, c, d) ( (int)(a) << 24 | (int)(b) << 16 | (c) << 8 | (d) )
56 #else
57 /* Little Endian */
58 #  define MAKE_ID(a, b, c, d) ( (int)(d) << 24 | (int)(c) << 16 | (b) << 8 | (a) )
59 #endif
60
61 #define FREEWORD MAKE_ID('f', 'r', 'e', 'e')
62
63 /* currently totalloc isnt used */
64 // #define USE_TOTALLOC
65
66 /* when undefined, merge the allocs for BLI_mempool_chunk and its data */
67 // #define USE_DATA_PTR
68
69 #ifdef DEBUG
70 static bool mempool_debug_memset = false;
71 #endif
72
73 /**
74  * A free element from #BLI_mempool_chunk. Data is cast to this type and stored in
75  * #BLI_mempool.free as a single linked list, each item #BLI_mempool.esize large.
76  *
77  * Each element represents a block which BLI_mempool_alloc may return.
78  */
79 typedef struct BLI_freenode {
80         struct BLI_freenode *next;
81         int freeword; /* used to identify this as a freed node */
82 } BLI_freenode;
83
84 /**
85  * A chunk of memory in the mempool stored in
86  * #BLI_mempool.chunks as a double linked list.
87  */
88 typedef struct BLI_mempool_chunk {
89         struct BLI_mempool_chunk *next, *prev;
90 #ifdef USE_DATA_PTR
91         void *_data;
92 #endif
93 } BLI_mempool_chunk;
94
95 /**
96  * The mempool, stores and tracks memory \a chunks and elements within those chunks \a free.
97  */
98 struct BLI_mempool {
99         struct ListBase chunks;
100         unsigned int esize;         /* element size in bytes */
101         unsigned int csize;         /* chunk size in bytes */
102         unsigned int pchunk;        /* number of elements per chunk */
103         unsigned int flag;
104         /* keeps aligned to 16 bits */
105
106         BLI_freenode *free;         /* free element list. Interleaved into chunk datas. */
107         unsigned int maxchunks;     /* use to know how many chunks to keep for BLI_mempool_clear */
108         unsigned int totused;       /* number of elements currently in use */
109 #ifdef USE_TOTALLOC
110         unsigned int totalloc;          /* number of elements allocated in total */
111 #endif
112 };
113
114 #define MEMPOOL_ELEM_SIZE_MIN (sizeof(void *) * 2)
115
116 #ifdef USE_DATA_PTR
117 #  define CHUNK_DATA(chunk) (chunk)->_data
118 #else
119 #  define CHUNK_DATA(chunk) (CHECK_TYPE_INLINE(chunk, BLI_mempool_chunk *), (void *)((chunk) + 1))
120 #endif
121
122 /**
123  * \return the number of chunks to allocate based on how many elements are needed.
124  */
125 BLI_INLINE unsigned int mempool_maxchunks(const unsigned int totelem, const unsigned int pchunk)
126 {
127         return totelem / pchunk + 1;
128 }
129
130 static BLI_mempool_chunk *mempool_chunk_alloc(BLI_mempool *pool)
131 {
132         BLI_mempool_chunk *mpchunk;
133 #ifdef USE_DATA_PTR
134         if (pool->flag & BLI_MEMPOOL_SYSMALLOC) {
135                 mpchunk = malloc(sizeof(BLI_mempool_chunk));
136                 CHUNK_DATA(mpchunk) = malloc((size_t)pool->csize);
137         }
138         else {
139                 mpchunk = MEM_mallocN(sizeof(BLI_mempool_chunk), "BLI_Mempool Chunk");
140                 CHUNK_DATA(mpchunk) = MEM_mallocN((size_t)pool->csize, "BLI Mempool Chunk Data");
141         }
142 #else
143         if (pool->flag & BLI_MEMPOOL_SYSMALLOC) {
144                 mpchunk = malloc(sizeof(BLI_mempool_chunk) + (size_t)pool->csize);
145         }
146         else {
147                 mpchunk = MEM_mallocN(sizeof(BLI_mempool_chunk) + (size_t)pool->csize, "BLI_Mempool Chunk");
148         }
149 #endif
150
151         return mpchunk;
152 }
153
154 /**
155  * Initialize a chunk and add into \a pool->chunks
156  *
157  * \param pool  The pool to add the chunk into.
158  * \param mpchunk  The new uninitialized chunk (can be malloc'd)
159  * \param lasttail  The last element of the previous chunk
160  * (used when building free chunks initially)
161  * \return The last chunk,
162  */
163 static BLI_freenode *mempool_chunk_add(BLI_mempool *pool, BLI_mempool_chunk *mpchunk,
164                                        BLI_freenode *lasttail)
165 {
166         BLI_freenode *curnode = NULL;
167         const unsigned int pchunk_last = pool->pchunk - 1;
168         char *addr;
169         unsigned int j;
170
171         mpchunk->next = mpchunk->prev = NULL;
172         BLI_addtail(&(pool->chunks), mpchunk);
173
174         if (pool->free == NULL) {
175                 pool->free = CHUNK_DATA(mpchunk); /* start of the list */
176                 if (pool->flag & BLI_MEMPOOL_ALLOW_ITER) {
177                         pool->free->freeword = FREEWORD;
178                 }
179         }
180
181         /* loop through the allocated data, building the pointer structures */
182         for (addr = CHUNK_DATA(mpchunk), j = 0; j != pchunk_last; j++) {
183                 curnode = ((BLI_freenode *)addr);
184                 addr += pool->esize;
185                 curnode->next = (BLI_freenode *)addr;
186                 if (pool->flag & BLI_MEMPOOL_ALLOW_ITER) {
187                         if (j != pchunk_last)
188                                 curnode->next->freeword = FREEWORD;
189                         curnode->freeword = FREEWORD;
190                 }
191         }
192
193         /* terminate the list,
194          * will be overwritten if 'curnode' gets passed in again as 'lasttail' */
195         curnode->next = NULL;
196
197 #ifdef USE_TOTALLOC
198         pool->totalloc += pool->pchunk;
199 #endif
200
201         /* final pointer in the previously allocated chunk is wrong */
202         if (lasttail) {
203                 lasttail->next = CHUNK_DATA(mpchunk);
204                 if (pool->flag & BLI_MEMPOOL_ALLOW_ITER) {
205                         lasttail->freeword = FREEWORD;
206                 }
207         }
208
209         return curnode;
210 }
211
212 static void mempool_chunk_free(BLI_mempool_chunk *mpchunk, const unsigned int flag)
213 {
214         if (flag & BLI_MEMPOOL_SYSMALLOC) {
215 #ifdef USE_DATA_PTR
216                 free(CHUNK_DATA(mpchunk));
217 #endif
218                 free(mpchunk);
219         }
220         else {
221 #ifdef USE_DATA_PTR
222                 MEM_freeN(CHUNK_DATA(mpchunk));
223 #endif
224                 MEM_freeN(mpchunk);
225         }
226 }
227
228 static void mempool_chunk_free_all(ListBase *chunks, const unsigned int flag)
229 {
230         BLI_mempool_chunk *mpchunk, *mpchunk_next;
231
232         for (mpchunk = chunks->first; mpchunk; mpchunk = mpchunk_next) {
233                 mpchunk_next = mpchunk->next;
234                 mempool_chunk_free(mpchunk, flag);
235         }
236         chunks->first = chunks->last = NULL;
237 }
238
239 BLI_mempool *BLI_mempool_create(unsigned int esize, unsigned int totelem,
240                                 unsigned int pchunk, unsigned int flag)
241 {
242         BLI_mempool *pool = NULL;
243         BLI_freenode *lasttail = NULL;
244         unsigned int i, maxchunks;
245
246         /* allocate the pool structure */
247         if (flag & BLI_MEMPOOL_SYSMALLOC) {
248                 pool = malloc(sizeof(BLI_mempool));
249         }
250         else {
251                 pool = MEM_mallocN(sizeof(BLI_mempool), "memory pool");
252         }
253
254         /* set the elem size */
255         if (esize < (int)MEMPOOL_ELEM_SIZE_MIN) {
256                 esize = (int)MEMPOOL_ELEM_SIZE_MIN;
257         }
258
259         if (flag & BLI_MEMPOOL_ALLOW_ITER) {
260                 pool->esize = MAX2(esize, (int)sizeof(BLI_freenode));
261         }
262         else {
263                 pool->esize = esize;
264         }
265
266         maxchunks = mempool_maxchunks(totelem, pchunk);
267
268         pool->flag = flag;
269         pool->pchunk = pchunk;
270         pool->csize = esize * pchunk;
271         pool->chunks.first = pool->chunks.last = NULL;
272         pool->free = NULL;  /* mempool_chunk_add assigns */
273         pool->maxchunks = maxchunks;
274 #ifdef USE_TOTALLOC
275         pool->totalloc = 0;
276 #endif
277         pool->totused = 0;
278
279         /* allocate the actual chunks */
280         for (i = 0; i < maxchunks; i++) {
281                 BLI_mempool_chunk *mpchunk = mempool_chunk_alloc(pool);
282                 lasttail = mempool_chunk_add(pool, mpchunk, lasttail);
283         }
284
285 #ifdef WITH_MEM_VALGRIND
286         VALGRIND_CREATE_MEMPOOL(pool, 0, false);
287 #endif
288
289         return pool;
290 }
291
292 void *BLI_mempool_alloc(BLI_mempool *pool)
293 {
294         void *retval = NULL;
295
296         pool->totused++;
297
298         if (!(pool->free)) {
299                 /* need to allocate a new chunk */
300                 BLI_mempool_chunk *mpchunk = mempool_chunk_alloc(pool);
301                 mempool_chunk_add(pool, mpchunk, NULL);
302         }
303
304         retval = pool->free;
305
306         if (pool->flag & BLI_MEMPOOL_ALLOW_ITER) {
307                 pool->free->freeword = 0x7FFFFFFF;
308         }
309
310         pool->free = pool->free->next;
311
312 #ifdef WITH_MEM_VALGRIND
313         VALGRIND_MEMPOOL_ALLOC(pool, retval, pool->esize);
314 #endif
315
316         return retval;
317 }
318
319 void *BLI_mempool_calloc(BLI_mempool *pool)
320 {
321         void *retval = BLI_mempool_alloc(pool);
322         memset(retval, 0, (size_t)pool->esize);
323         return retval;
324 }
325
326 /**
327  * Free an element from the mempool.
328  *
329  * \note doesnt protect against double frees, don't be stupid!
330  */
331 void BLI_mempool_free(BLI_mempool *pool, void *addr)
332 {
333         BLI_freenode *newhead = addr;
334
335 #ifndef NDEBUG
336         {
337                 BLI_mempool_chunk *chunk;
338                 bool found = false;
339                 for (chunk = pool->chunks.first; chunk; chunk = chunk->next) {
340                         if (ARRAY_HAS_ITEM((char *)addr, (char *)CHUNK_DATA(chunk), pool->csize)) {
341                                 found = true;
342                                 break;
343                         }
344                 }
345                 if (!found) {
346                         BLI_assert(!"Attempt to free data which is not in pool.\n");
347                 }
348         }
349
350         /* enable for debugging */
351         if (UNLIKELY(mempool_debug_memset)) {
352                 memset(addr, 255, pool->esize);
353         }
354 #endif
355
356         if (pool->flag & BLI_MEMPOOL_ALLOW_ITER) {
357 #ifndef NDEBUG
358                 /* this will detect double free's */
359                 BLI_assert(newhead->freeword != FREEWORD);
360 #endif
361                 newhead->freeword = FREEWORD;
362         }
363
364         newhead->next = pool->free;
365         pool->free = newhead;
366
367         pool->totused--;
368
369         /* nothing is in use; free all the chunks except the first */
370         if (pool->totused == 0) {
371                 BLI_freenode *curnode = NULL;
372                 char *tmpaddr = NULL;
373                 unsigned int i;
374                 BLI_mempool_chunk *first;
375
376                 first = BLI_pophead(&pool->chunks);
377                 mempool_chunk_free_all(&pool->chunks, pool->flag);
378                 BLI_addtail(&pool->chunks, first);
379 #ifdef USE_TOTALLOC
380                 pool->totalloc = pool->pchunk;
381 #endif
382
383                 pool->free = CHUNK_DATA(first); /* start of the list */
384                 for (tmpaddr = CHUNK_DATA(first), i = 0; i < pool->pchunk; i++) {
385                         curnode = ((BLI_freenode *)tmpaddr);
386                         tmpaddr += pool->esize;
387                         curnode->next = (BLI_freenode *)tmpaddr;
388                 }
389                 curnode->next = NULL; /* terminate the list */
390         }
391
392 #ifdef WITH_MEM_VALGRIND
393         VALGRIND_MEMPOOL_FREE(pool, addr);
394 #endif
395 }
396
397 int BLI_mempool_count(BLI_mempool *pool)
398 {
399         return (int)pool->totused;
400 }
401
402 void *BLI_mempool_findelem(BLI_mempool *pool, unsigned int index)
403 {
404         BLI_assert(pool->flag & BLI_MEMPOOL_ALLOW_ITER);
405
406         if (index < pool->totused) {
407                 /* we could have some faster mem chunk stepping code inline */
408                 BLI_mempool_iter iter;
409                 void *elem;
410                 BLI_mempool_iternew(pool, &iter);
411                 for (elem = BLI_mempool_iterstep(&iter); index-- != 0; elem = BLI_mempool_iterstep(&iter)) {
412                         /* do nothing */
413                 }
414                 return elem;
415         }
416
417         return NULL;
418 }
419
420 /**
421  * Fill in \a data with pointers to each element of the mempool,
422  * to create lookup table.
423  *
424  * \param pool Pool to create a table from.
425  * \param data array of pointers at least the size of 'pool->totused'
426  */
427 void BLI_mempool_as_table(BLI_mempool *pool, void **data)
428 {
429         BLI_mempool_iter iter;
430         void *elem;
431         void **p = data;
432         BLI_assert(pool->flag & BLI_MEMPOOL_ALLOW_ITER);
433         BLI_mempool_iternew(pool, &iter);
434         while ((elem = BLI_mempool_iterstep(&iter))) {
435                 *p++ = elem;
436         }
437         BLI_assert((unsigned int)(p - data) == pool->totused);
438 }
439
440 /**
441  * A version of #BLI_mempool_as_table that allocates and returns the data.
442  */
443 void **BLI_mempool_as_tableN(BLI_mempool *pool, const char *allocstr)
444 {
445         void **data = MEM_mallocN((size_t)pool->totused * sizeof(void *), allocstr);
446         BLI_mempool_as_table(pool, data);
447         return data;
448 }
449
450 /**
451  * Fill in \a data with the contents of the mempool.
452  */
453 void BLI_mempool_as_array(BLI_mempool *pool, void *data)
454 {
455         BLI_mempool_iter iter;
456         char *elem, *p = data;
457         BLI_assert(pool->flag & BLI_MEMPOOL_ALLOW_ITER);
458         BLI_mempool_iternew(pool, &iter);
459         while ((elem = BLI_mempool_iterstep(&iter))) {
460                 memcpy(p, elem, (size_t)pool->esize);
461                 p += pool->esize;
462         }
463         BLI_assert((unsigned int)(p - (char *)data) == pool->totused * pool->esize);
464 }
465
466 /**
467  * A version of #BLI_mempool_as_array that allocates and returns the data.
468  */
469 void *BLI_mempool_as_arrayN(BLI_mempool *pool, const char *allocstr)
470 {
471         char *data = MEM_mallocN((size_t)(pool->totused * pool->esize), allocstr);
472         BLI_mempool_as_array(pool, data);
473         return data;
474 }
475
476 /**
477  * Create a new mempool iterator, \a BLI_MEMPOOL_ALLOW_ITER flag must be set.
478  */
479 void BLI_mempool_iternew(BLI_mempool *pool, BLI_mempool_iter *iter)
480 {
481         BLI_assert(pool->flag & BLI_MEMPOOL_ALLOW_ITER);
482
483         iter->pool = pool;
484         iter->curchunk = pool->chunks.first;
485         iter->curindex = 0;
486 }
487
488 #if 0
489 /* unoptimized, more readable */
490
491 static void *bli_mempool_iternext(BLI_mempool_iter *iter)
492 {
493         void *ret = NULL;
494
495         if (!iter->curchunk || !iter->pool->totused) return NULL;
496
497         ret = ((char *)CHUNK_DATA(iter->curchunk)) + (iter->pool->esize * iter->curindex);
498
499         iter->curindex++;
500
501         if (iter->curindex == iter->pool->pchunk) {
502                 iter->curchunk = iter->curchunk->next;
503                 iter->curindex = 0;
504         }
505
506         return ret;
507 }
508
509 void *BLI_mempool_iterstep(BLI_mempool_iter *iter)
510 {
511         BLI_freenode *ret;
512
513         do {
514                 ret = bli_mempool_iternext(iter);
515         } while (ret && ret->freeword == FREEWORD);
516
517         return ret;
518 }
519
520 #else
521
522 /* optimized version of code above */
523
524 /**
525  * Step over the iterator, returning the mempool item or NULL.
526  */
527 void *BLI_mempool_iterstep(BLI_mempool_iter *iter)
528 {
529         BLI_freenode *ret;
530
531         do {
532                 if (LIKELY(iter->curchunk)) {
533                         ret = (BLI_freenode *)(((char *)CHUNK_DATA(iter->curchunk)) + (iter->pool->esize * iter->curindex));
534                 }
535                 else {
536                         return NULL;
537                 }
538
539                 if (UNLIKELY(++iter->curindex == iter->pool->pchunk)) {
540                         iter->curindex = 0;
541                         iter->curchunk = iter->curchunk->next;
542                 }
543         } while (ret->freeword == FREEWORD);
544
545         return ret;
546 }
547
548 #endif
549
550 /**
551  * Empty the pool, as if it were just created.
552  *
553  * \param pool The pool to clear.
554  * \param totelem_reserve  Optionally reserve how many items should be kept from clearing.
555  */
556 void BLI_mempool_clear_ex(BLI_mempool *pool, const int totelem_reserve)
557 {
558         BLI_mempool_chunk *mpchunk;
559         BLI_mempool_chunk *mpchunk_next;
560         unsigned int maxchunks;
561
562         ListBase chunks_temp;
563         BLI_freenode *lasttail = NULL;
564
565         if (totelem_reserve == -1) {
566                 maxchunks = pool->maxchunks;
567         }
568         else {
569                 maxchunks = mempool_maxchunks((unsigned int)totelem_reserve, pool->pchunk);
570         }
571
572         /* free all after pool->maxchunks  */
573
574         for (mpchunk = BLI_findlink(&pool->chunks, (int)maxchunks); mpchunk; mpchunk = mpchunk_next)  {
575                 mpchunk_next = mpchunk->next;
576                 BLI_remlink(&pool->chunks, mpchunk);
577                 mempool_chunk_free(mpchunk, pool->flag);
578         }
579
580         /* re-initialize */
581         pool->free = NULL;
582         pool->totused = 0;
583 #ifdef USE_TOTALLOC
584         pool->totalloc = 0;
585 #endif
586
587         chunks_temp = pool->chunks;
588         pool->chunks.first = pool->chunks.last = NULL;
589
590         while ((mpchunk = BLI_pophead(&chunks_temp))) {
591                 lasttail = mempool_chunk_add(pool, mpchunk, lasttail);
592         }
593 }
594
595 /**
596  * Wrap #BLI_mempool_clear_ex with no reserve set.
597  */
598 void BLI_mempool_clear(BLI_mempool *pool)
599 {
600         BLI_mempool_clear_ex(pool, -1);
601 }
602
603 /**
604  * Free the mempool its self (and all elements).
605  */
606 void BLI_mempool_destroy(BLI_mempool *pool)
607 {
608         mempool_chunk_free_all(&pool->chunks, pool->flag);
609
610 #ifdef WITH_MEM_VALGRIND
611         VALGRIND_DESTROY_MEMPOOL(pool);
612 #endif
613
614         if (pool->flag & BLI_MEMPOOL_SYSMALLOC) {
615                 free(pool);
616         }
617         else {
618                 MEM_freeN(pool);
619         }
620 }
621
622 #ifdef DEBUG
623 void BLI_mempool_set_memory_debug(void)
624 {
625         mempool_debug_memset = true;
626 }
627 #endif