fix for building with mingw in since recent changes.
[blender.git] / source / blender / blenlib / intern / storage.c
1 /*
2  * ***** BEGIN GPL LICENSE BLOCK *****
3  *
4  * This program is free software; you can redistribute it and/or
5  * modify it under the terms of the GNU General Public License
6  * as published by the Free Software Foundation; either version 2
7  * of the License, or (at your option) any later version.
8  *
9  * This program is distributed in the hope that it will be useful,
10  * but WITHOUT ANY WARRANTY; without even the implied warranty of
11  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
12  * GNU General Public License for more details.
13  *
14  * You should have received a copy of the GNU General Public License
15  * along with this program; if not, write to the Free Software Foundation,
16  * Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301, USA.
17  *
18  * The Original Code is Copyright (C) 2001-2002 by NaN Holding BV.
19  * All rights reserved.
20  *
21  * The Original Code is: all of this file.
22  *
23  * Contributor(s): none yet.
24  *
25  * ***** END GPL LICENSE BLOCK *****
26  * Reorganised mar-01 nzc
27  * Some really low-level file thingies.
28  */
29
30 /** \file blender/blenlib/intern/storage.c
31  *  \ingroup bli
32  */
33
34
35 #include <sys/types.h>
36 #include <stdio.h>
37 #include <stdlib.h>
38
39 #ifndef WIN32
40 #include <dirent.h>
41 #endif
42
43 #include <time.h>
44 #include <sys/stat.h>
45
46 #if defined(__sun__) || defined(__sun) || defined(__NetBSD__)
47 #include <sys/statvfs.h> /* Other modern unix os's should probably use this also */
48 #elif !defined(__FreeBSD__) && !defined(linux) && (defined(__sparc) || defined(__sparc__))
49 #include <sys/statfs.h>
50 #endif
51
52 #if defined(__FreeBSD__) || defined(__OpenBSD__)
53 #include <sys/param.h>
54 #include <sys/mount.h>
55 #endif
56
57 #if defined(linux) || defined(__CYGWIN32__) || defined(__hpux) || defined(__GNU__) || defined(__GLIBC__)
58 #include <sys/vfs.h>
59 #endif
60
61 #ifdef __APPLE__
62 /* For statfs */
63 #include <sys/param.h>
64 #include <sys/mount.h>
65 #endif /* __APPLE__ */
66
67
68 #include <fcntl.h>
69 #include <string.h>  /* strcpy etc.. */
70
71 #ifdef WIN32
72 #  include <io.h>
73 #  include <direct.h>
74 #  include <limits.h>  /* PATH_MAX */
75 #  include "BLI_winstuff.h"
76 #  include "utfconv.h"
77 #else
78 #  include <sys/ioctl.h>
79 #  include <unistd.h>
80 #  include <pwd.h>
81 #endif
82
83 /* lib includes */
84 #include "MEM_guardedalloc.h"
85
86 #include "DNA_listBase.h"
87
88 #include "BLI_listbase.h"
89 #include "BLI_linklist.h"
90 #include "BLI_string.h"
91 #include "BLI_fileops.h"
92 #include "BLI_fileops_types.h"
93 #include "BLI_path_util.h"
94
95 #include "../imbuf/IMB_imbuf.h"
96
97 /**
98  * Copies the current working directory into *dir (max size maxncpy), and
99  * returns a pointer to same.
100  *
101  * \note can return NULL when the size is not big enough
102  */
103 char *BLI_current_working_dir(char *dir, const size_t maxncpy)
104 {
105         const char *pwd = getenv("PWD");
106         if (pwd) {
107                 BLI_strncpy(dir, pwd, maxncpy);
108                 return dir;
109         }
110
111         return getcwd(dir, maxncpy);
112 }
113
114 /*
115  * Ordering function for sorting lists of files/directories. Returns -1 if
116  * entry1 belongs before entry2, 0 if they are equal, 1 if they should be swapped.
117  */
118 static int bli_compare(struct direntry *entry1, struct direntry *entry2)
119 {
120         /* type is equal to stat.st_mode */
121
122         /* directories come before non-directories */
123         if (S_ISDIR(entry1->type)) {
124                 if (S_ISDIR(entry2->type) == 0) return (-1);
125         }
126         else {
127                 if (S_ISDIR(entry2->type)) return (1);
128         }
129         /* non-regular files come after regular files */
130         if (S_ISREG(entry1->type)) {
131                 if (S_ISREG(entry2->type) == 0) return (-1);
132         }
133         else {
134                 if (S_ISREG(entry2->type)) return (1);
135         }
136         /* arbitrary, but consistent, ordering of different types of non-regular files */
137         if ((entry1->type & S_IFMT) < (entry2->type & S_IFMT)) return (-1);
138         if ((entry1->type & S_IFMT) > (entry2->type & S_IFMT)) return (1);
139
140         /* OK, now we know their S_IFMT fields are the same, go on to a name comparison */
141         /* make sure "." and ".." are always first */
142         if (strcmp(entry1->relname, ".") == 0) return (-1);
143         if (strcmp(entry2->relname, ".") == 0) return (1);
144         if (strcmp(entry1->relname, "..") == 0) return (-1);
145         if (strcmp(entry2->relname, "..") == 0) return (1);
146
147         return (BLI_natstrcmp(entry1->relname, entry2->relname));
148 }
149
150 /**
151  * Returns the number of free bytes on the volume containing the specified pathname. */
152 /* Not actually used anywhere.
153  */
154 double BLI_dir_free_space(const char *dir)
155 {
156 #ifdef WIN32
157         DWORD sectorspc, bytesps, freec, clusters;
158         char tmp[4];
159         
160         tmp[0] = '\\'; tmp[1] = 0; /* Just a failsafe */
161         if (dir[0] == '/' || dir[0] == '\\') {
162                 tmp[0] = '\\';
163                 tmp[1] = 0;
164         }
165         else if (dir[1] == ':') {
166                 tmp[0] = dir[0];
167                 tmp[1] = ':';
168                 tmp[2] = '\\';
169                 tmp[3] = 0;
170         }
171
172         GetDiskFreeSpace(tmp, &sectorspc, &bytesps, &freec, &clusters);
173
174         return (double) (freec * bytesps * sectorspc);
175 #else
176
177 #if defined(__sun__) || defined(__sun) || defined(__NetBSD__)
178         struct statvfs disk;
179 #else
180         struct statfs disk;
181 #endif
182         char name[FILE_MAXDIR], *slash;
183         int len = strlen(dir);
184         
185         if (len >= FILE_MAXDIR) /* path too long */
186                 return -1;
187         
188         strcpy(name, dir);
189
190         if (len) {
191                 slash = strrchr(name, '/');
192                 if (slash) slash[1] = 0;
193         }
194         else strcpy(name, "/");
195
196 #if defined(__FreeBSD__) || defined(linux) || defined(__OpenBSD__) || defined(__APPLE__) || defined(__GNU__) || defined(__GLIBC__)
197         if (statfs(name, &disk)) return(-1);
198 #endif
199
200 #if defined(__sun__) || defined(__sun) || defined(__NetBSD__)
201         if (statvfs(name, &disk)) return(-1);
202 #elif !defined(__FreeBSD__) && !defined(linux) && (defined(__sparc) || defined(__sparc__))
203         /* WARNING - This may not be supported by geeneric unix os's - Campbell */
204         if (statfs(name, &disk, sizeof(struct statfs), 0)) return(-1);
205 #endif
206
207         return ( ((double) disk.f_bsize) * ((double) disk.f_bfree));
208 #endif
209 }
210
211 struct BuildDirCtx {
212         struct direntry *files; /* array[nrfiles] */
213         int nrfiles;
214 };
215
216 /**
217  * Scans the directory named *dirname and appends entries for its contents to files.
218  * Recorded pathnames will be prefixed by *relname if specified (FIXME: actually this
219  * option is not used anywhere, might as well get rid of it).
220  */
221 static void bli_builddir(const char *dirname, const char *relname,
222                          struct BuildDirCtx *dir_ctx)
223 {
224         struct ListBase dirbase = {NULL, NULL};
225         int newnum = 0;
226         DIR *dir;
227
228         if ((dir = opendir(dirname)) != NULL) {
229
230                 {
231                         const struct dirent *fname;
232                         int rellen;
233                         char buf[PATH_MAX];
234                         BLI_strncpy(buf, relname, sizeof(buf));
235                         rellen = strlen(relname);
236
237                         if (rellen) {
238                                 buf[rellen] = '/';
239                                 rellen++;
240                         }
241                         while ((fname = readdir(dir)) != NULL) {
242                                 struct dirlink * const dlink = (struct dirlink *)malloc(sizeof(struct dirlink));
243                                 if (dlink != NULL) {
244                                         BLI_strncpy(buf + rellen, fname->d_name, sizeof(buf) - rellen);
245                                         dlink->name = BLI_strdup(buf);
246                                         BLI_addhead(&dirbase, dlink);
247                                         newnum++;
248                                 }
249                         }
250                 }
251
252                 if (newnum) {
253
254                         if (dir_ctx->files) {
255                                 void * const tmp = realloc(dir_ctx->files, (dir_ctx->nrfiles + newnum) * sizeof(struct direntry));
256                                 if (tmp) {
257                                         dir_ctx->files = (struct direntry *)tmp;
258                                 }
259                                 else { /* realloc fail */
260                                         free(dir_ctx->files);
261                                         dir_ctx->files = NULL;
262                                 }
263                         }
264                         
265                         if (dir_ctx->files == NULL)
266                                 dir_ctx->files = (struct direntry *)malloc(newnum * sizeof(struct direntry));
267
268                         if (dir_ctx->files) {
269                                 struct dirlink * dlink = (struct dirlink *) dirbase.first;
270                                 struct direntry *file = &dir_ctx->files[dir_ctx->nrfiles];
271                                 while (dlink) {
272                                         char fullname[PATH_MAX];
273                                         memset(file, 0, sizeof(struct direntry));
274                                         file->relname = dlink->name;
275                                         file->path = BLI_strdupcat(dirname, dlink->name);
276                                         BLI_join_dirfile(fullname, sizeof(fullname), dirname, dlink->name);
277 // use 64 bit file size, only needed for WIN32 and WIN64. 
278 // Excluding other than current MSVC compiler until able to test
279 #ifdef WIN32
280                                         {
281                                                 wchar_t *name_16 = alloc_utf16_from_8(fullname, 0);
282 #if defined(_MSC_VER) && (_MSC_VER >= 1500)
283                                                 _wstat64(name_16, &filec->s);
284 #elif defined(__MINGW32__)
285                                                 _stati64(fullname, &file->s);
286 #endif
287                                                 free(name_16);
288                                         }
289
290 #else
291                                         stat(fullname, &file->s);
292 #endif
293                                         file->type = file->s.st_mode;
294                                         file->flags = 0;
295                                         dir_ctx->nrfiles++;
296                                         file++;
297                                         dlink = dlink->next;
298                                 }
299                         }
300                         else {
301                                 printf("Couldn't get memory for dir\n");
302                                 exit(1);
303                         }
304
305                         BLI_freelist(&dirbase);
306                         if (dir_ctx->files) {
307                                 qsort(dir_ctx->files, dir_ctx->nrfiles, sizeof(struct direntry), (int (*)(const void *, const void *))bli_compare);
308                         }
309                 }
310                 else {
311                         printf("%s empty directory\n", dirname);
312                 }
313
314                 closedir(dir);
315         }
316         else {
317                 printf("%s non-existant directory\n", dirname);
318         }
319 }
320
321 /**
322  * Fills in the "mode[123]", "size" and "string" fields in the elements of the files
323  * array with descriptive details about each item. "string" will have a format similar to "ls -l".
324  */
325 static void bli_adddirstrings(struct BuildDirCtx *dir_ctx)
326 {
327         char datum[100];
328         char buf[512];
329         char size[250];
330         static const char *types[8] = {"---", "--x", "-w-", "-wx", "r--", "r-x", "rw-", "rwx"};
331         /* symbolic display, indexed by mode field value */
332         int num, mode;
333 #ifdef WIN32
334         __int64 st_size;
335 #else
336         off_t st_size;
337 #endif
338         
339         struct direntry *file;
340         struct tm *tm;
341         time_t zero = 0;
342         
343         for (num = 0, file = dir_ctx->files; num < dir_ctx->nrfiles; num++, file++) {
344 #ifdef WIN32
345                 mode = 0;
346                 BLI_strncpy(file->mode1, types[0], sizeof(file->mode1));
347                 BLI_strncpy(file->mode2, types[0], sizeof(file->mode2));
348                 BLI_strncpy(file->mode3, types[0], sizeof(file->mode3));
349 #else
350                 mode = file->s.st_mode;
351
352                 BLI_strncpy(file->mode1, types[(mode & 0700) >> 6], sizeof(file->mode1));
353                 BLI_strncpy(file->mode2, types[(mode & 0070) >> 3], sizeof(file->mode2));
354                 BLI_strncpy(file->mode3, types[(mode & 0007)], sizeof(file->mode3));
355                 
356                 if (((mode & S_ISGID) == S_ISGID) && (file->mode2[2] == '-')) file->mode2[2] = 'l';
357
358                 if (mode & (S_ISUID | S_ISGID)) {
359                         if (file->mode1[2] == 'x') file->mode1[2] = 's';
360                         else file->mode1[2] = 'S';
361
362                         if (file->mode2[2] == 'x') file->mode2[2] = 's';
363                 }
364
365                 if (mode & S_ISVTX) {
366                         if (file->mode3[2] == 'x') file->mode3[2] = 't';
367                         else file->mode3[2] = 'T';
368                 }
369 #endif
370
371 #ifdef WIN32
372                 strcpy(file->owner, "user");
373 #else
374                 {
375                         struct passwd *pwuser;
376                         pwuser = getpwuid(file->s.st_uid);
377                         if (pwuser) {
378                                 BLI_strncpy(file->owner, pwuser->pw_name, sizeof(file->owner));
379                         }
380                         else {
381                                 BLI_snprintf(file->owner, sizeof(file->owner), "%d", file->s.st_uid);
382                         }
383                 }
384 #endif
385
386                 tm = localtime(&file->s.st_mtime);
387                 // prevent impossible dates in windows
388                 if (tm == NULL) tm = localtime(&zero);
389                 strftime(file->time, sizeof(file->time), "%H:%M", tm);
390                 strftime(file->date, sizeof(file->date), "%d-%b-%y", tm);
391
392                 /*
393                  * Seems st_size is signed 32-bit value in *nix and Windows.  This
394                  * will buy us some time until files get bigger than 4GB or until
395                  * everyone starts using __USE_FILE_OFFSET64 or equivalent.
396                  */
397                 st_size = file->s.st_size;
398
399                 /* FIXME: Either change decimal prefixes to binary ones
400                  * <http://en.wikipedia.org/wiki/Binary_prefix>, or change
401                  * divisor factors from 1024 to 1000. */
402                 if (st_size > 1024 * 1024 * 1024) {
403                         BLI_snprintf(file->size, sizeof(file->size), "%.2f GB", ((double)st_size) / (1024 * 1024 * 1024));
404                 }
405                 else if (st_size > 1024 * 1024) {
406                         BLI_snprintf(file->size, sizeof(file->size), "%.1f MB", ((double)st_size) / (1024 * 1024));
407                 }
408                 else if (st_size > 1024) {
409                         BLI_snprintf(file->size, sizeof(file->size), "%d KB", (int)(st_size / 1024));
410                 }
411                 else {
412                         BLI_snprintf(file->size, sizeof(file->size), "%d B", (int)st_size);
413                 }
414
415                 strftime(datum, 32, "%d-%b-%y %H:%M", tm); /* XXX, is this used? - campbell */
416
417                 if (st_size < 1000) {
418                         BLI_snprintf(size, sizeof(size), "%10d",
419                                      (int) st_size);
420                 }
421                 else if (st_size < 1000 * 1000) {
422                         BLI_snprintf(size, sizeof(size), "%6d %03d",
423                                      (int) (st_size / 1000), (int) (st_size % 1000));
424                 }
425                 else if (st_size < 100 * 1000 * 1000) {
426                         BLI_snprintf(size, sizeof(size), "%2d %03d %03d",
427                                      (int) (st_size / (1000 * 1000)), (int) ((st_size / 1000) % 1000), (int) (st_size % 1000));
428                 }
429                 else {
430                         /* XXX, whats going on here?. 2x calls - campbell */
431                         BLI_snprintf(size, sizeof(size), "> %4.1f M", (double) (st_size / (1024.0 * 1024.0)));
432                         BLI_snprintf(size, sizeof(size), "%10d", (int) st_size);
433                 }
434
435                 BLI_snprintf(buf, sizeof(buf), "%s %s %s %7s %s %s %10s %s",
436                              file->mode1, file->mode2, file->mode3, file->owner,
437                              file->date, file->time, size, file->relname);
438         }
439 }
440
441 /**
442  * Scans the contents of the directory named *dirname, and allocates and fills in an
443  * array of entries describing them in *filelist. The length of the array is the function result.
444  */
445 unsigned int BLI_dir_contents(const char *dirname,  struct direntry **filelist)
446 {
447         struct BuildDirCtx dir_ctx;
448
449         dir_ctx.nrfiles = 0;
450         dir_ctx.files = NULL;
451
452         bli_builddir(dirname, "", &dir_ctx);
453         bli_adddirstrings(&dir_ctx);
454
455         if (dir_ctx.files) {
456                 *filelist = dir_ctx.files;
457         }
458         else {
459                 // keep blender happy. Blender stores this in a variable
460                 // where 0 has special meaning.....
461                 *filelist = malloc(sizeof(struct direntry));
462         }
463
464         return dir_ctx.nrfiles;
465 }
466
467 /* frees storage for an array of direntries, including the array itself. */
468 void BLI_free_filelist(struct direntry *filelist, unsigned int nrentries)
469 {
470         unsigned int i;
471         for (i = 0; i < nrentries; ++i)
472         {
473                 struct direntry * const entry = filelist + i;
474                 if (entry->image) {
475                         IMB_freeImBuf(entry->image);
476                 }
477                 if (entry->relname)
478                         MEM_freeN(entry->relname);
479                 if (entry->path)
480                         MEM_freeN(entry->path);
481                 /* entry->poin assumed not to point to anything needing freeing here */
482         }
483
484         free(filelist);
485 }
486
487
488 /**
489  * Returns the file size of an opened file descriptor.
490  */
491 size_t BLI_file_descriptor_size(int file)
492 {
493         struct stat st;
494         if ((file < 0) || (fstat(file, &st) == -1))
495                 return -1;
496         return st.st_size;
497 }
498
499 /**
500  * Returns the size of a file.
501  */
502 size_t BLI_file_size(const char *path)
503 {
504         struct stat stats;
505         if (BLI_stat(path, &stats) == -1)
506                 return -1;
507         return stats.st_size;
508 }
509
510 /**
511  * Returns the st_mode from statting the specified path name, or 0 if it couldn't be statted
512  * (most likely doesn't exist or no access).
513  */
514 int BLI_exists(const char *name)
515 {
516 #if defined(WIN32) 
517 #ifndef __MINGW32__
518         struct _stat64i32 st;
519 #else
520         struct _stati64 st;
521 #endif
522         /* in Windows stat doesn't recognize dir ending on a slash
523          * To not break code where the ending slash is expected we
524          * don't mess with the argument name directly here - elubie */
525         wchar_t *tmp_16 = alloc_utf16_from_8(name, 0);
526         int len, res;
527         len = wcslen(tmp_16);
528         if (len > 3 && (tmp_16[len - 1] == L'\\' || tmp_16[len - 1] == L'/') ) tmp_16[len - 1] = '\0';
529 #ifndef __MINGW32__
530         res = _wstat(tmp_16, &st);
531 #else
532         res = _wstati64(tmp_16, &st);
533 #endif
534         free(tmp_16);
535         if (res == -1) return(0);
536 #else
537         struct stat st;
538         if (stat(name, &st)) return(0);
539 #endif
540         return(st.st_mode);
541 }
542
543
544 #ifdef WIN32
545 int BLI_stat(const char *path, struct stat *buffer)
546 {
547         int r;
548         UTF16_ENCODE(path);
549         r = _wstat(path_16, buffer);
550         UTF16_UN_ENCODE(path);
551         return r;
552 }
553 #else
554 int BLI_stat(const char *path, struct stat *buffer)
555 {
556         return stat(path, buffer);
557 }
558 #endif
559
560 /**
561  * Does the specified path point to a directory?
562  * \note Would be better in fileops.c except that it needs stat.h so add here
563  */
564 bool BLI_is_dir(const char *file)
565 {
566         return S_ISDIR(BLI_exists(file));
567 }
568
569 /**
570  * Does the specified path point to a non-directory?
571  */
572 bool BLI_is_file(const char *path)
573 {
574         const int mode = BLI_exists(path);
575         return (mode && !S_ISDIR(mode));
576 }
577
578 /**
579  * Reads the contents of a text file and returns the lines in a linked list.
580  */
581 LinkNode *BLI_file_read_as_lines(const char *name)
582 {
583         FILE *fp = BLI_fopen(name, "r");
584         LinkNode *lines = NULL;
585         char *buf;
586         size_t size;
587
588         if (!fp) return NULL;
589                 
590         fseek(fp, 0, SEEK_END);
591         size = (size_t)ftell(fp);
592         fseek(fp, 0, SEEK_SET);
593
594         buf = MEM_mallocN(size, "file_as_lines");
595         if (buf) {
596                 size_t i, last = 0;
597                 
598                 /*
599                  * size = because on win32 reading
600                  * all the bytes in the file will return
601                  * less bytes because of crnl changes.
602                  */
603                 size = fread(buf, 1, size, fp);
604                 for (i = 0; i <= size; i++) {
605                         if (i == size || buf[i] == '\n') {
606                                 char *line = BLI_strdupn(&buf[last], i - last);
607
608                                 BLI_linklist_prepend(&lines, line);
609                                 /* faster to build singly-linked list in reverse order */
610                                 /* alternatively, could process buffer in reverse order so
611                                  * list ends up right way round to start with */
612                                 last = i + 1;
613                         }
614                 }
615                 
616                 MEM_freeN(buf);
617         }
618         
619         fclose(fp);
620
621         /* get them the right way round */
622         BLI_linklist_reverse(&lines);
623         return lines;
624 }
625
626 /*
627  * Frees memory from a previous call to BLI_file_read_as_lines.
628  */
629 void BLI_file_free_lines(LinkNode *lines)
630 {
631         BLI_linklist_free(lines, (void (*)(void *))MEM_freeN);
632 }
633
634 /** is file1 older then file2 */
635 bool BLI_file_older(const char *file1, const char *file2)
636 {
637 #ifdef WIN32
638         struct _stat st1, st2;
639
640         UTF16_ENCODE(file1);
641         UTF16_ENCODE(file2);
642         
643         if (_wstat(file1_16, &st1)) return false;
644         if (_wstat(file2_16, &st2)) return false;
645
646         UTF16_UN_ENCODE(file2);
647         UTF16_UN_ENCODE(file1);
648 #else
649         struct stat st1, st2;
650
651         if (stat(file1, &st1)) return false;
652         if (stat(file2, &st2)) return false;
653 #endif
654         return (st1.st_mtime < st2.st_mtime);
655 }
656