patch [#34103]
[blender.git] / source / blender / blenlib / intern / storage.c
1 /*
2  * ***** BEGIN GPL LICENSE BLOCK *****
3  *
4  * This program is free software; you can redistribute it and/or
5  * modify it under the terms of the GNU General Public License
6  * as published by the Free Software Foundation; either version 2
7  * of the License, or (at your option) any later version.
8  *
9  * This program is distributed in the hope that it will be useful,
10  * but WITHOUT ANY WARRANTY; without even the implied warranty of
11  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
12  * GNU General Public License for more details.
13  *
14  * You should have received a copy of the GNU General Public License
15  * along with this program; if not, write to the Free Software Foundation,
16  * Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301, USA.
17  *
18  * The Original Code is Copyright (C) 2001-2002 by NaN Holding BV.
19  * All rights reserved.
20  *
21  * The Original Code is: all of this file.
22  *
23  * Contributor(s): none yet.
24  *
25  * ***** END GPL LICENSE BLOCK *****
26  * Reorganised mar-01 nzc
27  * Some really low-level file thingies.
28  */
29
30 /** \file blender/blenlib/intern/storage.c
31  *  \ingroup bli
32  */
33
34
35 #include <sys/types.h>
36 #include <stdio.h>
37 #include <stdlib.h>
38
39 #ifndef WIN32
40 #include <dirent.h>
41 #endif
42
43 #include <time.h>
44 #include <sys/stat.h>
45
46 #if defined(__sun__) || defined(__sun) || defined(__NetBSD__)
47 #include <sys/statvfs.h> /* Other modern unix os's should probably use this also */
48 #elif !defined(__FreeBSD__) && !defined(linux) && (defined(__sparc) || defined(__sparc__))
49 #include <sys/statfs.h>
50 #endif
51
52 #if defined(__FreeBSD__) || defined(__OpenBSD__)
53 #include <sys/param.h>
54 #include <sys/mount.h>
55 #endif
56
57 #if defined(linux) || defined(__CYGWIN32__) || defined(__hpux) || defined(__GNU__) || defined(__GLIBC__)
58 #include <sys/vfs.h>
59 #endif
60
61 #ifdef __APPLE__
62 /* For statfs */
63 #include <sys/param.h>
64 #include <sys/mount.h>
65 #endif /* __APPLE__ */
66
67
68 #include <fcntl.h>
69 #include <string.h>  /* strcpy etc.. */
70
71 #ifdef WIN32
72 #  include <io.h>
73 #  include <direct.h>
74 #  include "BLI_winstuff.h"
75 #  include "utfconv.h"
76 #else
77 #  include <sys/ioctl.h>
78 #  include <unistd.h>
79 #  include <pwd.h>
80 #endif
81
82 /* lib includes */
83 #include "MEM_guardedalloc.h"
84
85 #include "DNA_listBase.h"
86
87 #include "BLI_listbase.h"
88 #include "BLI_linklist.h"
89 #include "BLI_string.h"
90 #include "BLI_fileops.h"
91 #include "BLI_fileops_types.h"
92 #include "BLI_path_util.h"
93
94 /* vars: */
95 static int totnum, actnum;
96 static struct direntry *files; /* array[totnum] */
97
98 /**
99  * Copies the current working directory into *dir (max size maxncpy), and
100  * returns a pointer to same.
101  *
102  * \note can return NULL when the size is not big enough
103  */
104 char *BLI_current_working_dir(char *dir, const size_t maxncpy)
105 {
106         const char *pwd = getenv("PWD");
107         if (pwd) {
108                 BLI_strncpy(dir, pwd, maxncpy);
109                 return dir;
110         }
111
112         return getcwd(dir, maxncpy);
113 }
114
115 /*
116  * Ordering function for sorting lists of files/directories. Returns -1 if
117  * entry1 belongs before entry2, 0 if they are equal, 1 if they should be swapped.
118  */
119 static int bli_compare(struct direntry *entry1, struct direntry *entry2)
120 {
121         /* type is equal to stat.st_mode */
122
123         /* directories come before non-directories */
124         if (S_ISDIR(entry1->type)) {
125                 if (S_ISDIR(entry2->type) == 0) return (-1);
126         }
127         else {
128                 if (S_ISDIR(entry2->type)) return (1);
129         }
130         /* non-regular files come after regular files */
131         if (S_ISREG(entry1->type)) {
132                 if (S_ISREG(entry2->type) == 0) return (-1);
133         }
134         else {
135                 if (S_ISREG(entry2->type)) return (1);
136         }
137         /* arbitrary, but consistent, ordering of different types of non-regular files */
138         if ((entry1->type & S_IFMT) < (entry2->type & S_IFMT)) return (-1);
139         if ((entry1->type & S_IFMT) > (entry2->type & S_IFMT)) return (1);
140
141         /* OK, now we know their S_IFMT fields are the same, go on to a name comparison */
142         /* make sure "." and ".." are always first */
143         if (strcmp(entry1->relname, ".") == 0) return (-1);
144         if (strcmp(entry2->relname, ".") == 0) return (1);
145         if (strcmp(entry1->relname, "..") == 0) return (-1);
146         if (strcmp(entry2->relname, "..") == 0) return (1);
147
148         return (BLI_natstrcmp(entry1->relname, entry2->relname));
149 }
150
151 /**
152  * Returns the number of free bytes on the volume containing the specified pathname. */
153 /* Not actually used anywhere.
154  */
155 double BLI_dir_free_space(const char *dir)
156 {
157 #ifdef WIN32
158         DWORD sectorspc, bytesps, freec, clusters;
159         char tmp[4];
160         
161         tmp[0] = '\\'; tmp[1] = 0; /* Just a failsafe */
162         if (dir[0] == '/' || dir[0] == '\\') {
163                 tmp[0] = '\\';
164                 tmp[1] = 0;
165         }
166         else if (dir[1] == ':') {
167                 tmp[0] = dir[0];
168                 tmp[1] = ':';
169                 tmp[2] = '\\';
170                 tmp[3] = 0;
171         }
172
173         GetDiskFreeSpace(tmp, &sectorspc, &bytesps, &freec, &clusters);
174
175         return (double) (freec * bytesps * sectorspc);
176 #else
177
178 #if defined(__sun__) || defined(__sun) || defined(__NetBSD__)
179         struct statvfs disk;
180 #else
181         struct statfs disk;
182 #endif
183         char name[FILE_MAXDIR], *slash;
184         int len = strlen(dir);
185         
186         if (len >= FILE_MAXDIR) /* path too long */
187                 return -1;
188         
189         strcpy(name, dir);
190
191         if (len) {
192                 slash = strrchr(name, '/');
193                 if (slash) slash[1] = 0;
194         }
195         else strcpy(name, "/");
196
197 #if defined(__FreeBSD__) || defined(linux) || defined(__OpenBSD__) || defined(__APPLE__) || defined(__GNU__) || defined(__GLIBC__)
198         if (statfs(name, &disk)) return(-1);
199 #endif
200
201 #if defined(__sun__) || defined(__sun) || defined(__NetBSD__)
202         if (statvfs(name, &disk)) return(-1);
203 #elif !defined(__FreeBSD__) && !defined(linux) && (defined(__sparc) || defined(__sparc__))
204         /* WARNING - This may not be supported by geeneric unix os's - Campbell */
205         if (statfs(name, &disk, sizeof(struct statfs), 0)) return(-1);
206 #endif
207
208         return ( ((double) disk.f_bsize) * ((double) disk.f_bfree));
209 #endif
210 }
211
212 /**
213  * Scans the directory named *dirname and appends entries for its contents to files.
214  * Recorded pathnames will be prefixed by *relname if specified (FIXME: actually this
215  * option is not used anywhere, might as well get rid of it).
216  */
217 static void bli_builddir(const char *dirname, const char *relname)
218 {
219         struct ListBase dirbase = {NULL, NULL};
220         int rellen, newnum = 0;
221         char buf[256];
222         DIR *dir;
223
224         BLI_strncpy(buf, relname, sizeof(buf));
225         rellen = strlen(relname);
226
227         if (rellen) {
228                 buf[rellen] = '/';
229                 rellen++;
230         }
231         /* FIXME: any reason why we can't opendir dirname directly, instead of making it
232          * the current directory first? That would simplify calls to this routine (currently
233          * having to save/restore the current directory) a lot. */
234 #ifndef WIN32
235         if (chdir(dirname) == -1) {
236                 perror(dirname);
237                 return;
238         }
239 #else
240         UTF16_ENCODE(dirname);
241         if (!SetCurrentDirectoryW(dirname_16)) {
242                 perror(dirname);
243                 free(dirname_16);
244                 return;
245         }
246         UTF16_UN_ENCODE(dirname);
247
248 #endif
249         if ((dir = opendir(".")) != NULL) {
250                 const struct dirent *fname;
251                 while ((fname = readdir(dir)) != NULL) {
252                         struct dirlink * const dlink = (struct dirlink *)malloc(sizeof(struct dirlink));
253                         if (dlink != NULL) {
254                                 BLI_strncpy(buf + rellen, fname->d_name, sizeof(buf) - rellen);
255                                 dlink->name = BLI_strdup(buf);
256                                 BLI_addhead(&dirbase, dlink);
257                                 newnum++;
258                         }
259                 }
260                 
261                 if (newnum) {
262
263                         if (files) {
264                                 void * const tmp = realloc(files, (totnum + newnum) * sizeof(struct direntry));
265                                 if (tmp) {
266                                         files = (struct direntry *)tmp;
267                                 }
268                                 else { /* realloc fail */
269                                         free(files);
270                                         files = NULL;
271                                 }
272                         }
273                         
274                         if (files == NULL)
275                                 files = (struct direntry *)malloc(newnum * sizeof(struct direntry));
276
277                         if (files) {
278                                 struct dirlink * dlink = (struct dirlink *) dirbase.first;
279                                 while (dlink) {
280                                         memset(&files[actnum], 0, sizeof(struct direntry));
281                                         files[actnum].relname = dlink->name;
282                                         files[actnum].path = BLI_strdupcat(dirname, dlink->name);
283 // use 64 bit file size, only needed for WIN32 and WIN64. 
284 // Excluding other than current MSVC compiler until able to test
285 #ifdef WIN32
286                                         {
287                                                 wchar_t *name_16 = alloc_utf16_from_8(dlink->name, 0);
288 #if (defined(WIN32) || defined(WIN64)) && (_MSC_VER >= 1500)
289                                                 _wstat64(name_16, &files[actnum].s);
290 #elif defined(__MINGW32__)
291                                                 _stati64(dlink->name, &files[actnum].s);
292 #endif
293                                                 free(name_16);
294                                         }
295
296 #else
297                                         stat(dlink->name, &files[actnum].s);
298 #endif
299                                         files[actnum].type = files[actnum].s.st_mode;
300                                         files[actnum].flags = 0;
301                                         /* FIXME: this is the only place where totnum and actnum are incremented,
302                                          * so they will always be equal, might as well get rid of one */
303                                         totnum++;
304                                         actnum++;
305                                         dlink = dlink->next;
306                                 }
307                         }
308                         else {
309                                 printf("Couldn't get memory for dir\n");
310                                 exit(1);
311                         }
312
313                         BLI_freelist(&dirbase);
314                         if (files) qsort(files, actnum, sizeof(struct direntry), (int (*)(const void *, const void *))bli_compare);
315                 }
316                 else {
317                         printf("%s empty directory\n", dirname);
318                 }
319
320                 closedir(dir);
321         }
322         else {
323                 printf("%s non-existant directory\n", dirname);
324         }
325 }
326
327 /**
328  * Fills in the "mode[123]", "size" and "string" fields in the elements of the files
329  * array with descriptive details about each item. "string" will have a format similar to "ls -l".
330  */
331 static void bli_adddirstrings(void)
332 {
333         char datum[100];
334         char buf[512];
335         char size[250];
336         static const char *types[8] = {"---", "--x", "-w-", "-wx", "r--", "r-x", "rw-", "rwx"};
337         /* symbolic display, indexed by mode field value */
338         int num, mode;
339 #ifdef WIN32
340         __int64 st_size;
341 #else
342         off_t st_size;
343 #endif
344         
345         struct direntry *file;
346         struct tm *tm;
347         time_t zero = 0;
348         
349         for (num = 0, file = files; num < actnum; num++, file++) {
350 #ifdef WIN32
351                 mode = 0;
352                 BLI_strncpy(file->mode1, types[0], sizeof(file->mode1));
353                 BLI_strncpy(file->mode2, types[0], sizeof(file->mode2));
354                 BLI_strncpy(file->mode3, types[0], sizeof(file->mode3));
355 #else
356                 mode = file->s.st_mode;
357
358                 BLI_strncpy(file->mode1, types[(mode & 0700) >> 6], sizeof(file->mode1));
359                 BLI_strncpy(file->mode2, types[(mode & 0070) >> 3], sizeof(file->mode2));
360                 BLI_strncpy(file->mode3, types[(mode & 0007)], sizeof(file->mode3));
361                 
362                 if (((mode & S_ISGID) == S_ISGID) && (file->mode2[2] == '-')) file->mode2[2] = 'l';
363
364                 if (mode & (S_ISUID | S_ISGID)) {
365                         if (file->mode1[2] == 'x') file->mode1[2] = 's';
366                         else file->mode1[2] = 'S';
367
368                         if (file->mode2[2] == 'x') file->mode2[2] = 's';
369                 }
370
371                 if (mode & S_ISVTX) {
372                         if (file->mode3[2] == 'x') file->mode3[2] = 't';
373                         else file->mode3[2] = 'T';
374                 }
375 #endif
376
377 #ifdef WIN32
378                 strcpy(file->owner, "user");
379 #else
380                 {
381                         struct passwd *pwuser;
382                         pwuser = getpwuid(file->s.st_uid);
383                         if (pwuser) {
384                                 BLI_strncpy(file->owner, pwuser->pw_name, sizeof(file->owner));
385                         }
386                         else {
387                                 BLI_snprintf(file->owner, sizeof(file->owner), "%d", file->s.st_uid);
388                         }
389                 }
390 #endif
391
392                 tm = localtime(&file->s.st_mtime);
393                 // prevent impossible dates in windows
394                 if (tm == NULL) tm = localtime(&zero);
395                 strftime(file->time, sizeof(file->time), "%H:%M", tm);
396                 strftime(file->date, sizeof(file->date), "%d-%b-%y", tm);
397
398                 /*
399                  * Seems st_size is signed 32-bit value in *nix and Windows.  This
400                  * will buy us some time until files get bigger than 4GB or until
401                  * everyone starts using __USE_FILE_OFFSET64 or equivalent.
402                  */
403                 st_size = file->s.st_size;
404
405                 /* FIXME: Either change decimal prefixes to binary ones
406                  * <http://en.wikipedia.org/wiki/Binary_prefix>, or change
407                  * divisor factors from 1024 to 1000. */
408                 if (st_size > 1024 * 1024 * 1024) {
409                         BLI_snprintf(file->size, sizeof(file->size), "%.2f GB", ((double)st_size) / (1024 * 1024 * 1024));
410                 }
411                 else if (st_size > 1024 * 1024) {
412                         BLI_snprintf(file->size, sizeof(file->size), "%.1f MB", ((double)st_size) / (1024 * 1024));
413                 }
414                 else if (st_size > 1024) {
415                         BLI_snprintf(file->size, sizeof(file->size), "%d KB", (int)(st_size / 1024));
416                 }
417                 else {
418                         BLI_snprintf(file->size, sizeof(file->size), "%d B", (int)st_size);
419                 }
420
421                 strftime(datum, 32, "%d-%b-%y %H:%M", tm); /* XXX, is this used? - campbell */
422
423                 if (st_size < 1000) {
424                         BLI_snprintf(size, sizeof(size), "%10d",
425                                      (int) st_size);
426                 }
427                 else if (st_size < 1000 * 1000) {
428                         BLI_snprintf(size, sizeof(size), "%6d %03d",
429                                      (int) (st_size / 1000), (int) (st_size % 1000));
430                 }
431                 else if (st_size < 100 * 1000 * 1000) {
432                         BLI_snprintf(size, sizeof(size), "%2d %03d %03d",
433                                      (int) (st_size / (1000 * 1000)), (int) ((st_size / 1000) % 1000), (int) (st_size % 1000));
434                 }
435                 else {
436                         /* XXX, whats going on here?. 2x calls - campbell */
437                         BLI_snprintf(size, sizeof(size), "> %4.1f M", (double) (st_size / (1024.0 * 1024.0)));
438                         BLI_snprintf(size, sizeof(size), "%10d", (int) st_size);
439                 }
440
441                 BLI_snprintf(buf, sizeof(buf), "%s %s %s %7s %s %s %10s %s",
442                              file->mode1, file->mode2, file->mode3, file->owner,
443                              file->date, file->time, size, file->relname);
444
445                 file->string = BLI_strdup(buf);
446                 /* FIXME: not actually used anywhere, why bother to set it up? */
447         }
448 }
449
450 /**
451  * Scans the contents of the directory named *dirname, and allocates and fills in an
452  * array of entries describing them in *filelist. The length of the array is the function result.
453  */
454 unsigned int BLI_dir_contents(const char *dirname,  struct direntry **filelist)
455 {
456         /* reset global variables
457          * memory stored in files is free()'d in
458          * filesel.c:freefilelist() */
459
460         actnum = totnum = 0;
461         files = NULL;
462
463         bli_builddir(dirname, "");
464         bli_adddirstrings();
465
466         if (files) {
467                 *(filelist) = files;
468         }
469         else {
470                 // keep blender happy. Blender stores this in a variable
471                 // where 0 has special meaning.....
472                 *(filelist) = files = malloc(sizeof(struct direntry));
473         }
474
475         return(actnum);
476 }
477
478
479 /**
480  * Returns the file size of an opened file descriptor.
481  */
482 size_t BLI_file_descriptor_size(int file)
483 {
484         struct stat buf;
485
486         if (file < 0) return (-1);
487         fstat(file, &buf); /* CHANGE */
488         return (buf.st_size);
489 }
490
491 /**
492  * Returns the size of a file.
493  */
494 size_t BLI_file_size(const char *path)
495 {
496         /* FIXME: opening and closing the file is inefficient. Why not use stat(2) instead? */
497         int size, file = BLI_open(path, O_BINARY | O_RDONLY, 0);
498         
499         if (file == -1)
500                 return -1;
501         
502         size = BLI_file_descriptor_size(file);
503         close(file);
504         return size;
505 }
506
507 /**
508  * Returns the st_mode from statting the specified path name, or 0 if it couldn't be statted
509  * (most likely doesn't exist or no access).
510  */
511 int BLI_exists(const char *name)
512 {
513 #if defined(WIN32) 
514 #ifndef __MINGW32__
515         struct _stat64i32 st;
516 #else
517         struct _stati64 st;
518 #endif
519         /* in Windows stat doesn't recognize dir ending on a slash
520          * To not break code where the ending slash is expected we
521          * don't mess with the argument name directly here - elubie */
522         wchar_t *tmp_16 = alloc_utf16_from_8(name, 0);
523         int len, res;
524         len = wcslen(tmp_16);
525         if (len > 3 && (tmp_16[len - 1] == L'\\' || tmp_16[len - 1] == L'/') ) tmp_16[len - 1] = '\0';
526 #ifndef __MINGW32__
527         res = _wstat(tmp_16, &st);
528 #else
529         res = _wstati64(tmp_16, &st);
530 #endif
531         free(tmp_16);
532         if (res == -1) return(0);
533 #else
534         struct stat st;
535         if (stat(name, &st)) return(0);
536 #endif
537         return(st.st_mode);
538 }
539
540
541 #ifdef WIN32
542 int BLI_stat(const char *path, struct stat *buffer)
543 {
544         int r;
545         UTF16_ENCODE(path);
546         r = _wstat(path_16, buffer);
547         UTF16_UN_ENCODE(path);
548         return r;
549 }
550 #else
551 int BLI_stat(const char *path, struct stat *buffer)
552 {
553         return stat(path, buffer);
554 }
555 #endif
556
557 /**
558  * Does the specified path point to a directory?
559  * \note Would be better in fileops.c except that it needs stat.h so add here
560  */
561 bool BLI_is_dir(const char *file)
562 {
563         return S_ISDIR(BLI_exists(file));
564 }
565
566 /**
567  * Does the specified path point to a non-directory?
568  */
569 bool BLI_is_file(const char *path)
570 {
571         const int mode = BLI_exists(path);
572         return (mode && !S_ISDIR(mode));
573 }
574
575 /**
576  * Reads the contents of a text file and returns the lines in a linked list.
577  */
578 LinkNode *BLI_file_read_as_lines(const char *name)
579 {
580         FILE *fp = BLI_fopen(name, "r");
581         LinkNode *lines = NULL;
582         char *buf;
583         size_t size;
584
585         if (!fp) return NULL;
586                 
587         fseek(fp, 0, SEEK_END);
588         size = (size_t)ftell(fp);
589         fseek(fp, 0, SEEK_SET);
590
591         buf = MEM_mallocN(size, "file_as_lines");
592         if (buf) {
593                 size_t i, last = 0;
594                 
595                 /*
596                  * size = because on win32 reading
597                  * all the bytes in the file will return
598                  * less bytes because of crnl changes.
599                  */
600                 size = fread(buf, 1, size, fp);
601                 for (i = 0; i <= size; i++) {
602                         if (i == size || buf[i] == '\n') {
603                                 char *line = BLI_strdupn(&buf[last], i - last);
604
605                                 BLI_linklist_prepend(&lines, line);
606                                 /* faster to build singly-linked list in reverse order */
607                                 /* alternatively, could process buffer in reverse order so
608                                  * list ends up right way round to start with */
609                                 last = i + 1;
610                         }
611                 }
612                 
613                 MEM_freeN(buf);
614         }
615         
616         fclose(fp);
617
618         /* get them the right way round */
619         BLI_linklist_reverse(&lines);
620         return lines;
621 }
622
623 /*
624  * Frees memory from a previous call to BLI_file_read_as_lines.
625  */
626 void BLI_file_free_lines(LinkNode *lines)
627 {
628         BLI_linklist_free(lines, (void (*)(void *))MEM_freeN);
629 }
630
631 /** is file1 older then file2 */
632 bool BLI_file_older(const char *file1, const char *file2)
633 {
634 #ifdef WIN32
635         struct _stat st1, st2;
636
637         UTF16_ENCODE(file1);
638         UTF16_ENCODE(file2);
639         
640         if (_wstat(file1_16, &st1)) return false;
641         if (_wstat(file2_16, &st2)) return false;
642
643         UTF16_UN_ENCODE(file2);
644         UTF16_UN_ENCODE(file1);
645 #else
646         struct stat st1, st2;
647
648         if (stat(file1, &st1)) return false;
649         if (stat(file2, &st2)) return false;
650 #endif
651         return (st1.st_mtime < st2.st_mtime);
652 }
653