46c5a11949c5ab9984db6d2766853bccf074a0ef
[blender.git] / source / blender / blenlib / intern / storage.c
1 /*
2  * ***** BEGIN GPL LICENSE BLOCK *****
3  *
4  * This program is free software; you can redistribute it and/or
5  * modify it under the terms of the GNU General Public License
6  * as published by the Free Software Foundation; either version 2
7  * of the License, or (at your option) any later version.
8  *
9  * This program is distributed in the hope that it will be useful,
10  * but WITHOUT ANY WARRANTY; without even the implied warranty of
11  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
12  * GNU General Public License for more details.
13  *
14  * You should have received a copy of the GNU General Public License
15  * along with this program; if not, write to the Free Software Foundation,
16  * Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301, USA.
17  *
18  * The Original Code is Copyright (C) 2001-2002 by NaN Holding BV.
19  * All rights reserved.
20  *
21  * The Original Code is: all of this file.
22  *
23  * Contributor(s): none yet.
24  *
25  * ***** END GPL LICENSE BLOCK *****
26  * Reorganised mar-01 nzc
27  * Some really low-level file thingies.
28  */
29
30 /** \file blender/blenlib/intern/storage.c
31  *  \ingroup bli
32  */
33
34 #include <sys/types.h>
35 #include <stdio.h>
36 #include <stdlib.h>
37
38 #ifndef WIN32
39 #  include <dirent.h>
40 #endif
41
42 #include <time.h>
43 #include <sys/stat.h>
44
45 #if defined(__NetBSD__) || defined(__DragonFly__) || defined(__sun__) || defined(__sun)
46    /* Other modern unix os's should probably use this also */
47 #  include <sys/statvfs.h>
48 #  define USE_STATFS_STATVFS
49 #elif (defined(__sparc) || defined(__sparc__)) && !defined(__FreeBSD__) && !defined(__linux__)
50 #  include <sys/statfs.h>
51    /* 4 argument version (not common) */
52 #  define USE_STATFS_4ARGS
53 #endif
54
55 #if defined(__APPLE__) || defined(__FreeBSD__) || defined(__OpenBSD__) || defined(__NetBSD__) || defined(__DragonFly__)
56    /* For statfs */
57 #  include <sys/param.h>
58 #  include <sys/mount.h>
59 #endif
60
61 #if defined(__linux__) || defined(__hpux) || defined(__GNU__) || defined(__GLIBC__)
62 #  include <sys/vfs.h>
63 #endif
64
65 #include <fcntl.h>
66 #include <string.h>  /* strcpy etc.. */
67
68 #ifdef WIN32
69 #  include <io.h>
70 #  include <direct.h>
71 #  include "BLI_winstuff.h"
72 #  include "utfconv.h"
73 #else
74 #  include <sys/ioctl.h>
75 #  include <unistd.h>
76 #  include <pwd.h>
77 #endif
78
79 /* lib includes */
80 #include "MEM_guardedalloc.h"
81
82 #include "DNA_listBase.h"
83
84 #include "BLI_listbase.h"
85 #include "BLI_linklist.h"
86 #include "BLI_string.h"
87 #include "BLI_fileops.h"
88 #include "BLI_fileops_types.h"
89 #include "BLI_path_util.h"
90
91 #include "../imbuf/IMB_imbuf.h"
92
93 /**
94  * Copies the current working directory into *dir (max size maxncpy), and
95  * returns a pointer to same.
96  *
97  * \note can return NULL when the size is not big enough
98  */
99 char *BLI_current_working_dir(char *dir, const size_t maxncpy)
100 {
101         const char *pwd = getenv("PWD");
102         if (pwd) {
103                 BLI_strncpy(dir, pwd, maxncpy);
104                 return dir;
105         }
106
107         return getcwd(dir, maxncpy);
108 }
109
110 /*
111  * Ordering function for sorting lists of files/directories. Returns -1 if
112  * entry1 belongs before entry2, 0 if they are equal, 1 if they should be swapped.
113  */
114 static int bli_compare(struct direntry *entry1, struct direntry *entry2)
115 {
116         /* type is equal to stat.st_mode */
117
118         /* directories come before non-directories */
119         if (S_ISDIR(entry1->type)) {
120                 if (S_ISDIR(entry2->type) == 0) return (-1);
121         }
122         else {
123                 if (S_ISDIR(entry2->type)) return (1);
124         }
125         /* non-regular files come after regular files */
126         if (S_ISREG(entry1->type)) {
127                 if (S_ISREG(entry2->type) == 0) return (-1);
128         }
129         else {
130                 if (S_ISREG(entry2->type)) return (1);
131         }
132         /* arbitrary, but consistent, ordering of different types of non-regular files */
133         if ((entry1->type & S_IFMT) < (entry2->type & S_IFMT)) return (-1);
134         if ((entry1->type & S_IFMT) > (entry2->type & S_IFMT)) return (1);
135
136         /* OK, now we know their S_IFMT fields are the same, go on to a name comparison */
137         /* make sure "." and ".." are always first */
138         if (FILENAME_IS_CURRENT(entry1->relname)) return (-1);
139         if (FILENAME_IS_CURRENT(entry2->relname)) return (1);
140         if (FILENAME_IS_PARENT(entry1->relname)) return (-1);
141         if (FILENAME_IS_PARENT(entry2->relname)) return (1);
142
143         return (BLI_natstrcmp(entry1->relname, entry2->relname));
144 }
145
146 /**
147  * Returns the number of free bytes on the volume containing the specified pathname. */
148 /* Not actually used anywhere.
149  */
150 double BLI_dir_free_space(const char *dir)
151 {
152 #ifdef WIN32
153         DWORD sectorspc, bytesps, freec, clusters;
154         char tmp[4];
155         
156         tmp[0] = '\\'; tmp[1] = 0; /* Just a failsafe */
157         if (dir[0] == '/' || dir[0] == '\\') {
158                 tmp[0] = '\\';
159                 tmp[1] = 0;
160         }
161         else if (dir[1] == ':') {
162                 tmp[0] = dir[0];
163                 tmp[1] = ':';
164                 tmp[2] = '\\';
165                 tmp[3] = 0;
166         }
167
168         GetDiskFreeSpace(tmp, &sectorspc, &bytesps, &freec, &clusters);
169
170         return (double) (freec * bytesps * sectorspc);
171 #else
172
173 #ifdef USE_STATFS_STATVFS
174         struct statvfs disk;
175 #else
176         struct statfs disk;
177 #endif
178
179         char name[FILE_MAXDIR], *slash;
180         int len = strlen(dir);
181         
182         if (len >= FILE_MAXDIR) /* path too long */
183                 return -1;
184         
185         strcpy(name, dir);
186
187         if (len) {
188                 slash = strrchr(name, '/');
189                 if (slash) slash[1] = 0;
190         }
191         else {
192                 strcpy(name, "/");
193         }
194
195 #if  defined(USE_STATFS_STATVFS)
196         if (statvfs(name, &disk)) return -1;
197 #elif defined(USE_STATFS_4ARGS)
198         if (statfs(name, &disk, sizeof(struct statfs), 0)) return -1;
199 #else
200         if (statfs(name, &disk)) return -1;
201 #endif
202
203         return ( ((double) disk.f_bsize) * ((double) disk.f_bfree));
204 #endif
205 }
206
207 struct BuildDirCtx {
208         struct direntry *files; /* array[nrfiles] */
209         int nrfiles;
210 };
211
212 /**
213  * Scans the directory named *dirname and appends entries for its contents to files.
214  */
215 static void bli_builddir(struct BuildDirCtx *dir_ctx, const char *dirname)
216 {
217         struct ListBase dirbase = {NULL, NULL};
218         int newnum = 0;
219         DIR *dir;
220
221         if ((dir = opendir(dirname)) != NULL) {
222                 const struct dirent *fname;
223                 while ((fname = readdir(dir)) != NULL) {
224                         struct dirlink * const dlink = (struct dirlink *)malloc(sizeof(struct dirlink));
225                         if (dlink != NULL) {
226                                 dlink->name = BLI_strdup(fname->d_name);
227                                 BLI_addhead(&dirbase, dlink);
228                                 newnum++;
229                         }
230                 }
231
232                 if (newnum) {
233                         if (dir_ctx->files) {
234                                 void * const tmp = MEM_reallocN(dir_ctx->files, (dir_ctx->nrfiles + newnum) * sizeof(struct direntry));
235                                 if (tmp) {
236                                         dir_ctx->files = (struct direntry *)tmp;
237                                 }
238                                 else { /* realloc fail */
239                                         MEM_freeN(dir_ctx->files);
240                                         dir_ctx->files = NULL;
241                                 }
242                         }
243                         
244                         if (dir_ctx->files == NULL)
245                                 dir_ctx->files = (struct direntry *)MEM_mallocN(newnum * sizeof(struct direntry), __func__);
246
247                         if (dir_ctx->files) {
248                                 struct dirlink * dlink = (struct dirlink *) dirbase.first;
249                                 struct direntry *file = &dir_ctx->files[dir_ctx->nrfiles];
250                                 while (dlink) {
251                                         char fullname[PATH_MAX];
252                                         memset(file, 0, sizeof(struct direntry));
253                                         file->relname = dlink->name;
254                                         file->path = BLI_strdupcat(dirname, dlink->name);
255                                         BLI_join_dirfile(fullname, sizeof(fullname), dirname, dlink->name);
256                                         if (BLI_stat(fullname, &file->s) != -1) {
257                                                 file->type = file->s.st_mode;
258                                         }
259                                         file->flags = 0;
260                                         dir_ctx->nrfiles++;
261                                         file++;
262                                         dlink = dlink->next;
263                                 }
264                         }
265                         else {
266                                 printf("Couldn't get memory for dir\n");
267                                 exit(1);
268                         }
269
270                         BLI_freelist(&dirbase);
271                         if (dir_ctx->files) {
272                                 qsort(dir_ctx->files, dir_ctx->nrfiles, sizeof(struct direntry), (int (*)(const void *, const void *))bli_compare);
273                         }
274                 }
275                 else {
276                         printf("%s empty directory\n", dirname);
277                 }
278
279                 closedir(dir);
280         }
281         else {
282                 printf("%s non-existent directory\n", dirname);
283         }
284 }
285
286 /**
287  * Fills in the "mode[123]", "size" and "string" fields in the elements of the files
288  * array with descriptive details about each item. "string" will have a format similar to "ls -l".
289  */
290 static void bli_adddirstrings(struct BuildDirCtx *dir_ctx)
291 {
292         const char *types[8] = {"---", "--x", "-w-", "-wx", "r--", "r-x", "rw-", "rwx"};
293         /* symbolic display, indexed by mode field value */
294         int num;
295 #ifdef WIN32
296         __int64 st_size;
297 #else
298         off_t st_size;
299         int mode;
300 #endif
301         
302         struct direntry *file;
303         struct tm *tm;
304         time_t zero = 0;
305         
306         for (num = 0, file = dir_ctx->files; num < dir_ctx->nrfiles; num++, file++) {
307
308
309                 /* Mode */
310 #ifdef WIN32
311                 BLI_strncpy(file->mode1, types[0], sizeof(file->mode1));
312                 BLI_strncpy(file->mode2, types[0], sizeof(file->mode2));
313                 BLI_strncpy(file->mode3, types[0], sizeof(file->mode3));
314 #else
315                 mode = file->s.st_mode;
316
317                 BLI_strncpy(file->mode1, types[(mode & 0700) >> 6], sizeof(file->mode1));
318                 BLI_strncpy(file->mode2, types[(mode & 0070) >> 3], sizeof(file->mode2));
319                 BLI_strncpy(file->mode3, types[(mode & 0007)],      sizeof(file->mode3));
320                 
321                 if (((mode & S_ISGID) == S_ISGID) && (file->mode2[2] == '-')) file->mode2[2] = 'l';
322
323                 if (mode & (S_ISUID | S_ISGID)) {
324                         if (file->mode1[2] == 'x') file->mode1[2] = 's';
325                         else file->mode1[2] = 'S';
326
327                         if (file->mode2[2] == 'x') file->mode2[2] = 's';
328                 }
329
330                 if (mode & S_ISVTX) {
331                         if (file->mode3[2] == 'x') file->mode3[2] = 't';
332                         else file->mode3[2] = 'T';
333                 }
334 #endif
335
336
337                 /* User */
338 #ifdef WIN32
339                 strcpy(file->owner, "user");
340 #else
341                 {
342                         struct passwd *pwuser;
343                         pwuser = getpwuid(file->s.st_uid);
344                         if (pwuser) {
345                                 BLI_strncpy(file->owner, pwuser->pw_name, sizeof(file->owner));
346                         }
347                         else {
348                                 BLI_snprintf(file->owner, sizeof(file->owner), "%u", file->s.st_uid);
349                         }
350                 }
351 #endif
352
353
354                 /* Time */
355                 tm = localtime(&file->s.st_mtime);
356                 // prevent impossible dates in windows
357                 if (tm == NULL) tm = localtime(&zero);
358                 strftime(file->time, sizeof(file->time), "%H:%M", tm);
359                 strftime(file->date, sizeof(file->date), "%d-%b-%y", tm);
360
361
362                 /* Size */
363                 /*
364                  * Seems st_size is signed 32-bit value in *nix and Windows.  This
365                  * will buy us some time until files get bigger than 4GB or until
366                  * everyone starts using __USE_FILE_OFFSET64 or equivalent.
367                  */
368                 st_size = file->s.st_size;
369
370                 if (st_size > 1024 * 1024 * 1024) {
371                         BLI_snprintf(file->size, sizeof(file->size), "%.2f GiB", ((double)st_size) / (1024 * 1024 * 1024));
372                 }
373                 else if (st_size > 1024 * 1024) {
374                         BLI_snprintf(file->size, sizeof(file->size), "%.1f MiB", ((double)st_size) / (1024 * 1024));
375                 }
376                 else if (st_size > 1024) {
377                         BLI_snprintf(file->size, sizeof(file->size), "%d KiB", (int)(st_size / 1024));
378                 }
379                 else {
380                         BLI_snprintf(file->size, sizeof(file->size), "%d B", (int)st_size);
381                 }
382         }
383 }
384
385 /**
386  * Scans the contents of the directory named *dirname, and allocates and fills in an
387  * array of entries describing them in *filelist.
388  *
389  * \return The length of filelist array.
390  */
391 unsigned int BLI_filelist_dir_contents(const char *dirname,  struct direntry **filelist)
392 {
393         struct BuildDirCtx dir_ctx;
394
395         dir_ctx.nrfiles = 0;
396         dir_ctx.files = NULL;
397
398         bli_builddir(&dir_ctx, dirname);
399         bli_adddirstrings(&dir_ctx);
400
401         if (dir_ctx.files) {
402                 *filelist = dir_ctx.files;
403         }
404         else {
405                 // keep blender happy. Blender stores this in a variable
406                 // where 0 has special meaning.....
407                 *filelist = MEM_mallocN(sizeof(**filelist), __func__);
408         }
409
410         return dir_ctx.nrfiles;
411 }
412
413 /**
414  * Deep-duplicate of an array of direntries, including the array itself.
415  *
416  * \param dup_poin If given, called for each non-NULL direntry->poin. Otherwise, pointer is always simply copied over.
417  */
418 void BLI_filelist_duplicate(
419         struct direntry **dest_filelist, struct direntry *src_filelist, unsigned int nrentries,
420         void *(*dup_poin)(void *))
421 {
422         unsigned int i;
423
424         *dest_filelist = MEM_mallocN(sizeof(**dest_filelist) * (size_t)(nrentries), __func__);
425         for (i = 0; i < nrentries; ++i) {
426                 struct direntry * const src = &src_filelist[i];
427                 struct direntry *dest = &(*dest_filelist)[i];
428                 *dest = *src;
429                 if (dest->image) {
430                         dest->image = IMB_dupImBuf(src->image);
431                 }
432                 if (dest->relname) {
433                         dest->relname = MEM_dupallocN(src->relname);
434                 }
435                 if (dest->path) {
436                         dest->path = MEM_dupallocN(src->path);
437                 }
438                 if (dest->poin && dup_poin) {
439                         dest->poin = dup_poin(src->poin);
440                 }
441         }
442 }
443
444 /**
445  * frees storage for an array of direntries, including the array itself.
446  */
447 void BLI_filelist_free(struct direntry *filelist, unsigned int nrentries, void (*free_poin)(void *))
448 {
449         unsigned int i;
450         for (i = 0; i < nrentries; ++i) {
451                 struct direntry *entry = filelist + i;
452                 if (entry->image) {
453                         IMB_freeImBuf(entry->image);
454                 }
455                 if (entry->relname)
456                         MEM_freeN(entry->relname);
457                 if (entry->path)
458                         MEM_freeN(entry->path);
459                 if (entry->poin && free_poin)
460                         free_poin(entry->poin);
461         }
462
463         if (filelist != NULL) {
464                 MEM_freeN(filelist);
465         }
466 }
467
468
469 /**
470  * Returns the file size of an opened file descriptor.
471  */
472 size_t BLI_file_descriptor_size(int file)
473 {
474         struct stat st;
475         if ((file < 0) || (fstat(file, &st) == -1))
476                 return -1;
477         return st.st_size;
478 }
479
480 /**
481  * Returns the size of a file.
482  */
483 size_t BLI_file_size(const char *path)
484 {
485         BLI_stat_t stats;
486         if (BLI_stat(path, &stats) == -1)
487                 return -1;
488         return stats.st_size;
489 }
490
491 /**
492  * Returns the st_mode from statting the specified path name, or 0 if it couldn't be statted
493  * (most likely doesn't exist or no access).
494  */
495 int BLI_exists(const char *name)
496 {
497 #if defined(WIN32) 
498         BLI_stat_t st;
499         wchar_t *tmp_16 = alloc_utf16_from_8(name, 1);
500         int len, res;
501         unsigned int old_error_mode;
502
503         len = wcslen(tmp_16);
504         /* in Windows #stat doesn't recognize dir ending on a slash
505          * so we remove it here */
506         if (len > 3 && (tmp_16[len - 1] == L'\\' || tmp_16[len - 1] == L'/')) {
507                 tmp_16[len - 1] = '\0';
508         }
509         /* two special cases where the trailing slash is needed:
510          * 1. after the share part of a UNC path
511          * 2. after the C:\ when the path is the volume only
512          */
513         if ((len >= 3) && (tmp_16[0] ==  L'\\') && (tmp_16[1] ==  L'\\')) {
514                 BLI_cleanup_unc_16(tmp_16);
515         }
516
517         if ((tmp_16[1] ==  L':') && (tmp_16[2] ==  L'\0')) {
518                 tmp_16[2] = L'\\';
519                 tmp_16[3] = L'\0';
520         }
521
522
523         /* change error mode so user does not get a "no disk in drive" popup
524          * when looking for a file on an empty CD/DVD drive */
525         old_error_mode = SetErrorMode(SEM_FAILCRITICALERRORS | SEM_NOOPENFILEERRORBOX);
526
527         res = BLI_wstat(tmp_16, &st);
528
529         SetErrorMode(old_error_mode);
530
531         free(tmp_16);
532         if (res == -1) return(0);
533 #else
534         struct stat st;
535         BLI_assert(name);
536         if (stat(name, &st)) return(0);
537 #endif
538         return(st.st_mode);
539 }
540
541
542 #ifdef WIN32
543 int BLI_stat(const char *path, BLI_stat_t *buffer)
544 {
545         int r;
546         UTF16_ENCODE(path);
547
548         r = BLI_wstat(path_16, buffer);
549
550         UTF16_UN_ENCODE(path);
551         return r;
552 }
553
554 int BLI_wstat(const wchar_t *path, BLI_stat_t *buffer)
555 {
556 #if defined(_MSC_VER) || defined(__MINGW64__)
557         return _wstat64(path, buffer);
558 #elif defined(__MINGW32__)
559         return _wstati64(path, buffer);
560 #else
561         return _wstat(path, buffer);
562 #endif
563 }
564 #else
565 int BLI_stat(const char *path, struct stat *buffer)
566 {
567         return stat(path, buffer);
568 }
569 #endif
570
571 /**
572  * Does the specified path point to a directory?
573  * \note Would be better in fileops.c except that it needs stat.h so add here
574  */
575 bool BLI_is_dir(const char *file)
576 {
577         return S_ISDIR(BLI_exists(file));
578 }
579
580 /**
581  * Does the specified path point to a non-directory?
582  */
583 bool BLI_is_file(const char *path)
584 {
585         const int mode = BLI_exists(path);
586         return (mode && !S_ISDIR(mode));
587 }
588
589 /**
590  * Reads the contents of a text file and returns the lines in a linked list.
591  */
592 LinkNode *BLI_file_read_as_lines(const char *name)
593 {
594         FILE *fp = BLI_fopen(name, "r");
595         LinkNode *lines = NULL;
596         char *buf;
597         size_t size;
598
599         if (!fp) return NULL;
600                 
601         fseek(fp, 0, SEEK_END);
602         size = (size_t)ftell(fp);
603         fseek(fp, 0, SEEK_SET);
604
605         buf = MEM_mallocN(size, "file_as_lines");
606         if (buf) {
607                 size_t i, last = 0;
608                 
609                 /*
610                  * size = because on win32 reading
611                  * all the bytes in the file will return
612                  * less bytes because of crnl changes.
613                  */
614                 size = fread(buf, 1, size, fp);
615                 for (i = 0; i <= size; i++) {
616                         if (i == size || buf[i] == '\n') {
617                                 char *line = BLI_strdupn(&buf[last], i - last);
618
619                                 BLI_linklist_prepend(&lines, line);
620                                 /* faster to build singly-linked list in reverse order */
621                                 /* alternatively, could process buffer in reverse order so
622                                  * list ends up right way round to start with */
623                                 last = i + 1;
624                         }
625                 }
626                 
627                 MEM_freeN(buf);
628         }
629         
630         fclose(fp);
631
632         /* get them the right way round */
633         BLI_linklist_reverse(&lines);
634         return lines;
635 }
636
637 /*
638  * Frees memory from a previous call to BLI_file_read_as_lines.
639  */
640 void BLI_file_free_lines(LinkNode *lines)
641 {
642         BLI_linklist_freeN(lines);
643 }
644
645 /** is file1 older then file2 */
646 bool BLI_file_older(const char *file1, const char *file2)
647 {
648 #ifdef WIN32
649 #ifndef __MINGW32__
650         struct _stat st1, st2;
651 #else
652         struct _stati64 st1, st2;
653 #endif
654
655         UTF16_ENCODE(file1);
656         UTF16_ENCODE(file2);
657         
658 #ifndef __MINGW32__
659         if (_wstat(file1_16, &st1)) return false;
660         if (_wstat(file2_16, &st2)) return false;
661 #else
662         if (_wstati64(file1_16, &st1)) return false;
663         if (_wstati64(file2_16, &st2)) return false;
664 #endif
665
666
667         UTF16_UN_ENCODE(file2);
668         UTF16_UN_ENCODE(file1);
669 #else
670         struct stat st1, st2;
671
672         if (stat(file1, &st1)) return false;
673         if (stat(file2, &st2)) return false;
674 #endif
675         return (st1.st_mtime < st2.st_mtime);
676 }
677