62690ff4f3c22a99d401cc0d4c6fb490537f0890
[blender-staging.git] / source / blender / blenlib / intern / BLI_filelist.c
1 /*
2  * ***** BEGIN GPL LICENSE BLOCK *****
3  *
4  * This program is free software; you can redistribute it and/or
5  * modify it under the terms of the GNU General Public License
6  * as published by the Free Software Foundation; either version 2
7  * of the License, or (at your option) any later version.
8  *
9  * This program is distributed in the hope that it will be useful,
10  * but WITHOUT ANY WARRANTY; without even the implied warranty of
11  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
12  * GNU General Public License for more details.
13  *
14  * You should have received a copy of the GNU General Public License
15  * along with this program; if not, write to the Free Software Foundation,
16  * Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301, USA.
17  *
18  * ***** END GPL LICENSE BLOCK *****
19  */
20
21 /** \file blender/blenlib/intern/BLI_filelist.c
22  *  \ingroup bli
23  */
24
25 #include <sys/types.h>
26 #include <stdio.h>
27 #include <stdlib.h>
28
29 #ifndef WIN32
30 #  include <dirent.h>
31 #endif
32
33 #include <time.h>
34 #include <sys/stat.h>
35 #include <string.h>  /* strcpy etc.. */
36
37 #ifdef WIN32
38 #  include <io.h>
39 #  include <direct.h>
40 #  include "BLI_winstuff.h"
41 #  include "utfconv.h"
42 #else
43 #  include <sys/ioctl.h>
44 #  include <unistd.h>
45 #  include <pwd.h>
46 #endif
47
48 /* lib includes */
49 #include "MEM_guardedalloc.h"
50
51 #include "DNA_listBase.h"
52
53 #include "BLI_listbase.h"
54 #include "BLI_string.h"
55 #include "BLI_fileops.h"
56 #include "BLI_fileops_types.h"
57 #include "BLI_path_util.h"
58
59 #include "../imbuf/IMB_imbuf.h"
60
61
62 /*
63  * Ordering function for sorting lists of files/directories. Returns -1 if
64  * entry1 belongs before entry2, 0 if they are equal, 1 if they should be swapped.
65  */
66 static int bli_compare(struct direntry *entry1, struct direntry *entry2)
67 {
68         /* type is equal to stat.st_mode */
69
70         /* directories come before non-directories */
71         if (S_ISDIR(entry1->type)) {
72                 if (S_ISDIR(entry2->type) == 0) return (-1);
73         }
74         else {
75                 if (S_ISDIR(entry2->type)) return (1);
76         }
77         /* non-regular files come after regular files */
78         if (S_ISREG(entry1->type)) {
79                 if (S_ISREG(entry2->type) == 0) return (-1);
80         }
81         else {
82                 if (S_ISREG(entry2->type)) return (1);
83         }
84         /* arbitrary, but consistent, ordering of different types of non-regular files */
85         if ((entry1->type & S_IFMT) < (entry2->type & S_IFMT)) return (-1);
86         if ((entry1->type & S_IFMT) > (entry2->type & S_IFMT)) return (1);
87
88         /* OK, now we know their S_IFMT fields are the same, go on to a name comparison */
89         /* make sure "." and ".." are always first */
90         if (FILENAME_IS_CURRENT(entry1->relname)) return (-1);
91         if (FILENAME_IS_CURRENT(entry2->relname)) return (1);
92         if (FILENAME_IS_PARENT(entry1->relname)) return (-1);
93         if (FILENAME_IS_PARENT(entry2->relname)) return (1);
94
95         return (BLI_natstrcmp(entry1->relname, entry2->relname));
96 }
97
98
99 struct BuildDirCtx {
100         struct direntry *files; /* array[nrfiles] */
101         int nrfiles;
102 };
103
104 /**
105  * Scans the directory named *dirname and appends entries for its contents to files.
106  */
107 static void bli_builddir(struct BuildDirCtx *dir_ctx, const char *dirname)
108 {
109         struct ListBase dirbase = {NULL, NULL};
110         int newnum = 0;
111         DIR *dir;
112
113         if ((dir = opendir(dirname)) != NULL) {
114                 const struct dirent *fname;
115                 bool has_current = false, has_parent = false;
116
117                 while ((fname = readdir(dir)) != NULL) {
118                         struct dirlink * const dlink = (struct dirlink *)malloc(sizeof(struct dirlink));
119                         if (dlink != NULL) {
120                                 dlink->name = BLI_strdup(fname->d_name);
121                                 if (FILENAME_IS_PARENT(dlink->name)) {
122                                         has_parent = true;
123                                 }
124                                 else if (FILENAME_IS_CURRENT(dlink->name)) {
125                                         has_current = true;
126                                 }
127                                 BLI_addhead(&dirbase, dlink);
128                                 newnum++;
129                         }
130                 }
131
132                 if (!has_parent) {
133                         char pardir[FILE_MAXDIR];
134
135                         BLI_strncpy(pardir, dirname, sizeof(pardir));
136                         if (BLI_parent_dir(pardir) && (BLI_access(pardir, R_OK) == 0)) {
137                                 struct dirlink * const dlink = (struct dirlink *)malloc(sizeof(struct dirlink));
138                                 if (dlink != NULL) {
139                                         dlink->name = BLI_strdup(FILENAME_PARENT);
140                                         BLI_addhead(&dirbase, dlink);
141                                         newnum++;
142                                 }
143                         }
144                 }
145                 if (!has_current) {
146                         struct dirlink * const dlink = (struct dirlink *)malloc(sizeof(struct dirlink));
147                         if (dlink != NULL) {
148                                 dlink->name = BLI_strdup(FILENAME_CURRENT);
149                                 BLI_addhead(&dirbase, dlink);
150                                 newnum++;
151                         }
152                 }
153
154                 if (newnum) {
155                         if (dir_ctx->files) {
156                                 void * const tmp = MEM_reallocN(dir_ctx->files, (dir_ctx->nrfiles + newnum) * sizeof(struct direntry));
157                                 if (tmp) {
158                                         dir_ctx->files = (struct direntry *)tmp;
159                                 }
160                                 else { /* realloc fail */
161                                         MEM_freeN(dir_ctx->files);
162                                         dir_ctx->files = NULL;
163                                 }
164                         }
165
166                         if (dir_ctx->files == NULL)
167                                 dir_ctx->files = (struct direntry *)MEM_mallocN(newnum * sizeof(struct direntry), __func__);
168
169                         if (dir_ctx->files) {
170                                 struct dirlink * dlink = (struct dirlink *) dirbase.first;
171                                 struct direntry *file = &dir_ctx->files[dir_ctx->nrfiles];
172                                 while (dlink) {
173                                         char fullname[PATH_MAX];
174                                         memset(file, 0, sizeof(struct direntry));
175                                         file->relname = dlink->name;
176                                         file->path = BLI_strdupcat(dirname, dlink->name);
177                                         BLI_join_dirfile(fullname, sizeof(fullname), dirname, dlink->name);
178                                         if (BLI_stat(fullname, &file->s) != -1) {
179                                                 file->type = file->s.st_mode;
180                                         }
181                                         else if (FILENAME_IS_CURRPAR(file->relname)) {
182                                                 /* Hack around for UNC paths on windows - does not support stat on '\\SERVER\foo\..', sigh... */
183                                                 file->type |= S_IFDIR;
184                                         }
185                                         dir_ctx->nrfiles++;
186                                         file++;
187                                         dlink = dlink->next;
188                                 }
189                         }
190                         else {
191                                 printf("Couldn't get memory for dir\n");
192                                 exit(1);
193                         }
194
195                         BLI_freelist(&dirbase);
196                         if (dir_ctx->files) {
197                                 qsort(dir_ctx->files, dir_ctx->nrfiles, sizeof(struct direntry), (int (*)(const void *, const void *))bli_compare);
198                         }
199                 }
200                 else {
201                         printf("%s empty directory\n", dirname);
202                 }
203
204                 closedir(dir);
205         }
206         else {
207                 printf("%s non-existent directory\n", dirname);
208         }
209 }
210
211 /**
212  * Scans the contents of the directory named *dirname, and allocates and fills in an
213  * array of entries describing them in *filelist.
214  *
215  * \return The length of filelist array.
216  */
217 unsigned int BLI_filelist_dir_contents(const char *dirname,  struct direntry **r_filelist)
218 {
219         struct BuildDirCtx dir_ctx;
220
221         dir_ctx.nrfiles = 0;
222         dir_ctx.files = NULL;
223
224         bli_builddir(&dir_ctx, dirname);
225
226         if (dir_ctx.files) {
227                 *r_filelist = dir_ctx.files;
228         }
229         else {
230                 // keep blender happy. Blender stores this in a variable
231                 // where 0 has special meaning.....
232                 *r_filelist = MEM_mallocN(sizeof(**r_filelist), __func__);
233         }
234
235         return dir_ctx.nrfiles;
236 }
237
238 /**
239  * Convert given entry's size into human-readable strings.
240  *
241  */
242 void BLI_filelist_entry_size_to_string(
243         const struct stat *st, const uint64_t sz, const bool compact, char r_size[FILELIST_DIRENTRY_SIZE_LEN])
244 {
245         double size;
246         const char *fmt;
247         const char *units[] = {"KiB", "MiB", "GiB", "TiB", NULL};
248         const char *units_compact[] = {"K", "M", "G", "T", NULL};
249         const char *unit = "B";
250
251         /*
252          * Seems st_size is signed 32-bit value in *nix and Windows.  This
253          * will buy us some time until files get bigger than 4GB or until
254          * everyone starts using __USE_FILE_OFFSET64 or equivalent.
255          */
256         size = (double)(st ? st->st_size : sz);
257
258         if (size > 1024.0) {
259                 const char **u;
260                 for (u = compact ? units_compact : units, size /= 1024.0; size > 1024.0 && *(u + 1); u++, size /= 1024.0);
261                 fmt =  size > 100.0 ? "%.0f %s" : (size > 10.0 ? "%.1f %s" : "%.2f %s");
262                 unit = *u;
263         }
264         else {
265                 fmt = "%.0f %s";
266         }
267
268         BLI_snprintf(r_size, sizeof(*r_size) * FILELIST_DIRENTRY_SIZE_LEN, fmt, size, unit);
269 }
270
271 /**
272  * Convert given entry's modes into human-readable strings.
273  *
274  */
275 void BLI_filelist_entry_mode_to_string(
276         const struct stat *st, const bool UNUSED(compact), char r_mode1[FILELIST_DIRENTRY_MODE_LEN],
277         char r_mode2[FILELIST_DIRENTRY_MODE_LEN], char r_mode3[FILELIST_DIRENTRY_MODE_LEN])
278 {
279         const char *types[8] = {"---", "--x", "-w-", "-wx", "r--", "r-x", "rw-", "rwx"};
280
281 #ifdef WIN32
282         BLI_strncpy(r_mode1, types[0], sizeof(*r_mode1) * FILELIST_DIRENTRY_MODE_LEN);
283         BLI_strncpy(r_mode2, types[0], sizeof(*r_mode2) * FILELIST_DIRENTRY_MODE_LEN);
284         BLI_strncpy(r_mode3, types[0], sizeof(*r_mode3) * FILELIST_DIRENTRY_MODE_LEN);
285 #else
286         const int mode = st->st_mode;
287
288         BLI_strncpy(r_mode1, types[(mode & 0700) >> 6], sizeof(*r_mode1) * FILELIST_DIRENTRY_MODE_LEN);
289         BLI_strncpy(r_mode2, types[(mode & 0070) >> 3], sizeof(*r_mode2) * FILELIST_DIRENTRY_MODE_LEN);
290         BLI_strncpy(r_mode3, types[(mode & 0007)],      sizeof(*r_mode3) * FILELIST_DIRENTRY_MODE_LEN);
291
292         if (((mode & S_ISGID) == S_ISGID) && (r_mode2[2] == '-')) r_mode2[2] = 'l';
293
294         if (mode & (S_ISUID | S_ISGID)) {
295                 if (r_mode1[2] == 'x') r_mode1[2] = 's';
296                 else r_mode1[2] = 'S';
297
298                 if (r_mode2[2] == 'x') r_mode2[2] = 's';
299         }
300
301         if (mode & S_ISVTX) {
302                 if (r_mode3[2] == 'x') r_mode3[2] = 't';
303                 else r_mode3[2] = 'T';
304         }
305 #endif
306 }
307
308 /**
309  * Convert given entry's owner into human-readable strings.
310  *
311  */
312 void BLI_filelist_entry_owner_to_string(
313         const struct stat *st, const bool UNUSED(compact), char r_owner[FILELIST_DIRENTRY_OWNER_LEN])
314 {
315 #ifdef WIN32
316         strcpy(r_owner, "unknown");
317 #else
318         struct passwd *pwuser = getpwuid(st->st_uid);
319
320         if (pwuser) {
321                 BLI_strncpy(r_owner, pwuser->pw_name, sizeof(*r_owner) * FILELIST_DIRENTRY_OWNER_LEN);
322         }
323         else {
324                 BLI_snprintf(r_owner, sizeof(*r_owner) * FILELIST_DIRENTRY_OWNER_LEN, "%u", st->st_uid);
325         }
326 #endif
327 }
328
329 /**
330  * Convert given entry's time into human-readable strings.
331  */
332 void BLI_filelist_entry_datetime_to_string(
333         const struct stat *st, const int64_t ts, const bool compact,
334         char r_time[FILELIST_DIRENTRY_TIME_LEN], char r_date[FILELIST_DIRENTRY_DATE_LEN])
335 {
336         const struct tm *tm = localtime(st ? &st->st_mtime : &ts);
337         const time_t zero = 0;
338
339         /* Prevent impossible dates in windows. */
340         if (tm == NULL) {
341                 tm = localtime(&zero);
342         }
343
344         if (r_time) {
345                 strftime(r_time, sizeof(*r_time) * FILELIST_DIRENTRY_TIME_LEN, "%H:%M", tm);
346         }
347         if (r_date) {
348                 strftime(r_date, sizeof(*r_date) * FILELIST_DIRENTRY_DATE_LEN, compact ? "%d/%m/%y" : "%d-%b-%y", tm);
349         }
350 }
351
352 /**
353  * Deep-duplicate of a single direntry.
354  *
355  * \param dup_poin If given, called for each non-NULL direntry->poin. Otherwise, pointer is always simply copied over.
356  */
357 void BLI_filelist_entry_duplicate(struct direntry *dst, const struct direntry *src)
358 {
359         *dst = *src;
360         if (dst->relname) {
361                 dst->relname = MEM_dupallocN(src->relname);
362         }
363         if (dst->path) {
364                 dst->path = MEM_dupallocN(src->path);
365         }
366 }
367
368 /**
369  * Deep-duplicate of an array of direntries, including the array itself.
370  *
371  * \param dup_poin If given, called for each non-NULL direntry->poin. Otherwise, pointer is always simply copied over.
372  */
373 void BLI_filelist_duplicate(
374         struct direntry **dest_filelist, struct direntry * const src_filelist, const unsigned int nrentries)
375 {
376         unsigned int i;
377
378         *dest_filelist = MEM_mallocN(sizeof(**dest_filelist) * (size_t)(nrentries), __func__);
379         for (i = 0; i < nrentries; ++i) {
380                 struct direntry * const src = &src_filelist[i];
381                 struct direntry *dst = &(*dest_filelist)[i];
382                 BLI_filelist_entry_duplicate(dst, src);
383         }
384 }
385
386 /**
387  * frees storage for a single direntry, not the direntry itself.
388  */
389 void BLI_filelist_entry_free(struct direntry *entry)
390 {
391         if (entry->relname) {
392                 MEM_freeN((void *)entry->relname);
393         }
394         if (entry->path) {
395                 MEM_freeN((void *)entry->path);
396         }
397 }
398
399 /**
400  * frees storage for an array of direntries, including the array itself.
401  */
402 void BLI_filelist_free(struct direntry *filelist, const unsigned int nrentries)
403 {
404         unsigned int i;
405         for (i = 0; i < nrentries; ++i) {
406                 BLI_filelist_entry_free(&filelist[i]);
407         }
408
409         if (filelist != NULL) {
410                 MEM_freeN(filelist);
411         }
412 }