aec7cdca80a3b51a9ea7b6f5852c2c52df721a8e
[blender.git] / build_files / buildbot / slave_pack.py
1 # ##### BEGIN GPL LICENSE BLOCK #####
2 #
3 #  This program is free software; you can redistribute it and/or
4 #  modify it under the terms of the GNU General Public License
5 #  as published by the Free Software Foundation; either version 2
6 #  of the License, or (at your option) any later version.
7 #
8 #  This program is distributed in the hope that it will be useful,
9 #  but WITHOUT ANY WARRANTY; without even the implied warranty of
10 #  MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
11 #  GNU General Public License for more details.
12 #
13 #  You should have received a copy of the GNU General Public License
14 #  along with this program; if not, write to the Free Software Foundation,
15 #  Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301, USA.
16 #
17 # ##### END GPL LICENSE BLOCK #####
18
19 # <pep8 compliant>
20
21 # Runs on buildbot slave, creating a release package using the build
22 # system and zipping it into buildbot_upload.zip. This is then uploaded
23 # to the master in the next buildbot step.
24
25 import os
26 import subprocess
27 import sys
28 import zipfile
29
30 # get builder name
31 if len(sys.argv) < 2:
32     sys.stderr.write("Not enough arguments, expecting builder name\n")
33     sys.exit(1)
34
35 builder = sys.argv[1]
36 # Never write branch if it is master.
37 branch = sys.argv[2] if (len(sys.argv) >= 3 and sys.argv[2] != 'master') else ''
38
39 # scons does own packaging
40 if builder.find('scons') != -1:
41     python_bin = 'python'
42     if builder.find('linux') != -1:
43         python_bin = '/opt/lib/python-2.7/bin/python2.7'
44
45     os.chdir('../blender.git')
46     scons_options = ['BF_QUICK=slnt', 'BUILDBOT_BRANCH=' + branch, 'buildslave', 'BF_FANCY=False']
47
48     buildbot_dir = os.path.dirname(os.path.realpath(__file__))
49     config_dir = os.path.join(buildbot_dir, 'config')
50     build_dir = os.path.join('..', 'build', builder)
51     install_dir = os.path.join('..', 'install', builder)
52
53     if builder.find('linux') != -1:
54         scons_options += ['WITH_BF_NOBLENDER=True', 'WITH_BF_PLAYER=False',
55                           'BF_BUILDDIR=' + build_dir,
56                           'BF_INSTALLDIR=' + install_dir,
57                           'WITHOUT_BF_INSTALL=True']
58
59         config = None
60         bits = None
61
62         if builder.endswith('linux_glibc211_x86_64_scons'):
63             config = 'user-config-glibc211-x86_64.py'
64             chroot_name = 'buildbot_squeeze_x86_64'
65             bits = 64
66         elif builder.endswith('linux_glibc211_i386_scons'):
67             config = 'user-config-glibc211-i686.py'
68             chroot_name = 'buildbot_squeeze_i686'
69             bits = 32
70
71         if config is not None:
72             config_fpath = os.path.join(config_dir, config)
73             scons_options.append('BF_CONFIG=' + config_fpath)
74
75         blender = os.path.join(install_dir, 'blender')
76         blenderplayer = os.path.join(install_dir, 'blenderplayer')
77         subprocess.call(['schroot', '-c', chroot_name, '--', 'strip', '--strip-all', blender, blenderplayer])
78
79         extra = '/' + os.path.join('home', 'sources', 'release-builder', 'extra')
80         mesalibs = os.path.join(extra, 'mesalibs' + str(bits) + '.tar.bz2')
81         software_gl = os.path.join(extra, 'blender-softwaregl')
82
83         os.system('tar -xpf %s -C %s' % (mesalibs, install_dir))
84         os.system('cp %s %s' % (software_gl, install_dir))
85         os.system('chmod 755 %s' % (os.path.join(install_dir, 'blender-softwaregl')))
86
87         retcode = subprocess.call(['schroot', '-c', chroot_name, '--', python_bin, 'scons/scons.py'] + scons_options)
88
89         sys.exit(retcode)
90     else:
91         if builder.find('win') != -1:
92             bitness = '32'
93
94             if builder.find('win64') != -1:
95                 bitness = '64'
96
97             scons_options.append('BF_INSTALLDIR=' + install_dir)
98             scons_options.append('BF_BUILDDIR=' + build_dir)
99             scons_options.append('BF_BITNESS=' + bitness)
100             scons_options.append('WITH_BF_CYCLES_CUDA_BINARIES=True')
101             scons_options.append('BF_CYCLES_CUDA_NVCC=nvcc.exe')
102             if builder.find('mingw') != -1:
103                 scons_options.append('BF_TOOLSET=mingw')
104             if builder.endswith('vc2013'):
105                 scons_options.append('MSVS_VERSION=12.0')
106                 scons_options.append('MSVC_VERSION=12.0')
107
108         elif builder.find('mac') != -1:
109             if builder.find('x86_64') != -1:
110                 config = 'user-config-mac-x86_64.py'
111             else:
112                 config = 'user-config-mac-i386.py'
113
114             scons_options.append('BF_CONFIG=' + os.path.join(config_dir, config))
115
116         retcode = subprocess.call([python_bin, 'scons/scons.py'] + scons_options)
117         sys.exit(retcode)
118 else:
119     # CMake
120     if 'win' in builder:
121         files = [f for f in os.listdir('.') if os.path.isfile(f) and f.endswith('.zip')]
122         for f in files:
123             os.remove(f)
124         retcode = subprocess.call(['cpack', '-G', 'ZIP'])
125         result_file = [f for f in os.listdir('.') if os.path.isfile(f) and f.endswith('.zip')][0]
126
127         # TODO(sergey): Such magic usually happens in SCon's packaging bu we don't have it
128         # in the CMake yet. For until then we do some magic here.
129         tokens = result_file.split('-')
130         blender_version = tokens[1].split('.')
131         blender_full_version = '.'.join(blender_version[0:2])
132         git_hash = tokens[2].split('.')[1]
133         platform = builder.split('_')[0]
134         builderified_name = 'blender-{}-{}-{}'.format(blender_full_version, git_hash, platform)
135         if branch != '':
136             builderified_name = branch + "-" + builderified_name
137
138         os.rename(result_file, "{}.zip".format(builderified_name))
139         # create zip file
140         try:
141             upload_zip = "buildbot_upload.zip"
142             if os.path.exists(upload_zip):
143                 os.remove(upload_zip)
144             z = zipfile.ZipFile(upload_zip, "w", compression=zipfile.ZIP_STORED)
145             z.write("{}.zip".format(builderified_name))
146             z.close()
147             sys.exit(retcode)
148         except Exception as ex:
149             sys.stderr.write('Create buildbot_upload.zip failed' + str(ex) + '\n')
150             sys.exit(1)
151
152
153 # clean release directory if it already exists
154 release_dir = 'release'
155
156 if os.path.exists(release_dir):
157     for f in os.listdir(release_dir):
158         if os.path.isfile(os.path.join(release_dir, f)):
159             os.remove(os.path.join(release_dir, f))
160
161 # create release package
162 try:
163     subprocess.call(['make', 'package_archive'])
164 except Exception as ex:
165     sys.stderr.write('Make package release failed' + str(ex) + '\n')
166     sys.exit(1)
167
168 # find release directory, must exist this time
169 if not os.path.exists(release_dir):
170     sys.stderr.write("Failed to find release directory %r.\n" % release_dir)
171     sys.exit(1)
172
173 # find release package
174 file = None
175 filepath = None
176
177 for f in os.listdir(release_dir):
178     rf = os.path.join(release_dir, f)
179     if os.path.isfile(rf) and f.startswith('blender'):
180         file = f
181         filepath = rf
182
183 if not file:
184     sys.stderr.write("Failed to find release package.\n")
185     sys.exit(1)
186
187 # create zip file
188 try:
189     upload_zip = "buildbot_upload.zip"
190     if os.path.exists(upload_zip):
191         os.remove(upload_zip)
192     z = zipfile.ZipFile(upload_zip, "w", compression=zipfile.ZIP_STORED)
193     z.write(filepath, arcname=file)
194     z.close()
195 except Exception as ex:
196     sys.stderr.write('Create buildbot_upload.zip failed' + str(ex) + '\n')
197     sys.exit(1)