CMake buildbot change upload should work now
[blender.git] / build_files / buildbot / slave_pack.py
1 # ##### BEGIN GPL LICENSE BLOCK #####
2 #
3 #  This program is free software; you can redistribute it and/or
4 #  modify it under the terms of the GNU General Public License
5 #  as published by the Free Software Foundation; either version 2
6 #  of the License, or (at your option) any later version.
7 #
8 #  This program is distributed in the hope that it will be useful,
9 #  but WITHOUT ANY WARRANTY; without even the implied warranty of
10 #  MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
11 #  GNU General Public License for more details.
12 #
13 #  You should have received a copy of the GNU General Public License
14 #  along with this program; if not, write to the Free Software Foundation,
15 #  Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301, USA.
16 #
17 # ##### END GPL LICENSE BLOCK #####
18
19 # <pep8 compliant>
20
21 # Runs on buildbot slave, creating a release package using the build
22 # system and zipping it into buildbot_upload.zip. This is then uploaded
23 # to the master in the next buildbot step.
24
25 import os
26 import subprocess
27 import sys
28 import zipfile
29
30 # get builder name
31 if len(sys.argv) < 2:
32     sys.stderr.write("Not enough arguments, expecting builder name\n")
33     sys.exit(1)
34
35 builder = sys.argv[1]
36 # Never write branch if it is master.
37 branch = sys.argv[2] if (len(sys.argv) >= 3 and sys.argv[2] != 'master') else ''
38
39 # scons does own packaging
40 if builder.find('scons') != -1:
41     python_bin = 'python'
42     if builder.find('linux') != -1:
43         python_bin = '/opt/lib/python-2.7/bin/python2.7'
44
45     os.chdir('../blender.git')
46     scons_options = ['BF_QUICK=slnt', 'BUILDBOT_BRANCH=' + branch, 'buildslave', 'BF_FANCY=False']
47
48     buildbot_dir = os.path.dirname(os.path.realpath(__file__))
49     config_dir = os.path.join(buildbot_dir, 'config')
50     build_dir = os.path.join('..', 'build', builder)
51     install_dir = os.path.join('..', 'install', builder)
52
53     if builder.find('linux') != -1:
54         scons_options += ['WITH_BF_NOBLENDER=True', 'WITH_BF_PLAYER=False',
55                           'BF_BUILDDIR=' + build_dir,
56                           'BF_INSTALLDIR=' + install_dir,
57                           'WITHOUT_BF_INSTALL=True']
58
59         config = None
60         bits = None
61
62         if builder.endswith('linux_glibc211_x86_64_scons'):
63             config = 'user-config-glibc211-x86_64.py'
64             chroot_name = 'buildbot_squeeze_x86_64'
65             bits = 64
66         elif builder.endswith('linux_glibc211_i386_scons'):
67             config = 'user-config-glibc211-i686.py'
68             chroot_name = 'buildbot_squeeze_i686'
69             bits = 32
70
71         if config is not None:
72             config_fpath = os.path.join(config_dir, config)
73             scons_options.append('BF_CONFIG=' + config_fpath)
74
75         blender = os.path.join(install_dir, 'blender')
76         blenderplayer = os.path.join(install_dir, 'blenderplayer')
77         subprocess.call(['schroot', '-c', chroot_name, '--', 'strip', '--strip-all', blender, blenderplayer])
78
79         extra = '/' + os.path.join('home', 'sources', 'release-builder', 'extra')
80         mesalibs = os.path.join(extra, 'mesalibs' + str(bits) + '.tar.bz2')
81         software_gl = os.path.join(extra, 'blender-softwaregl')
82
83         os.system('tar -xpf %s -C %s' % (mesalibs, install_dir))
84         os.system('cp %s %s' % (software_gl, install_dir))
85         os.system('chmod 755 %s' % (os.path.join(install_dir, 'blender-softwaregl')))
86
87         retcode = subprocess.call(['schroot', '-c', chroot_name, '--', python_bin, 'scons/scons.py'] + scons_options)
88
89         sys.exit(retcode)
90     else:
91         if builder.find('win') != -1:
92             bitness = '32'
93
94             if builder.find('win64') != -1:
95                 bitness = '64'
96
97             scons_options.append('BF_INSTALLDIR=' + install_dir)
98             scons_options.append('BF_BUILDDIR=' + build_dir)
99             scons_options.append('BF_BITNESS=' + bitness)
100             scons_options.append('WITH_BF_CYCLES_CUDA_BINARIES=True')
101             scons_options.append('BF_CYCLES_CUDA_NVCC=nvcc.exe')
102             if builder.find('mingw') != -1:
103                 scons_options.append('BF_TOOLSET=mingw')
104             if builder.endswith('vc2013'):
105                 scons_options.append('MSVS_VERSION=12.0')
106                 scons_options.append('MSVC_VERSION=12.0')
107
108         elif builder.find('mac') != -1:
109             if builder.find('x86_64') != -1:
110                 config = 'user-config-mac-x86_64.py'
111             else:
112                 config = 'user-config-mac-i386.py'
113
114             scons_options.append('BF_CONFIG=' + os.path.join(config_dir, config))
115
116         retcode = subprocess.call([python_bin, 'scons/scons.py'] + scons_options)
117         sys.exit(retcode)
118 else:
119 #cmake
120     if 'win' in builder:
121         files = [f for f in os.listdir('.') if os.path.isfile(f) and f.endswith('.zip')]
122         for f in files:
123             os.remove(f)
124         retcode = subprocess.call(['cpack', '-G','ZIP'])
125         result_file = [f for f in os.listdir('.') if os.path.isfile(f) and f.endswith('.zip')][0]
126         os.rename(result_file, "{}.zip".format(builder))
127         # create zip file
128         try:
129             upload_zip = "buildbot_upload.zip"
130             if os.path.exists(upload_zip):
131                 os.remove(upload_zip)
132             z = zipfile.ZipFile(upload_zip, "w", compression=zipfile.ZIP_STORED)
133             z.write("{}.zip".format(builder))
134             z.close()
135             sys.exit(retcode)
136         except Exception, ex:
137             sys.stderr.write('Create buildbot_upload.zip failed' + str(ex) + '\n')
138             sys.exit(1)
139
140
141 # clean release directory if it already exists
142 release_dir = 'release'
143
144 if os.path.exists(release_dir):
145     for f in os.listdir(release_dir):
146         if os.path.isfile(os.path.join(release_dir, f)):
147             os.remove(os.path.join(release_dir, f))
148
149 # create release package
150 try:
151     subprocess.call(['make', 'package_archive'])
152 except Exception, ex:
153     sys.stderr.write('Make package release failed' + str(ex) + '\n')
154     sys.exit(1)
155
156 # find release directory, must exist this time
157 if not os.path.exists(release_dir):
158     sys.stderr.write("Failed to find release directory %r.\n" % release_dir)
159     sys.exit(1)
160
161 # find release package
162 file = None
163 filepath = None
164
165 for f in os.listdir(release_dir):
166     rf = os.path.join(release_dir, f)
167     if os.path.isfile(rf) and f.startswith('blender'):
168         file = f
169         filepath = rf
170
171 if not file:
172     sys.stderr.write("Failed to find release package.\n")
173     sys.exit(1)
174
175 # create zip file
176 try:
177     upload_zip = "buildbot_upload.zip"
178     if os.path.exists(upload_zip):
179         os.remove(upload_zip)
180     z = zipfile.ZipFile(upload_zip, "w", compression=zipfile.ZIP_STORED)
181     z.write(filepath, arcname=file)
182     z.close()
183 except Exception, ex:
184     sys.stderr.write('Create buildbot_upload.zip failed' + str(ex) + '\n')
185     sys.exit(1)