<div dir="ltr"><div>OK, so the bottleneck is in "INSTALL / TEST (IMPORT IMAGES)" stage with 2 Triple-O scenario, 3 Packstack and 3 OpenStack-Puppet test jobs. So we may need up to (4 core, 8 GB memory)*3 to cover PackStack and OpenStack-Puppet path as each Triple-O scenario will need about 90 minutes. (So the shortest time is limited to 90 minutes assuming we maximize the parallelism level. )<br><br></div>Now i need some input about the resource requirements for Triple-O test scenarios.<br><div><br><div><br></div></div></div><div class="gmail_extra"><br clear="all"><div><div class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div>Regards,<br><br>Alex Meng<a href="mailto:mengxiandong@gmail.com" target="_blank"></a><br></div><div><a href="mailto:mengxiandong@gmail.com" target="_blank">mengxiandong@gmail.com</a><br></div></div></div></div></div></div>
<br><div class="gmail_quote">On Thu, Aug 11, 2016 at 4:11 PM, David Moreau Simard <span dir="ltr"><<a href="mailto:dms@redhat.com" target="_blank">dms@redhat.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Right now the jobs are sequenced as outlined in the pipeline [1].<br>
<br>
First, the job "rdo-promote-get-hash-master" will run. If it is<br>
successful, it triggers the next "stage" of the pipeline.<br>
Then, the job "tripleo-quickstart-promote-<wbr>master-delorean-build-images"<br>
will run. If it is successfull, it triggers the next "stage" of the<br>
pipeline.<br>
After that you have 8 jobs that, if capacity allows (usually the<br>
case), will all run simultaneously. Otherwise, builds can be queued<br>
until a slave can process them.<br>
... and so on.<br>
<br>
We can't realistically run all these jobs in a sequence.<br>
Considering they complete in 45 minutes (or more), we'd be looking at<br>
a pipeline of over 6 hours of builds.<br>
<br>
[1]: <a href="https://ci.centos.org/view/rdo/view/promotion-pipeline/job/rdo-delorean-promote-master/" rel="noreferrer" target="_blank">https://ci.centos.org/view/<wbr>rdo/view/promotion-pipeline/<wbr>job/rdo-delorean-promote-<wbr>master/</a><br>
<span class="im HOEnZb"><br>
David Moreau Simard<br>
Senior Software Engineer | Openstack RDO<br>
<br>
dmsimard = [irc, github, twitter]<br>
<br>
<br>
</span><div class="HOEnZb"><div class="h5">On Wed, Aug 10, 2016 at 11:52 PM, Xiandong Meng <<a href="mailto:mengxiandong@gmail.com">mengxiandong@gmail.com</a>> wrote:<br>
> OK, i mean on the same time, how many concurrent CI jobs may be running? For<br>
> example, at peak load, will weirdo-master-promote-<wbr>packstack-scenario001 ,<br>
> weirdo-master-promote-<wbr>packstack-scenario002 ,<br>
> weirdo-master-promote-<wbr>packstack-scenario003 run at the same time? Or they<br>
> will run in sequence by design?<br>
><br>
><br>
> Regards,<br>
><br>
> Alex Meng<br>
> <a href="mailto:mengxiandong@gmail.com">mengxiandong@gmail.com</a><br>
><br>
> On Thu, Aug 11, 2016 at 2:50 PM, David Moreau Simard <<a href="mailto:dms@redhat.com">dms@redhat.com</a>> wrote:<br>
>><br>
>> Alex,<br>
>><br>
>> Can you expand on what you mean by that ?<br>
>> The concurrency (or lack thereof) of the jobs are more about the<br>
>> design of the job itself -- or the environment it is run from as well<br>
>> as the environment it is run on.<br>
>><br>
>> The jobs part of the promotion pipeline [1] run a couple times per day.<br>
>><br>
>> [1]: <a href="https://ci.centos.org/view/rdo/view/promotion-pipeline/" rel="noreferrer" target="_blank">https://ci.centos.org/view/<wbr>rdo/view/promotion-pipeline/</a><br>
>><br>
>> David Moreau Simard<br>
>> Senior Software Engineer | Openstack RDO<br>
>><br>
>> dmsimard = [irc, github, twitter]<br>
>><br>
>><br>
>> On Wed, Aug 10, 2016 at 9:45 PM, Xiandong Meng <<a href="mailto:mengxiandong@gmail.com">mengxiandong@gmail.com</a>><br>
>> wrote:<br>
>> > David, thank you for your response.<br>
>> ><br>
>> > For Packstack and Puppet-OpenStack jobs, I noticed that usually each job<br>
>> > takes no more than 45 minutes. How many jobs may run in parallel and how<br>
>> > often they are triggered?<br>
>> ><br>
>> > Regards,<br>
>> ><br>
>> > Alex Meng<br>
>> > <a href="mailto:mengxiandong@gmail.com">mengxiandong@gmail.com</a><br>
>> ><br>
>> > On Thu, Aug 11, 2016 at 2:24 AM, David Moreau Simard <<a href="mailto:dms@redhat.com">dms@redhat.com</a>><br>
>> > wrote:<br>
>> >><br>
>> >> Hi Alex,<br>
>> >><br>
>> >> I don't know the specifics of resource usage for alternative<br>
>> >> architectures but I can tell about x86_64.<br>
>> >><br>
>> >> Packstack and Puppet-OpenStack jobs are designed to run within 8GB of<br>
>> >> RAM - either on a single virtual machine or on a single bare metal<br>
>> >> server.<br>
>> >> I would say 4 cores is the minimum (or otherwise job length is<br>
>> >> severely affected), 8 is best.<br>
>> >> Disk space is not generally a concern, easily fitting within 50GB of<br>
>> >> space.<br>
>> >><br>
>> >> I don't have the numbers for TripleO so I'll let someone else chime in<br>
>> >> on<br>
>> >> that.<br>
>> >><br>
>> >> David Moreau Simard<br>
>> >> Senior Software Engineer | Openstack RDO<br>
>> >><br>
>> >> dmsimard = [irc, github, twitter]<br>
>> >><br>
>> >><br>
>> >> On Wed, Aug 10, 2016 at 6:18 AM, Xiandong Meng <<a href="mailto:mengxiandong@gmail.com">mengxiandong@gmail.com</a>><br>
>> >> wrote:<br>
>> >> > We had discussed it a bit in previous RDO meeting on irc. I want to<br>
>> >> > write a<br>
>> >> > separate mail<br>
>> >> > for more broad and in-depth discussion here.<br>
>> >> ><br>
>> >> ><br>
>> >> > For a master release (for now it is Newton), i noticed the promotion<br>
>> >> > pipes<br>
>> >> > fall into three different categories:<br>
>> >> > - Triple-O based CI test<br>
>> >> > - Packstack based test<br>
>> >> > - OpenStack-Puppet based test<br>
>> >> ><br>
>> >> > So what is the base minimal CI requirements to start with for AltArch<br>
>> >> > support? Since many of the CI test should work even with VMs instead<br>
>> >> > of<br>
>> >> > physical nodes, can we start<br>
>> >> > with 1-2 physical servers?<br>
>> >> ><br>
>> >> > Regards,<br>
>> >> ><br>
>> >> > Alex Meng<br>
>> >> > <a href="mailto:mengxiandong@gmail.com">mengxiandong@gmail.com</a><br>
>> >> ><br>
>> >> > ______________________________<wbr>_________________<br>
>> >> > rdo-list mailing list<br>
>> >> > <a href="mailto:rdo-list@redhat.com">rdo-list@redhat.com</a><br>
>> >> > <a href="https://www.redhat.com/mailman/listinfo/rdo-list" rel="noreferrer" target="_blank">https://www.redhat.com/<wbr>mailman/listinfo/rdo-list</a><br>
>> >> ><br>
>> >> > To unsubscribe: <a href="mailto:rdo-list-unsubscribe@redhat.com">rdo-list-unsubscribe@redhat.<wbr>com</a><br>
>> ><br>
>> ><br>
><br>
><br>
</div></div></blockquote></div><br></div>