<div dir="ltr">Thanks David!</div><div class="gmail_extra"><br><div class="gmail_quote">On Thu, Apr 20, 2017 at 12:26 AM, David Moreau Simard <span dir="ltr"><<a href="mailto:dms@redhat.com" target="_blank">dms@redhat.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hi,<br>
<br>
There's been a few updates worth mentioning and explaining to a wider<br>
audience as far as RDO is concerned on the <a href="http://ci.centos.org" rel="noreferrer" target="_blank">ci.centos.org</a> environment.<br>
<br>
First, please note that all packages on the five RDO slaves have been<br>
updated to the latest version.<br>
We had not yet updated to 7.3.<br>
<br>
The rdo-ci-slave01 node (the "promotion" slave) ran into some issues<br>
that took some time to fix, EPEL was enabled and it picked up python<br>
packages it shouldn't have.<br>
Things seem to be back in order now but some jobs might have failed in<br>
a weird way, triggering them again should be fine.<br>
<br>
Otherwise, all generic WeIRDO jobs are now running on OpenStack<br>
virtual machines provided by the RDO Cloud.<br>
This is provided by using the "rdo-virtualized" slave tags.<br>
The "rdo-promote-virtualized" tag will be used for the weirdo promote<br>
jobs once we're sure there's no more issues running them on the<br>
promotion slave.<br>
<br>
These tags are designed to work with WeIRDO jobs only for the time<br>
being, please contact me if you'd like to run virtualized workloads<br>
from <a href="http://ci.centos.org" rel="noreferrer" target="_blank">ci.centos.org</a>.<br>
<br>
This amounts to around 35 less jobs per day running on Duffy<br>
<a href="http://ci.centos.org" rel="noreferrer" target="_blank">ci.centos.org</a> hardware in total on a typical day (including generic<br>
weirdo jobs and promote weirdo jobs).<br>
<br>
I've re-shuffled the capacity around a bit, considering we've now<br>
freed significant capacity for bare-metal based TripleO jobs.<br>
The slave threads are now as follows:<br>
- rdo-ci-slave01: 12 threads (up from 11), tagged with "rdo-promote"<br>
and "rdo-promote-virtualized"<br>
- rdo-ci-cloudslave01: 6 threads (up from 4), tagged with "rdo"<br>
- rdo-ci-cloudslave02: 6 threads (up from 4), tagged with "rdo"<br>
- rdo-ci-cloudslave03: 8 threads (up from 4), tagged with "rdo-virtualized"<br>
- rdo-ci-cloudslave04: 8 threads (down from 15), tagged with "rdo-virtualized"<br>
<br>
There is a specific reason why cloudslave03 and cloudslave04 amount to<br>
16 threads between the two, it is to match the quota we have been<br>
given in terms of capacity at RDO cloud.<br>
The threads will be used to artificially limit the amount of jobs run<br>
against the cloud concurrently without needing to implement queueing<br>
on our end.<br>
<br>
You'll otherwise notice the net effect for the "rdo" and "rdo-promote"<br>
tag isn't much, at least for the time being, it's very much the same<br>
since I've re-allocated cloudslave03 to load balance virtualized jobs.<br>
However, jobs are likely to be more reliable and faster now that they<br>
won't have to retry for nodes because we're less likely to hit<br>
rate-limiting.<br>
<br>
I'll monitor the situation over the next few days and bump the numbers<br>
if everything is looking good.<br>
That said, I'd like to hear about your feedback if you feel things are<br>
looking better and if we are running into "out of inventory" errors<br>
less often.<br>
<br>
Let me know if you have any questions,<br>
<br>
David Moreau Simard<br>
Senior Software Engineer | Openstack RDO<br>
<br>
dmsimard = [irc, github, twitter]<br>
</blockquote></div><br></div>