<div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote">On Mon, Sep 12, 2016 at 5:54 PM, Wesley Hayutin <span dir="ltr"><<a href="mailto:whayutin@redhat.com" target="_blank">whayutin@redhat.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote"><span class="gmail-">On Mon, Sep 12, 2016 at 5:52 PM, David Moreau Simard <span dir="ltr"><<a href="mailto:dms@redhat.com" target="_blank">dms@redhat.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Can we keep the promotion jobs enabled and just disable the jobs that<br>
actually upload the images ?<br>
<br>
We need visibility on ongoing issues, if there are any, and the jobs<br>
have already been disabled since test day last week.<br></blockquote><div><br></div></span><div>Ya.. that is a better idea.. will adjust them.</div><div>Thanks</div><span class="gmail-"><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
<br>
David Moreau Simard<br>
Senior Software Engineer | Openstack RDO<br>
<br>
dmsimard = [irc, github, twitter]<br>
<div><div><br>
<br>
On Mon, Sep 12, 2016 at 5:37 PM, Wesley Hayutin <<a href="mailto:whayutin@redhat.com" target="_blank">whayutin@redhat.com</a>> wrote:<br>
> Greetings,<br>
><br>
> I have disabled all the RDO promotion jobs until such time we have confirmed<br>
> that images are published directly from the virthost to the ci.centos<br>
> artifacts server.<br>
><br>
> This work is being lead by Matt Young and tested and refined by John<br>
> Trowbridge and myself. If there are any requirements for promotion while<br>
> this work is done we will utilize the internal pipeline.<br>
><br>
> Thank you<br>
><br>
</div></div>> ______________________________<wbr>_________________<br>
> rdo-list mailing list<br>
> <a href="mailto:rdo-list@redhat.com" target="_blank">rdo-list@redhat.com</a><br>
> <a href="https://www.redhat.com/mailman/listinfo/rdo-list" rel="noreferrer" target="_blank">https://www.redhat.com/mailman<wbr>/listinfo/rdo-list</a><br>
><br>
> To unsubscribe: <a href="mailto:rdo-list-unsubscribe@redhat.com" target="_blank">rdo-list-unsubscribe@redhat.co<wbr>m</a><br>
</blockquote></span></div><br></div></div>
</blockquote></div><br></div><div class="gmail_extra">Greetings, </div><div class="gmail_extra"><br></div><div class="gmail_extra"><div class="gmail_extra">TLDR:  </div><div class="gmail_extra">There are unique properties to the infra at ci.centos that make it difficult to work with qcow2 images.  Transferring images across the ci.centos infra can cause instability in the ci.centos infrastructure itself.  The nature of this process is slow and difficult to test however we now believe we have resolved the issue.</div><div class="gmail_extra"><br></div><div class="gmail_extra">Details:</div></div><div class="gmail_extra"><br></div><div class="gmail_extra">I wanted to send an update to the community regarding the promotion status of RDO via CI.</div><div class="gmail_extra">The issue at hand was syncing and promoting tripleo undercloud and overcloud images to the ci.centos artifacts server.</div><div class="gmail_extra">Originally these images were synced in two steps, first synced to the jenkins slave and then to the artifacts server.  </div><div class="gmail_extra"><br></div><div class="gmail_extra">Syncing the images to the slave was causing instability in the ci.centos infra and also causing network and filesystem issues on the ci.centos slave.</div><div class="gmail_extra">Quite simply, image syncs were disrupting the infrastructure and causing failures throughout ci.centos.</div><div class="gmail_extra"><br></div><div class="gmail_extra">Through a series of patches [1-8] we have streamlined the image creation and promotion process to only sync the image once.  The artifact server *only* has</div><div class="gmail_extra">rsync available, there is no ssh service available.  It was a complicated problem to solve, but we think we have the code required merged and tests are running.</div><div class="gmail_extra"><br></div><div class="gmail_extra">Apologies for the outtage however, we had to choose between an outage and bringing down ci.centos infra.  We chose to take an outtage immediately after newton milestone 3 was promoted and the internal beta was imported.</div><div class="gmail_extra"><br></div><div class="gmail_extra">Thank you and we appreciate your patience.  </div><div class="gmail_extra"><br></div><div class="gmail_extra">[1] <a href="https://review.gerrithub.io/#/c/290337/">https://review.gerrithub.io/#/c/290337/</a></div><div class="gmail_extra">[2] <a href="https://review.gerrithub.io/#/c/290344/">https://review.gerrithub.io/#/c/290344/</a></div><div class="gmail_extra">[3] <a href="https://review.gerrithub.io/#/c/290432/">https://review.gerrithub.io/#/c/290432/</a></div><div class="gmail_extra">[4] <a href="https://review.gerrithub.io/#/c/290433/">https://review.gerrithub.io/#/c/290433/</a></div><div class="gmail_extra">[5] <a href="https://review.gerrithub.io/#/c/294590/">https://review.gerrithub.io/#/c/294590/</a></div><div class="gmail_extra">[6] <a href="https://review.gerrithub.io/#/c/294663/">https://review.gerrithub.io/#/c/294663/</a></div><div class="gmail_extra">[7] <a href="https://review.gerrithub.io/#/c/294672/">https://review.gerrithub.io/#/c/294672/</a></div><div class="gmail_extra">[8] <a href="https://review.gerrithub.io/#/c/294694/">https://review.gerrithub.io/#/c/294694/</a></div><div class="gmail_extra"><br></div></div>