<div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote">On Tue, Oct 10, 2017 at 10:42 PM, David Moreau Simard <span dir="ltr"><<a href="mailto:dms@redhat.com" target="_blank">dms@redhat.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hi,<br>
<br>
TL;DR: All images have been mistakenly deleted by a script [0], sorry<br>
about that. Images and tags will be repopulated on the next periodic<br>
job.<br>
<br>
As you might already know, the private RDO container registry we use<br>
for CI purposes is an "OpenShift Standalone Registry" [1].<br>
This implementation replaced the (now) deprecated Atomic Registry [2][3].<br>
<br>
In a nutshell, it is an OpenShift deployment without all the bells and<br>
whistles of OpenShift: apps.<br>
It only contains the internal OpenShift registry as well as the<br>
registry console web interface and this registry is exposed for<br>
consumption.<br>
<br>
OpenShift Standalone Registry was a bit of an uncharted territory, not<br>
only for us but I feel for upstream as well.<br>
This has been a learning experience but we have contributed several<br>
patches and upstream has been very receptive to our feedback which<br>
resulted in more patches, making the use case better supported in<br>
general.<br>
<br>
For the sake of keeping this short, the latest issue we had been<br>
looking at was the pruning of older images in order to keep the disk<br>
usage (and RAM[4]) under control.<br>
The good news is that in OpenShift trunk, 3.7, they managed to land<br>
part of the patches [5][6] required to make the whole process easier<br>
to manage.<br>
<br>
However, the bad news is that we're currently running OpenShift 3.5,<br>
the latest version being 3.6.<br>
Our last attempt a pruning images deleted legitimate image blobs which<br>
resulted in an inconsistent state.<br>
I've forcefully deleted all the images completely in order to start<br>
from a clean slate.<br>
<br>
So, where does that leave us ?<br>
This is a bit frustrating but not in vain, we've made progress.<br>
<br>
In the short term, we'll increase the disk space allocation for the<br>
registry in order to allow for more retention.<br>
I also want to test a clean installation of OpenShift 3.7 (ahead of<br>
release) with our playbooks [7] in order to confirm that our ongoing<br>
issues have been resolved.<br>
After confirming the issues have been resolved, we'll move forward to use 3.7.<br>
<br>
For what it's worth, this work might end up paying off in OpenStack<br>
upstream infrastructure as well.<br>
At the last OpenStack PTG in Denver, we agreed that a<br>
infrastructure-managed image registry would be necessary -- not just<br>
for TripleO but for other projects such as Kolla.<br>
Between docker-registry/docker-<wbr>distribution (which leave much to be<br>
desired), <a href="http://quay.io" rel="noreferrer" target="_blank">quay.io</a> (which is not free and open source) and OpenShift<br>
standalone registry, it's entirely possible that we end up using<br>
OpenShift upstream.<br>
<br>
Thanks, and sorry about that.<br>
<br>
[0]: <a href="https://bugzilla.redhat.com/show_bug.cgi?id=1408676" rel="noreferrer" target="_blank">https://bugzilla.redhat.com/<wbr>show_bug.cgi?id=1408676</a><br>
[1]: <a href="https://docs.openshift.com/container-platform/latest/install_config/install/stand_alone_registry.html" rel="noreferrer" target="_blank">https://docs.openshift.com/<wbr>container-platform/latest/<wbr>install_config/install/stand_<wbr>alone_registry.html</a><br>
[2]: <a href="http://www.projectatomic.io/registry/" rel="noreferrer" target="_blank">http://www.projectatomic.io/<wbr>registry/</a><br>
[3]: <a href="https://www.projectatomic.io/blog/2017/05/oo-standalone-registry/" rel="noreferrer" target="_blank">https://www.projectatomic.io/<wbr>blog/2017/05/oo-standalone-<wbr>registry/</a><br>
[4]: <a href="https://bugzilla.redhat.com/show_bug.cgi?id=1489501" rel="noreferrer" target="_blank">https://bugzilla.redhat.com/<wbr>show_bug.cgi?id=1489501</a><br>
[5]: <a href="https://github.com/openshift/origin/commit/7783364a6f1fd34cf4833c0be506b8ee90d62691" rel="noreferrer" target="_blank">https://github.com/openshift/<wbr>origin/commit/<wbr>7783364a6f1fd34cf4833c0be506b8<wbr>ee90d62691</a><br>
[6]: <a href="https://github.com/openshift/openshift-docs/commit/be0ee4f8a8b7f66fccf77ebbc34c26ba223d794c" rel="noreferrer" target="_blank">https://github.com/openshift/<wbr>openshift-docs/commit/<wbr>be0ee4f8a8b7f66fccf77ebbc34c26<wbr>ba223d794c</a><br>
[7]: <a href="https://github.com/rdo-infra/rdo-container-registry" rel="noreferrer" target="_blank">https://github.com/rdo-infra/<wbr>rdo-container-registry</a><br>
<br>
David Moreau Simard<br>
Senior Software Engineer | OpenStack RDO </blockquote><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"> <br></blockquote><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
dmsimard = [irc, github, twitter]<br>
</blockquote></div><br></div><div class="gmail_extra">Thanks for going above the call the duty there David.  It does appear that we're blazing a path for the upstream.  Well done.</div></div>