<div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote">On Sat, Dec 2, 2017 at 11:56 AM, Javier Pena <span dir="ltr"><<a href="mailto:jpena@redhat.com" target="_blank">jpena@redhat.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hi all,<br>
<br>
We had another nodepool outage this morning. Around 9:00 UTC, amoralej noticed that no new jobs were being processed. He restarted nodepool, and I helped him later with some stale node cleanup. Nodepool started creating VMs successfully around 10:00 UTC.<br>
<br>
On a first look at the logs, we see no new messages after 7:30 (not even DEBUG logs), but I was unable to run more troubleshooting steps because the service was already restarted.<br>
<br></blockquote><div><br></div><div>In case it helps, i could run successfully both "nodepool list" and "nodepool delete <id> --now" (for a couple of instances in delete status) before restarting nodepool. However nothing appeared in logs and no instances were created for jobs in queue so i restarted nodepool-launcher (my understanding was that it fixed similar situations in the past) before Javier started working on it.<br></div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
We will go through the logs on Monday to investigate what happened during the outage.<br>
<br>
Regards,<br>
Javier<br>
</blockquote></div><br></div></div>