<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=Windows-1252">
</head>
<body style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space; color: rgb(0, 0, 0); font-size: 14px; font-family: Calibri, sans-serif;">
<div><br>
</div>
<div><br>
</div>
<span id="OLK_SRC_BODY_SECTION">
<div style="font-family:Calibri; font-size:11pt; text-align:left; color:black; BORDER-BOTTOM: medium none; BORDER-LEFT: medium none; PADDING-BOTTOM: 0in; PADDING-LEFT: 0in; PADDING-RIGHT: 0in; BORDER-TOP: #b5c4df 1pt solid; BORDER-RIGHT: medium none; PADDING-TOP: 3pt">
<span style="font-weight:bold">From: </span>Steven Dake <<a href="mailto:stdake@cisco.com">stdake@cisco.com</a>><br>
<span style="font-weight:bold">Date: </span>Sunday, May 3, 2015 at 10:15 AM<br>
<span style="font-weight:bold">To: </span>"<a href="mailto:rdo-list@redhat.com">rdo-list@redhat.com</a>" <<a href="mailto:rdo-list@redhat.com">rdo-list@redhat.com</a>><br>
<span style="font-weight:bold">Subject: </span>[Rdo-list] Defects in Kilo RC2 Packaging<br>
</div>
<div><br>
</div>
<blockquote id="MAC_OUTLOOK_ATTRIBUTION_BLOCKQUOTE" style="BORDER-LEFT: #b5c4df 5 solid; PADDING:0 0 0 5; MARGIN:0 0 0 5;">
<div>
<div style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space; color: rgb(0, 0, 0); font-size: 14px; font-family: Calibri, sans-serif;">
<div>Hi,</div>
<div><br>
</div>
<div>I recently ported Kolla (OpenStack running in containers – <a href="http://github.com/stackforge/kolla">
http://github.com/stackforge/kolla</a>) and found the following defects:</div>
<div><br>
</div>
<div><br>
</div>
<div>
<div style="font-family: Consolas;">1. Glance has missing dependencies in its package</div>
<div style="font-family: Consolas;">Specifically +RUN yum -y install openstack-glance python-oslo-log</div>
<div style="font-family: Consolas;">python-oslo-policy && yum clean all</div>
<div style="font-family: Consolas;">Is needed to get glance to operate.  Oslo-log and oslo-policy should be</div>
<div style="font-family: Consolas;">added to the dependencies.  You wouldn¹t notice this on an AIO install</div>
<div style="font-family: Consolas;">because other packages probably have those packages as dependencies.</div>
<div style="font-family: Consolas;"><br>
</div>
<div style="font-family: Consolas;">2. Neutron for whatever reason depends on a file fwwas_driver.ini which</div>
<div style="font-family: Consolas;">has been removed from the master of neutron.  But the agents will exit if</div>
<div style="font-family: Consolas;">its not in the config directory.  I used juno¹s version of</div>
<div style="font-family: Consolas;">fwaas_driver.ini to get the agents to stop exiting.</div>
<div style="font-family: Consolas;"><br>
</div>
<div style="font-family: Consolas;">3. The file dnsmasq-neutron.conf is misconfigured in the default</div>
<div style="font-family: Consolas;">installation.  This causes the neutron agents to exit.  I delete the file</div>
<div style="font-family: Consolas;">during docker build which fixes the problem.  I¹m not sure what this</div>
<div style="font-family: Consolas;">config file is supposed to look like.</div>
</div>
</div>
</div>
</blockquote>
</span>
<div><br>
</div>
<div>I found the root cause of this problem.  This was actually an error in Kolla.  Neutron-dnsmasq.conf (where you would specify a 1450 MTU if using vlans) cannot go in the same directory as /etc/neutron where the agents read config files when used with the
 —config-dir option.  The agents try to read all configuration files there as INI format files, which dnsmasq is not formatted as.</div>
<div><br>
</div>
<span id="OLK_SRC_BODY_SECTION">
<blockquote id="MAC_OUTLOOK_ATTRIBUTION_BLOCKQUOTE" style="BORDER-LEFT: #b5c4df 5 solid; PADDING:0 0 0 5; MARGIN:0 0 0 5;">
<div>
<div style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space; color: rgb(0, 0, 0); font-size: 14px; font-family: Calibri, sans-serif;">
<div>
<div style="font-family: Consolas;"><br>
</div>
<div style="font-family: Consolas;">4. A critical bug was found in both Juno and Kilo versions of nova.  If I</div>
<div style="font-family: Consolas;">launch approximately 20 Vms via a heat resource group with floating ips,</div>
<div style="font-family: Consolas;">only about 7 of the Vms get ports assigned.  The others do get their ports</div>
<div style="font-family: Consolas;">assigned because they can access dhcp and metadata server, so their</div>
<div style="font-family: Consolas;">networking is operational.  Neutron port-list shows their ports are</div>
<div style="font-family: Consolas;">active.  However nova-list does not show their IPs from the instance info</div>
<div style="font-family: Consolas;">cache.</div>
<div style="font-family: Consolas;"><br>
</div>
<div style="font-family: Consolas;">My only workaround to this problem is to run the icehouse version of nova</div>
<div style="font-family: Consolas;">(api, conductor, scheduler, compute) which works perfectly.  I have filed</div>
<div style="font-family: Consolas;">a bug with a 100% reliable easy to use reproducer and more details and</div>
<div style="font-family: Consolas;">logs here:</div>
<div style="font-family: Consolas;"><br>
</div>
<div style="font-family: Consolas;"><a href="https://bugzilla.redhat.com/show_bug.cgi?id=1213547">https://bugzilla.redhat.com/show_bug.cgi?id=1213547</a></div>
<div style="font-family: Consolas;"><br>
</div>
<div style="font-family: Consolas;"><br>
</div>
<div style="font-family: Consolas;">Interestingly in my informal tests icehouse nova is about 4x faster at</div>
<div style="font-family: Consolas;">placing Vms in the active state as compared to juno or kilo, so that may</div>
<div style="font-family: Consolas;">need some attention as well.  Just watching top, it appears neutron-server</div>
<div style="font-family: Consolas;">is much busier (~35% cpu utilization of 1 core during the entire ->ACTIVE</div>
<div style="font-family: Consolas;">process) with the juno/kilo releases.</div>
<div style="font-family: Consolas;"><br>
</div>
<div style="font-family: Consolas;">Note I spent about 7 days trying to debug this problem but the code</div>
<div style="font-family: Consolas;">literally calls IP assignments in about 40 different places in the code</div>
<div style="font-family: Consolas;">base, including exchanges over RPC and python-neutronclient, so it is very</div>
<div style="font-family: Consolas;">difficult to track.  I would appreciate finding a nova expert to debug the</div>
<div style="font-family: Consolas;">problem further.</div>
</div>
<div><br>
</div>
<div>
<div style="font-family: Consolas;">Other than those problems, RDO Kilo RC2 looks spectacular and works</div>
<div style="font-family: Consolas;">perfectly in my dead chicken testing.  Nice job guys!</div>
<div style="font-family: Consolas;"><br>
</div>
</div>
<div style="font-family: Consolas;">Regards</div>
<div style="font-family: Consolas;">-steve</div>
<div style="font-family: Consolas;"><br>
</div>
</div>
</div>
</blockquote>
</span>
</body>
</html>