<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
<meta name="Generator" content="Microsoft Word 15 (filtered medium)">
<style><!--
/* Font Definitions */
@font-face
{font-family:"Cambria Math";
panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
{font-family:Calibri;
panose-1:2 15 5 2 2 2 4 3 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
{margin:0in;
margin-bottom:.0001pt;
font-size:12.0pt;
font-family:"Times New Roman",serif;}
a:link, span.MsoHyperlink
{mso-style-priority:99;
color:blue;
text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
{mso-style-priority:99;
color:purple;
text-decoration:underline;}
span.EmailStyle17
{mso-style-type:personal-reply;
font-family:"Calibri",sans-serif;
color:#1F497D;}
.MsoChpDefault
{mso-style-type:export-only;
font-family:"Calibri",sans-serif;}
@page WordSection1
{size:8.5in 11.0in;
margin:1.0in 1.25in 1.0in 1.25in;}
div.WordSection1
{page:WordSection1;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]-->
</head>
<body lang="EN-US" link="blue" vlink="purple">
<div class="WordSection1">
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1F497D">Sounds like issues in the environment,<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1F497D">The PF (Physical function (external port)) connected to some switch, if so as Trunk?<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1F497D"><o:p> </o:p></span></p>
<p class="MsoNormal"><b><span style="font-size:11.0pt;font-family:"Calibri",sans-serif">From:</span></b><span style="font-size:11.0pt;font-family:"Calibri",sans-serif"> rdo-list-bounces@redhat.com [mailto:rdo-list-bounces@redhat.com]
<b>On Behalf Of </b>Joe Talerico<br>
<b>Sent:</b> Wednesday, August 26, 2015 16:26<br>
<b>To:</b> Pedro Sousa<br>
<b>Cc:</b> rdo-list@redhat.com<br>
<b>Subject:</b> Re: [Rdo-list] SR-IOV on openstack: no valid host is found<o:p></o:p></span></p>
<p class="MsoNormal"><o:p> </o:p></p>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
<div>
<p class="MsoNormal">On Wed, Aug 26, 2015 at 6:54 AM, Pedro Sousa <<a href="mailto:pgsousa@gmail.com" target="_blank">pgsousa@gmail.com</a>> wrote:<o:p></o:p></p>
<blockquote style="border:none;border-left:solid #CCCCCC 1.0pt;padding:0in 0in 0in 6.0pt;margin-left:4.8pt;margin-right:0in">
<div>
<div>
<p class="MsoNormal">Hi,<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">Some update on this, although I can launch the VM and see the VF inside it, I have 2 problems<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">1º Sometimes I don't get ip from dhcp when I launch a new instance.<o:p></o:p></p>
</div>
</div>
</blockquote>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">Does the VF have the right VLAN tag?<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> <o:p></o:p></p>
</div>
<blockquote style="border:none;border-left:solid #CCCCCC 1.0pt;padding:0in 0in 0in 6.0pt;margin-left:4.8pt;margin-right:0in">
<div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">2º I cannot ping the other hosts inside the tenant network using sr-iov nics. If I use ovs nics it works. <o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
</div>
</blockquote>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">Are VLANs setup properly?<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">Joe<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> <o:p></o:p></p>
</div>
<blockquote style="border:none;border-left:solid #CCCCCC 1.0pt;padding:0in 0in 0in 6.0pt;margin-left:4.8pt;margin-right:0in">
<div>
<div>
<p class="MsoNormal">Anyone has experienced this issues?<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">Thanks,<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">Pedro Sousa<o:p></o:p></p>
</div>
<div>
<div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<p class="MsoNormal"><o:p> </o:p></p>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
<div>
<p class="MsoNormal">On Tue, Aug 25, 2015 at 12:02 PM, Pedro Sousa <<a href="mailto:pgsousa@gmail.com" target="_blank">pgsousa@gmail.com</a>> wrote:<o:p></o:p></p>
<blockquote style="border:none;border-left:solid #CCCCCC 1.0pt;padding:0in 0in 0in 6.0pt;margin-left:4.8pt;margin-right:0in">
<div>
<p class="MsoNormal">Hi, <o:p></o:p></p>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">Anyone interested, I got it working using this procedure:<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal"><a href="http://docs-draft.openstack.org/85/213985/10/check/gate-openstack-manuals-tox-doc-publish-checkbuild/1381a5e/publish-docs/networking-guide/adv_config_sriov.html" target="_blank">http://docs-draft.openstack.org/85/213985/10/check/gate-openstack-manuals-tox-doc-publish-checkbuild/1381a5e//publish-docs/networking-guide/adv_config_sriov.html</a><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">I'm using <b>RDO/Juno Centos 7.1</b><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">My conf:<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal"><b>Controller/Network Node:</b><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal"><b>/etc/neutron/plugins/ml2/ml2_conf.ini</b><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">type_drivers = vlan<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">tenant_network_types = vlan<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">mechanism_drivers =openvswitch,sriovnicswitch<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<div>
<p class="MsoNormal">[ml2_type_vlan]<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">network_vlan_ranges =int-vlan:1440:1449<o:p></o:p></p>
</div>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<div>
<p class="MsoNormal">[securitygroup]<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">enable_security_group = True<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">firewall_driver = neutron.agent.firewall.NoopFirewallDriver<o:p></o:p></p>
</div>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal"><b>/etc/neutron/plugins/ml2/ml2_conf_sriov.ini</b><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<div>
<p class="MsoNormal">[ml2_sriov]<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">supported_pci_vendor_devs = 14e4:16af<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">agent_required = True<o:p></o:p></p>
</div>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<div>
<p class="MsoNormal">[sriov_nic]<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">physical_device_mappings = int-vlan:p2p1<o:p></o:p></p>
</div>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal"><b>/etc/nova/nova.conf</b><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">[Default]<o:p></o:p></p>
</div>
<div>
<div>
<p class="MsoNormal">scheduler_default_filters=RetryFilter,AvailabilityZoneFilter,RamFilter,ComputeFilter,ComputeCapabilitiesFilter,ImagePropertiesFilter,ServerGroupAntiAffinityFilter,ServerGroupAffinityFilter,PciPassthroughFilter<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">scheduler_available_filters = nova.scheduler.filters.all_filters<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">scheduler_available_filters = nova.scheduler.filters.pci_passthrough_filter.PciPassthroughFilter<o:p></o:p></p>
</div>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal"><b>/usr/lib/systemd/system/neutron-server.service</b><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">ExecStart=/usr/bin/neutron-server --config-file /usr/share/neutron/neutron-dist.conf --config-file /etc/neutron/neutron.conf --config-file /etc/neutron/plugin.ini --config-file /etc/neutron/plugins/ml2/ml2_conf_sriov.ini --log-file /var/log/neutron/server.log<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal"><b>Compute Node:</b><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">I had to install ml2 plugin and sr-iov agent. Note, in the compute node using rdo packstack the ml2 plugin is not installed by default.<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal"># yum install openstack-neutron-ml2 openstack-neutron-sriov-nic-agent<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal"><b>/etc/neutron/plugins/ml2/ml2_conf.ini</b><o:p></o:p></p>
</div>
<div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">[securitygroup]<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"># Controls if neutron security group is enabled or not.<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"># It should be false when you use nova security group.<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"># enable_security_group = True<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">enable_security_group = True<o:p></o:p></p>
</div>
</div>
<div>
<p class="MsoNormal">firewall_driver = neutron.agent.firewall.NoopFirewallDriver<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal"><b>/etc/neutron/plugins/ml2/ml2_conf_sriov.ini</b><o:p></o:p></p>
</div>
<div>
<div>
<p class="MsoNormal">[securitygroup]<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">firewall_driver = neutron.agent.firewall.NoopFirewallDriver<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">[sriov_nic]<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">physical_device_mappings = int-vlan:p2p1<o:p></o:p></p>
</div>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal"><b>/usr/lib/systemd/system/neutron-sriov-nic-agent.service</b><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">ExecStart=/usr/bin/neutron-sriov-nic-agent --config-file /usr/share/neutron/neutron-dist.conf --config-file /etc/neutron/neutron.conf --config-file /etc/neutron/plugins/ml2/ml2_conf_sriov.ini --log-file /var/log/neutron/sriov-nic-agent.log<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">Regards,<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">Pedro Sousa<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
<div>
<div>
<div>
<p class="MsoNormal">On Tue, Aug 25, 2015 at 11:04 AM, Joe Talerico <<a href="mailto:jtaleric@redhat.com" target="_blank">jtaleric@redhat.com</a>> wrote:<o:p></o:p></p>
</div>
</div>
<blockquote style="border:none;border-left:solid #CCCCCC 1.0pt;padding:0in 0in 0in 6.0pt;margin-left:4.8pt;margin-right:0in">
<div>
<div>
<p class="MsoNormal"><br>
<br>
On Monday, August 17, 2015, <span lang="HE" dir="RTL">שחם פרידנברג</span><span dir="LTR"></span><span dir="LTR"></span> <<a href="mailto:shahamf@gmail.com" target="_blank">shahamf@gmail.com</a>> wrote:<o:p></o:p></p>
<blockquote style="border:none;border-left:solid #CCCCCC 1.0pt;padding:0in 0in 0in 6.0pt;margin-left:4.8pt;margin-right:0in">
<div>
<div>
<p class="MsoNormal">Hey all,<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">I deployed openstack on DELL PowerEdge R620 installed with Centos 7.<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">SR-IOV is enabled in BIOS (both Virtualization Technology & SR-IOV).<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">Also, I added the needed kernel parameters and created virtual functions on 82599 Intel 10G NIC.<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">in nova.conf:<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">1. pci_passthrough_whitelist={"devname":"p2p1","physical_network":"sriovnet"}<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">2. scheduler_default_filters=RetryFilter,AvailabilityZoneFilter,RamFilter,ComputeFilter,ComputeCapabilitiesFilter,<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> ImagePropertiesFilter,CoreFilter,PciPassthroughFilter<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
</div>
</blockquote>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">Where did you supply the whitelist?<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">Also, after making the whitelist change did you check the nova-compute.log? It typically reports the PCI devices that can be used for instances. <o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><span style="color:#888888"><o:p> </o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="color:#888888">Joe<o:p></o:p></span></p>
</div>
<div>
<div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal"> <o:p></o:p></p>
</div>
<blockquote style="border:none;border-left:solid #CCCCCC 1.0pt;padding:0in 0in 0in 6.0pt;margin-left:4.8pt;margin-right:0in">
<div>
<div>
<p class="MsoNormal">in ml2_conf.ini:<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">1. type_drivers = vxlan,vlan<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">2. mechanism_drivers =openvswitch,sriovnicswitch<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">3. network_vlan_ranges = sriovnet:80:90<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">in ml2_conf_sriov.ini:<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">1. supported_pci_vendor_devs = 8086:10ed<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">2. agent_required = False<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">in neutron-server.service:<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">1. ExecStart=/usr/bin/neutron-server --config-file /usr/share/neutron/neutron-dist.conf --config-dir /usr/share/neutron/server <o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> --config-file /etc/neutron/neutron.conf --config-file /etc/neutron/plugin.ini <o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> --config-file /etc/neutron/plugins/ml2/ml2_conf_sriov.ini --config-dir /etc/neutron/conf.d/neutron-server <o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> --log-file /var/log/neutron/server.log<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> <o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">created Network based on physical network I defined (sriovnet), configured subnet and created direct type port.<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">When I creating an image (nova boot --flavor m1.large --image my_img --nic port-id=087ff574-fb14-47fd-82cb-454f176154ff test_sriov) <o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">I get the following error:<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">Traceback (most recent call last):<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal"> File "/usr/lib/python2.7/site-packages/oslo_messaging/rpc/server.py", line 142, in inner<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> return func(*args, **kwargs)<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal"> File "/usr/lib/python2.7/site-packages/nova/scheduler/manager.py", line 86, in select_destinations<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> filter_properties)<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal"> File "/usr/lib/python2.7/site-packages/nova/scheduler/filter_scheduler.py", line 80, in select_destinations<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> raise exception.NoValidHost(reason=reason)<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">NoValidHost: No valid host was found. There are not enough hosts available.<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">2015-08-18 04:28:22.886 17998 WARNING nova.scheduler.utils [req-5804960b-4614-4d0e-9a3d-a94964cf93f8 caf2b9813205455896e60c6d00c92b4d 4bd6b22041ef4123958a0f85c775b770 - - -] [instance: 470e16f9-002f-4ae4-82f4-17a83a93d860] Setting instance
to ERROR state.<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">Any idea what might be the problem here?<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">Thanks,<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">Shaham<o:p></o:p></p>
</div>
</div>
</blockquote>
</div>
</div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
</div>
<p class="MsoNormal">_______________________________________________<br>
Rdo-list mailing list<br>
<a href="mailto:Rdo-list@redhat.com" target="_blank">Rdo-list@redhat.com</a><br>
<a href="https://www.redhat.com/mailman/listinfo/rdo-list" target="_blank">https://www.redhat.com/mailman/listinfo/rdo-list</a><br>
<br>
To unsubscribe: <a href="mailto:rdo-list-unsubscribe@redhat.com" target="_blank">
rdo-list-unsubscribe@redhat.com</a><o:p></o:p></p>
</blockquote>
</div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
</blockquote>
</div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
</div>
</div>
</div>
<p class="MsoNormal"><br>
_______________________________________________<br>
Rdo-list mailing list<br>
<a href="mailto:Rdo-list@redhat.com">Rdo-list@redhat.com</a><br>
<a href="https://www.redhat.com/mailman/listinfo/rdo-list" target="_blank">https://www.redhat.com/mailman/listinfo/rdo-list</a><br>
<br>
To unsubscribe: <a href="mailto:rdo-list-unsubscribe@redhat.com">rdo-list-unsubscribe@redhat.com</a><o:p></o:p></p>
</blockquote>
</div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
</div>
</div>
</body>
</html>