<div dir="ltr">Ok this is baffling the single NIC version of Linux the script works but as soon I add a second NIC to the bridge it bricks up... any ideas?<br></div><div class="gmail_extra"><br><br><div class="gmail_quote">
On Tue, Feb 11, 2014 at 2:47 PM, Aryeh Friedman <span dir="ltr"><<a href="mailto:aryeh.friedman@gmail.com" target="_blank">aryeh.friedman@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<div dir="ltr">Found the issue I think (deleteing the iface as soon I make it... now to figure out how on earth the tare down for tap3 came before the hyperv call):<br><br>#!/bin/sh<br><br>tunctl -d tap3<br>ip link set tap3 up<br>

sleep 1s<br>brctl addif br0 tap3<br>tunctl -d tap4<br>ip link set tap4 up<br>sleep 1s<br>brctl addif br0 tap4<br>brctl delif eth0 tap3<br>ip link set tap3 down<br>tunctl -d tap3<br><br>qemu-system-x86_64 -vnc :0 -display none -drive cache=writeback,format=raw,if=virtio,file=/dev/sdb -net nic,model=virtio -net tap,ifname<br>

=tap3 -net nic,model=virtio -net tap,ifname=tap4 -smb 1 -m 512<br>echo $!>/var/run/petitecloud/6opn0hm7uh<br><br></div><div class="HOEnZb"><div class="h5"><div class="gmail_extra"><br><br><div class="gmail_quote">On Tue, Feb 11, 2014 at 2:24 PM, Aryeh Friedman <span dir="ltr"><<a href="mailto:aryeh.friedman@gmail.com" target="_blank">aryeh.friedman@gmail.com</a>></span> wrote:<br>

<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Turns out I got mistaken about what the host OS I was testing on (I was testing on linux under QEMU) and this is zero issue in FreeBSD:<br>

<br>aryeh@com-dev:/home/aryeh% ifconfig -a<br>vtnet0: flags=8943<UP,BROADCAST,RUNNING,PROMISC,SIMPLEX,MULTICAST> metric 0 mtu 1500<br>
    options=80028<VLAN_MTU,JUMBO_MTU,LINKSTATE><br>    ether 00:a0:98:53:65:98<br>    inet 10.0.10.6 netmask 0xffffff00 broadcast 10.0.10.255 <br>    inet6 fe80::2a0:98ff:fe53:6598%vtnet0 prefixlen 64 scopeid 0x1 <br>


    nd6 options=29<PERFORMNUD,IFDISABLED,AUTO_LINKLOCAL><br>    media: Ethernet 10Gbase-T <full-duplex><br>    status: active<br>vtnet1: flags=8902<BROADCAST,PROMISC,SIMPLEX,MULTICAST> metric 0 mtu 1500<br>


    options=80028<VLAN_MTU,JUMBO_MTU,LINKSTATE><br>    ether 00:a0:98:b6:a2:a9<br>    nd6 options=29<PERFORMNUD,IFDISABLED,AUTO_LINKLOCAL><br>    media: Ethernet 10Gbase-T <full-duplex><br>    status: active<br>


vtnet2: flags=8902<BROADCAST,PROMISC,SIMPLEX,MULTICAST> metric 0 mtu 1500<br>    options=80028<VLAN_MTU,JUMBO_MTU,LINKSTATE><br>    ether 00:a0:98:20:ee:f7<br>    nd6 options=29<PERFORMNUD,IFDISABLED,AUTO_LINKLOCAL><br>


    media: Ethernet 10Gbase-T <full-duplex><br>    status: active<br>lo0: flags=8049<UP,LOOPBACK,RUNNING,MULTICAST> metric 0 mtu 16384<br>    options=600003<RXCSUM,TXCSUM,RXCSUM_IPV6,TXCSUM_IPV6><br>    inet6 ::1 prefixlen 128 <br>


    inet6 fe80::1%lo0 prefixlen 64 scopeid 0x4 <br>    inet 127.0.0.1 netmask 0xff000000 <br>    nd6 options=21<PERFORMNUD,AUTO_LINKLOCAL><br>aryeh@com-dev:/home/aryeh% sudo su -<br>root@com-dev:~ # ifconfig vtnet1 192.168.0.1<br>


root@com-dev:~ # logout<br>aryeh@com-dev:/home/aryeh% logout<br>Connection to 10.0.10.6 closed.<br>aryeh@pc-dev:~/o-petitecloud.C112 % sudo su -<br>root@pc-dev:~ # ifconfig -a<br>vtnet0: flags=8943<UP,BROADCAST,RUNNING,PROMISC,SIMPLEX,MULTICAST> metric 0 mtu 1500<br>


    options=80028<VLAN_MTU,JUMBO_MTU,LINKSTATE><br>    ether 00:a0:98:8f:e1:e2<br>    inet 10.0.10.3 netmask 0xffffff00 broadcast 10.0.10.255 <br>    inet6 fe80::2a0:98ff:fe8f:e1e2%vtnet0 prefixlen 64 scopeid 0x1 <br>


    nd6 options=23<PERFORMNUD,ACCEPT_RTADV,AUTO_LINKLOCAL><br>    media: Ethernet 10Gbase-T <full-duplex><br>    status: active<br>lo0: flags=8049<UP,LOOPBACK,RUNNING,MULTICAST> metric 0 mtu 16384<br>    options=600003<RXCSUM,TXCSUM,RXCSUM_IPV6,TXCSUM_IPV6><br>


    inet6 ::1 prefixlen 128 <br>    inet6 fe80::1%lo0 prefixlen 64 scopeid 0x2 <br>    inet 127.0.0.1 netmask 0xff000000 <br>    nd6 options=21<PERFORMNUD,AUTO_LINKLOCAL><br>bridge0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500<br>


    ether 02:38:f4:6e:71:00<br>    nd6 options=9<PERFORMNUD,IFDISABLED><br>    id 00:00:00:00:00:00 priority 32768 hellotime 2 fwddelay 15<br>    maxage 20 holdcnt 6 proto rstp maxaddr 2000 timeout 1200<br>    root id 00:00:00:00:00:00 priority 32768 ifcost 0 port 0<br>


    member: tap5 flags=143<LEARNING,DISCOVER,AUTOEDGE,AUTOPTP><br>            ifmaxaddr 0 port 7 priority 128 path cost 2000000<br>    member: tap4 flags=143<LEARNING,DISCOVER,AUTOEDGE,AUTOPTP><br>            ifmaxaddr 0 port 6 priority 128 path cost 2000000<br>


    member: tap10 flags=143<LEARNING,DISCOVER,AUTOEDGE,AUTOPTP><br>            ifmaxaddr 0 port 5 priority 128 path cost 2000000<br>    member: tap3 flags=143<LEARNING,DISCOVER,AUTOEDGE,AUTOPTP><br>            ifmaxaddr 0 port 4 priority 128 path cost 2000000<br>


tap3: flags=8943<UP,BROADCAST,RUNNING,PROMISC,SIMPLEX,MULTICAST> metric 0 mtu 1500<br>    options=80000<LINKSTATE><br>    ether 00:bd:3a:92:00:03<br>    inet6 fe80::2bd:3aff:fe92:3%tap3 prefixlen 64 scopeid 0x4 <br>


    nd6 options=29<PERFORMNUD,IFDISABLED,AUTO_LINKLOCAL><br>    media: Ethernet autoselect<br>    status: no carrier<br>tap10: flags=8943<UP,BROADCAST,RUNNING,PROMISC,SIMPLEX,MULTICAST> metric 0 mtu 1500<br>    options=80000<LINKSTATE><br>


    ether 00:bd:6d:95:00:0a<br>    inet6 fe80::2bd:6dff:fe95:a%tap10 prefixlen 64 scopeid 0x5 <br>    nd6 options=21<PERFORMNUD,AUTO_LINKLOCAL><br>    media: Ethernet autoselect<br>    status: no carrier<br>tap4: flags=8943<UP,BROADCAST,RUNNING,PROMISC,SIMPLEX,MULTICAST> metric 0 mtu 1500<br>


    options=80000<LINKSTATE><br>    ether 00:bd:b4:cd:00:04<br>    inet6 fe80::2bd:b4ff:fecd:4%tap4 prefixlen 64 scopeid 0x6 <br>    nd6 options=29<PERFORMNUD,IFDISABLED,AUTO_LINKLOCAL><br>    media: Ethernet autoselect<br>


    status: no carrier<br>tap5: flags=8943<UP,BROADCAST,RUNNING,PROMISC,SIMPLEX,MULTICAST> metric 0 mtu 1500<br>    options=80000<LINKSTATE><br>    ether 00:bd:52:d7:00:05<br>    inet6 fe80::2bd:52ff:fed7:5%tap5 prefixlen 64 scopeid 0x7 <br>


    nd6 options=21<PERFORMNUD,AUTO_LINKLOCAL><br>    media: Ethernet autoselect<br>    status: no carrier<br>root@pc-dev:~ # ifconfig vtnet0 alias 192.168.0.2<br>root@pc-dev:~ # ping 192.168.0.2<br>PING 192.168.0.2 (192.168.0.2): 56 data bytes<br>


64 bytes from <a href="http://192.168.0.2" target="_blank">192.168.0.2</a>: icmp_seq=0 ttl=64 time=0.112 ms<br>64 bytes from <a href="http://192.168.0.2" target="_blank">192.168.0.2</a>: icmp_seq=1 ttl=64 time=0.016 ms<br>

^C<br>--- 192.168.0.2 ping statistics ---<br>
2 packets transmitted, 2 packets received, 0.0% packet loss<br>round-trip min/avg/max/stddev = 0.016/0.064/0.112/0.048 ms<br>root@pc-dev:~ # ping 192.168.0.1<br>PING 192.168.0.1 (192.168.0.1): 56 data bytes<br>64 bytes from <a href="http://192.168.0.1" target="_blank">192.168.0.1</a>: icmp_seq=0 ttl=64 time=0.231 ms<br>


64 bytes from <a href="http://192.168.0.1" target="_blank">192.168.0.1</a>: icmp_seq=1 ttl=64 time=0.107 ms<br>^C<br>--- 192.168.0.1 ping statistics ---<br>2 packets transmitted, 2 packets received, 0.0% packet loss<br>round-trip min/avg/max/stddev = 0.107/0.169/0.231/0.062 ms<br>


<br></div><div><div><div class="gmail_extra"><br><br><div class="gmail_quote">On Tue, Feb 11, 2014 at 1:59 PM, Michael Thoreson <span dir="ltr"><<a href="mailto:m.thoreson@c4labs.ca" target="_blank">m.thoreson@c4labs.ca</a>></span> wrote:<br>


<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Below is an older article but still talks about sysctl I had to set when using jails in FreeNAS.<br>
<br>
<a href="http://www.cyberciti.biz/faq/freebsd-jail-allow-ping-tracerouter-commands/" target="_blank">http://www.cyberciti.biz/faq/<u></u>freebsd-jail-allow-ping-<u></u>tracerouter-commands/</a><br>
<br>
I had to set it in order to allow the jail guest to ping\traceroute to the outside and it was the only way I could access services running on the jail guest from outside the guest.<br>
<br>
Michael Thoreson,<br>
<br><div>
<br>
On 11/02/2014 12:28 PM, Aryeh Friedman wrote:<br>
</div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div>
Please respond to the list so I don't have to keep forwarding it.... I am unfamiliar with jail issue but I do know that when reusing a NIC you need to do a "hard reset" of it (delete the iface and then remake and readd to the bridge)... where is a good pointer to this?<br>



<br>
<br></div><div>
On Tue, Feb 11, 2014 at 1:23 PM, Michael Thoreson <<a href="mailto:m.thoreson@c4labs.ca" target="_blank">m.thoreson@c4labs.ca</a> <mailto:<a href="mailto:m.thoreson@c4labs.ca" target="_blank">m.thoreson@c4labs.ca</a>>> wrote:<br>



<br>
    Could the traffic issue be similar to the sysctl raw socket issue<br>
    with BSD jails?<br>
<br>
    On a side note with the FreeBSD instructions I have to change<br>
<br>
    tar fvz port.tar.gz<br>
<br>
    to<br>
<br>
    tar*x*fvz port.tar.gz<br>
<br>
    for the extraction to work properly.<br>
<br>
    Michael Thoreson,<br>
<br>
<br>
    On 11/02/2014 12:13 PM, Aryeh Friedman wrote:<br>
<br>
        A few additions to this (learned in the last few mins):<br>
<br>
        * PetiteCloud assumes that drives are vtbdXsY (will be looked<br>
        into later) and thus once you get the bootable drive to do a<br>
        partial loading you will need to edit /etc/fstab to make it so<br>
        it points to something more reasonable like adaXsY.<br>
<br>
        * The NIC's appear in the bridge on the host and are on the<br>
        instance but seem to not allow any traffic (likely an issue<br>
        with how to setup multiple NIC's).. i.e. the interface is<br>
        pingable from inside the instance but not from the outside world<br>
<br>
<br>
        On Tue, Feb 11, 2014 at 1:08 PM, Michael Thoreson<br>
        <<a href="mailto:m.thoreson@c4labs.ca" target="_blank">m.thoreson@c4labs.ca</a> <mailto:<a href="mailto:m.thoreson@c4labs.ca" target="_blank">m.thoreson@c4labs.ca</a>><br></div>
        <mailto:<a href="mailto:m.thoreson@c4labs.ca" target="_blank">m.thoreson@c4labs.ca</a> <mailto:<a href="mailto:m.thoreson@c4labs.ca" target="_blank">m.thoreson@c4labs.ca</a>>><u></u>><div><div>
<br>
        wrote:<br>
<br>
            Awesome will start testing it today.<br>
<br>
<br>
            On 11/02/2014 3:36 AM, Aryeh Friedman wrote:<br>
<br>
                Just booted FreeBSD 10-RELEASE on Ubuntu 12.04.3 LTS<br>
        using a<br>
                2.5" raw disk as a backing store with 3 virtual NIC's<br>
        and it<br>
                seems to work<br>
<br>
<br>
                On Tue, Feb 11, 2014 at 4:30 AM, Aryeh Friedman<br>
                <<a href="mailto:aryeh.friedman@gmail.com" target="_blank">aryeh.friedman@gmail.com</a><br>
        <mailto:<a href="mailto:aryeh.friedman@gmail.com" target="_blank">aryeh.friedman@gmail.<u></u>com</a>><br>
        <mailto:<a href="mailto:aryeh.friedman@gmail.com" target="_blank">aryeh.friedman@gmail.<u></u>com</a><br>
        <mailto:<a href="mailto:aryeh.friedman@gmail.com" target="_blank">aryeh.friedman@gmail.<u></u>com</a>>><br>
                <mailto:<a href="mailto:aryeh.friedman@gmail.com" target="_blank">aryeh.friedman@gmail.<u></u>com</a><br>
        <mailto:<a href="mailto:aryeh.friedman@gmail.com" target="_blank">aryeh.friedman@gmail.<u></u>com</a>><br>
<br>
                <mailto:<a href="mailto:aryeh.friedman@gmail.com" target="_blank">aryeh.friedman@gmail.<u></u>com</a><br>
        <mailto:<a href="mailto:aryeh.friedman@gmail.com" target="_blank">aryeh.friedman@gmail.<u></u>com</a>>>>> wrote:<br>
<br>
                    I just bumped 0.2.5 to the release version because<br>
        without<br>
                    advanced settings it works just fine it is the<br>
        advanced<br>
                options<br>
                    that are untested... just get it from the download<br>
        page<br>
<br>
<br>
                    On Tue, Feb 11, 2014 at 4:19 AM, Aryeh M. Friedman<br>
                    <<a href="mailto:aryeh@cloud.fnwe.net" target="_blank">aryeh@cloud.fnwe.net</a><br>
        <mailto:<a href="mailto:aryeh@cloud.fnwe.net" target="_blank">aryeh@cloud.fnwe.net</a>> <mailto:<a href="mailto:aryeh@cloud.fnwe.net" target="_blank">aryeh@cloud.fnwe.net</a><br>
        <mailto:<a href="mailto:aryeh@cloud.fnwe.net" target="_blank">aryeh@cloud.fnwe.net</a>>><br>
                <mailto:<a href="mailto:aryeh@cloud.fnwe.net" target="_blank">aryeh@cloud.fnwe.net</a><br>
        <mailto:<a href="mailto:aryeh@cloud.fnwe.net" target="_blank">aryeh@cloud.fnwe.net</a>> <mailto:<a href="mailto:aryeh@cloud.fnwe.net" target="_blank">aryeh@cloud.fnwe.net</a><br>
        <mailto:<a href="mailto:aryeh@cloud.fnwe.net" target="_blank">aryeh@cloud.fnwe.net</a>>><u></u>>><br>
<br>
                wrote:<br>
<br>
                        Michael I have forwarded this message to the<br>
        mailing list<br>
                        because I think it is an interesting use case<br>
        and I am a<br>
                        strong proponent of the FreeBSD model of open<br>
        knowledge<br>
                        (everything is in public unless some reason it<br>
        can't be).<br>
<br>
                        Comments on content:<br>
<br>
                        1. 0.2.5 (currently in testing you need go to<br>
        <a href="http://downloads.petitecloud.org/petitecloud-aryeh-0.2.5.tar.gz" target="_blank">http://downloads.petitecloud.<u></u>org/petitecloud-aryeh-0.2.5.<u></u>tar.gz</a> add<br>
                        -0.2.5 to the port file name also to grab it)<br>
        is 99% (only<br>
                        reason for not saying 100% is it is untested)<br>
        of the<br>
                way to<br>
                        being able to run all possible configurations of<br>
                OpenStack.          See the current change_history on<br>
        the site<br>
                for details.<br>
<br>
                        2. We are looking at using something like<br>
        FreeNAS to<br>
                provide<br>
                        SAN like services for small clouds (OpenStack<br>
        assumes a<br>
                        certain layout to the cloud that is only<br>
        typical in data<br>
                        centers).   That is if native iSCSI is not<br>
        sufficent.<br>
<br>
                        3. I will fix these links (that will teach me<br>
        to rely on<br>
                        automated testing only) as soon I send this<br>
        message<br>
<br>
                        4. We will be writting a set of full tutorials<br>
        showing<br>
                how to<br>
                        do I full OpenStack install using nothing but<br>
        VM's.          We will<br>
                        also discuss how to improve the stability and<br>
                robustness of<br>
                        OpenStack along the way (using FreeBSD instead of<br>
                Linux is a<br>
                        good start)<br>
<br>
                        ---------------------- FORWARDED MESSAGE<br>
                -------------------------<br>
                        FreeBSD and Linux install instruction links<br>
        are still<br>
                broken.<br>
                        Otherwise<br>
                        everything else works. I especially am going<br>
        to try the<br>
                        DevStack\OpenStack you described. It looks like an<br>
                easy way to<br>
                        get a ZFS<br>
                        backed cloud.<br>
<br>
                        Michael Thoreson,<br>
                        ______________________________<u></u>_________________<br>
                        petitecloud-general mailing list<br>
        <a href="mailto:petitecloud-general@lists.petitecloud.nyclocal.net" target="_blank">petitecloud-general@lists.<u></u>petitecloud.nyclocal.net</a><br>
        <mailto:<a href="mailto:petitecloud-general@lists.petitecloud.nyclocal.net" target="_blank">petitecloud-general@<u></u>lists.petitecloud.nyclocal.net</a><u></u>><br>
                       <mailto:<a href="mailto:petitecloud-general@lists.petitecloud.nyclocal.net" target="_blank">petitecloud-general@<u></u>lists.petitecloud.nyclocal.net</a><br>
        <mailto:<a href="mailto:petitecloud-general@lists.petitecloud.nyclocal.net" target="_blank">petitecloud-general@<u></u>lists.petitecloud.nyclocal.net</a><u></u>>><br>
                                      <mailto:<a href="mailto:petitecloud-general@lists.petitecloud.nyclocal.net" target="_blank">petitecloud-general@<u></u>lists.petitecloud.nyclocal.net</a><br>
        <mailto:<a href="mailto:petitecloud-general@lists.petitecloud.nyclocal.net" target="_blank">petitecloud-general@<u></u>lists.petitecloud.nyclocal.net</a><u></u>><br>
<br>
                       <mailto:<a href="mailto:petitecloud-general@lists.petitecloud.nyclocal.net" target="_blank">petitecloud-general@<u></u>lists.petitecloud.nyclocal.net</a><br>
        <mailto:<a href="mailto:petitecloud-general@lists.petitecloud.nyclocal.net" target="_blank">petitecloud-general@<u></u>lists.petitecloud.nyclocal.net</a><u></u>>>><br>
<br>
        <a href="http://lists.petitecloud.nyclocal.net/listinfo.cgi/petitecloud-general-petitecloud.nyclocal.net" target="_blank">http://lists.petitecloud.<u></u>nyclocal.net/listinfo.cgi/<u></u>petitecloud-general-<u></u>petitecloud.nyclocal.net</a><br>



<br>
<br>
<br>
<br>
                    --     Aryeh M. Friedman, Lead Developer,<br>
        <a href="http://www.PetiteCloud.org" target="_blank">http://www.PetiteCloud.org</a><br>
<br>
<br>
<br>
<br>
                --         Aryeh M. Friedman, Lead Developer,<br>
        <a href="http://www.PetiteCloud.org" target="_blank">http://www.PetiteCloud.org</a><br>
<br>
<br>
<br>
<br>
<br>
        --         Aryeh M. Friedman, Lead Developer, <a href="http://www.PetiteCloud.org" target="_blank">http://www.PetiteCloud.org</a><br>
<br>
<br>
<br>
<br>
<br>
-- <br>
Aryeh M. Friedman, Lead Developer, <a href="http://www.PetiteCloud.org" target="_blank">http://www.PetiteCloud.org</a><br>
</div></div></blockquote>
<br>
</blockquote></div><br><br clear="all"><br>-- <br><div dir="ltr">Aryeh M. Friedman, Lead Developer, <a href="http://www.PetiteCloud.org" target="_blank">http://www.PetiteCloud.org</a><br></div>
</div>
</div></div></blockquote></div><br><br clear="all"><br>-- <br><div dir="ltr">Aryeh M. Friedman, Lead Developer, <a href="http://www.PetiteCloud.org" target="_blank">http://www.PetiteCloud.org</a><br></div>
</div>
</div></div></blockquote></div><br><br clear="all"><br>-- <br><div dir="ltr">Aryeh M. Friedman, Lead Developer, <a href="http://www.PetiteCloud.org" target="_blank">http://www.PetiteCloud.org</a><br></div>
</div>