DIY - Home Router/Firewall

[Godfather]

Тези дни започнах нов проект, че ме сърбят ръцете. Реших, че вече никакво заводско мрежово устройство не ми удовлетворява нуждите и е крайно време да мина на самоделен рутер/файъруол/(последния-да-затвори-вратата) и почнах да нахвърлям идеи за хардуера. Нещата откъм софтуер на този етап клонят към Pfsense и затова се насочих към Интел базирана платформа. Идеята е да е нещо компактно и оптимизирано откъм разход на тоци, но с над средните мрежови възможности. Та на този етап подбора е следния:

• Дъно: Asus P11C-M/4L Intel Xeon E-2200 E-2100 micro-ATX Workstation Server Board (с 4 интелски гигабитови интерфейса на дъното плюс един IPMI).
• Процесор: Intel i3-9100T, 35W TDP (underclockable to 25W).
• Памет: 2 x Nemix (Samsung compatible) 8GB M391A1K43DB2-CVF DDR4-2666 ECC UDIMM.
• Диск: Western Digital 250GB WD Blue SN570.
• Захранване: EVGA 500 GD 80 Plus Gold (защо цели 500 вата ще обясня по-късно).
• Кутия: Silverstone ML03B HTPC micro-ATX.
• Охлаждане за процесора: Noctua NH-L9x65, Premium Low-Profile.

 

На този етап всичко е събрано, с изключение на дъното. Дъното е ново и е специална поръчка и чакам една от големите тукашни вериги да ми го доставят някой светъл ден. Номерът е, че самото дъно е страхотно, с идеалните за целта параметри и на супер тънка цена за сървърно дъно и на този етап требе да се чака.

Процесорът е втора ръка и макар дъното да поддържа Зиони, този вариант ми се вижда най-доброто откъм ниска консумация и достатъчно процесорна мощност за нуждите на рутера. Ако нещо се окаже, че не му достига достатъчно процесорна сила, винаги ще мога да му метна нещо по-сериозно в бъдеще. На охлаждането също залагам доста, щото би трябвало дори със стандартното TDP почти да не се налага да върти вентилатора, демек да работи напълно безшумно. А, това всъщност беше и идеята за 500 ватовото захранване на EVGA. Там също не би трябвало да сработва вентилатора при очакваното натоварване и консумация.

 

ПП. Ако тия шматароци ме замотат с това дъно, може да се наложи да мина на нещо друго. За съжаление в момента нямам друг лесен вариант с 4-портова мрежова опция (плюс 1 допълнителен IPMI), което никак не ми харесва, защото всички други резервни варианти са само с 2+1 порта.

[ARPAnet]

Готина машинка

Но рутер ли е ако няма конзолен порт? Сървъраджии

Като гледам дъното го има тук, и на теб ще ти го намерят :)))

Честно казано и с 2 порта да си не би имал проблеми, 2 порта към суич/суичове ще са повече от достатъчно  

М/у другото, пфсенса има интеграция с letsencrypt за лесен мениджмънт на сертификати :))))

А за блокиране на реклами, държави .. pfBlocker-NG

 

[Godfather]

По принцип е така и в краен случай бих минал и на 2+1 дъно, но предимството да имаш повече от два мрежови интерфейса, които директно се контролират от машината е сериозно, защото ако са само два (което е минимума - 1 за WAN и 1 за LAN), тогава единствения контрол остава в разпределянето на различните VLANs и то естествено само ако имаш умни суичове, закачени за рутера. В другия случай има много повече бъзикни за правене, като се почне от QoS и се стигне до traffic mirroring и т.н. Всъщност дори и с 2+1 дъно пак си има изход от ситуацията - допълнителна мрежова карта (примерно 4-портова) в някой от свободните слотове на дъното. Единствената причина, заради която не искам да минавам на 2+1 варианта е, че искам да си пазя слотовете за по-нататъшен ъпгрейд с 2.5/10Gbps интерфейси. Засега обаче ще чакам да видим какво ще стане с достваката, защото това дъно на Асус наистина е страхотно и за $230 си струва всеки цент, че даже и чакането.

[ARPAnet]

Интересно, цената е същата  

За теб знам, че суичовете ти са умни :)))

Не знам какви са другите дъна които гледаш, но това си има и х8 и х16 портове, ако и другите имат, ще имаш място и за 4х1 карта и за 2х10 :)))

Мислех си да питам защо не гледаш нещо с 2.5Г, но предположих че едва ли ще го ползваш за тежък east-west трафик
Минеш ли на 10Г портове и съответните суичове, наистина няма да имаш нужда от повече от 2 :)))) 

Edited July 24, 2022 by ARPAnet

[plameni]

17 hours ago, Godfather said:

вече никакво заводско мрежово устройство не ми удовлетворява нуждите

 

Кое няма да може да свърши  един Микротик 4011 или 5009?

[Godfather]

8 hours ago, plameni said:

 

Кое няма да може да свърши  един Микротик 4011 или 5009?

Свободата да ъпгрейдваш каквото си искаш по хардуера и да инсталираш каквото си искаш по софтуера. Другото е, че отдавна не ми трябва all-in-one машина. След като си инсталирах Unifi6 Pro AP на Ubiquiti, възможностите на всички устройства с вграден WiFi ми се виждат доста ограничени. Майтапът е, че даже ми артиса един AP, защото пръвоначално смятах, че в противоположния край на апартамента, където ми е офиса ще се наложи да сложа втори такъв (по-евтиния Unifi6 Lite) за да направя връзката и там като хората. Оказа се, че дори само с единия АР нямам вече никакви проблеми, просто защото WiFi-я на тези машини е на съвсем друго ниво. 

[Godfather]

Баси, с това дъно ударих на камък. Днес ми се обаждат от фирмата и още с мазненето от другата страна на линята разбрах, че ми готвят тесла. Не само цената "от производителя" се била вдигнала, но и се очаква да доставят дъното най-рано в края на октомври. Естествено без колебание им теглих майните и им заявих, че отказвам поръчката. Та, отивам на резервния вариант - Asrock Rack E3C236D4U, която поне ще ми я доставят до няколко дни и няма да струва майка си и баща си. Естествено, дъното е 2+1, но пък има цели 4 PCI-E слота.

[plameni]

max 64GB vs 128GB - орязва ти "свободата да ъпгрейдваш" 

 

Това "отдавна не ми трябва all-in-one машина" и "възможностите на всички устройства с вграден WiFi ми се виждат доста ограничени" не разбрах какво общо имат с моето питане. 
RB4011iGS+RM няма WiFi, но имаш един 10GbE порт.

RB5009UG+S+IN също е без WiFi, като освен 10GbE порт, има и 2.5G

Цената и на двете устройства е поне наполовина по-ниска от твоя проект. Гъвкавостта и разнообразието от възможности на RouterOS 7 са огромни. Много малко са нещата (някакви екзотики), които не са имплементирани стандартно. 

[Godfather]

Не отричам, че в голяма степен хардуера на Mikrotik покрива почти всичко това, но все пак липсва DIY тръпката и отново - на този хардуер не можеш да инсталираш каквото си искаш. Цената в случая не ме бърка толкова, защото не това е основното, което ме вълнува. Една от идеите ми е евентуално да нахвърлям повече от един проект и да направя образователни клипчета, които да пусна в тубата. Сега погледнах RB5009UG+S+IN и определено ми хареса, даже направо бях готов да го поръчам, но ... се оказа същия булшит като с онова дъно по-горе: "Product available for back-orders".

[mIRCata]

то май не е излязъл още? Поне го бяха обявили че ще работи с РОС7. Която излезе официално преди 1-2 месеца. Може би сега ще почнат производствотото/доставките

[ARPAnet]

Сега се загледах, че микроик даже рънват контейнери  в някакви версии на 7, което ще даде възможност човек да си пуска наистина каквото поиска. Но до скоро рънването на екстри като haprxoy + acme не беше възможно на Микротик

И другият проблем е гъвкавостта, можеш да купиш това което те произвеждат, докато с DIY можеш да си имаш каквито портове пожелаеш. 

Ето примерно едно готино боксче което тествам тези дни, такъв конфиг микротик нямат, нивото на гъвкавост е въобще в небето 

 

 

[plameni]

Гъвкавостта на DIY ми е пределно яснa. Аз и в момента съм с handmade device.

Учуди ме това: "вече никакво заводско мрежово устройство не ми удовлетворява нуждите", та затова попитах, кое е толкова специфичното на нуждите.

  

16 minutes ago, ARPAnet said:

Ето примерно едно готино боксче което тествам тези дни, такъв конфиг микротик нямат, нивото на гъвкавост е въобще в небето 

Cordoba Edge или нещо с подобен дизайн?

Edited July 28, 2022 by plameni

[ARPAnet]

8 minutes ago, plameni said:

Cordoba Edge или нещо с подобен дизайн?

Да, Кордобата е това

Много е готина, но удрям проблем с драйвъра на 2.5 ланката  И ръчкам господата от Силиком да свършат нещо. 

[mIRCata]

45 minutes ago, ARPAnet said:

даже рънват контейнери  в някакви версии на 7,

ама ще трябва бая рам да има тоя рутер ми се струва за контейнери

[plameni]

RouterOS върви прекрасно и на x86.

Въпрос на експерименти и предпочитания е дали RouterOS ще е в контейнер (отдавна познатият CHR) или други неща ще са в контейнер на RouterOS (нещо съвсем ново)

 

[Godfather]

Дискусията стана интересна.

Поръчах Микротика, да видим кога ще го доставят, но разбира се си продължавам и с DIY машината.

[EEK!]

13 hours ago, plameni said:

Много малко са нещата (някакви екзотики), които не са имплементирани стандартно. 

например само един openvpn сървър (поне го пуснаха с UDP във v7)

[Godfather]

Малко развитие по темата - машината вече е готова за основната инсталация. Има още някоя и друга карта за слагане, но поне засега конфигурациите и тестовете могат да започнат. Много съм доволен от процесора - Xeon E3-1240LV5, който ми го изпрати едно китайче за пе'есе кинта. Това парче силиций не само върши перфектно всичко по мрежовите опрерации без да се замисля, но на всичкото отгоре е само 25 вата. На снимката е още с вентилатора, който е част от Noctua NH-L9x65, но в окончателния вариант май ще го махна, защото като гледам как при натоварване държи 32 градуса при 27 стайна температура не си струва изобщо. Освен това може да се наложи да сложа една full-size PCIe карта в хоризонталния слот, а тя определено ще задере вентилатора.

Между другото една от картите, която е сложена в машината е 10Gbe Intel X520 SFP+, която pfSense-а разпозна от раз. Ето това е едно от големите предимства на DYI машината. Като вземеш нещо готово, а след това ти дойде на акъла идея за някакъв ъпгрейд, няма как да станат нещата.

Дъното не е никак зле. Всъщност Asrock Rack копират почти всичко от Supermicro и за тия пари си струва всяка стотинка. Оправянето с някои особености на мениджмънт интерфейса (BMC-IPMI) обаче не е за хора със слаби нерви. Почти се наложи да прилагам хакерските си способности, когато при влизане в менюто за флашване на фърмуера, просто за да разгледам нещата и след това канселиране на операцията преди изобщо да се е заредил какъвто и да е фърмуер, камо ли пък да започне самото флашване, изведнъж фърмуера се прецака по много странен начин. Страницата за достъп си работи, но не можеш да се логнеш по никакъв начин. Нищо не помага за factory reset, нито изтръгване на батерията на дъното, нито използването на една камара специфични хакерски инструментчета. Единственото, което оправи ситуацията е едно трудно откриваемо .exe за флашване на идиотския фърмуер от DOS (от BIOS-a може да се флашне само въпросния BIOS, не и BMC фърмуера). След флашването, всички хакерски инструментчета проработиха и така успях да оправя досадния проблем. Та това трябва да се има предвид при използване на подобни дъна (май Supermicro го имат същия проблем и изобщо всички дъна използващи AST2500/2400 чип за BMC-IPMI).

 

[ARPAnet]

Супер машинка, а гледам че кутията идва с bar–че по средата за стабилност  Струва си да го тестваш с трафик без вентилатор, пфсенса не би трябвало да го товари особено. А ако все пак реши да му става топло и нямаш място горе за вентилатор, може отстрани на радиатора да се сложат два по-малко, да помагат колкото може  

A BMC–то им не поддържа ли нещо за отдалечен достъп като ipmitool чрез което да може и да се пачва ? Но пък ако са дали само файл за ъп, вероятно не може, или не са помислили за това. 

 

[Godfather]

43 minutes ago, ARPAnet said:

Супер машинка, а гледам че кутията идва с bar–че по средата за стабилност  Струва си да го тестваш с трафик без вентилатор, пфсенса не би трябвало да го товари особено. А ако все пак реши да му става топло и нямаш място горе за вентилатор, може отстрани на радиатора да се сложат два по-малко, да помагат колкото може  

A BMC–то им не поддържа ли нещо за отдалечен достъп като ipmitool чрез което да може и да се пачва ? Но пък ако са дали само файл за ъп, вероятно не може, или не са помислили за това.

Кутията е същия Силвърстоун от първия пост и много ми хареса. Вероятно наистина ще го сложа този вентилатор отстрани, така ще духа в карта и процесора едновременно. Всъщност това е кутия за домашна медия (HTPC), ама никой не е казъл, че не може да се ползва и за рутер.

Относно BMC-то, когато работи нормално ipmitool-а върши работа, но проблема беше, че фърмуера се омаза по някакъв идиотски начин без изобщо да се докосвам до флаш процеса (вероятно е някакъв бъг), като на всичкото отгоре не даваше и никакви явни признаци за това. Разбрах го единствено, когато погледнах случайно главната страница на BIOS-a, в която стои отгоре версията му и отдолу под BMC Version беше абсолютно празно и тогава ми прищрака, че фърмуера вероятно е омазан. При омазания фърмуер ipmitool под Линукс не може да открие /dev/impi0 - файла на устройството го няма, въпреки зареждането на модула в кърнъла, а самия кърнъл даваше някакво доста шашаво съобщение, хем зарежда драйвера, хем нещо не е съвсем в ред и устройството не се появява. Та единствено един SOCFLASH.EXE, който открих забутан в сайта на Asrock Rack оправи работата, защото това е единствения начин за флашване на BMC фърмуера извън самия интерфейс.

[ARPAnet]

2 hours ago, Godfather said:

Кутията е същия Силвърстоун от първия пост и много ми хареса

Ако я бях гугълнал да я видя .. 

2 hours ago, Godfather said:

Всъщност това е кутия за домашна медия (HTPC), ама никой не е казъл, че не може да се ползва и за рутер.

Идеална е за рутер като гледам :)))

А за вентилаторите, точно сменях едни мои та си представях от малките Noctua 4 сантиметровите, двечки хванати отстрани на радиатора. Напълно безшумни са  Но сега  като спомена, наистина този вентилатор изглежда ще се събере там в ляво  

 

2 hours ago, Godfather said:

BMC фърмуера

Ясно, да изглежда си нацелил бъг. Аз по принцип от доста време вече изпитвам лек хейт към BMC–тата ..  

[Godfather]

Баси, без вентилатора процесора държи 45 градуса при стайна температура от 30 градуса. А тепмературата на чипсета, който стандартно си е само с радиаторче, е 55 градуса. Демек процесора с тия 25 вата TDP спокойно може да си кара единствено на свястен радиатор като Ноктуата.

[netrootbg]

Как живееш на 30 градуса стайна температура...

[ARPAnet]

10 hours ago, Godfather said:

Баси, без вентилатора процесора държи 45 градуса при стайна температура от 30 градуса. А тепмературата на чипсета, който стандартно си е само с радиаторче, е 55 градуса. Демек процесора с тия 25 вата TDP спокойно може да си кара единствено на свястен радиатор като Ноктуата.

Щом и на 30 градуса в стаята държи такива температури, наистина е идеален и без вентилатор  Без движещи се части просто ще го забравиш че е там

[Godfather]

18 hours ago, netrootbg said:

Как живееш на 30 градуса стайна температура...

В офиса като свърша работа следобед, изключвам климатика и се изнасям. Бях излязъл да свърша нещо и като се прибрах дистанционното на климатика показваше 30 градуса стайна температура, което е нормално защото стаята е с южно изложение. Естествено бях оставил машината да си работи та така го тествах на практика и съм много доволен от избора на процесор.

 

Едит: Днес завърших цялата конфигурация и на този етап май ще е това. Добавих единствено една 4-портова гигабитова карта HP NC365T, която ми изпадна за без пари и това ще е машината. Картата трябваше да вържа към PCIe слота за видео карти чрез riser cable, защото само този от останалите свободни се настройва динамично на различните генерации PCIe - картата е Gen 2, докато останалите слотове са заковани на Gen 3, демек не я разпознават. Това не е никакъв проблем в случая, защото така или иначе трябваше да сложа картата в хоризонталния слот за пълен размер, щото нямам half-size адаптер. Нещата се виждат по-долу как са изпълнени. Сега остава да довърша конфигурациите на pfSense и да го сложа на мястото на стария рутер (Asus ROG Rapture GT-AX11000). Това последното май ще отнеме най-много време.

Иначе като интерфейси машината има:

• 1 x 10 Gbe FSP+
• 6 x 1 Gbe RJ-45
• 1 x BMC-IPMI management RJ-45
• 1 x RS-232 Serial