Серверотред #18 /server/ 7405708 В конец треда | Веб
░░░░██╗░██████╗██████╗░██╗░░░██╗
░░░██╔╝██╔════╝██╔══██╗██║░░░██║
░░██╔╝░╚█████╗░██████╔╝╚██╗░██╔╝
░██╔╝░░░╚═══██╗██╔══██╗░╚████╔╝░
██╔╝░░░██████╔╝██║░░██║░░╚██╔╝░░
╚═╝░░░░╚═════╝░╚═╝░░╚═╝░░░╚═╝░░░

Имеешь идеальную серверную? В серверном шкафу ни пылинки? Каждый патч подогнан в размер? Боюсь, тебе не сюда.
Собираем сервер мечты из того что есть, гоним ссаными тряпками буржуев, хвастаемся билдами, бугуртим, делимся с ньюфагами лютыми костылями, смекалкой и спичечножелудёвой мудростью.
В свете последних событий активно переходим на железо с помойки складских запасов Xi. Твёрдый камень, много нить, сильная работа. Удар!

Прошлый >>7325487 (OP)
Для ценителей прошлой портянки https://rentry.co/uchymuce
2 7405747
ОП, ну ты и хуй, была же хорошая фотка для шапки
>>7344709 →
3 7405774
>>05747
Мне надоело что мой толкан постоянно в шапке светит, так что когда я перекатываю его там не будет
951c9a58-45bc-4fba-b998-0845cc8f383b.jpg58 Кб, 493x387
4 7405798
>>05774

> Мне надоело что мой толкан постоянно в шапке светит


Только в серверотреде, дамы и господа
5 7405813
а я опять со своими ZFSопроблемами.
несколько тредов назад я восстанавливал бэкап со скоростью триста вставьте шутку про тракториста мегабит в секунду
мегаБИТ, Карл!
сейчас восстанавливаю другой сервер, идёт последовательное чтение больших файлов
воздуха в грудь

три дцать мегаБИТ
три ДЦАТЬ БЛЯДЬ мегаБИТ в секунду
ёбаный рот этого зфс
при этом запись стабильно 3 гигабита по оптике, 300+ мегаБАЙТ в секунду, с другого сервера подключённого через гигабитный свич запись идёт ровно 1 гигабит. и чтение триДЦАТЬ мегаБИТ мать ебал этой зфс
6 7405817
добрый совет всем котанам серверанам
echo 'alias rm="rm -i";' >> ~/.bashrc
7 7405833
не ну хуй знает вообще, с другой стороны хорошо, что бэкапы делаются со скоростью 3000 мбит, а не 30 мбит лол ибо запись на бэкапник я делаю намного чаще, чем чтение
8 7405892
>>05813
А в чём дело, почему так? Какая конфигурация?
9 7405898
>>05833
смарт смотрел? Мб приходится контрольные суммы пересчитывать.
Оптимизоны типа дедупликации случаем не повключал?
10 7405900
>>05892
да хуй знает, в чём дело. 4 хдд 7200 рпм в raid-1z, все кэши выключены.
11 7405903
>>05900
А сколько у тебя памяти на сервачке с Z-своих не бросаемFSом? Алсоу, может там один из дисков посыпался и одновременно происходит селфзахил?
12 7405904
>>05898
диски новые, ошибок нет, дедупликацию не включал
13 7405906
>>05903
64 гб, не посыпался
14 7405908
>>05906
Вообще пиздец.
image.png107 Кб, 1546x712
15 7405915
>>05900
Хз что с твоими сетапами не так. 8 wide z2 пикрил.
Была сильная деградация только когда заменил один хард (старый сыпаться начал) и он всегда долбился в сотку по busy, а остальные 7 его ждали, свапнул ещё раз на другой, всё снова ок
image.png10 Кб, 297x173
16 7406364
Подзаебала меня что то анальная эквилибристика с докером и его отвалы. Решил что итс тайм ту кубернетис! А т.к. я не девопс решил раскатать кластер из 3х (16cpu + 32ram) мастеров k3s. В итоге кластер ещё не собран, но получены знания keepalived и ansible
17 7406425
>>06364
Переход на куб в твоих масштабах каких-то волшебных фич по бесперебойности не принесёт.
Там те же механизмы, что и в кубе, докеровский движок до недавнего времени там был основной.
И ансиблом докер раскатывать удобнее.

Ну мамке или на форуме похвалиться, да. Но лучше бы подебажил проблемы отвалов, вангую они у тебя и в кубе будут.
18 7406438
>>06425
Докер стартует минут 5-10 на 50+ подах при этом вообще никак не отвечая ни на что, может правила nft похерить, может логи побить. Заебало уже что нет нормального игресса, серт менеджера, обсервабилити, апи, csi и прочих фич/тулинга по типу хелма.
На работе то я уже пару лет кубы дрочу, но не как девопс, а как макака в клетке неймспейса
19 7406456
>>06438

>минут 5-10 на 50+ подах


Да вроде не какие-то сверхцифры для него. Готовил сворм, на ноде за сотни подов.

>может правила nft похерить


Ну и куб прокси тоже не на святом духе работает, если что.

>может логи побить


Чьи?

>Заебало уже что нет нормального игресса, серт менеджера, обсервабилити, апи, csi и прочих фич/тулинга по типу хелма.


А, ну понятно откуда тебе аппетит разъели.
csi-то тебе зачем? Ему в домашних условиях сложно места придумать, хранилку прикупил что ли.
20 7406483
>>06456

> Чьи?


Сервисов

> хранилку прикупил что ли


Всегда была и шарила луны, нфс, самбу. Сейчас всё костылём с простым маунтом через фстаб в виртуалки. С кси просто берёшь и абстрагируешься до быстрого и обычного сторадж класса

Докер это просто тупик в сравнении с кубами, всё в нём нужно костылями подпирать и конфигурить в разных местах. По началу да всё заебок с компоузом, но потом всё больнее и больнее это сопровождать когда нет единого способа описания ресурсов
21 7407679
Сап анонче, не подскажешь софта для кластеризации нескольких пк? Идея в распараллеливании одной таски типа компиляции, брута, майнинга на много компов сразу. Канал между компами это коммутатор на 100 Мбит, кол-во нод - 6

В кластеризации вообще не шарю, знаю только линух и игрался чуть с докером
22 7407685
>>07679
Если нет поддержки в софте то никак. А так обычно это докер сварм/кубы с операторами
23 7407829
Подскажите надежную usb флешку для truenas.
1749169077896.jpg32 Кб, 750x750
24 7407833
25 7407885
Подскадите сервачный корпус из серии open case
26 7408285
>>07833
Проорал с 990 в переходнике. Любой pci-e3 норм залетит а то и m2 sata в скорость usb упрется.
27 7408328
>>05708 (OP)

>Для ценителей прошлой портянки https://rentry.co/uchymuce


ебло, не открывается ссылка

вот нормальная шапка коротко и по делу https://pastebin.com/j2gmZ4C6

переделывай
28 7408340
>>08328

> вот нормальная шапка коротко и по делу https://pastebin.com/j2gmZ4C6


забейте, удаляю за ненадобностью
29 7408366
>>08328

> не открывается ссылка


Мы вроде не в треде детского сада, пора бы уже принять что в рф всё побанено
30 7408387
>>08285
Вопрос что по рандомному доступу. А сата гарантированно медленнее усб 3.2 ген 2 и в упор к ген 1
31 7408443
>>07679

>распараллеливании одной таски типа компиляции


openmp

>коммутатор на 100 Мбит


не-а, не прокатит. Только если раскидывать сами задачи компиляции, а линковщик будет собирать всё это на основной ноде.
32 7408583
>>08366
Ну так тогда не мусори заблокированными ссылками
33 7408621
>>08583
Терпи
34 7408631
>>08583

>сервертред


>не может поднять впн сервер

35 7408662
>>08631
не положено
а реклама вообще запрещена законом
36 7410329
>>07829
Нет таких. Две в рейд ставь, любые не дешман Netac/Kingston/Samsung, но все равно надежность хуеватая
37 7411002
Чуваки и чувакессы, вопрос: поставил себе карточку в компик на 540 чипе, есть ли какой-то способ узнать температуру чипа в работе?
38 7411117
>>11002
intel x540?
никак, и в проёбанной шапке об этом было
1749513628437.png1,7 Мб, 1200x1200
39 7411779
Материнки с цода под 2011в3/в4 за 1600р ака RD452X.
Уже ставшая народной rd450x сейчас по 4200
40 7411781
Процы под лга3647 тоже сильно подешевели, но матери бы под них ещё были
41 7411804
>>08621
Терпилоид, не реверси
42 7411832
>>11117
https://www.exegate.ru/catalogue/lanadapter/ex296226.html

Такая игрушка, но я понял, спасибо.
43 7411925
>>11779
ты тот чел, который закупался говной на таобао? напиши мануал для шапки пж
44 7412102
>>11925

>можно подробный гайд как с табао заказывать?


1. регаешь загран нового типа
2. регаешь китайский алипэй (нужен загран и телефон с nfc)
3. регаешь таобао акк (сразу через настройки поставь пароль т.к. не всегда приходят смс)
4. регаешь акк на youcanbuy (или у другого пересыла, но я юзаю его)
5. на тао забиваешь адрес по инструкции с юкб
6. наваливаешь чего нужно в корзину
7. пополняешь алипэй через кого то (через мужика с форума юкб делаю, 300+к уже через него провёл)
8. заказываешь на тао
9. когда всё пришло на юкб там собираешь посылку (не забудь выбрать наложенный платёж а то придётся в саппорт писать, карточки то отвалились)
10. ждёшь
Редакция от 12.04.2024, больше инфы можно найти в /pvc
45 7412171
>>12102
спс, добавьте в шапку кто будет перекатывать
46 7412662
Знает кто, будет ли работать двухглавая китайская мать от одного 8 pin? Процессоры будут стоят e5 2650 v3
47 7412664
>>12662
С одним цпу будет, с двумя нет. Опыт из интеловской мамки под 2011. Спаяй двойник или купи, хотя слоило бы вообще задуматься о том что бы такой бп выкинуть
48 7412799
>>12664

> такой бп


Там всё равно все провода из одной точки растут.
49 7413752
>>06364
По вечерам порой садился за это дело когда вайбы были. В итоге вроде что то слепил.
- traefik
- metallb
- vm operator (single + agent + alert + alertmanager)
- node exporter
- kube state metrics
- csi nfs
- cert manager
- grafana + pg
Нужно харбор ещё затащить и что то с логами придумать, эластик не хочется, м.б. signoz попробую

На днях буду заселять в кластер на одной физической тачке уже полезную нагрузку
50 7413754
>>13752
На удивление ни разу не убил кластер. Пару раз насрал лишними манифестами, но просто подчистил вилочкой и дальше поехал
51 7413806
>>13752

>что то с логами


>эластик не хочется


qryn/gigapipe
52 7413937
>>13806
Эти инструменты адекватный дрилдаун поддерживают?
Я не тот анон, но тоже ищу решение для логов, отличное от ELK.
Была мысль слать логи в Vector, там преобразовывать в нужный формат, пересылать в CH, после чего уже из CH вынимать в графане, но в этом варианте нет особо интерактивности. Нужно заранее думать над тем, что тебе нужно, строить запросы и все вот это вот.
А хочется чего-то более ELK подобного с нормальными фильтрами, без заранее заготовленных запросов и т.п.
53 7413953
>>13937
Как раз в signoz внутри ch, но в реальной эксплуатации не гонял
54 7413964
>>13937
Это один и тот же инструмент, просто переименовали проект.
Там сверху прикручивается графана, а курин типа её локи-компатибл датасорс.
Дрилдаун от взятой версии графаны зависит, а не от датасорса.

См недавнюю конфу яндекс инфра, там кто-то как раз рассказывал про продуктовый опыт внедрения.
55 7414237
Бывает какой-нибудь дешёвый домашний нас 2xsata?
Хотелки обычные, вроде бэкапов.

Но для домашней лабы хочется поддержку s3.
56 7414597
>>7399754 →
Дошли руки параллельно кубам продолжить трогать и фильтратор от арбузеров.
Примерно такой результат если долбить сайтами которые делают внешние проверки.
ipinfo раскалывает как орешки тех кто пролезает с iplocate.io, но платить за первый я конечно же не буду.

Сама табличка с "кэшем" проверок выглядит примерно как пик 2, а рулы пик 3 с интеграцией в кубы пик 4
57 7414664
>>14597
manual по логике в первую очередь нужно проверять
58 7414778
>>14597
так падажи ёбана, то есть при каждом входящем соединении твой сервер лезет в интернет и спрашивает у стороннего сервиса чё это за айпи подключается?
бля фпесду даже объяснять лень
59 7415046
>>14778
Ну вот и мне лень объяснять что это не так иначе 10-15к рпс было бы не выжать
60 7416435
>>05817
В альте искаропки, кстати
61 7416442
>>06364
Можно ещё захотеть kube-vip вместо keepalived (если речь про control plane)
И помечтать про l3 only с анонсами control plane и LB сервисов по BGP
oops.jpg121 Кб, 1280x960
62 7416455
>>7328368 →
>>7329531 →
Как-то так. Уродск, но и смотреть никто не будет - лишь бы не пожароопасно.
63 7416739
>>16455
ух, бля, спасибо, пойдёт в шапку
64 7417250
Хуя вы там дрочитесь. Просто поднимаете прокси/впн и настраиваете через nginx доступ только с айпи самого nginx к ресурсам. Всё.
65 7417489
Народ, вопросы:
1) Как себя ведут железки IBM в плане дружбы со сторонними PCI адаптерами? Нет лютой проприетарщины, как у одной конторы хрено-плакательной?
2) Вопрос по HBA контроллеру (внешнему), у него указана скорость передачи данных: 4800 мбайт/с, грубо говоря, если к нему можно подключить 16 SATA дисков, то с каждого, одновременно, можно читать по 300 мбайт/с? Или я ошибся?
9300-16i если чё

>>16455
Это чё за ИБП? Экзегейт? Как себя ведёт?
66 7417641
>>17489

> IBM


это и есть лютая проприетарщина
67 7417644
>>17489
1 нет, перепрошивают под прошивки других оемов и оно даже работает
https://www.truenas.com/community/resources/detailed-newcomers-guide-to-crossflashing-lsi-9211-9300-9305-9311-9400-94xx-hba-and-variants.54/
https://github.com/EverLand1/9300-8i_IT-Mode
2 железка качается до 2млн иопс, иопс не гарантирует утилизацию пропускной способности вплоть до физической
68 7417654
>>17641
гг бля

>>17644
у меня вопрос именно "можно ли подружить 9300-16i и x3630 M4", то же самое с PCI-SSD адаптерами.
Хочу сервак Б/У взять, под файлопомойку, и RAID мне в нём нахуй не нужОн.
Да и 9300-16i, нагугленный на алике по запросу "HBA адаптер" одним из первых вылетел, думаю что он и так в этом режиме находится.
Подружится ли он именно с серваком этим?

Обидно, что гугл на эту тему выдаёт приблизительно нихуя, как и сайт леновы.
69 7417658
>>17654

>x3630 M4


2430? DMA в контроллере конечно много что сгладит, но вряд ли проц вытянет твои мрии про 4800мбайт/с.
image.png7 Кб, 437x58
70 7417660
>>17658

>2430?


Пик

>но вряд ли проц вытянет


Да похуй даже если половину выдаст, уже радость будет.
Просто продавец там меня на панику посадил, что оно может "не подружиться", а желания покупать сервак, покупать карточку, а потом это всё возвращать, в случае неработоспособности, меня вообще не радует.
71 7417663
>>17654

> Хочу сервак Б/У взять


в проёбанной шапке было "не бери айбиэм и прочую копрокорпорастию"
леново ещё куда ни шло
72 7417664
>>17660
всё правильно он тебя посадил, покупай супермикру и не еби мозги
73 7417665
>>17660
Ну понятная позиция продавца, не хочет связываться с возвратами из-за того что юзер обнаружил что биос что-то лочит.
Типа на свой страх и риск.

Посмотри там по ссылкам, есть ли возможность прошить рейд под ибм, это должно снять твою тряску. Будет такой крайний вариант если биос железку проигнорит при инициализации.
74 7417667
>>17663
Так IBM отдалось на откуп Ленове. Документаха и описание продуктов IBM лежит на сайте последних.

>>17664
Вот тоже сюда уже думаю.

>>17665
Там M5100, вроде и не шьётся.

Спасибо чуваки, услышал вас, там у них супермикра завалялась, буду на неё смотреть.
Тряски с HBA отложу до лучших времён...
76 7417752
>>17724
ну так он в RAID, а не HBA
77 7418039
>>17489
Ага, из UNL*, 2кВА 1.2кВт. Родные батарейки 2x 9Ач были, 2x 2x 15Ач поприятнее.
Ну, оно работает. Из заметно натирающего:
- кнопка включения без фиксации: нажал-запала-вкл, повозил-выпала-выкл - самое странное, наверное
- serial протокол не работает с NUT (запатчить руки не дошли)
- нет теста батарей по кнопке, мб есть по serial
Холодный старт есть, уже хорошо
78 7418042
>>17489
>>18039
Крутиляторов нет, что с температурой внутри - не смотрел, но за весну / начало лета в серверной при +30~35 не помер
Ну сборка внутри не супер аккуратная, места на плате немного, кое-где компоненты близковато наклонены друг к другу / кабели близковато к катушке. Не уверен, что в APCях не так же.
79 7418287
>>18042
если будет возможность - сфоткай внутрянку.

У APC 1100 большая проблема - у них трансформатор вплотную к аккумулятору находится, что приводит к очень быстрому выходу из строя последнего.
80 7418526
Если кто то думает брать бу комп с рук для сервака - не берите. Нужно брать китайскую хуйню. Будет в РАЗЫ выгоднее
81 7418532
>>18526
Спасибо, дядюшка Си, за открытую истину.
Шлём коммунистический привет, любим, целуем.
82 7418820
>>18526
Китайская хуйня это типо хуананы и прочие х99?
83 7418947
>>18820
да. на сколько мне известно на самом деле это тоже бу, только ты покупаешь не потребительский проц хуёвого уровня (в своё время) купленный 5 лет назад, а серверный топ (в своё время) который просот меняют на что то более современное и сбагривают китацам за копейки старое
84 7418948
>>18287
Тут разнесены лево-право как раз
Но крутиляторов нет, но хотя бы в левой части (где трансформатор) перфорация по фронту и сзади
Пик 1/2 после/до снятия аккумов
85 7418981
>>18947
я слышал что у китайских материнок только с бивосом проблемы, а в они остальном топ
86 7418985
>>18981
Там полная рулетка со всем, от биоса до контроллеров на плате т.к. собирается это всё из того что есть здесь и сейчас
87 7419114
Купил карточку exegate exe-x520-da1 на jl82599en. К ней кабель медный xbit. Свитч dgs1250-28x. Debian 12 с OMV. Обе стороны видят подключение медного кабеля.
Но линк каждую секунду циклически появляется и пропадает. Патч на intel x520 установился но не помог.
Что с этим хламом теперь делать? Обратно на озон не сдать.
88 7419149
>>18948
лол, после 1100 здесь будто пусто. У APC как-будто схема более наполнена.
Но плюс в заменяемости аккумов.

>>19114
выставь скорость принудительно, а не по автосогласованию
89 7419310
>>18981
пару перекатов назад у анона перестал работать второй проц из-за сгоревших VRM
90 7419312
>>19114

> Купил x520


про это тоже было в шапке, кто удалил тот хуй
91 7419355
>>19312
Я бы может поверил что с ними что-то не так если бы у меня не стояло их 2 штуки замиксовано с ноунейм аоками и другими сетевухами
92 7419364
>>19355
ну в принципе с ними всё так, я сам их несколько лет юзал ещё с echo 'options ixgbe allow_unsupported_sfp=1' > /etc/modprobe.d/ixgbe.conf до того как изобрели патчинг, но потом узнал, что есть сетевухи с которыми всё ещё более так, чем с интелами, теперь я хуй когда куплю их сетевуху.
93 7419392
>>19310
пиздец
94 7419396
>>19310
а там точно бп неуиновний?
95 7419403
>>19396
хз, я ставлю на китайскую мамку
96 7419686
>>19149 Позволяет выбрать только 10G, меньше никак. Безрезультатно.
>>19364 И патч тоже. Хотя установился без проблем, нашёл нужные биты и поправил.
>>19312 А какие там ещё есть нюансы?
97 7419778
k3s, nfs (zfs, no compression, nvme), 10gbe
Жить можно
98 7419806
>>19778
А чего куб на бареметал не поставишь, если гонишься за бенчами?
99 7419817
>>19806
Не гонюсь, но нужно же знать на что рассчитывать. Даже конфиги не подбирал, что выдал pgtune то и забросил. Если бы хотелось выжать максимум то отдельная вм под пг, без nfs, больше рамы, глубже тюн.

Условно это то что можно легко получить при всех отягощающих
100 7420247
>>19817

>то отдельная вм


На виртуализации есть потери, если поставишь пг даже в обычный куб - будет производительнее.
101 7420407
>>19686
греется как мразь
102 7420410
>>19778

> zfs


пу пу пу

>>05813-кун
103 7420419
>>20410
Дак что ты, в итоге-то, разобрался, почему это происходило?
104 7420482
>>20419
нет, мне некуда переместить 50тб данных чтобы пересоздать зфс.
image.png1 Кб, 61x133
105 7420530
>>19686
так подожди, тебе разве не 10 и нужно было?
И в свитче посмотри скорости, там тоже ручками надо.
У меня в микроте, например, можно выбрать 10, 2,5, но нельзя 5.
Хз почему.
106 7420537
>>20530 На свитче выбор есть только для rj45. Для SFP+ нет.
Со стороны NAS единственный поддерживаемый режим это 10G, меньше не дает установить.
107 7420792
>>20537

>На свитче выбор есть только для rj45. Для SFP+ нет.


странная какая-то хуета, не должно быть так.
Обновить тред
« /hw/В начало тредаВеб-версияНастройки
/a//b//mu//s//vg/Все доски

Скачать тред только с превьюс превью и прикрепленными файлами

Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах.Подробнее