░░░██╔╝██╔════╝██╔══██╗██║░░░██║
░░██╔╝░╚█████╗░██████╔╝╚██╗░██╔╝
░██╔╝░░░╚═══██╗██╔══██╗░╚████╔╝░
██╔╝░░░██████╔╝██║░░██║░░╚██╔╝░░
╚═╝░░░░╚═════╝░╚═╝░░╚═╝░░░╚═╝░░░
Имеешь идеальную серверную? В серверном шкафу ни пылинки? Каждый патч подогнан в размер? Боюсь, тебе не сюда.
Собираем сервер мечты из того что есть, гоним ссaными тряпками буржуев, хвастаемся билдами, бугуртим, делимся с ньюфагами лютыми костылями смекалкой и спичечножелудёвой мудростью. Чем больше скотча, изоленты и сомнительных решений тем душевнее. В свете последних событий активно переходим на железо c помойки складских запасов Xi. Твёрдый камень, много нить, сильная работа. Удар!
Для 90% хотелок с головой хватит обычной китайской мини-пекарни с N100 типа Beelink Mini
Если вы уверены, что ну вам-то её точно не хватит, то, прося совета в этом треде, указывайте, чем конкретно вы собираетесь заниматься на вашем будущем сервере, какая примерно нагрузка ожидается, какой примерно объём хранилища нужен
Разница между серверным и обычным железом
Серверное железо - это громко, горячо, и дорого. сервера предназначены для работы в специальном помещении, где постоянно работает кондиционер и где нет людей, поэтому они орут кулерами как взлетающий реактивный самолёт, в домашних условиях вы oxyeeте от шума.
Хотя вышесказанное актуально только для 1U и отчасти 2U, начиная с 3U сервера уже относительно тихие. Но есть другой нюанс: начиная с 3U сервера пиздeцки тяжёлые, потому что серверные корпуса делают из толстых железных листов, а не из бэушных консервных банок, как корпуса для обычных пекарен.
Также в мире серверов царит копирастия и вендор лок-ин: с большой вероятностью сервер одного бренда откажется работать с PCIe картой другого бренда, а то даже и с жёсткими дисками другого бренда.
Но есть и плюсы: подавляющее большинство серверов поставляется с удобным удалённым управлением - IPMI - можно управлять питанием, переустанавливать шиндошс операционную систему, настраивать биос, и всё такое прочее, без монитора и клавиатуры, а воткнув в сервер один лишь сетевой кабель.
Разница между брендами и серверами.
Если очень хочется настоящую® серверную™ платформу© без особого пepдолинга, то купи Supermicro или ASRock - в отличие от остальных серверных брендов, у этих железо в основном совместимо с десктопным - используется стандартное ATX питание, стандартные четырёхпиновые кулеры, стандартные форм-факторы материнок. То есть можно собрать настоящий© сервер™ в обычном десктопном корпусе.
Если всё-таки хочется ынтырпрайз©®™ и готов немного пoпepдолиться - то бери Dell, это самые распространённые сервера среди пepдоликов и красноглазиков, поэтому для них продаётся куча запчастей на барахолках и по этим серверам дофига информации в интернете (читай "основные проблемы известны и для них уже придуманы костыли")
Самая "народная" модель - Dell R730 или Supermicro CSE-826 / 827 / 829 с двенадцатью хардами 3.5"
Сервера HP и Fujitsu - на свой cтрax и риcк - они распространены намного меньше, информации по ним практически нет (особенно по Fujitsu), с запчастями тоже могут быть проблемы.
Ни в коем случае не бери "труЪ ынтырпрайз" - Oracle, Sun, Cisco, IBM.
По поколениям серверов: нежелательно покупать Dell старее 13го поколения, Supermicro старее 11го, HP старее 9го, то есть модели с DDR3 и более старые.
> У меня был сервак в датацентре на зионе ебаном то ли 2012 то ли 2013 года под один клиентский проект. Еле шевелился. Сменил его на чуть менее некро i9-9900x, разница небо и земля просто. Что самое смешное, аренда i9 еще и стоит дешевле, а энергии он жрет меньше. Динозавр 2008 года сейчас разве что для отопления комнаты зимой сгодится.
Часто задаваемые вопросы и ответы, и полезные цитаты из предыдущих тредов
> сап двач мур мур мур мур, я хочу скачать весь интернет, нужен сервер с 8+ дисками, какой купить?
8-12 дисков можно и в обычную пекарню запихнуть, но понадобится "разветвитель", точнее "HBA controller".
подойдёт и "RAID controller", но читай описание контроллера - он обязательно должен поддерживать "HBA mode" или "IT mode", то есть прозрачно прокидывать диски в операционную систему, а не собирать рейд массив самостоятельно. Если очень нужен hot swap, то гугли вышеуказанные корпуса supermicro 2u 12x lff или бери народный Dell R730
> чёто в описании везде указывается SFF/LFF (нахуя так писать?)
чтобы тебя запутать. SFF = small form factor = 2.5", LFF = large form factor = 3.5"
> сап двач, хочу 10 гигабит, а на авито столько вкусных предложений Intel X520...
Не надо, лучше поищи Solarflare SFN7122F или новее.
Solarflare менее привередливые, чем интелы, жрут почти в 2 раза меньше электричества и соответственно меньше греются, lm_sensors умеет собирать с них кучу информации (пятнадцатилетний Intel X520 даже температуру не показывает)
ещё говорят, что Mellanox ConnectX-3 (и новее) тоже годные, но я не проверял.
> Где в необъятной продают норм корпуса 3-4u для ATX?
Etegro и супермикра стандартные корпуса
> Посоветуйте дешёвый сердитый шкаф.
не подскажу конкретные модели, но подскажу по глубине: НЕ бери шкафы глубиной 60см, это шкафы для короткого СЕТЕВОГО оборудования типа умных свичей и роутеров, шкафы для СЕРВЕРНОГО оборудования начинаются от 100см.
> подскажите как я могу приколхозить SAS-диск
Вариантов кроме контроллера нет
Самые дешевые и распространенные контроллеры ищи на авите по названию чипа - LSI 2008, там тыщи моделей. HBA в объявлении не суть, они перешиваются туда и обратно.
Хотя наверное сейчас надо искать LSI 3008, 2008 слишком старые, а ынтырпрайз уже переезжает на современные контроллеры и сливает устаревшие LSI 3008 на барахолки.
Важно: в прошивке LSI 3108 нет реального режима HBA, в отличие от LSI 3008, и поэтому там приходится по отдельности каждому диску включать режим JBOD, чтобы ось их увидела. Возможно в LSI 2108 так же, точно не знаю.
> прокинуть диск в систему из железного рейда LSI SAS2108 / SAS3108
https://2ch.hk/hw/res/7132612.html#7210795 (М)
https://arhivach.hk/thread/1105552/#7210795
> софтовый RAID - сила, хардварный - могила
> но у нормальных брендов в прошивке контроллера можно изменить режим его работы с RAID на HBA
> где проёб с хуананами и зеонами если у тебя не серьёзный энтерпрайзный прод?
> У меня вчера после поста ... отвалился второй проц на мамке. Сколько я не искал причину, не читал гайдов и не спрашивал что делать, второй проц мамка не видит в упор, вместе с половиной памяти. Боюсь что я теперь понял где проёб.
> кстати да, надо ещё добавить в шапку, что ARM - это гроб гроб кладбище и далее по списку.
> Основные важные пакеты и программы под ARM64 / ARMv8 есть, но при любом шаге в сторону оказывается, что ничего нет.
> а по домашним упсам какая база?
база - это чтобы он управлялся по LAN или USB и поддерживался вот этим софтом https://github.com/networkupstools/nut/
> Бросил попытки ебаться с ZFS. Никакого профита от неё нету обычному уёбку селфхостеру. Я сдаюсь.
> ZFS на консьюмерских дисках это пиздец английское лото. С производительностью там полнейший атас.
> ZFS - это хрестоматийный пример "it works until it does not", когда столкнёшься с чем-то нетипичным, начнётся "у меня такая же нога и не болит"
> Короче положняк треда: все любим ZFS. Без проксмокса сервер не сервер, в крайнем случае трунас (тоже с зфс).
> XFS теоретически лучше работает с большим количеством мелких файлов , но у меня с ней были серьёзные проблемы, а на форумах и прочих сосачах сусодмины в свитерах наперебой рассказывали, что такого не бывает и что мои проблемы не проблемы, поэтому я забил хуй на XFS и вернулся на медленный EXT4, n лет полёт нормальный
> и не забудь указать, что HP - контора мочи говна
> в очередной раз заебавшись с глюками HP и наобщавшись с макаками, не вникающими в суть вопросов и отвечающими копипастами по скрипту, я осознал, что единственный ынтырпрайз в мире серверов - это делл. там и прошивку к одному конкретному девайсу скачать можно, вместо выкачивания 4.3гб исо образа у хп (с обязательной регистрацией, конечно же), и документация нормальная вместо маркетингового буллшита, и на тикеты отвечают техники вместо макак. не покупайте хп, посоны, вы матерям ещё нужны.
> The fan noise is HPEs way to punish users that don't buy HPE hardware. They have been doing this for many years, and their supporters just act stupid and send you an a wild goose chase updating drivers, updating software and so on to tire you out and give up. The reality is that they do this knowlingly on purpose to annoy you
Предыдущий тред: >>7132612 (OP)
Шапка треда: https://0bin.net/paste/Kfh5-pJl#qSvFtERsIxvAkjLleN13QA9QqEBcWK1erw3T7Deh3xj
Архив тредов: https://pastebin.com/QjGFnFWT
> сап двач, хочу качать торренты и стримить киношки на телик в гостиной...
вот тут хз что ответить, пишите ваши советы для добавления в шапку
С этим любой мусор с помойки справится или роутер с usb-гнездом и pooque-wrt, чего тут советовать?
Сильно зависит от того что на телеке.
Ну хотя бы примерная зависимость от числа дисков в массиве. Вообще как то реально увеличить скорость записи?
Нипакакой. У этого говна даже "идеальных" скоростей нет. Всё зависит от сотни параметров: от системы и комплектующих до характера использования и настройки кэша. И лезть туда стоит только если тебе нужно больше шести дисков собрать в массив и ты ну никак не можешь пользоваться ими отдельно.
>>0250
Да нужно объединить 8 и более дисков.
По скорости чтения нареканий нет, но вот скорость записи не очень. Причём если файлы небольшие, то скорость приемлема, а вот у больших ~30+Гб скорость резко падает. Насколько понимаю из-за объёма кэша.
Тут только больше оперативы вставлять?
>16гб буфера записи
А увеличить невозможно?
Кэш (arc, l2arc) на ЗАПИСЬ не влияет
>Тут только больше оперативы вставлять?
Ну сейчас ещё переход на ддр5 должен резко добавлять профит.
Туда же супермикру засуну которая сейчас отдельно в корпусе от пекарни стоит с дисками.
Есть варианты попроще чес собственно 19" шкафы? На авито нихуя нет, всякие тумбочки-ящики и гробы примерно в те же цены выходят, но их ещё допиливать надо.
Стойки для аудиотехники.
Ну и выясняли же, какая-то икеевская то ли тумбочка то ли стол подходит под 19'
Да поебать мне на 19". И за икеей гоняться тем более ебал я в рот.
А всякая мебель не сказать что принципиально дешевле готовых серверных шкафов когда начинаешь добирать полки, стенки, дверцы, петли, метизы...
И с ней ещё пердолиться чтобы привести к пригодному для использования вида,
монтажные, вентиляционные отверстия нарезать и обработать как минимум.
Ну а если пердолиться, то тогда уж из проще из листового материала/бруса/профиля собирать самому всё как надо.
И то врядли дешевле будет, материал в розницу дорогой, для раскроя либо инструмент нужен, либо ебля с пилой, либо опять таки оплатить. Я собирал себе когда-то ящик из бруса и фанеры, это пиздец приключение, а по деньгам вышло дороже чем купить на авито у кабанчика.
Выгорает только если столяркой как хобби заниматься – тогда у тебя уже весь инструмент и половина материала есть в кладовке.
Короче, я искал, но пока нихуя не нашёл ничего разумнее собственно шкафов. Они в розницу на удивление не дорого стоят и вполне полноценные серверные шкафы.
>аудиот-...
Ну тут сразу ценник х3
> По скорости чтения нареканий нет, но вот скорость записи не очень.
ахах
мимо-3гбит-запись-300мбит-чтение-кун
> Глубина 45
>>0058 (OP)
> не подскажу конкретные модели, но подскажу по глубине: НЕ бери шкафы глубиной 60см, это шкафы для короткого СЕТЕВОГО оборудования типа умных свичей и роутеров, шкафы для СЕРВЕРНОГО оборудования начинаются от 100см.
твоя супермикра длиной сантиметров 70
а, если голая мамка без корпуса, то хватит.
Как это лучше реализовать, и какие подводные? Ну и можно ли будет на этих костылях играть по локалке с того же ноута(на плойке то можно по фтп).
И каким образом такого достиг? какой у тебя конфиг, что скорость записи > скорости чтения?
> каким
poolname="backup";
zpool create -f -o ashift=12 -m /mnt/data $poolname raidz /dev/...
zfs set atime=off $poolname
zfs set compression=off $poolname
zfs set recordsize=1M $poolname
> какой
4х 5400rpm HDD, без каких-либо рейд/хба контроллеров, воткнуты напрямую в мамку, то есть работают через чипсет.
кэшей никаких нет, потому что когда я попробовал добавить кэш на ссд, скорость записи тоже стала 300 мегабит вместо 3 гбит
Ссдшка должна вывозить долгую запись, а не сдуваться спустя минуту до скоростей ниже харда
Спасибо анон, буду тестить.
>Кластыр.jpg
О, моё.
Нужен совет илиты:
ХПЕшные серверы будут работать с HBA от лси или адаптек? Кто пробовал такой колхоз?
Мне в цод вбросили схд и несколько HBA SFF-8088. Теперь сижу и думаю, что с этим делать.
Господа сервера воды
Собираю сервак для задач БЯМ(буду ламу крутить)
Мать h12ssl-i, проц 7452, ОЗУ пока что одна плашка на 32
3хА5000
Получаю следующую проблему
Все ДОС утилиты запускаются и все тесты проходят успешно, но стоит попробовать бутать ОС, то сразу ловлю перезагрузку
Пс
Что через вагу, что через карточку одинаковое поведение
Десятки причин.
livecd хоть убунты для начала погоняй.
Если принципиально не хочешь - то по классике иди, оставь воткнутым по минимуму нужное только для запуска операционки, ищи сбойный компонент. Ну и со всеми этими приседаниями, вроде перестановки компонент в другие системники.
Если честно, ничего не понял.
Если родственник находится за 200км, откуда ты знаешь, что у твоего родственника диск трещит?
План - развернуть сервер у тебя, и твой родственник будет подключаться к твоему серваку через ftp?
стенд на минималках
Никакие ОС, ни при каких условиях не стартуют.
Выяснил что плата 100% уходит в перезагрузку при следующем сценарии, загружаясь с liveCD и в grub выбирая пункт uefi firmware settings происходит мгновенная перезагрузка
При этом все компоненты(кроме проца и матери) были протестированы на стенде.
Ipmi log
обнови бивис до последней версии
Ну там syslog, логи разных сервисов - вот это все. Чтобы был доступ с веб-морды, поиск по логам, триггеры делать и т п.
Кнопки "сделать заебись" нет, но есть готовые стеки
- виктория+алертменеджер+графана
- (эластик+кибана или грейлог)+файлбит
Ну и не вешай алерты на логи, для этого метрики придумали
TrueNAS норм сборную к или лучше другую?