Во время оно, впарили наши излишне доблестные сэйлзы тяжелую машину в нацбанк одной братской республики. Сделка была окутана такой тайной, как будто продавали технологию изготовления ядерной бомбы, а не высокотехнологичный 32-процессорный сервер. Пресейловой фазы как таковой не было - конфигурация машины была посчитана исходя из "32 процессора, 256 гигабайт, карточек и винтов по максимуму". Название клиента не разглашалось, site check (проверка места установки на предмет соответствия инженерной инфраструктуры и путей транспортировки) не производилась. Собственно, монтаж и запуск машины производил вендор.
Прошло время. И вдруг ВНЕЗАПНО поднялась большая буча по поводу совершенно бессистемных выходов машины из строя. Именно тогда я узнал, кому ее продали. Поскольку дело пахло международным скандалом, большие боссы попросили проблему как-то решить. Делать нечего, выдвинулись на локацию, попутно впечатлившись национальным колоритом. А уж шмон на входе в нацбанк был такой, как будто в его подвалах укрыты сокровища из "Тысячи и одной ночи", и мы не интеллигентные инженеры в костюмах и при галстуках, а сущие разбойники.
Путем снятия логов с сервисного процессора выяснилось, что причиной самовыключения машины является thermal shutdown. Говоря по-русски, если вдруг выходит из строя кондиционер, и температура в серверном помещении достигает определенной планки, машина аккуратно останавливает операционные системы и выключается. Процедура обратного ее пуска дело непростое, к тому же регулярный thermal shutdown (вместе с перебоями по питанию) является поводом для отзыва гарантии. Собственно, причиной, по которой я вместе с моей бандой высадился там, было то, что производитель умыл руки и пригрозил при следующем вызове разорвать гарантийный контракт. Кондиционеры, на которые пало первое подозрение, были хоть и промышленной мощности, но тупые - без системы управления и мониторинга, типа херовизора :) (Hirovisor у систем Liebert Hiross), работающие по термостату. Инженерно-эксплуатационная служба клялась Аллахом, что из строя они не выходили. Дежурные электрики показали, что электричество не выключалось. Причем самоубийство машины происходило исключительно по ночам, и совершенно бессистемно. Админы продемонстрировали телефонные фотограции градусника с уставными 18 градусами Цельсия, и горящими лампочками рабочего режима на кондиционерах, выполненные по факту обнаружения удушившей себя машины. В общем, мистика. Впору во всем было винить козни шайтана.
Процесс problem, так сказать, determination осложнялся еще и тем, что начальник службы безопасности и начальник ИТ-подразделения по каким-то своим национально-родовым причинам уже не первый год находились в состоянии "насмерть посрамшись". Соответственно, в просьбе об установке камеры, подключенной к видеомагнитофону, или хотя бы нашей веб-камеры нам было отказано. Равно как и в просьбе об обеспечении круглосуточного прохода и открытии канала наружу, чтобы припасенная на диагностическом ноутбуке система мониторинга могла отправить нам письмо по факту сбоя. Мобилы в помещении не работали, так что маленькая хитрость с использованием GSM-модема нам тоже не удалась. Ноутбук (еще одна маленькая хитрость), пишущий на встроенную камеру происходящее, оставить в помещении серверной тоже не дали. Как видите, я не совсем дурак, и все спортивные и неспортивные методы решения вопроса перебрал. Оставался только самый геморройный и наиболее тупой - установить ночное дежурство в здании банка под присмотром душманов из охраны, что ввергло меня в крайнее уныние, от которого я позвонил большим боссам, и пригрозил уволиться к такой-то матери. Боссы слезно умоляли и неуверенно сулили всем сокровища царей земных. Посовещавшись с бойцами, решили таки не отступать, тем более что такой расклад давал нам некоторый отдых от беспорядочных командировок в диапазоне от США до Хабаровска, а комната переговоров, которую нам предоставили для дежурства, отличалась подлинно восточной роскошью, и очень кстати вспомнилась восточная же мудрость "... а там или ишак умрет, или падишах, или я".
Так прошло две монотонных недели, в течение которых мы неплохо отъелись, расправили свои сжатые в спирали нервы, и даже душманы перестали нас закрывать на ключ при дежурстве. Начальство, поначалу донимавшее звонками в стиле "ну чо там?" было послано на хуй в прямом смысле, и этим удовлетворилось.
Заступив на вахту очередной раз, я было намеревался принять на сон грядущий коньячку, и нести нелегкую службу на огромном диване, как вдруг услышал отчаянный рёв системы охлаждения сервера, внезапно давшей максимальные обороты. А вентиляторы там такие, что в ряде цивилизованных стран запрещена эксплуатация машин этого класса без специальных акустических дверей, гасящих шум. Ну наконец-то! - подумал я, вбил ноги туфли, и рысью отправился смотреть, какой он, этот самый шайтан.
Коварный Шайтан оказался дедушкой, дежурным электриком, подставившим к машине сзади рабочий столик, расположивший на нем некую снедь, и вырубивший кондишены. 40 киловатт тепла, которые дуют из этой машины - прекрасная альтернатива иному духовому шкафу. Когда душманы строго допрашивали дедушку о причинах, выяснилось, что в бытовке у них стояла китайская микроволновка мохнатого года, которая то включалась, то не включалась. Хитрый дедушка присутствовал при пуске машины, и быстро просек, какая баня случается в случае отключения кондиционирования. Высокотехнологичный сервер воспринимался примитивным разумом дедушки исключительно как здоровущий громкий шкаф, из которого дует много тепла. Не пропадать же такому добру, и не кушать же холодную еду, правда?
В общем, дедушку попросили на пенсию, остальным электрикам пригрозили смертью и пытками, а нам, спасителям, устроили пышнейший банкет в лучших традициях восточного гостеприимства.
А новую микроволновку нищим электрикам я купил сам, потому как стало мне их очень жалко из-за скотских условий, в которых они работают. Благо что премия, которая мне светила по возвращении, была весьма впечатляющей.
http://oldmann.livejournal.com/134850.html
