Рок-н-ролл мертв, а Perl еще нет

Никогда не предполагал, что окажусь в шкуре Perl-программиста - но это случилось. На новом месте (региональная сеть NGN/IMS) мне досталась в наследство куча перлового кода (предбиллинг, управление подключениями, устройствами, услугами) и полтора программиста, способные значительным усилием воли его читать, а в крайнем случае даже править. Автора этого безобразия большей части кода я уже не застал, хотя до того успел пообщаться с ним, находять по другую сторону баррикад и подключая Asterisk/CallWeaver и FreeSWITCH к операторскому оборудованию.

Конечно, я надеялся все переписать все на Java/Groovy, однако вовремя остановился - это оказалось слишком дорого и больно. В итоге мы остановились на Perl и это позволило:

• Постепенно переписывать работающий код по частям и повторно использовать некоторый унаследованный код после минимального рефакторинга
• Не переучивать коллег - разве что более осознанно подойти к coding conventions

Пришлось, правда, переучиваться самому - плевался поначалу, но втянулся.

Значительная часть как старого, так и нового кода в итоге оказалась внутри модулей, написанных в процедурном стиле и пригодных к использованию в качестве автономных утилит:

#!/usr/bin/perl

package MyModule;

sub calculate {
  ...
}

calculate(@ARGV) unless caller();

Эти же утилиты являются по сути функциональными тестами. От юнит-тестов мы отказались, т.к. их честная реализация во многих случах свелась бы к написанию эмуляторов внешних систем и оборудования, с которым приходится работать.

Но чаще модули не запускаются вручную сменным инженером или кроном, а собираются в более крупные единицы:

• Юниксовые демоны, написанные с использованием Proc::Daemon (Net::Daemon оказался слишком умным) и запускаемые инит-скриптом в стиле SysV (никаких новомодных systemd)
• Web-приложения, использующие PSGI согласно последней моде

Последние можно разрабатывать разными способами:

• Опираясь исключительно на спецификацию - в этом случае разбор URL, параметров и заголовков, возвращение требуемого Content-Type, шаблонизация и многое другое становятся проблемами самого разработчика
• Используя Plack - эталонную реализацию спецификации, которая предлагает стандартизованный способ декомпозиции приложений (в т.ч. выделения Middleware и специального DSL для настройки и склеивания разных приложений в одно), также обросла кучей разных полезных плагинов
• Используя один из полноценных web-фреймворков, хотя на самом деле их, похоже, всего лишь 2 - Dancer и Mojolicious

Я бы рассмотрел всерьез первый или второй вариант, а также запуск приложения под управлением какой-нибудь минимальной реализации на С вроде uwsgi (она приглянулась мне больше evpsgi, патча для nginx и модуля для Apache), если бы у нас были серьезные требования к производительности. Однако к web-интерфейсу не предполагалось публичного доступа, зато требования к простоте разработки очень даже предъявлялись. В итоге был выбран Mojolicious и скорее по иррациональным соображениям - в нашей местности обитают люди, которые очень его любят.

Сейчас весь старый код работает на последнем оставшемся сервере с Slakware 12.2.0 (который поначалу было едва справлялся с нагрузкой а сейчас почти отдыхает) и потихоньку переползает на новые сервера с ALT Linux. В последнем пришлось обновить Mojolicious, Plack и Starman, который используется в качестве самостоятельного web-сервера без всяких фронтендов типа nginx и тем более apache. Я также опакетил evpsgi и начал было перепиливать сборку uwsgi, однако быстро потерял к ним интерес - поэтому до репозитария они не добрались.

NetXMS network monitoring system

Собрал в Сизиф и t6/branch систему мониторинга NetXMS, привлекшую к себе внимание даже не столько эффективной архитектурой, сколько в первую очередь своей консолью:
Она кажется более наглядной и при этом достаточно простой для сменных инженеров по сравнению с любым веб-интерфейсом (ну или как минимум по сравнению со знакомыми мне OpenNMS и Zabbix). Благодаря Eclipse/RAP ее можно запустить не только в качестве кроссплатформенного десктопного приложения, но и через веб тоже - хотя работать с ней таким образом все же менее комфортно.

Да, апстрим добрый и отзывчивый: баги исправляют, фичреквесты реализуют (или, по крайней мере, задумываются), по-русски говорят.

ALT Linux на OMAP3 BlueShark

Попала в руки плата Atoll-Deluxe v4 с процессорным модулем OMAP3 BlueShark и LCD-панелью NEC E170632:
На борту уже имелся Ångström Linux, однако захотелось получить более привычное окружение. Имевшаяся в комплекте загрузочная SD-карта была разбита на два раздела:

• с U-Boot и ядром
• с корневой файловой системой

Поэтому я решил просто отложить родной корень в сторонку и сгенерировать новый традиционным для ALT Linux способом, загрузившись для начала со штатным ядром. Получилось не сразу, но Paul Wolneykien помог решить основную проблему с логином через mini-USB - а дальше дело оказалось в шляпе. Профиль доступен здесь, выложены:

• минимальный консольный образ
• игрушечный киоск с glxgears в качестве единственного приложения

В планах сборка правильного ядра.

Последняя версия ALT Linux Live

Обновил ALT Linux Live до текущего branch/t6, доступны образы:

• altlive-console-t6-i586
• altlive-xfce-t6-i586
• altlive-console-t6-x86_64
• altlive-xfce-t6-x86_64

И, скорее всего, эта сборка будет последней. У меня не хватает сил самостоятельно поддерживать профиль m-p-l в актуальном состоянии, а тем временем наследник тонущего от переизбытка возможностей и их бессистемного добавления основного профиля m-p-d в лице m-p довольно активно развивается. Поэтому со временем я планирую перебираться на него, чего всем выпиливателям кастомных образов и советую.

Колоночная СУБД MonetDB

Внезапно дошли руки пощупать настоящую колоночную СУБД в реализации MonetDB, свежая версия которой в честь этого доступна в Сизифе и t6/branch. Тестировал на старой задаче, которая замечательно укладывается в область применения колоночных СУБД - учет объема ip-трафика по различным критериям (периоды, сети, хосты, пропущено/зарезано). Впечатления смешанные. Оно действительно уделывает тщательно тюненный PostgreSQL:

• Загрузка данных из текстового файла происходит в 3 раза быстрее
• Выборка с GROUP BY и полным сканированием большой таблицы - в 7 раз быстрее
• Выборка небольшого набора строк с кучей WHERE - на удивление даже это чуть вышло быстрее, однако в пределах погрешности измерений
• Размер БД в 1,5 раза меньше исходного текстового файла

Однако ничего не бывает просто так. Помимо ожидаемых проблем колоночных СУБД с одновременным доступом на запись, которые в данном случае совершенно не актуальны, обнаружились и пара более неприятных вещей, являющихся уже особенностью реализации MonetDB:

• Нельзя отменить запрос
• Нет эффективной реализации VACUUM

Это уже не говоря о значительно более лаконичной по сравнению с PostgreSQL документацией и несравнимо меньшим комьюнити. Поэтому рекомендовать это кому-либо в production я не решаюсь, хотя сам, пожалуй, попробую ;)

Автоинсталляция ALT Linux Live

Некоторое время назад у меня возникла необходимость установить и предварительно настроить около 30 идентичных серверов. Дело слегка осложнялось тем, что расстояние от них до меня измеряется десятками и сотнями километров, а потому без помощи местных специалистов не обойтись было никак, но и обучать их чему-то более сложному, чем вставить диск или настроить сетевую загрузку, было крайне нежелательно.

Для решения задачи на базе фичи fakeinstall была изготовлена фича autoinstall и с ее помощью задача была быстро решена, однако чувства удовлетворенности не появилось. Во-первых, код в фичах дублировался, а во-вторых, практически всю процедуру настройки пришлось оформить отдельным коммитом во внутреннем бранче - там гвозди совсем большие и толстые.

Положение исправил неожиданно проснувшийся интерес других участников ALT Linux Team к моей процедуре [авто]инсталляции. Например, Михаил Пожидаев выпилил пересекающуюся часть упомянутых выше фич в пакет live-install и использовал его в своем проекте специализированного дистрибутива для людей с ограничениями по зрению. Теперь уже мне ничего не оставалось, кроме как задействовать этот пакет и выкинуть из фич ненужный код, а заодно по аналогии с eeelive - сделать пакет и фичу для тонкого подпиливания уже загруженного (в моем случае как правило по сети) образа - и тем самым утащить самые страшные гвозди из профиля в настраиваемые внешние скрипты.

Обновленные образы, собранные на текущем branch/5.1, по традиции можно взять здесь.

Король умер, да здравствует король ...

CallWeaver медленно, но верно впадает в анабиоз (критерий - количество новых коммитов в SVN), и потому я давно стал приискивать ему такую замену, которая не называется Asterisk.

Остановился в итоге на FreeSWITCH, который соблазнил меня:

• Красивой архитектурой с честной модульностью и возможностью масштабироваться от софтфона до софтсвитча
• Использованием уже зарекомендовавших себя свободных фреймворков (Apache Portable Runtime для обеспечения переностимости между различными платформами, SofiaSIP в качестве SIP-стека и т.д.)
• Конфигурацией в XML (по мне это значительно удобнее ini-файлов) с возможностью перечитывать фрагменты конфигурации с HTTP-сервера в процессе работы

Правда размер дефолтной конфигурации совершенно безумен, да сама она скорее сборник примеров, чем то, от чего можно отталкиваться в процессе настройки системы для промышленной эксплуатации. Поэтому по аналогии с CallWeaver я выпилил для себя минимально работоспособный вариант, который дальше по мере необходимости уже можно наращивать дополнительными возможностями. Хотел было даже подбить текущего майнтейнера FreeSWITCH в ALT Linux сделать этот вариант конфигурации одним из коробочных - да тот оказался слишком несговорчивым :(