🏠: Viacheslav

Что сделал - 9

04.03.2021 Автор Viacheslav

Отчёт по VMware ESXi

Разобрался с PowerCLI, наконец.

Изображение без описания

Также, установил веб-морду на ESXi 5.5, это гораздо удобнее отдельного клиента, и она поддерживает управление машинами версии 10.

Перевод внешних прямых DNS-зон на хостинг, а обратных c Windows DNS на BIND9

До этого в конторе было два локальных внешних DNS-сервера, где крутились все зоны. Я предложил перевести DNS на внешний хостинг, чтобы не держать эти сервера у себя, что и было после долгих согласований проделано начальником. Правда, пришлось писать на Powershell конвертер DNS-записей из формата выгрузки Windows DNS в формат, принимаемый Руцентром (там, похоже, тоже крутится BIND), потому что просто передать зоны не получалось. Я не лез в процесс переноса, просто сформировал файлики, чтобы их можно было импортировать на хостинге.

Всё прошло хорошо, но оказалось, что избавиться от локальных внешних серверов DNS полностью всё равно нельзя — у компании в собственности внешний IP-диапазон и нужно обеспечивать обратные зоны (PTR), иначе почта ходить не будет.

Тогда я поднял две виртуалки с Ubuntu Server, поставил туда BIND9, оба сервера сделал подчинёнными (кэширующими) для всех прямых зон — они синхронизировались с Руцентром, а для обратных зон один сервер первичный, а второй забирает эти обратные зоны с первичного. Ресурсов обе эти машинки едят меньше, чем один старый сервер на Windows. Всё чудесно работает, и минус 2 лицензии серверной винды. Внешний хостинг DNS в любом случае полезен — он повышает отказоустойчивость, а стоит очень недорого.

Система распознавания текста (OCR) для файлов PDF

В компании закуплены лицензии FineReader, но на всех желающих не хватает, закупать их — тема трудная и долгая, а работать как-то надо, причём, прямо сейчас. Темы закупки ПО и её методов, когда вместо корпоративной лицензии всё покупается поштучно и от случая к случаю и последствиях такого подхода затрагивать не буду, это не моя область ответственности, хотя смотреть на это иногда бывает больно. Короче говоря, нужен какой-то простой способ распознавания текста в файлах PDF по типу механизма сжатия, сделанного мною ранее. Я уже довольно давно знаю о существовании очень неплохой программы gImageReader, которая является оболочкой к OCR-движку Tesseract, который я и задействовал для решения этой задачи. Сборкой этого движка для Windows занимается Маннгеймская университетская библиотека, за что ей огромное спасибо.

Сам Тессеракт не воспринимает файлов PDF, ему картинки подавай, так что пришлось сначала прогонять файл через GhostScript, который преобразует PDF в набор картинок PNG.

& "$ghostScript" -dBATCH -dNOPAUSE -sDEVICE=pnggray -r300 "-sOutputFile=$($pdf.basename)-%04d.png" "$($pdf.fullname)"

Ну, а дальше картинки скармливаются Тессеракту, он делает из них соответствующее количество текстовых файлов, которые потом лепятся в один и выдаются пользователю.

(dir *.png) -match "$($pdf.basename)" |% {
    & "$tesseract" ".\$($_.name)" "$($_.basename)" -l rus+eng
}
gc ((dir *.txt) -match "$($pdf.basename)") -Encoding UTF8 |Out-File "$path\$($pdf.basename).txt" -Encoding default

Возьмём для теста какой-то договор из интернета:

Исходник - какой-то договор из интернета (фрагмент)

Результат распознавания:

- при производстве земляных и строительных работ соглассвывать
предполагаемые работы с Главным управлением по государственной охране
объектов культурного наследия Тверской области.

2. Срок Договора

2.1. Срок аренды Участка устанавливается с 2 ^\*\_\_ по 10.04.2019 года.
2.2. Договор вступает в силу со дня его государственной регистрации. |

3. Размер и условия внесения арендной платы

3.1. Арендатор ежегодно уплачивает Арендодателю арендную плату.
3.2. Размер арендной платы за Участок определяется в соответствии с
Расчетом арендной платы, являющимся неотъемлемой частью настоящего
Договора (приложение № 2).
3.3. Порядок определения размера арендной платы за пользование земельными
участками, устанавливается органом государственной власти Тверской области.
3.4. Арендная плата вносится следующими частями:
3.4.1. юридическими лицами:
- не позднее 15.04. - 1/4 годовой суммы;
- не позднее 15.07. - 1/4 годовой суммы;
- не позднее 15.10. - 1/2 годовой суммы.
путем перечисления на реквизиты, указываемые Арендодателем в асчете
арендной платы на текущий год. Арендатор обязан ежегодно до внесения
первого арендного платежа в текущем году уточнять у Арендодателя реквизиты,
на которые перечисляется арендная плата. :
В случае заключения Договора аренды после 15 сентября (в первый год
аренды) арендная плата за период до конца года, в том числе сумма,

По-моему, для бесплатного движка это очень круто.

Для ускорения обработки можно применить Powershell 7, где есть параллельный цикл, чтобы выжать из железа всё, на что оно способно.

Движемся дальше.

P. S. Чуть позже доделал скрипт, теперь он, помимо PDF, работает с TIF-TIFF (в т. ч., многостраничными), JPG-JPEG и PNG. Тут проще, потому что Тессеракт сам умеет работать с этими форматами без предварительных преобразований. Также, сделал вариант под Powershell 7 с параллельными циклами, что работает гораздо быстрее на одном и том же компьютере.

Влияние одного параметра на общую производительность системы

19.02.2021 Автор Viacheslav

Несколько месяцев назад я настроил на работе прокси-сервер squid, он успешно прошёл стадию тестирования и с декабря прошлого года переведён в боевой режим.

Статистика за февраль

После того, как он начал обслуживать сотни клиентов, вычислительная нагрузка на прокси сильно выросла, сервер буквально захлёбывался, и добавление двух виртуальных процессоров к уже имеющимся четырём практически ничего не дало.

Нагрузка на 6 виртуальных процессоров вчера

Собственно, когда 6 процессоров не справляются, это вызывает вопрос — а всё ли нормально настроено, потому что тупо забрасывать ресурсами кривую систему глубоко неправильно, тем более, просто так добавлять процессоры к виртуальной машине неразумно — этим ситуацию можно скорее ухудшить, ведь реальные процессоры делятся на количество виртуальных, и чем больше их плодить, тем меньше будет выхлоп от отдельно взятого виртуального процессора. Именно поэтому количество виртуальных процессоров лучше максимально сокращать.

Программа top показала, что сам squid весьма скромен в потреблении ресурсов, а процессор загружен процессами аутентификации kerberos negotiate_kerberos_auth. Оказалось, что в kerberos есть replay cache, который пытается бороться с потенциальной подменой ключей шифрования, но, во-первых, он несовершенен, о чём прямо упомянуто в описании, а во-вторых, сильно тормозит более-менее нагруженную систему.

# man negotiate_kerberos_auth

Kerberos can keep a replay cache to detect the reuse of Kerberos
tickets (usually only possible in a 5 minute window). If squid is under
high load with Negotiate (Kerberos) proxy authentication requests the
replay cache checks can create high CPU load. If the environment does
not require high security the replay cache check can be disabled for
MIT based Kerberos implementations by adding the below to the startup
script or use the -t none option.

Добавляем параметр -t none к команде аутентификации:

auth_param negotiate program /usr/lib/squid/negotiate_kerberos_auth -s HTTP/proxy.domain.ru@DOMAIN.RU -t none

Результат очень радует:

Нагрузка на 4 виртуальных процессора сегодня

Хотел сразу оставить два vCPU, но перестраховался, оставил пока четыре, вечерком сделаю.

В общем, вопрос роли личности в истории, возможно, дискуссионный, но роль какого-то мелкого параметра в работе целой системы совершенно точно может быть определяющей.

Новый неттоп

21.01.2021 Автор Viacheslav

Когда-то давно, в прошлой жизни — 26 августа 2013 года — я купил прекрасный неттоп Pegatron Saishiat2+ за скромную цену в 5308 рублей, который проработал у меня без каких-либо проблем до вчерашнего дня. Он не сломался, нет — он всё так же отлично работает, просто мне уже нужен аппарат побыстрее, соответствующий сегодняшним требованиям; тем более, что старый компьютер уже на момент его покупки звёзд с неба не хватал, что уж говорить по прошествии стольких лет.

Критерии выбора:

ПК должен быть компактным, времена громоздких жестяных ящиков давно ушли, поэтому форм-фактором также будет неттоп.
Аппаратная поддержка процессором кодирования в x264 (AVC) и x265 (HEVC).
Поддержка >= 32 ГБ оперативной памяти (виртуализация, контейнеры, вот это всё).
Встроенный wi-fi c поддержкой 802.11ac.
Нормальная работа Майнкрафта без тормозов на стандартных настройках графики.
Цена — не космическая.

Выбор пал на линейку Intel NUC, где из современных вариантов есть 8-е и 10-е поколение процессоров. Десятое поколение дороже примерно на четверть и поддерживает аж до 64 ГБ памяти, но по производительности уступает восьмому из-за медленного графического ядра. Между вариантами на процессорах i3 и i5 я выбрал последний (i5-8259U), потому что разница в цене между ними — пара тысяч, а i5 ощутимо мощнее. Изначально я хотел рассмотреть что-то сопоставимое на процессоре AMD, но ничего похожего на сегодняшний день на рынке, к сожалению, не существует.

В восьмом поколении есть две модификации нужной мне модели — NUC8I5BEK и NUC8I5BEH, первый тоньше и в него можно вставить «жёсткий диск» только формата M.2; второй толще, потому что у него, помимо того же M.2, есть возможность поставить стандартный SATA-диск 2,5″.

Слева направо: старый неттоп, планки памяти, новый неттоп

Так как у меня уже есть SATA-диск Samsung SSD 850 EVO 250 GB, который стоит в старом неттопе, я выбрал второй вариант как более универсальный. Получается дешевле, так как не нужно прямо сейчас тратиться на диск M.2, да и переехать проще — просто переставить уже имеющийся диск из одной коробочки в другую. Памяти я взял 2 планки по 16 ГБ, с уменьшенной CAS Latency (CL15, стандартное значение — 17).

Всё-таки, к вещам привязываешься. Разбирая свой старый компьютер и вытаскивая из него диск, мне было жалко его, и я думал об этих прошедших 7 годах с какой-то ностальгией. Тем не менее, и монитор-долгожитель Benq G900, который мне подарили на новый 2008 год, и стол, и даже клавиатура с мышкой всё те же — вид моего рабочего места мало чем отличается от прежнего. У монитора недавно провалилась кнопка включения — отломились пластмассовые маленькие капельки, которыми кнопка была приварена одним концом к тыльной стороне передней панели, но я зафиксировал её с помощью смеси суперклея и соды — теперь монитор выглядит как новый, и менять я его на сегодняшний день не планирую.

Переезд прошёл безо всяких трудностей, Windows 10 завелась как ни в чём не бывало, нужно было только поставить несколько пакетов с драйверами да обновить пару прошивок; машинка работает отлично и шустро, надеюсь, на следующие 7 лет хватит. Впоследствии можно будет перейти на диск M.2 как более скоростной и прогрессивный вариант, но это совершенно не к спеху. Старый неттоп я буду продавать вместе с установленной в него планкой памяти на 8 ГБ, тем более, что у меня сохранился полный комплект — и коробка, и документация, и совершенно новая нога для установки на стол, и даже компакт-диск (Upd: 27 января ушёл за 2400).

Общий вид рабочего места

Заменил кран раковины

04.01.2021 Автор Viacheslav

«…спорол галуны ливрейные, изул штиблеты от ног своих
и с внутренним сдержанным удовольствием возвратился
к серому сюртуку и тихим холстинным панталонам.»
А. Сухово-Кобылин — Дело

Последние пару месяцев прошлого года не было сил изучать что-то новое, интересное и более-менее сложное. С наступлением нового года нужно с чего-то помаленьку начинать, и я решил стартовать с очень вещественного — установки крана на раковину, купленного где-то месяц назад.

Старый кран, в принципе, работал, но мне не нравилось, что у него не было ни заглушки на рычаге, ни донного клапана, хотя он там был предусмотрен, а особенно то, что он был слишком низкий. Вообще, низкие краны — это какое-то проклятие, они стоят абсолютно везде, и приходится мыть руки, изо всех сил пытаясь не дотрагиваться до задней стенки раковины (это неприятно), и одновременно с тем иметь возможность всё же подставить руки под струю воды.

Снятый старый кран

В комплекте с краном уже шли гибкие подводки, но они были коротки, и мне пришлось купить дополнительные (штуцер-гайка) и нарастить оригинальные. Очень рекомендую гибкие подводки с полимерным покрытием, они не запотевают, когда по ним течёт холодная вода, и это продлевает срок их службы.

Новый кран

Ну, с почином.

Ковёр в прихожей

29.11.2020 Автор Viacheslav

Два с половиной года назад я купил в Икее коврик в коридор. В процессе эксплуатации выяснилось, что по осени он ощутимо пачкается, потому что на наших улицах после дождя везде непролазная грязища, а разок попробовав его чистить со средством для ковров, я понял, что это не моё, да и результат был на троечку. К тому же, я убрал из коридора старый шкафчик, где я храню всякие велопринадлежности, чтобы было место для велосипедов, коридор удлинился и в итоге стал выглядеть так:

Формулируем задачу: найти покрытие, которое легко чистить, оно не пропускает воду, покрывает всю поверхность коридора, недорогое. Оказалось, что существует материал под названием этиленвинилацетат (ЭВА), из которого делают коврики в автомобили и ещё много чего, а в частности, можно купить из него листы разных размеров и цветов. Он отвечает поставленной задаче и имеет пористую структуру.

Рассчитав примерно свои потребности, я купил лист 3,6 м² (1,4 на 2,55 м).

Разметив и порезав его на куски, получил следующий результат:

Материал напоминает твёрдый поролон и довольно легко режется обычным канцелярским ножом. В моём случае ситуация осложнялась тем, что стены у меня очень кривые и просто так под 90° резать не вышло, из-за этого примыкания неидеальны.

Из-за того, что для транспортировки лист был свёрнут в рулон, он теперь топорщится, и так как я не знал, расправится он со временем или нет, а спотыкаться не хотелось, я купил в ближайшем хозяйственном двустороннюю клеящую ленту и прилепил углы ковра к полу. Ещё нюанс — новый лист имеет довольно сильный запах, но через сутки он уже практически не чувствуется.

Бюджет вместе с клеящей лентой — примерно 3000 рублей. Мне пока нравится — выглядит, во всяком случае, не так колхозно, как раньше. Теперь посмотрим, как оно в эксплуатации.