wuff-wuff!!!

ukijs

2010-05-18T15:17:00.000-07:00

я слишком долго работал с xml.

после flex с его mxml и после ms wpf и после сайтов с их html хочется сделать mxml подобную обвязку для ukijs

xml головного мозга

но если подумать, то это все–таки удобно. и логично. взять интерфейс на xml и компилировать его во что угодно, хоть во flash, хоть в js, хоть в cocoa

тут я вспомнил, какой уродец вышел у capuccino и тихо заплакал

html5

2010-05-17T02:24:00.000-07:00

это вам не шутки.

после переверстки на выходных deepapple.com решил не останавливаться и потихоньку рассказать всю подноготную.

начнем с простого. ютуб позволяет embed только для флеша. решил поделиться правильным решением, которое на прогрессивных браузерах (и ipad) будет показывать mp4, а на всех остальных — flash

всего–то делов — добавить следующий букмарклет:

http://pastebin.com/s1JpnSxh

strings vs regexp

2010-03-26T03:46:00.000-07:00


          Rate  regexp strings
regexp  130890/s      --    -46%
strings 240964/s     84%      --

strings

my ($dir_info, $file_name, $file_extension);
if (defined $path_info) {
    my $file_info = $path_info;
    my $file_info_rindex = rindex $path_info, '/';
    if ($file_info_rindex) {
        $dir_info  = substr $path_info, 0, $file_info_rindex;
        $file_info = substr ($path_info, $file_info_rindex + 1) || '';
    }
    my $file_extension_rindex = rindex $file_info, '.';
    if ($file_extension_rindex) {
        $file_extension = substr $file_info, $file_extension_rindex + 1;
        $file_name = substr $file_info, 0, $file_extension_rindex;
    } else {
        $file_name = $file_info;
    }
}

regexp

($dir_info, $file_name, $file_extension) = ($path_info =~ /^(?:(.*)\/+)?([^\/]+)\.([^\.\/]+)$/s)
    if defined $path_info;

удручает только количество строк кода

blocking read

2009-12-03T03:59:00.000-08:00

посовещавшись с людьми в отделе, мы тут поняли, что несмотря на то, что почитать из файла в objective-c в блокирующем режиме очень сложно, программисты кварка, адоба и майкрософта таки смогли это сделать под mac os x

вот уже минут 40 напротив меня возятся чуваки, пытающиеся настроить авторизацию по ключам и получить данные из git репозитория на машине под управлением windows. втроем.

zfs

2009-09-13T23:18:00.001-07:00

вот уже почти год я использую zfs в качестве отказоустойчивого хранилища; на трех терабайтных дисках собран raid 5 (господа из sun называют его raidz1). в целом меня устраивает как это все работает, но хочется заострить внимание на некоторых моментах.

кэширование

начиная с mac os x 10.5 для открываемых файлов было введено кэширование. причем, работает оно по умолчанию. для того, чтобы его отключить, нужно после открытия файла принудительно выставить флаг F_GLOBAL_NOCACHE или F_NOCACHE. гугл дает достаточно информации для того, чтобы составить представление о значении этих флагов. в целом, это не проблема, до тех пор, пока пользователь не начинает пользоваться терминалом и transmission.app. в силу того, что с помощью transmission.app выкачиваются большие объемы данных, то и места в памяти под кэш отдается изрядно. в результате объем неактивной памяти растет, приложения тормозят. то же самое происходит и в терминале при копировании файлов (как минимум).

zfs относится к этому тем местом, что кэширование содержимого файлов на zfs не работает. для системя это в целом плохо, но для transmission — хорошо.

snapshots

zfs поддерживает технологию copy-on-write. суть ее состоит в том, что в случае перезаписи содержимого файла, реальная запись производится в свободное место. поэтому старые данные остаются доступными даже после изменения файла. на этом основан механизм snapshot'ов. при создании снимка состояния диска просто указывается время, когда считать данные измененными. и такой снимок совсем не занимает места, потому как место на диске занимают только измененные по сравнению с неким состоянием snapshot данные. в целом, это такой аналог тайм машины, только без резервного копирования.

raidz

это аналог raid5. то есть когда данные равномерным слоем размазаны по дискам, при этом данных — 2/3, а контрольных сумм — 1/3 от объема. поэтому емкость raidz в 2 терабайта достигается тремя дисками по терабайту. не так давно один из диско вышел из строя, для его замены оказалось достаточным поставить диск для замены, разметить его аналогично и запустить процедуру миграции данных с помощью команды zpool replace. аналогичных бесплатных решений для mac os x не существует.

с raidz связана одна не самая приятная особенность. в силу того, что building blocks для zfs являются файлы, то и перестройка raidz оказалась очень длительной — около 20–ти часов.


zpool status
 pool: ultra
state: DEGRADED
status: One or more devices is currently being resilvered.  The pool will
 continue to function, possibly in a degraded state.
action: Wait for the resilver to complete.
scrub: resilver in progress, 0.00% done, 1665h13m to go
config:

 NAME               STATE     READ WRITE CKSUM
 ultra              DEGRADED     0     0     0
   raidz1           DEGRADED     0     0     0
     replacing      DEGRADED     0     0     0
       disk2s3/old  UNAVAIL      0     0     0  cannot open
       disk2s3      ONLINE       0     0     0
     disk1s3        ONLINE       0     0     0
     disk3s3        ONLINE       0     0     0

частичная поддержка

в настоящее время zfs имеется для 10.5 и при этом часть функциональности просто не работает: очистка корзины, поддержка из disk utility и некотрые другие мелочи.

cafeteria refactoring

2009-08-14T01:21:00.000-07:00

1. выручка

в РИА «Новости» есть столовая. не буду придираться к качеству питания, меня устраивает, но не фонтан, конечно же. сотрудники питаются со скидкой 15%; чеки у сотрудников и людей со стороны разные.

так как во время еды часто идет обсуждение всякой всячины, я однажды предложил обсудить суммы на чеках. как оказалось, на чеках есть сведения, достаточные для получения средней суммы

проанализировав чеки, оказалось, что у них есть два счетчика — сквозной для всех касс номер чека и уникальная для кассы сумма, на которую отобедали люди со скидкой. получилось, что в среднем за сутки столовая выдает 1300 чеков. если учесть, что не все люди ходят обедать (хотя, большинство все–таки ходит), некоторые ходят завтракать и вечером пить кофе, то, наверное, можно получить около тысячи чеков, которые входят в «обеденную» выборку. с учетом средней суммы чека в 100 рублей, выходит оборот в сто тысяч рублей в день.

вечернюю выборку чеков по всем кассам мы не делали.

2. рефакторинг

рефакторинг кухни я не рассматриваю, так как знаю про кухню понаслышке. например, возьмем очереди в столовой. они возникают на раздаче, где люди заказывают еду. заказ — положить на тарелку — отдать тарелку. вполне можно организовать на каждое блюдо одного человека, который просто следит за тем чтобы каждого блюда было достаточно для того, чтобы люди подошли и просто взяли тарелку (спасибо, tinsdale). очередь уменьшается, но при этом растет очередь на кассе. дажен разгрузив кассу, придется найти дополнительное место в столовой и так далее. то есть оказывается, что текущий подход оказывается выигрышным из–за того, что ожидая везде понемногу, человеку не приходится стоять перед занятыми столами.

3. маржа

столовая находится в здании с пропускным режимом. увеличение прибыли возможно при выполнении любого из двух условий: увеличение суммы чека или увеличение количества человек, которое прошли через столовую. второй вариант вследствие описанных условий сложен.

что же делать с суммой чека? увеличить стоимость основных блюд столовая (скорее всего) не может, поэтому за последние месяцы в ассортименте появилась паста и блины, мороженое и молочные коктейли. если даже это влияет, то не очень сильно, потому как блины берут не вместе с остальными блюдами, а вместо основного блюда.

4. все просто

потребности пользователей и получение прибыли редко работают в одной и той же плоскости. поэтому любой рефакторинг работающего механизма должен подвергаться глубоком осмыслению и всегда нужно понимать — у рефакторинга есть как минимум две плохие стороны:

а) отрицательный экономический эффект, который не всегда сможет быть покрыт доходами даже в дальней перспективе;

б) постепенное расширение узких мест может оказаться фатальным для какого–то узкого места, на котором зиждется вся система.

HTTPOnly

2009-08-09T12:35:00.000-07:00

это будет добрый пост.

почти без мата.

волшебный параметр для кук (cookies), который управляет отдачей их клиенту. например, скрипту.

документация: http://www.owasp.org/index.php/HTTPOnly

судя по поддержке, все нормальные/современные браузеры поддерживают. а вот чуваки из оперы сосут хуй.

вообще, исходя из поддержки всякого стаффа, нужно оставить только два движка — вебкит и gecko (и то, последний — только до тех пор, пока все не перетянутся на хром/сафари). потому что IE любой версии все хуево рендерит и вообще, для них приходится часто другие страницы писать, а опера — просто говно браузер.

colocation support

2009-08-05T06:22:00.000-07:00

хостинг на три буквы, первая — m

я: нужно перезагрузить сервер
они: готово
я: что–то нет ответа. а не могли бы вы подключить kvm?
они: готово, логин, пароль
я: спасибо, kvm работает, но, к сожалению, сервер не мой

первый их сбой, кстати. все остальное — просто замечательно; лучший хостер из всех на моей памяти

хостинг на 6 букв, первая — m

сначала подвисала сетевуха с сообщением TX is hung и они не могли разобраться в проблеме

после перетыкания кабеля стало работать

обнаружив, что соединение half duplex вместо full duplex, предположил, что проблема у них в кабельной системе. ответа жду уже третью неделю

хостинг на 10 букв, первая — m

перевозили без предупреждения ночью сервер в другой датацентр

когда заканчиваются деньги, отключают dns. то, что он у некоторых клиентов в глубинке восстанавливается неделями, их не ебет

хостинг на 9 букв, первая буква — p

пиздец, никому не пожелаю.

служба поддержки способна разобраться с проблемами только в рабочее время по будням. в выходные нет даже дежурного админа.

при установке сервера выдали мне чужие ip адреса.

забыли оформить пропуск на внос сервера.

при расставании выдали не мои салазки.

на площадке сервер перед выносом всегда выключается по питанию.

svn

2009-07-24T01:10:00.000-07:00

svn мне напоминает анекдот:

– я ж тебе говорил, что это говно, а ты — засахарилось, засахарилось.

возьмем, например связывание директории с другим репозиторием через svn:externals

во первых, это делается жутко неочевидным способом.

во вторых, в svnbook нет явного примера, как это сделать.

в третьих, для того, чтобы связать директорию внутри дерева файлов, связывать ее нужно в корне репозитория.

памятка:

$ cat >svn_ext_val.txt
dir_of_repo_one http://svn.my.com/path/to/repo_one
dir/of/repo/two http://svn.my.com/path/to/dir1/dir2/repo_two

svn propset svn:externals . -F svn_ext_val.txt

ЕЩЕ: все оказалось еще интереснее. оказывается, эти проперти нужно закоммитить, а у меня была куча файлов, которые коммитить не хотелось. определенно, разработчики svn какие–то хуеголовые

ЕЩЕЩЕ: они не умеют показать файлы, которые будут обновлены без реального update. это уже даже не пиздец

SD vs BluRay

2009-07-13T06:47:00.000-07:00

мне сразу показалось, что победа BluRay над HD DVD была пирровой. размышляя пару дней назад с женой над будущим BluRay пришла в голову идея сделать небольшую табличку.

тип	SD/microSD	DVD	BluRay	HDD
размер	32 × 24 mm 11 x 15 mm	120 x 120 mm		101.6 х 26.1 х 147 mm
емкость*	8GB	4.38 GB	25GB	1000GB
скорость доступа	20 MB/s at 150x	10 MB/s	18 MB/s at 4x	30 MB/s (USB 2.0)
стоимость оборудования, руб.	100	1000	9000	1000
цена носителя за гигабайт	71	7	21	3
цена за 1000 гигабайт**	125 / 72500	220 / 7850	40 / 30200	1 / 4200

* за номинальную емкость SD взята емкость, которая оправдана экономически, то есть лучше по соотношению емкость/стоимость

** включая стоимость оборудования, коим является кардридер, дисковод и коробка для hdd; цифра в числителе дроби — количество накопителей.

мораль всего этого такова:

для домашнего консервирования дешевле и удобнее купить внешний жесткий диск;

для переноса небольшого количества данных стоит использовать SD/microSD; для большого количества данных — внешний hdd

диски BluRay по большому счету нафиг никому не нужны в дальней перспективе — SD очень активно дешевеют, чего за BluRay дисками не наблюдается. и применения им не видно, потому что для переноски данных они не годятся из–за высокой стоимости оборудования, для консервирования — из–за высокой стоимости;

DVD — достояние истории. на них по прежнему можно хранить данные, но ощутимо проще (но не дешевле) купить SD на 8–16 GB и забыть про стопки DVD как про страшный сон;

не стоит рассматривать SD как панацею — стоимость за гигабайт все еще слишком высока.

opensource

2009-06-22T22:45:00.000-07:00

вообще, opensource забавная штука. вот я выкладываю свой код и получаю на него вполне себе feedback. opensource — это как социальные сети для разработчиков.

в большинстве своем opensource, конечно, на редкость уебищно — нет ни нормального интерфейса, ни нормального кода, но некоторые проекты, в которых есть некий заказчик и организатор или упёртый эниузиаст, выходят отличными. например, ничего лучше, чем evolution, для почты еще не придумали. или другой пример, я использую eclipse colorer plugin для подсветки синтаксиса многих файлов. оба — и eclipse и colorer — примеры качественного opensource.

и мне самому было бы тяжело без открытого кода. как бы я тогда поправил баги в DBD::Oracle, если бы не было исходников?

вообще все это я хотел написать после того, как пересоберу colorer под snow leopard. но не тут то было — colorer пересобрался, но при попытке открытия файла падает.

ХАХАХА: мы с создателем colorer нашли проблему и я таки собрал новую версию.

miraculous oracle

2009-06-04T11:05:00.000-07:00

и снова разработчики оракла постарались на славу. то есть я понимаю, как они дошли до такого, но не понимаю почему.

допустим, в таблице есть поле VARCHAR2. максимальный размер поля такого типа — 4000 байт. теперь начинается fun. допустим, мы создаем поле типа VARCHAR2(100 CHAR). в реальности же будет создано поле размером x00 байт (где x — максимальное количество байт, которое потребуется для представления любого символа из UCS2 в UTF8). так, чтобы 100 любых символов из unicode поместились. хотя, возможно, внутри оно хранится в UCS2 и поэтому выделяется всего 400 байт.

отойдем от технических деталей и попробуем вставить 100 символов. у нас все получится, несмотря на кодировку. то есть вставится и 100 ASCII и 100 Kana.

теперь же попробуем выделить 4000 CHAR для этого поля. и что вы думаете? в такое поле может быть вставлено будет только то количество символов, которое в utf8 помещается в это количество байт. на другие значения будет выдано сообщение об ошибке.

совсем забыл: но это еще не все. для обхождения ограничения в 4000 байт нужно использовать CLOB. но просто так нельзя записать в CLOB более 4000 байт (меньше — можно). для записи нужно отказаться от


prepare ($$sql)
execute (@params)

и начать использовать


prepare ($sql)
foreach my $params (@params) {
    if (sql_type_of ($param) eq 'CLOB') {
        bind_param ($i, $param, {ora_type => 112})
    } else {
        bind_param ($i, $param)
    }
}
execute

там, конечно, условия посложнее, но общее представление показывают

DBD::Oracle bugs

2009-06-04T01:51:00.001-07:00

второй критический баг в DBD::Oracle:

https://rt.cpan.org/Ticket/Display.html?id=46661

p.s: первый:

https://rt.cpan.org/Ticket/Display.html?id=44788

еще немного в копилку о базах

2009-05-19T07:09:00.000-07:00

как обычно, сегодня одна какашка в сторону oracle и луч поноса в сторону mysql.

oracle, как сурьезный движок баз данных, конечно же не имеет неявных секвенсоров (хотя, может и имеет, но я не знаю способа привязать секвенсор к полю кроме как через триггер). поэтому функция $dbh->last_insert_id вообще не имеет смысла. чтобы достать это самое значение для primary key, сгенерированное из некоего секвенсора, я должен детектить секвенсор и брать из него currval. жутковато, но работает.

ну а поддержку primary_key_info писал мудак. потому как в оракле нужно в качестве схемы скормить имя пользователя, что выливается в специальный код для поддержки оракла. нужно будет отправить им патч.

вообще, oracle постепенно у меня в голове превращается в долбанутую, но вполне работоспособную систему.

теперь к mysql

BEWARE 5.1!

в какой–то момент mysql умудрился потерять администраторские права для рута. и это вылилось в поднятие еще одного mysql и переливание данных, создание заново всех пользователей. вообще как это можно сделать что–то такое, чтобы их потерять?

короче, я не знаю, как там будет дальше с mysql, но если он исчезнет, то я не расстроюсь. ну его нахуй в таком–то виде.

mymyки

2009-05-13T16:35:00.000-07:00

все–таки, mysql — это даже не пиздец.

это пиздец–пиздец–пиздец.

команда mysqlcheck (5.1.31a) с опцией оптимизации таблиц убивает несколько полей из системных таблиц mysql. что порождает веcелые ошибки типа:


090514  3:21:50 [ERROR] Column count of mysql.db is wrong. Expected 22, found 20. The table is probably corrupted
090514  3:21:50 [ERROR] mysql.user has no `Event_priv` column at position 29
090514  3:21:50 [ERROR] Event Scheduler: An error occurred when initializing system tables. Disabling the Event Scheduler.

что перерастает в черепашьи скорости работы с базой.

вот мне на память:


alter table db add `Event_priv` enum('N','Y') CHARACTER SET utf8 NOT NULL DEFAULT 'N';
alter table db add `Trigger_priv` enum('N','Y') CHARACTER SET utf8 NOT NULL DEFAULT 'N';
alter table user add `Event_priv` enum('N','Y') CHARACTER SET utf8 NOT NULL DEFAULT 'N' after Create_user_priv;
alter table user add `Trigger_priv` enum('N','Y') CHARACTER SET utf8 NOT NULL DEFAULT 'N' after Event_priv;

oramac

2009-05-13T11:48:00.000-07:00

вообще, история оракла на mac os x напоминает желанного, но нелюбимого ребенка. видимо когда–то, когда вышел mac os x, кто–то из менеджеров оракла сказал:

— а чё ваще! это же юникс, вон на нем уже кластера собирают, jre есть, давайте забацаем оракл под мак!

и программисты бацают оракл под мак PPC.

причем, сама база выпускается не в production, а так, для игр:

«This document accompanies Oracle9i Developer release 2 (9.2.0.1.0) for Mac
OS X. Its contents supplement or supersede information in the Oracle9i
documentation library.

This is a developer release. It is not intended to be used in a production
environment. You should try this software only in a test environment.»

выпустив oracle 10g под мак, про саму базу надолго забыли. только один раз обновили клиента. и вот, совсем недавно, появилось обновление самой базы: ее наконец умудрились собрать под x86_64.

естественно, люди из оракла живут в своей собственной вселенной. они ничего не знают ни про universal binary, ни про launchd, ни про пользовательский интерфейс mac os x.

ничего они не знают также и про то, что консольный клиент их базы мог бы поддерживать историю команд и про то, что perl driver for oracle тупо не собирается на маке без особого шаманства.

естественно, DBD::Oracle не смог поставиться сам. после небольшого шаманства с патчами таки его удалось собрать, но работать он от этого не стал — в rian.ru используются named sql placeholders, а они–то как раз и не завелись. несколько утренних упражнений с драйвером рассказали мне о том, что на линуксе bool это нифига не bool а char и, даже, возможно, int. а на маке совсем не так. ну ладно, патч отправил, у меня локально все заработало и даже в DBD::Oracle 1.23 включили мои изменения.

но вот какой вопрос не дает мне покоя: неужели никто до меня не использовал named placeholders в oracle через perl на mac os x? вообще, хоть кто–то работал с ораклом через perl?

nginx + rpaf

2009-05-12T07:05:00.000-07:00

используя nginx в качестве frontend и apache2 в качестве backend, обнаружил, что у кучи говноскриптов на php отвалился определитель клиентского ip. mod_rpaf меня выручил, но собрать universal binary оказало не так просто.

вот solution — скачать, распаковать, запустить:

sudo apxs -Wl,-arch -Wl,i386 -Wl,-arch -Wl,ppc -Wc,-arch -Wc,ppc -Wc,-arch -Wc,i386 -Wl,-arch -Wl,x86_64 -Wl,-arch -Wl,ppc64 -Wc,-arch -Wc,ppc64 -Wc,-arch -Wc,x86_64 -i -c -n mod_rpaf-2.0.so mod_rpaf-2.0.c

oracle environment variables

2009-05-12T00:47:00.001-07:00

вот никак не мог правильно подобрать выражение, чтобы правильно описать мою возню с oracle. накатило и я все понял; вот оно:

«чтобы спереди погладить, нужно сзади полизать»

пример:

установка переменной:

alter session set nls_date_format = 'dd/mm/yyyy hh24:mi:ss';

получение значения переменной:

select parameter, value from v$nls_parameters where parameter = 'NLS_DATE_FORMAT';

касательно установки oracle server на mac os x:

вообще, оракл сервер весь из себя прикольный–прикольный. проще даже сказать, ебанутый на всю голову. вот, например, после установки, обнаруживается, что там внутри свой собственный jre и собственный perl 5.8.3 и еще много всего. зато старт–стоп скриптов отродясь не водится. «читайте пару лет документацию и вам откроется тайное знание написания старт–стоп скриптов». до кучи нужно сказать, что оракл сервер смог поставиться, но не смог запуститься.

mac os x limits

2009-04-09T12:41:00.000-07:00

немного посмеявшись над ребятами, которые пытались определить, сколько же «приложений» выдержит мак, мне самому пришлось столкнуться с некоторой ограниченностью системных лимитов.

оказывается, что в mac os x 10.5 по умолчанию одним пользователем можно открыть не более 266 приложений. при этом часть из них — системные сервисы, поэтому реально запущеных приложений будет меньше. если такого количества не хватает, то можно увеличить лимит и об этом пойдет речь ниже.

но, к сожалению, эти лимиты тоже не бесконечны и довольно невелики. это значит то, что если вам вдруг понадобится производительный сервер, то mac os x вам этого просто не позволит сделать, несмотря на всю юникс начинку внутри.

как известно, у макоси есть две версии, клиентская и серверная. сейчас я буду говорить за первую, потому как второй в доступности нет.

как показывает команда «sysctl -a | grep maxproc», операционная система ограничила себя до 532 процессов в целом и не более 266 на одного пользователя. не очень–то пожируешь. ну что ж, на то нам дадены руки.

sysctl -w kern.maxproc=4096
sysctl: kern.maxproc: Invalid argument

опа, а это что такое?

это оказалось, что в ядре операционной системы записан жесткий лимит в 2500 соединений. превысить его можно только после пересборки ядра. то есть запустить под mac os x client более 2500 процессов невозможно.

в server 10.4.11 тоже есть подобный лимит, только он чуть ниже — 2068

для увеличения лимита можно добавить информацию в два файла:

/etc/sysctl.conf и /etc/launchd.conf

первый управляет ограничениями в ядре, а второй — в запускаемых приложениях операционной системы.

/etc/sysctl.conf
kern.maxprocperuid=1024
kern.maxproc=2048

/etc/launchd.conf
limit maxproc 512 1024

postfix: no spam without antispam

2009-03-25T09:28:00.000-07:00

борьба со спамом без антиспама.

примерно с месяц назад на своей работе я начал переносить почту со старого и неуправляемого CommunigatePro на более стандартный (в рамках почтового сервера под управлением Mac OS X) postfix. и после переноса аккаунтов обнаружил, что /var/log/mail.log растет не по дням, а по часам, причем на пару сотен мегабайт в час. к концу суток у меня был шестигигабайтный лог файл и около гигабайта новых писем. я довольно сильно испугался, что так будет и дальше.

сервер по умолчанию был настроен на прием корреспонденции только для известных адресов, других проверок не делалось.

это вынудило меня начать разбираться со встроенными механизмами фильтрации спама в postfix и возможности применить особенности протокола smtp для отсеивания всей этой корреспонденции. можно было бы попробовать поставить spamassassin или другие решения с открытыми исходниками и натюнинговать их, но гигабайт принятой почты меня совсем не радовал. платные варианты сразу же были исключены, так как спам в основном приходит на русском языке, а kaspersky antispam и спамоборона не имеют сборок под Mac OS X.

немного теории

любая машина, подключенная к интернет, может получить mx dns запись для любого из доменов и отправить туда почту. при этом, можно отправить почту не напрямую, а через специальный relay сервер, который уже сам займется доставкой почты до получателя. обычно relay сервера требуют авторизации отправителя для дальнейшей пересылки почты. те, которые не требуют авторизации, называются open relay. проблема, которая связана с ними — это то, что любая машина сможет послать письмо, которое будет выглядеть, как письмо, полученное от этого relay.

в итоге доставка почты выглядит примерно так:

машина пользователя => relay => … => relay => сервер назначения

отсылка почты напрямую используется сейчас не очень часто и, в основном, всякими сервисами и гиками, которые сподобились настроить local delivery. в том случае, когда пользователь отправляет почту через почтовую программу с указанием mail сервера и данных аутентификации или через web–интерфейс, то почта уходит напрямую с сервера почтового сервиса. при этом отсылка почты напрямую в большинстве случаев сразу же дает знать о себе: скорее всего у такого хоста не будет reverse dns записи или будет что–то выделяющееся, например ppp85-140-10-222.pppoe.mtu-net.ru; в случае серьезного сервиса его владельцы обычно заботятся о reverse dns записи.

reverse dns — это когда по ip адресу можно получить имя связанного с ним домена.

тут есть одна тонкость: спамер может зарегистрировать кучу доменов, купить кучу ip адресов, но ему придется все время покупать новые домены и ip адреса (потому что его будут блокировать — адрес–то известен), что не слишком выгодно. поэтому зачастую спамеры используют зараженные вирусами машины, чтобы ответственность легла на пользователя такой машины. большинство таких зараженных машин находится дома у пользователей, а самый распространненый тип домашнего подключения — это доступ с динамическим ip адресом.

поэтому, отказывая в получении почты с динамических адресов, мы ограничиваем неправильно настроенные интернет–сервисы, гиков с local delivery и сети машин домашних пользователей, зараженные вирусами и рассылающие спам.

для отсеивания спама также иногда применяется технология DNSBL, которая заключается в том, что система с DNSBL получает отчеты об ip адресах машин, которые рассылают спам и делают списки этих адресов доступными всем или подписчикам. сама система по задумке неплохая, но имеет порядочное количество нареканий. например, в некоторых системах DNSBL заблокированы целые подсети адресов и для администратора почтового сервера нет никакой возможности исключить из блокировки свою машину. или кто–то получил пароль для авторизованного аккаунта и начал рассылать с этого аккаунта спам. ip адрес попал в DNSBL и нужно тратить время, чтобы эта ошибка пользователя не отключила полностью отсылку почты с этого сервера. поэтому я не использую эту технологию и другим не рекомендую, так как моя практикапоказывает, что вреда от нее больше, чем пользы.

после отсеивания всех неугодных нам машин, мы беремся за то, как спамеры общаются с нашим почтовым сервером по SMTP протоколу. большинство доковылявших спам–ботов отваливается на простой проверке — в команде HELO должно быть полное доменное имя отправителя. дальше вставляем несколько простых проверок — на наличие указанного адресата, на количество адресатов в минуту, почту для которых мы готовы принять. дальше просто принимаем почту и надеемся, что тупых бот сетей больше, чем разумных.

практика

я сразу же принялся за анализ логов. сразу же стало видно, что есть достаточно большое количество спама исходит от машин, которые тупо перебирают адреса по словарю на домене. postfix не предоставляет встроенных инструментов для отрезания таких деятелей, посему эта проблема была отложена в долгий ящик, но к сведению были приняты некоторые настройки, которые ограничивают количество соединений, писем и получателей в одном письме.

различные «строгие» опции:


strict_rfc821_envelopes = yes
disable_vrfy_command = yes
smtpd_delay_reject = yes
smtpd_helo_required = yes

лимитирование слишком быстрых:


anvil_rate_time_unit = 60s

smtpd_client_connection_count_limit = 5
smtpd_client_connection_rate_limit = 6
smtpd_client_message_rate_limit = 6
smtpd_client_recipient_rate_limit = 10

вторая проблема, которая стала сразу же видна — это соединения с динамических адресов различных интернет провайдеров (через dialup, adsl или подобные соединения) или тех адресов, которые вообще не имеют reverse dns записи. копания в поисках способа определения этих самых динамических пользователей привели меня к статье http://www.yekt.info/postfix_antyspam.html. там я и почерпнул необходимую информацию, но, к сожалению, действия, приводимые там мне не очень понравились, поэтому я расскажу, что сделал я, а те, кому интересно, смогут сравнить и сделать свои собственные выводы.

отклоняем желание клиента прогнать команды «по–быстрому»; разрешаем тех, кто ввел логин/пароль; разрешаем соединения из доверенных сетей; отклоняем тех у кого не совпадают сочетания ip адрес 1=>домен, домен=>ip адрес 2 и ip адрес 1 == ip адрес 2; проверяем клиента на отсутствие в известных dialup и dsl сетях.


smtpd_client_restrictions =
    reject_unauth_pipelining,
    permit_sasl_authenticated,
    permit_mynetworks,
    reject_unknown_client_hostname,
    check_client_access regexp:/etc/postfix/dul_checks,
    permit

ниже добавились:
проверка на известные проблемные helo, отказ от обслуживания клиентам, доменное имя которых вызывает подозрения


smtpd_helo_restrictions =
    permit_mynetworks, 
    permit_sasl_authenticated,
    check_helo_access regexp:/etc/postfix/helo_regexp,
    check_helo_access regexp:/etc/postfix/dul_checks,
    reject_invalid_helo_hostname,
    reject_non_fqdn_helo_hostname,
    reject_unknown_helo_hostname,
    permit

две оставшиеся проверки — на наличие домена у отправителя письма и правильное указание получателя.


smtpd_sender_restrictions =
    permit_sasl_authenticated,
    permit_mynetworks,
    reject_non_fqdn_sender,
    reject_unknown_sender_domain,
    permit


smtpd_recipient_restrictions =
    reject_unauth_pipelining,
    permit_mynetworks,
    permit_sasl_authenticated,
    reject_unauth_destination,
    reject_invalid_hostname,
    reject_non_fqdn_recipient,
    reject_unknown_recipient_domain,
    permit

результат

оказался хорош. например, за 24 марта было 433 158 попыток соединения с почтовым сервером, чтобы отправить почту и почта была доставлена лишь в 1 068 случаях.

как говорят пользователи, им кажется, что вся почта доходит, полезная почта не теряется. вместо гигабайта в день принимается около 4 мегабайт почты.

в следующей заметке я расскажу, как сделать так, чтобы имеющаяся система не проседала со временем.

broken pixel

2009-03-20T12:09:00.000-07:00

mysql grants dump

2009-03-05T08:51:00.000-08:00

меня тут на собеседовании спросили: «а почему вы не любите mysql»?

я вам отвечу.

когда делается «grant privileges on … to 'user'@'hostname' … », то при наличии двух записей, указывающих на один и тот же ip адрес (например 'user'@'host.example.com' и 'user'@'10.0.2.1'), то выбирается всегда запись с ip адресом, а вот сообщение в логе выводится по reverse dns имени хоста. разработчики mysql, вот вам от меня гнилой помидор!

допустим, вы сдампили все базы mysql и хотите теперь восстановить базу к прежнему состоянию в другом месте.


mysql -u super -p <mysql_dump

и вуаля — не работают указанные вами гранты. хотите узнать почему? потому что разработчики mysql не умеют без костыликов и вам придется запустить этот костылик самому:


flush privileges

получите–ка, дорогие мои, в лицо собачьей какашкой.

beware perl

2009-01-09T12:12:00.001-08:00

как ни странно, скрипт ниже по тексту письма работает без ошибок.


#!/usr/bin/perl

use strict;

print asdfagertghswdfgasdfgsdfgasdf;

# то же самое, когда перл не может определить контекст bareword, он рассматривает его как FILEHANDLE

{
       no strict 'refs';
       *{a} = sub {return "hello!!!";};
}

print a; # does nothing
print a (); # nothing
print "-=-=-=-=-=-=-=-";
print a(); # ok
print &a; # ok

#beware!

the beatles

2008-12-31T07:44:00.000-08:00

некоторое время назад, благодаря постоянным «новостям» о том, что битлы наконец проложат свой путь в itunes music store, я решил таки послушать что и как они поют. и это оказалось для меня потрясением — большинство песен с точки зрения звука оказались беспомощным говном. я был в шоке от этого феномена и решил не обращаться к этой теме больше. но недавно услышал как fiona apple поет их песню и понял, в чем дело.

как оказалось, все просто. у битлов хорошая музыка и тексты. но пение и оранжировки портят все. если даже небольшая часть песен спета неплохо, то все остальные спеты и сыграны так, что просто уши вянут.

например — битлы:

и fiona apple:

второй по звуку для меня на порядок приятнее.

restore data from broken hdd

2008-12-23T05:23:00.000-08:00

сохранность данных

написать нижеследующую простыню меня побудило то, что в определенный момент времени я, благодаря проворству своего домашнего животного и большой стеклянной банке чая, потерял некоторое количество важной информации. но даже это не очень важно, потому как впоследствии, клюнув на рекламные объявления, провел довольно большое количество времени в попытках восстановить данные с помощью автоматических программ и потерпел фиаско.

восстановление данных

тут начинается самое интересное. в силу того, что мой диск получил ощутимые физические повреждения (вмятина шириной в 10 милиметров и глубиной в три прямо над блоком парковки головок), я не думал, что он вообще сможет работать. мне очень не хотелось его вскрывать самому для того, чтобы вмятина ничему не мешала при восстановлении данных. сильно помогло отверстие прямо рядом с вмятиной — при помощи отвертки былприподнят корпус и диск смог прочитаться.

дальше уже все было просто — подключаем в powermac, запускаемся, с трудом грузимся, монтирование диска происходит в течении десятка минут. на диске у меня два раздела и если второй смог показаться в finder и я спокойно смог начать копировать с него данные, то первый не мог ни подключиться, ни пройти верификацию в disk utility. тут я вспомнил, что были две программы, которые могли бы помочь мне скачать информацию даже с такого раздела. этими программи оказались TechTool Pro 4.6.2 и Data Rescue II.

кратко о том, каков у них принцип работы.

каждая из них пытается прочитать весь диск для того, чтобы найти на нем уцелевшие файлы. но не все так просто. после составления некотого индекса этих файлов, обе программы предлагают выбрать необходимые файлы и ваше веселье начинается заново. то есть вместо копирования с заведомо небыстрого и проблемного места файлов, предлагается пару раз попилить диск, чтоб уж наверняка файлы не восстановились. других объяснений именно такой работе я не вижу. и если уж у вас есть данные, ценность которых заведомо выше каждой из этим программ, то будет странно, если у вас не найдется денег на диск, куда вы будете восстанавливать восстановимое.

впроче, оставим это все на совести разработчиков этого софта, но кратко пройдемся по каждой программе. кстати, ни одна из них не поддерживает национальные символы. во всяком случае, я не смог разобраться, какое количество вопросиков соответствует нужному файлу.

TechTools Pro — это такой небольшой комбайн для тыканья ответкой в разные чувствительные части вашего мака. он вроде может определить неисправность основных узлов и сказать, что с вашим алюминием в порядке, а что — не совсем. заодно может создать специальный скрытый раздел на диске с собой любимым и как–бы восстанавливает данные.

программа проработала около 14 часов и прогресс остановился. я нажал кнопку отмена и она (о чудо!) и вывела список директорий, которые она думала, что могла бы восстановить. спустя три часа после копирования одного из файлов я решил прервать этот процесс, потому как у меня было ощущение, что это не закончится никогда. результат: около 20 часов работы, около 20 восстановленных файлов из нескольких каталогов в домашней директории. вернуться к списку директорий мне не позволили и это полностью определило дальнейшую судьбу программы — она отправилась в корзину. если остальные функции этой программы реализованы также хорошо, то она не стоит своих денег и … вообще ничего не стоит.

Data Rescue II «умеет» только восстанавливать файлы. но функциональность в целом схожа с восстановлением у TechTools Pro. то есть софт чрезвычайно долго мурыжит диск, потом выдает список «восстановимых» файлов и при выборе мучительно пытается их восстановить. завершения процедуры я не дождался, на часах уже были третьи сутки с момента падения диска.

эти программы дали мне довольно много информации о том, как вообще живет софт восстановления данных на mac os x. его просто нет. бэкапьтесь почаще!

как показал гугл, восстановление данных с диска формата hfs+ стоит от 250 евро. в моем случае нужно было бы еще и убирать гермоблок, то есть еще около 100 евро. данные, которые у меня были не сохранены, столько не стоили и я решил попробовать сам все скопировать.

закат солнца вручную.

эта часть повествования относится скорее к unix geek, чем к обычным пользователям. поэтому ее можно прочитать как руководство к действию, а можно вообще не читать, пока у вас ничего не случилось.

подготовка

сначала вам придется свыкнуться с мыслью, что чем больше вы возитесь, тем меньше у вас шансов. так происходит по разным причинам, начиная с того, что ваш диск разваливается физически и заканчивая тем, что магнитная структура у неисправного диска может меняться. поэтому, если у вас не сложилась любовь с терминалом и данные важны, попробуйте восстановить их за бабло.

также вам придется подумать о том, что стоит «спасать» в первую очередь. если ваш ответ — домашняя директория или вообще все, то вам стоит обратиться к специалистам. потому что в случае серьезных неполадок вам удастся скопировать только небольшую часть данных за ограниченное время. пофайловый план будет идеальным.

вам понадобится открытый внешний контейнер для диска. если у вас он закрытый, то важно будет его не закрывать. кроме того, нужно организовать принудительное охлаждение. его хорошо делать с помощью обычного компьютерного вентилятора размером 120х120х25мм. есть большая вероятность, что вы сможете спасти больше данных с охлаждением, нежели без. во всяком случае, у меня диск переставал отдавать данные вообще после получаса чтения с него без охлаждения.

внешний контейнер нужен затем, что вы можете загрузить систему без участия проблемного диска. у меня система с моим диском попросту не грузилась, если диск был подключен к sata контроллеру.

допустим, вам повезло

стоит понять, какая вероятность того, что ваши данные восстановимы. если диск монтируется и с него даже худо–бедно что–то копируется, то вам повезло. точно также вам повезло, если вы сможете подмонтировать диск с помощью команды mount_hfs -j (это значит, что вы просто проигнорировали журнал при монтировании). это и было степенью моего везения. после этого я с помощью команды cp в терминале (Finder перестает копировать файлы после первой ошибки) получил все важные данные (некоторые не скопировались, конечно, но основное я получил). при этом я скопировал всего 3 гигабайта из 45 в течении часа. это одна из причин, почему план спасения данных, расписанный вплоть до файлов с директориями — хорошая идея. при этом начало диска оказалось безнадежно испорчено — 200 мегабайт из начала копировались 4 часа. но тут уж как повезет.

возможно, не повезло

и диск не монтируется даже без журнала. это, предположительно, обозначает, что схемы расположения файлов на диске уже нет. теперь вам предстоит кропотливая работа по отделению мух от котлет. для начала лучше всего будет скопировать имеющиеся данные. это можно сделать с помощью следующей команды:

dd bs=4096 if=/dev/disk2s2 of=/Volumes/vert/tristane.dmg conv=noerror,sync

где 4096 — размер блока, /dev/disk2s2 — это ваше отвалившееся устройство, /Volumes/vert/tristane.dmg — место и файл, куда будут сбрасываться полученные данные. эта процедура может длиться очень долго. может даже недели. так что озаботьтесь доставкой пиццы и кока–колы для себя и бесперебойным питанием для компьютера, на котором вы будете переливать все из пустого (все непрочитанные блоки dd забивает нулями) в порожнее. кроме того, за этим компьютром вам будет сложно работать, потому что иногда система перестает отвечать. еще раз повторю, что, возможно, ждать придется долго.

допустим, у вас спустя время создался образ вашего диска. вот теперь вы можете напустить на него Data Rescue II. есть вероятность, что он даже найдет в образе несколько файлов.

ну и в последний раз повторюсь — не хотите производить эти все операции — делайте backup.

usability sucks

2008-11-30T13:42:00.000-08:00

2008-11-28T01:09:00.000-08:00

http://www.ibm.com/developerworks/ru/library/os-whistle/index.html

напоминает анекдот:

«В одной деревне жил старичок, который мог напердеть любую мелодию. И вот
узнали об этом телерепортеры. Приехало к нему телевидение, берут,
значит, интервью.
Журналист: А правда, что вы можете напердеть любую мелодию?
Старик: Да, конечно.
Журналист: А "Калинку-малинку" можете?
Старик: Могу.
И напердел мелодию.
Журналист: А " Во саду ли в огороде" слабо?
Старик: Нет.
И тоже напердел песенку.
Журналист: А что-нибудь из классики вы могли бы напердеть?
Старик: Например?
Журналист: Ну, например, Моцарта?
Старик: Не знаю, давайте ноты.
Ему дают ноты, он около 10 минут пристально смотрит на них.
Журналист: Ну так что, сможете?
Старик: Нет, не смогу.
Журналист: Почему же?
Старик: Да тут в 2 местах обосраться можно»

и это снова я про mysql

2008-09-03T00:01:00.000-07:00

новыя знания — новыя печали

теперь я использую mysql таким образом:

"DBI:mysql:database=regru_auction;mysql_multi_statements=1;mysql_enable_utf8=1;mysql_auto_reconnect=1"

тогда есть надежда, что можно сразу несколько statements в do напихать, но я уже этим не пользуюсь. парсить sql оказалось проще, чем договориться с mysql.

причем, как показывает опыт, последний флаг не работает вообще. как был morning bug, так и остался. Apache::DBI отдыхает.

но это не все. после ошибки DBD::mysql становится нестабильным и может порождать ошибки типа таких:

DBD::mysql::st bind_columns failed: bind_columns called with 1 values but 10 are needed [for Statement "select count(*) from `auction` "]

для тех, кто в танке: иногда имеет смысл запустить возможно ошибочное sql выражение, чтобы не трясти базу лишний раз. а именно, вместо проверки, есть ли пользователь с таким username/password просто попытаться пользователя туда вставить. тогда, в случае ошибки, мы можем сказать: «э нет, чувак, такое как ты уже есть». ха. не в случае mysql. случай mysql:

eval {
$dbh->do (…);
};

if ($@) {
$dbh->disconnect;
Core::make_new_dbh ();
}

ну и сладкое напоследок.

есть вероятность не выйти из транзакции. то есть после commit или rollback есть вероятность остаться в транзакции со всеми вытекающими. в мануале предлагают дисконнектиться и соединяться заново. а, ну и autoreconnect в таком случае отключается -)

P.S.: совсем забыл. если создать mysql dbh и форкнуться, то есть вероятность чрезвычайно круто попасть впросак, потому что как–то оно очень хуево после этого работает.

мудаки.

migration postgresql => mysql

2008-07-15T01:01:00.000-07:00

есть достаточно большое количество statements, которые после запуска не могут быть rollback. список: для 5.0, для 5.1, то есть mysql не является ACID compliant, хотя оно заявлено.

drop table if exists temp_test_one, temp_test_two;

begin;
create table temp_test_one (a int, b int);
rollback;

-- fail here, create table caused implicit commit
create table temp_test_one (a int);

begin;
alter table test1 drop b;
rollback;

-- fail here, because alter table also caused implicit commit
alter table test1 drop b;

по непонятным для меня причинам, второе поле типа timestamp не может принимать значение now() при вставке, что делает возможным создание поля created только с помощью триггера. зато первое поле такого типа по умолчанию апдейтится при каждом обновлении записи. вот такая долбаная магия.

-- fail here, error: Incorrect table definition; there can be only one TIMESTAMP column with CURRENT_TIMESTAMP in DEFAULT or ON UPDATE clause (WHY?)
create table temp_test_two (created timestamp default now(), updated timestamp default now());

-- fail here because first timestamp column have default now()
create table temp_test_two (updated timestamp, created timestamp default now());

create table temp_test_two (updated timestamp, created timestamp);

-- now updated column being updated on any update

триггеры может создавать только пользователь с правами super (вроде, в 5.1 они это поправили)

-- fail here if you don't have super privilege (5.0)
create trigger temp_test_two_bcreate before insert on temp_test_two for each row set new.created = now();

чюваки из mysql до сих пор не смогли написать нормального парсера, чтобы разграничивать внутренности процедур от остального sql кода.

-- fail because you don't set delimiter (stupid mysql parser can't recognize trigger end without separation delimiters inside trigger and outside)
create trigger contact_aupdate after update on contact
for each row begin
if new.contact_auth = 'ok' then
update domain set domain_authenticated = true, domain_state = 'auth' where auth_contact_id = new.contact_id;
end if;
end;

теперь про перл

mysql не может запускать сразу два statement в одном do; если сделать fork, то придется создавать новое соединение, так как старое привязано к process id.

my $dbh = DBI->connect;

my $pid = fork;
if ($pid) {
# failed because you can't launch two statements at same time
$dbh->do ('drop table if exists temp_test_one; drop table if exists temp_test_two; ');
} else {
# failed because cloned dbh doesn't work
$dbh->do ('drop table if exists temp_test_one, temp_test_two;');
}

короче, если нет возможности использовать что–то другое, то можно, иначе — нужно как можно быстрее избавляться от mysql в пользу postgresql и/или sqlite.

perl death is postponed

2008-07-13T11:43:00.000-07:00

в последнее время начал работать с перлом серьезно (весь в кишках). и как–то так получилось, что уже в третий раз нахожу в нем ошибку. один товарищ сказал, что пора переключаться на java — там я буду дилетантом и не буду соваться во всякую мутную низкоуровневую поебень.

меня больше тянет к ruby, потому что по архитектуре java меньше подходит в качестве web языка. но, судя по последним данным, вряд ли я стану ruby или java специалистом.

давайте посмотрим на вот эту картинку:

по ней явно видно, что перл держится молодцом между enterprise level java и активно продвигаемым одной небезызвестной компанией ASP.NET.

как всем уже давно известно, perl не развивается. но не в том смысле, что не появляется чего–то нового. а скорее в том плане, что без большого объема общения сложно выяснить, что же стоит использовать и для каких целей. для тех же accessors в перле есть не один десяток модулей. то же касается web frameworks, ORM. короче, трендов нет, есть одна глобальная помойка под названием cpan. нет инструментов и удобных frameworks. но есть куча перлового кода, который был написан и будет написан и все это барахло нужно поддерживать.

волшебные слова типа Catalyst и Moose оставьте при себе. в реалиях сегодняшнего дня у них нет достаточного уровня производительности: http://www.alrond.com/en/2007/jan/25/performance-test-of-6-leading-frameworks/ . если охота более свежих тестов, то в компании, где я сейчас работаю, используется Catalyst и при потреблении памяти в 500 мегабайт он умеет обслуживать не более 10 простых запросов в секунду. Moose же работает в 10 раз медленнее моих самописных accessors, и это в самом простом случае, когда они не типизированы. простите, но это лажа.

memory organization and management in mac os x

2008-07-01T01:00:00.000-07:00

только для 10.5

некоторые из указанных здесь данных справедливы только для 10.5. то есть я предполагаю, что, как минимум в 10.4 inactive память не могла быть помещена в swap.

чипы и диски

системе доступны кэш память процессора (cpu cache), физическая или оперативная память (ram) и память подкачки (swap). кэш память процессора — самая быстрая из имеющейся памяти. она напрямую отдает данные процессору, но за все приходится платить: она же самая дорогая и поэтому размер ее чрезвычайно мал. управление ею возможно, но при программировании под mac os x скрыто, можно лишь сравнивать насколько архитектура процессора соответствует размеру кэш памяти — что является темой для отдельной статьи. в обозримом будущем интел обещает сильное увеличение объемов процессорного кэша, так что посмотрим, может все сильно поменяется. физическая память - это микросхемы оперативной памяти, память подкачки же - это файлы на диске. также система может показывать виртуальную память, но она настолько виртуальна, что не имеет отображения ни в оперативной памяти, ни на диске. не стоит путать память подкачки и виртуальную память - они не имеют вообще ничего общего. суть виртуальной памяти в том, что она выделяется по запросу приложения. но отображаться в реальной памяти начинает только тогда, когда приложение начинает операции с выделенной памятью.

так получилось, что чем медленнее сама память, тем дешевле запихать побольше ее в компьютер. поэтому кэша у процессора в пределах нескольких мегабайт, оперативной памяти в макбук можно поставить 4 гигабайта, а более медленной дисковой — аж 300 гигабайт.

приложения потребляют память при запуске и своей работе. чем интенсивнее приложение работает с объектами и чем больше количество объектов используется, тем больше потребляет памяти данное приложение. когда активное приложение перестает помещаться в оперативную память, то часть данных неактивного приложения сбрасывается на диск, в файл подкачки. впоследствии, при переключении на такое неактивное приложение вы почувствуете, что оно совсем небыстро отвечает в течении небольшого промежутка времени - это данные, попавшие в файл подкачки, возвращаются в физическую память, а другое неактивное приложение помещается в swap. привет, пляжный мячик!

системная память

система различает в оперативной памяти несколько секций: wired, active, inactive и free. обычно, пользователь, замечая, что у него почти не осталось свободной (free) памяти, начинает выгружать приложения. количество свободной памяти после данной процедуры увеличивается, но несильно. система с двумя гигабайтами памяти, в которой запущен один только finder, может иметь свободной лишь 100 мегабайт. и это нормально.

wired память - это, зачастую, лишь память ядра системы (ну и WindowServer). wired память не имеет шансов попасть в swap. больше она ничем не интересна.

active память - это память всех приложений. то есть если приложение загрузилось, то оно «отъело» кусок active памяти. если приложение загрузило файл и держит содержимое в памяти, то оно отъест еще кусок. возможно, часть такой памяти превращается в inactive, но условия, при которых это происходит и что именно становится «неактивным» — мне неизвестно.

inactive память предположительно не имеет никакого отношения к приложениям. этой памятью управляет система, кэшируя обращения к файлам на диске. то есть если приложение прочитало файл на диске, то содержимое этого файла будет сохранено системой внутри inactive памяти. если приложение вторично пытается прочитать файл и файл не изменился, то с большой вероятностью он будет прочитан из памяти, без обращения к диску. эта память также не помещается в swap в силу бессмысленности данной операции (вообще–то так должно быть, но это не совсем так — читай далее).

free - это память, которую не использует ни одно приложение. количество свободной памяти не может опуститься ниже некоторого предела, поэтому вы вряд ли сможете увидеть значения типа 500 килобайт памяти свободно. но если значение опустилось менее 5 мегабайт, то скорее всего либо у вас уже все тормозит, или вы очень скоро это почувствуете.

сразу после загрузки у вас будет очень много свободной памяти, которая по мере работы будет активно превращаться в active и inactive. и если с active памятью мы ничего сделать не можем, система распорядится ею сама, то размер inactive памяти можно менять.

вообще–то есть довольно сильная зависимость от профиля вашей работы. если вы работаете с небольшим количеством файлов, но с приложениями, которые перелопачивают большое количество данных, то, с большой вероятностью, у вас будет больше занято active памяти. в случае копирования и чтения множества файлов — inactive память вырвется на первое место.

приоритеты

память подчиняется определенным приоритетам, которые выглядят как (у всех так нарисовано):

wired > active > inactive > swap

это не совсем верно. wired не имеет шансов попасть в swap. кроме того, я за много попыток не смог добиться (или не смог увидеть) попадания active памяти в inactive.

так что схема примерно такова:

inactive > swap, active > swap

то есть в случае нехватки памяти, active и inactive могут быть помещены в swap, причем сначала помещается inactive память, а потом active. если насчет active все понятно, то почему inactive, которая (фактически) является файловым кэшем, помещается в swap? этого я понять не могу, но результаты тестов показывают нам именно это.

волшебная inactive память

поработав за компьютером некоторое время я наблюдаю следующую картину:

для того, чтобы определиться с inactive памятью, я решил скопировать 1 гигабайт данных с помощью команды «cp» в терминале («Finder» не использует кэширование при копировании файлов):

все параметры в норме, полет нормальный, inactive память подросла на гиг. давайте посмотрим, что будет, если я попрошу у системы 2 гига памяти и запишу в них данных, а потом освобожу эту память. на первой картинке — процедура отъедания памяти, а на второй — после того, как я покликал по активным GUI приложениям и проверил, что они не залезли в swap:

вроде бы все в норме, только там есть волшебная строчка, на которую стоит обратить внимание: swap used. если сравнить с начальной картинкой, то в свопе оказалось полгига inactive памяти. фигасе, сказал я себе, когда это увидел. может, у меня скриншоты неправильно скриншотятся? я выгрузил все приложения и увидел следующую картину:

то есть в свопе находится inactive память, которая не была нужна ни одному из загруженных приложений. дальнейшие мои опыты не смогли вытащить эту память из swap. она осталась там до перезагрузки. естественно, после перезагрузки памяти у нас до фига:

еще одно наблюдение, которое я сделал по мере тестов — mach_kernel и WindowServer кушают память (wired память). причем, в случае выгрузки приложений, они ее не возвращают системе, а в силу того, что это wired память, то и в swap ее не отдают. а это значит, что в случае, если они выросли слишком сильно (у меня бывало и по полгига на каждого), никаким образом, кроме перезагрузки, нельзя вернуть память, сожранную этими двумя процессами, в систему.

inactive, active => free

в случае необходимости, вы можете освободить большую часть inactive и active памяти. как показывает вышеприведенный эксперимент, часть inactive памяти действительно освободится, часть же перейдет в swap. для этого вы можете воспользоваться программой ifreemem или волшебным скриптом, который просто нужно запустить в терминале или сделать action в automator:


perl -e 'my $a = []; $a[5*10**8] = 1;'

меняя циферки, вы можете управлять размером освобождаемой памяти. вышеприведенный пример освобождает почти два гига памяти. с помощью perl вам не удастся освободить больше, чем три с небольшим гигабайта. насчет ifreemem не знаю.

после запуска подобного скрипта в системе с небольшим количеством свободной (free) памяти, фотошоп начинает грузиться и работать быстрее, потому что ему не приходится биться за каждый килобайт оперативки с неактивной памятью. но за все нужно платить. в случае, когда у вас действительно немного неактивной памяти, а большая часть памяти активна, то активная память уйдет в своп и вы получите однозадачную операционную систему — переключение на другие приложения будет исключительно мучительным (конечно, если у вас не mac pro с raid 5 из 8–ми дисков).

modding

2008-06-21T16:07:00.000-07:00

я уверен в том, что даже самая долбанутая идея, возникающая у человека, имеет практический смысл.

взять тот же тренажер интуиции. люди ебашат себя током и им это нравится. пускай ебашат, если им от этого лучше. в какой–то из серий бонда тоже такая игра была. как говорят — если кошка жрет полиэтилен, то наверное, у нее не хватает этого самого полиэтилена (как вариант — мозгов).

те же клавиатуры антибактериальные и с возможностью промывки специально для дрочеров. но вчера я увидел реальный инсектицид в исполнении компьютерных комплектующих.

вы думаете подсветка на кулерах просто так нужна? хрен. она ночью привлекает насекомыхобещающим пропитание нежно голубым цветом и температурой, близкой к температуре тела. те подлетают и, влекомые воздушным потом, размалываются о светящиеся лопасти и острые грани радиатора. только ванночку для отходов поставить. так что несмотря на эстетическое убожество, ставьте светящиеся кулеры. а вот нити не ставьте. и водоблок с подсветкой. короче, все что не крутится, не должно светиться.

wwdc 2008

2008-06-09T20:05:00.000-07:00

техника молодежи

я отфильтровал лог по хитам с учетом исключительно «картинок с выставки».

цифры:

сервер стоял раком с 21:05 по час ночи

811 430 хитов
4 022 уникальных ip адреса
35.6 гигабайт трафика
197 842 799 байт в лог файле

ояебу

про, собственно, выставку

Пункт приема устаревших айфонов.

беременным пенсионерам и за 100 баксов можно без очереди.

snow leopard?

2008-06-05T01:52:00.000-07:00

снова о леопарде

на днях вышла версия 10.5.3 — которую я склонен считать стабильной и подходящей для каждодневного использования. если вспомнить, что леопард был выпущен 26 октября, то до конца мая, когда было выпущено последнее стабильное обновление, прошло ни много ни мало, а целых 7 месяцев. немало для отлаживания на пользователях, не правда ли? можно сказать, что и другие версии, начиная с 10.5.0 были стабильны, но позволю не согласиться. леопард явно был глючный с самого начала и новость о том, что билд 981 будет выпущен на рынок — меня просто шокировала.

кроме того, часть функциональности просто осталась за бортом — в обновлениях не появилось запоминания раскладок, address book навсегда попрощался с bluetooth. мои ожидания что они все–таки добавят эту функциональность, потерпело фиаско — «вы чё, чуваки, у нас тут айфоны, тайм машины в капсулах — а вы нам насчет ваших паршивых проблем с раскладкой клавиатуры. мы же америкосы! нам похер ваши раскладки, учите английский!»

леопард добавил не так уж много нового, но это новое не то, чтобы нормально не отлажено, оно просто скрипит по швам. небольшой пример — поставьте в настройках файрволла «только необходимые сервисы» и попробуйте расшарить интернет на айфон по wifi. ну как? работает?

грустно, но леопард — явно неудачное детище эппла, рожденное в муках и муки эти не закончились до сих пор. ну что ж, посмотрим насколько правдивыми окажутся слухи, которые предрекают 10.6 с возможным именем snow leopard.

с другой стороны, леопард — это сильная заявка на совместимость с сторонним железом и широкое тестирование под PC. начиная с бета версий, леопард сильно проще устанавливался на обычное железо, чем тигр и обновление 10.5.2 прошло практически безболезненно. некоторая фирма даже решила продавать openmac, который в других кругах называется попросту «хакинтош». но эппл тоже не лыком шита и обновление 10.5.3 сильно расставляет точки над I. последнее обновление неприятное для владельцев хакинтошей. потестировали, ребятки, и хватит.

теперь немного о intel-only составляющей возможной новой системы. если честно, процессорные мощности последних PPC машин вполне приемлемые для сегодняшнего дня. G3 уже маловато, а вот G4 800+ вполне хватает для каждодневного использования. правда есть небольшая проблема — часто на таких машинах серьезно не хватает памяти, потому что (по моим ощущениям) леопарду для шустрого шевеления нужен как минимум гиг памяти. но тут скорее вопрос политический — для отладки и разработки приложений сразу на 4–х архитектурах нужно много усилий. и было бы круто взять и отказаться сразу от трех архитектур, оставив только 64bit x86. плюсов масса да и многие современные программы не имеют в принципе PPC составляющей — даже эппловский iMovie 08 не умеет импортировать AVCHD файлы с видеокамер, используя PowerMac G5. intel only, понимаете ли! сразу можете дополнить список играми, которые вышли в intel–only, vmware fusion & parallels. считайте, почти весь системный софт.

но давайте посмотрим пристально — при отказе от 32 bit библиотек сразу перестают работать два мастодонта платформы — adobe photoshop и microsoft office. перестает работать флэш в браузере, для системы требуется больше памяти. в принципе, такое тоже возможно, но я надеюсь, что это не произойдет.

king's bouny and russian gamedev

2008-05-16T00:47:00.000-07:00

о российском игродеве и местных продуктах.

вообще мне пофигу игродев и все, что с ним связано. но недавно вышедший king's bounty заставил меня написать. можете рассматривать это как крик души.

играю я нечасто и поэтому игр–то особо не видел. но года два назад собрал железку специально для игр и поддерживаю ее конфигурацию в актуальном состоянии. поэтом за последний год через мои руки прошло небольшое количество продуктов, которые давали мне возможность тряхнуть стариной. переводные игры я отказываюсь покупать по вполне объективной причине — перевод на редкость уёбищный. а здесь, в москве, очень сложно купить продукт с оригинальной локализацией. поэтому до недавних пор я все скачивал из сети и все было замечательно. fallout 1/2, heroes of might and magic IV, psychonauts, orange box, gta: san andreas, bioshock, guitar hero 3 — отличные игры, хотя некоторые и довольно старые.

сказ о «продуктах».

кучу лет назад моей девушкой был куплен диск с игрой «казаки». не знаю, какой версии и модификации, но после проверки компьютера на вирусы, оказалось, что папка с казаками заражена. переустановка системы и установка на чистую систему только игры дала тот же результат. судя по тому, что в интернет (http://playingworld.0pk.ru/viewtopic.php?pid=2113) есть аналогичные отзывы, проблема касалась не только моего диска. диск не был пиратским, была лицензия, книжица с кодом, которую нужно было куда–то послать. нафиг такое дерьмо, диск был выкинут. в саму игру я не играл — меня такие не интересуют.

совсем недавно, после очередной смены «железа», мной был скачан дистрибутив разрекламированного сталкера. время игры составило 15 минут. после orange box игра кажется пресной. суперэффектов на максимальных настройках я не разглядел. то есть может дальше будет интереснее, но как–то уже не хочется. соответственно, хорошо что не купил.

две недели назад был приобретен диск с king's bounty. игра хорошая, затягивает. то есть если уж сел, то оторваться будет сложно. но есть ряд нерешенных проблем, которые, по всей видимости и не будут решены. для начала расскажу о баг–трекинге этой игры. есть ее форум, где люди оставляют сообщения о багах соответственно патчам игры. патч 1.2 породил ветку на 35 страниц (на момент моего последнего просмотра). я оставил сообщение о проблеме, но не получил никакого подверждения о том, что мои проблемы будут учтены. у меня возникло подозрение о том, что они ничего и не исправят. так и оказалось. патч 1.3 не учел проблем, которые были описаны в ветке 1.2; например http://kingsbounty.ru/forum/index.php?showtopic=496&st=60&p=12190&#entry12190.

дополнительно к таким клевым условиям для разработчиков и игроков на форуме есть некоторое количество долбоёбов–модераторов, которые закрывают и удаляют ветки, которые им не нравятся.

теперь от поддержки плавно перейдем к игре.

во–первых игру на машине без русской локали установить сложно, потому что разработчики инсталлятора не знают слов «юникод» и «многобайтовая кодировка». к тому же, после инсталляции, игра не сохраняется через меню, зато автосохраняется и быстросохраняется. так и приходится играть в три сохранения на всю игру. к тому же, если под одним аккаунтом пользователя два игрока, то у второго не будут работать вообще никакие сохранения. эту часть кода писал мудак.

во–вторых, защита диска старфорсом, который отказался работать на моем приводе. пришлось искать другой привод (шлю лучи ненависти и поноса разработчикам старфорса). к счастью, таковой быстро нашелся, но те, кто защищают игру от пользователей лицензионной версии таким образом — тоже изрядные мудаки.

в третьих, сам игровой процесс включает изрядное количество действий, связанное с передвижением персонажа. очень круто написан алгоритм движения персонажа: персонаж готов застрять в любом месте. в патче 1.3 это поправили, но по прежнему застревает и по прежнему там, где часто застревает при управлении мышью, там отлично двигается с помощью кнопки вперед. видимо, код писали два человека и тот, что писал управление мышью — мудак.

ссылку на еще один баг я давал выше, при описании системы баг–трекинга.

если честно, то все четыре приведенных бага я считаю критическими и релизный продукт не должен такого содержать. то есть я, как покупатель, заплатил денег чтобы стать бета–тестировщиком? почему ни одна из приведенных в начале текста игр не содержала такого количества багов? почему я играл в версии 1.0 безо всяких проблем, пожеланий, предложений и багов? с таким подходом идите–ка нахрен. я понимаю, что типа бабло, сроки, еще раз бабло, российский продукт, бла-бла, но почему это должно касаться меня? ответов на этот вопрос я не нашел.

сказ об издателях.

о, издатели, тумаки вам и пощечины пусть только достанутся. за трескающиеся диски с кинг баунти, за вирус в казаках, за уёбищную локализацию и невозможность купить продукт с оригинальной локализацией.

небольшое отступление. многие зарубежные издатели выпускают так называемые hybrid iso, на котором содержится версия под PC и для Mac. ни один из продуктов, которые поставляются в росиию, не содержит мак секции. возьмите fallout 1/2 из старого или guitar hero 3 из нового — как минимум эти продукты поставляются в hybrid iso. но нет, зачем пользователям маков играть, решают мудаки в новом диске и 1c. пускай купят себе PC для игр. ведь известно же, что маки — унылое говно.

apple quality

2008-04-07T13:13:00.000-07:00

вот вам и хваленое качество операционки от эппл.

система 10.5.2, все обновления, свежеперезагруженная, генерирует на каждый запуск приложения такими записями в лог:


Apr  8 00:06:56 flo Console[380]: Console(380,0xa0301fa0) malloc: *** error for object 0x200022: Non-aligned pointer being freed\n*** set a breakpoint in malloc_error_break to debug
Apr  8 00:06:56 flo [0x0-0x41041].com.apple.Console[380]: Console(380,0xa0301fa0) malloc: *** error for object 0x200022: Non-aligned pointer being freed
Apr  8 00:06:56 flo [0x0-0x41041].com.apple.Console[380]: *** set a breakpoint in malloc_error_break to debug
Apr  8 00:10:39 flo Adobe Lightroom[384]: Adobe Lightroom(384,0xa0301fa0) malloc: *** error for object 0x220020: Non-aligned pointer being freed (2)\n*** set a breakpoint in malloc_error_break to debug
Apr  8 00:10:39 flo [0x0-0x43043].com.adobe.Lightroom[384]: Adobe Lightroom(384,0xa0301fa0) malloc: *** error for object 0x220020: Non-aligned pointer being freed (2)
Apr  8 00:10:39 flo [0x0-0x43043].com.adobe.Lightroom[384]: *** set a breakpoint in malloc_error_break to debug

причем, это характерно для любых приложений, Console и Lightroom - это не единственные приложения, подверженные такому поведению

теперь понятно, почему эппл так крепко озабочена выпуском апдейта 10.5.3, с такими ошибками все совсем грустно.

macbook air

2008-04-06T05:36:00.000-07:00

каков?

macbook air - отличный ноутбук. он отнюдь не самый лучший, не самый быстрый, не самый легкий. он отличный от других и при этом хорошо сбалансирован.

air - прямой наследник powerbook 12". и если «двенашка» была младшая модель в линейке, то air - это отдельная модель, которая сильно отошла от своих больших братьев размером 15" и 17". это настоящий мобильный компьютер. если двенашка отличалась от своих собратьев pcmcia слотом и подсветкой, то эйр приобрел подсветку, зато лишился всего того, что могло бы его тянуть к земле. поменьше проводов и разъемов, нет dvd драйва, вес как можно легче.

вообще, самые-самые ноутбуки обычно выпячены в одну сторону. можно, например взять совренный asus eeepc. он легкий и маленький, но при этом очень убогий по своим техническим характеристикам. работать за ним каждый день? увольте. или alienware m15x. он оснащен самым быстрым процессором и видеокартой из возможных. но при этом он греется и шумит как паровоз при играх; батарея тоже не ахти. ну и 3.5 килограмма веса не вдохновляют. зато можно по ночам с таким ноутбуком ходить без опаски - им можно жестоко повредить грабителя/насильника. правда только один раз, корпус-то пластиковый; на сайте alienware даже промо-ролик есть на тему того, что отец купил своим дочерям по такому ноутбуку. air тоже выпячен. в сторону легкости и отказа от проводов. но не настолько, чтобы это было в ущерб чему-то.

в air стоит вполне современный процессор, 2 гигабайта памяти, диск на 80 гигабайт. если опять сравнить air c «двенашкой», то можно обнаружить, что процессор и память подросли, а диск остался такого же объема (и, чуть меньшей производительности, но не настолько меньшей, чтобы это сильно напрягало). в принципе air по производительности аналогичен macbook самой первой серии, но при этом в нагруженном состоянии сильно меньше греется. точнее, греется там только один небольшой пятачок на днище, чуть левее центра. то есть, его производительность вполне достаточная для современного компьютера. сразу после загрузки вы будете видеть, как air пытается прочитать данные программ со своего небольшого и небыстрого диска, но когда все загрузится, он достаточно быстр.

многие обозреватели сетуют на отсутствие множества usb, firewire, dvd. я считаю, что такая аскетичность впору для мобильного компьютера. если я в городе, то я соединюсь с интернет по wifi или через мобильный телефон с bluetooth. если я пришел на работу, то там есть wifi. если нет - не проблема купить единожды - такое устройство стоит полторы тысячи рублей и весит менее 50 грамм. клавиатура и мышь у меня подсоединяются через bluetooth. dvd приводом я пользуюсь редко и в основном дома; в рабочей обстановке или где-то на встрече flash drive значительно удобнее dvd, а стоит немного. единственное, что меня огорчает - это моно динамик. все звуки как из старого радио.

вкратце: беспроводных интерфейсов хватает при теперешнем развитии технологий. если вам обязательно нужен проводной ethernet, который свяжет ваш старенький домашний pentium 133, который до сих пор звонит провайдеру по dialup с помощью модема usr sportster, то этот ноутбук не для вас. лучше подождите еще лет десять, загоните свой pentium и купите десятилетней выдержки air.

даже если не обращать внимания на порты расширения и вес, то сравнивать его с большими и более тяжелыми современными братьями не получится, он ощутимо медленнее за счет процессора и диска. даже macbook последней версии ощутимо быстрее.

для кого?

тут все просто. если вы не возите каждодневно сумку всякого барахла, которое стремится занять порты вашего любимого macbook pro, а также если у вас сломался ваш старый ноутбук apple, то air - хороший выбор на замену. эйр - это не тот ноутбук, который все время стоит на рабочем месте и остается на работе, когда вы с нее уходите. он скорее для людей, которые утром читают новости с компьютера за завтраком, а вечером перед сном переписываются с друзьями.

веб-сервер и база данных, виртуализация и разработка - не самые сильные стороны этого ноутбука. в случае, если вы разработчик или вам нужен windows в виртуальной машине - сильно подумайте. скорость работы в таком случае будет сильно меньше, чем на macbook /pro.

то же самое касается скорости работы в любых тяжелых средах. photoshop и microsoft office загружаются мучительно долго и время от времени так же мучительно работают. в случае одновременной загрузки safari с множеством вкладок, photoshop и excel, lightroom уже лучше не загружать, 2 гигабайта памяти недостаточно для таких монстров.

80 гигабайт - не такой уж большой объем диска по сегодняшним меркам. если у вас есть ipod с коллекцией музыки на нем, то это здорово, моя коллекция в 80 гигабайт просто не поместится на air.

может, подождем?

air - отличное железо для тех, кто умеет ждать. я все время перемещаюсь и ноутбук у меня с собой, но я подожду, пока появится следующая ревизия этих ноутбуков. не останавливайтесь, если он вам нужен здесь и сейчас, идите и купите его, но если вам не горит, то читайте дальше (beware: много технической шелухи).

ssd - это большая темная лошадка. если вы готовы на нее поставить, то будьте готовы к не очень большой скорости (меньше, чем у традиционных жестких дисков на магнитных пластинах) и к отказу оборудования (ячейки памяти в ssd перезаписываются фиксированное число раз; то есть если у вас будет располагаться на ssd база данных, куда все время происходит запись, то возможен быстрый отказ жесткого диска).

pata - умирающий стандарт. и в то же время диски в air именно такие. для них нет возможности найти замену. остается надеяться, что в следующей ревизии там будут уже sata диски.

в том случае, если у вас в air хоть что-то сломается (жесткий диск, батарея), то вы полностью полагаетесь на сервис apple в россии, который, мягко говоря, не из лучших. в случае macbook /pro вы просто можете купить еще одну батарею или диск и забыть об этой неприятности. с эйром это исключено.

2 гигабайта памяти для 10.5 - это совсем немного. хватает на посмотреть почту, полазить в сети, посмотреть фильм, загрузить iphoto. то есть для обычного применения вполне. но мне например, мало и четырех гигабайт. будем надеяться, что в будущем apple напаяет еще нмного памяти.

intel сконструировал процессор для air в так называемом sff (small form factor или небольшой размер упаковки). теперешние процессоры в macbook и macbook pro производятся по нормам 45nm, в air же используется пока что 65nm чип. что это значит? это значит то, что когда у air появится 45nm чип, то он станет меньше греться и будет быстрее работать. в википедии указывается, что возможный выход sff процессоров для техпроцесса 45 nm ожидается в мае 2008 года.

посмотрим на год вперед: не за горами (2009 год) выход новой платформы intel, с памятью ddr3 и новой архитектурой процессоров, с отказом от северного и южного мостов по отдельности и с видеоядром, интегрированным в процессор.

в 2009 году же произойдет выпуск первых устройств на usb3. как обычно, первыми выйдут ноутбуки и десктопы, после этого появится периферия, но тем не менее, у вас появится возможность подключать высокоскоростные устройства.

с учетом выпуска ноутбуков от apple с учетом появления новых intel'овских платформ, совсем неудивительно, если через год эйры будут сильно интереснее. так же, как было с macbook core duo и core 2 duo.

gigabit and airport express test

2008-04-06T01:18:00.000-07:00

что такое гигабит и пару слов о airport express

когда сети были небольшие, коаксиальные и витые, то было сразу же понятно, сколько это - пропускная способность 10 мегабит или 100. 10 мегабит - это порядка 900 килобайт в секунду, 100 мегабит - это порядка 9-ти мегабайт в секунду. что же такое гигабит? казалось бы, что это 90 мегабайт в секунду. а вот нет.

скорости более 20-30 мегабайт в секунду сложно получить простым копированием файлов с помощью имеющихся ноутбуков. мы воспользуемся самописным решением, которое просто пересылает данные из памяти одного ноутбука в память другого – в таком случае диск не становится узким местом.

для того, чтобы убедиться, что сама реализация скрипта позволит нам получить заветный гигабит, я запустил его на локальной машине через локальный интерфейс.

методика: во всех случаях копируется гигабайт данных, то есть 2^30 байт, замеряется скорость. для потока вычисляется средняя скорость и указывается максимальная (burst).

mbp 2.33 - 19 секунд, 53.9 мегабита
mbp 2.2 - 11.8 секунд, 86.8 мегабита

негусто. я бы сказал, что внутренний интерфейс, который не ограничивают провода, выглядит не очень внушительно. ладно, это детали реализации, и, может, мои собственные ошибки.

посмотрим на реальную сеть:

mbp 2.33 <=> gigabit hub <=> mbp 2.2
26.4 секунды, средняя скорость 38.8, максимальная 41.4 мегабайт в секунду

ха. гигабит тут тоже какой-то вшивый. он не дотянул дяже до уровня внутренней сети. и да, mtu у обоих адаптеров одинаковый, 4087

не все то золото, что блестит, и не всякий гигабит, который гигабит.

ладно, увеличение скорости в 5 раз тоже прикольно. скачать порно в пять раз быстрее - тоже достижение.

а что у нас с беспроводными сетями?

ведь есть же волшебные 802.11n, которые обещают скорость 300 мегабит. это, как не сложно посчитать почти 30 мегабайт в секунду.

берем свежекупленный airport express 802.11n и подключаем одну железку к его ethernet, вторую соединяем по wifi.

mbp 2.33 <=> airport express 802.11n, 5GHz, WPA2
airport express ethernet <=> mbp 2.2
5 минут 15 секунд, средняя скорость 3.25, максимальная 7.26 мегабайт в секунду

скорость в пике хорошая, даже очень, это значит используется почти весь канал ethernet на все свои 100 мегабит. ой, а что это такое?

это привет от эппла. скорость ethernet соединения снижается после непродолжительной нагрузки. airport express разогревается при использовании соединения ethernet <=> wifi и пытается остудить себя, снижая скорость. видимо, это результат работы над перегревом старых станций airport express, которые отказывали через 14-20 месяцев после использования.

любые применения airport express, которые связаны с ethernet каналом, сильно не радуют, соединения до 20 мегабит он отдает стабильно, а вот больше - может иногда, но достаточно быстро понижает скорость.

проверим, что же будет, если соединить ноутбуки с airport express и передавать данные по wifi:

mbp 2.33 <=> airport express 802.11n, 5GHz, WPA2 <=> mbp 2.2
5 минут 17 секунд, средняя скорость 3.25, максимальная 4.4 мегабайт в секунду

mbp 2.33 <=> airport express 802.11n, 2.4GHz, WPA2 <=> mbp 2.2
12m7s 1.4 2.07 MB/s
12 минут 7 секунд, средняя скорость 1.4, максимальная 2.07 мегабайт в секунду

mbp 2.33 <=> airport express 802.11n, 5GHz, no security <=> mbp 2.2
4 минуты 24 секунды, средняя скорость 3.9, максимальная 4.8 мегабайт в секунду

сильно лучше, скорость постоянна и, в целом, удовлетворительна, хотя до обещанных 150 и даже 300 мегабит совсем недотягивает. скорее, скорость такая же, как и в 100 мегабитном проводном канале. шифрование почти не оказывает влияния на скорость, а вот диапазон 5 гигагерц увеличивает скорость в два раза.

в угоду дизайну, компактности и небольшому нагреву здесь принесли в жертву важные особенности экстремальной версии. при покупке мне казалось, что это экстремальная версия, но без гигабитного хаба, зато с музыкой; все оказалось сильно по другому. эти устройства дополняют друг друга, но не являются аналогами. в простейшем случае, когда вам нужно просто создать беспроводную сеть с выходом в интернет по кабельному модему, то airport express вам в этом отлично поможет. если вы захотите большего, как то проводная сеть или жесткий диск, который удобно разделить между беспроводными клиентами - вам придется купить airport extreme.

DBD::mysql character set

2008-02-28T06:28:00.000-08:00

порывшись некоторое время в документации mysql, я понял, что гарантированно выставить кодироку клиента, а именно character_set_client, character_set_results, character_set_connection в какую-то кодировку можно только с помощью «set names utf8». потому как не всегда есть возможность сменить кодировку в конфигурации сервера. теперь о том, если нет возможности использовать «set names».

оказывается, DBD::mysql позволяет использовать некоторые дополнительные переменные при соединении, как то mysql_read_default_group и mysql_read_default_file. как это может помочь мне для установки кодировки данных для клиента:

dbitest.pl:


#!/usr/bin/perl

use strict;
use DBI;

print `mysql -e 'show variables' | grep char`;
print "\n";

my $conn_str = join ';', 
    'DBI:mysql:database=mysql',
    'mysql_read_default_group=perl',
    'mysql_read_default_file=/home/apla/my.cnf';

my $d = DBI->connect($conn_str, "***", "***");
my $s = $d->prepare ('show variables like "char%"');
$s->execute;
my $vars = $s->fetchall_arrayref;

foreach (@$vars) {
 print "$_->[0] => $_->[1]\n";
}

my.cnf


[perl]
default-character-set=cp1251

соответственно, group это то, что находится внутри квадратных скобок, то есть [group], а file - это если вы не хотите использовать стандартную конфигурацию, то можете использовать свою собственную.

результат:


perl dbitest.pl
character_set_client latin1
character_set_connection latin1
character_set_database latin1
character_set_filesystem binary
character_set_results latin1
character_set_server latin1
character_set_system utf8
character_sets_dir /usr/share/mysql/charsets/

character_set_client => cp1251
character_set_connection => cp1251
character_set_database => latin1
character_set_filesystem => binary
character_set_results => cp1251
character_set_server => latin1
character_set_system => utf8
character_sets_dir => /usr/share/mysql/charsets/

mysql 5.0.26

good, bad and ugly

2008-02-25T14:10:00.000-08:00

обращаться с клиентом можно по разному. можно уважать пришедшего к тебе человека, можно просто менять деньги на товар, а можно плевать. мне хочется рассказать о тех фирмах, что вызвали у меня эмоции при обслуживании, как приятные, так и нет.

abn.ru

месяц назад я решил купить себе переключатель монитор/клавиатура/мышь, потому как компьютеров в доме становится больше, а покупать на каждый из них монитор - расточительно и бессмысленно. особенно на тот, который стоит на антресоли. в силу того, что цена на подобные устройства с нужными мне характеристиками (dvi, usb, 4 компьютера) отличаются в разы, то решил попробовать самый дешевый - ведь если будет работать, то какая мне разница, сколько он стоил. поехал в abn.ru. сама фирма занимается сетями, кабелем и всем, что с этим связано. офис сответствующий:

устройство, которое я получил, оказалось нерабочим. отдал назад, на тестирование. тест подтвердил нерабочесть устройства. теперь самое вкусное: менеджер сказал, что у них на складе есть еще одно такое же и они его привезут, протестируют и отдадут мне, если со вторым будет все в порядке. чтобы мое время не терять.

sunrise.ru

моя жена работает в том же здании, где находится магазин sunrise. несколько раз, когда я ее провожал, мне было удобно заказать пару железяк поутру и, получив их, поехать на работу. удачно закупился я там всего один раз. вообще, пожалуй, стоит немножко детально рассказать о самом магазине. санрайз - огромный склад. и люди, которые им управляют, наверное, никогда не видели, как санрайз работает с покупателями. купить в санрайзе можно тремя способами: собственно, приехав на склад, через ряд киосков с терминалами, где можно сделать заказ, оплатить его и приехать через несколько дней за покупкой (санрайз-лайт) и online-shop санрайза.

все эти три способа заказа между друг другом не связаны. и если санрайз-лайт отделен от склада по понятным причинам, то совершенно непонятно, почему нельзя сделать резерв в онлайн магазине, а потом забрать его в санрайз лайт или на складе. такой возможности просто нет. ха, а в ultra-online.ru, fcenter.ru, oldi.ru все это есть! так нафиг нам сдался санрайз? особенно с учетом того, что если хочется купить что-то, что появляется в продаже не очень часто, и после появления находится недолго, то вероятность купить это в санрайзе близка к нулю.

в результате получается такая ситуация - либо ты должен приехать в санрайз-лайт, заказать, оплатить и ждать пару дней, пока все доедет (если доедет - тот, кто принимает заказ, тоже не может зарезервировать товар; в некоторых случаях звучит волшебная фраза «эту позицию заказать нельзя, потому как тут всего две штуки осталось»). либо нужно приехать на склад, зарезервировать (теперь новые условия - не меньше 1000 рублей в заказе), оплатить, и через час-три ожидания получить вожделенную железку. либо заказать через интернет магазин, из которого придет пеший ходок через три-четыре дня и оплатить сверх стоимости заказа 400 рублей за доставку (это больше примерно раза в два, чем в других компьютерных магазинах).

если честно, то санрайз мне представляется удобным только в том случае, если есть карта постоянного покупателя со скидкой, там есть что-то очень нужное, ты любишь ездить за покупками по ночной москве или работаешь в том же здании.

ultra-online.ru

по моему, самый лучший компьютерный магазин накрывается медным тазом. всем удобен - онлайн резервирование, низкие цены, ~~широкий ассортимент~~. если раньше можно было купить все, начиная от электрозубощетки до sata кабеля с подсветкой, то теперь худо-бедно можно компьютер собрать, но на этом все. очень жаль. с горя уеду в киев навсегда.

traveler laser: part II

2008-02-24T12:39:00.000-08:00

в целом, как оказалось, мышь вполне приличная, и вполне прилично слизана с apple mighty mouse. но не без неприятностей:

1. верхняя часть не разбита на кнопки, поэтому часто при нажатии нажимаются обе кнопки, одна за другой.

2.1. скролл работает горизонтально и вертикально, но по диагонали - не работает. горизонтальному скроллу для работу нужна mac os x 10.5.2 или драйвера под windows.

2.2. скролл в силу его оптической сущности не имеет тактического отклика. кроме того, палец не скользит по прозрачному пластику скролла, поэтому при прокрутке на несколько строк палец тормозит, при быстром же движении помех нет. результат - промотать на половину страницы не удается - либо на пару строк, либо на пару страниц. привыкаешь, но неудобно. так и не смог привыкнуть за две недели

2.3. светодиод в скролле разместили неудачно, в некоторых положениях он светит рямо в глаза. несильно, но неприятно. если бы он светил от пользователя, нареканий не было бы.

3. мышка обладает оптическим разрешением в 1600 dpi. это значит, что я за ней не успеваю. есть режим 800 dpi, включаемый долгим нажатием на кнопку с сенсором скролла, но режим не сохраняется между перезагрузками.

4. неудачный, чрезвычайно тонкий кабель. при моей аккуратности такие кабеля рвутся «на раз». поменял со старым genius netscroll, теперь вроде оторвать будет сложно.

5. драйвера в windows ставятся в папку c:\Genius и нет возможности выбрать другую папку. к счастью, не все производители так делают, потому как иначе было бы пользоваться диском c: невзможно.

сравнивать traveler laser с mighty mouse глупо - это две похожие мышки, но похожи они лишь внешне. стоимость mighty mouse вполне компенсируется удобством пользования; в то же время, . genius traveler laser - дешевая имитация с прикольным оптическим скроллом, которым неудобно пользоваться. если на скроллинг наплевать (я на работе использую apple wireless mouse), то мышь вполне комфортная.

поэтому genius следут сделать несколько простых вещей для того, чтобы мышью было бы пользоваться удобно:

1. разделить кнопки

2. переместить светодиод оптического скролла от пользователя

3. сделать пластик на скролле другим, так чтобы движению пальца не было помех

4. сделать переключатель dpi на дне мыши

5. заменить провод на менее хлипкий

6. доделать софт

traveler laser with 4d scroll against apple wireless mouse

2008-01-29T05:24:00.000-08:00

или мышь-батискаф против мыши-мыла

вообще, мне нравятся оригинальные, привлекательные вещи. поэтому я стараюсь не использовать (и не покупать) то, что меня не привлекает. часто в техническом плане сложно выдержать какую-то эстетику, кроме функциональной, особенно инженеру на китайском заводе. и в то же время, многие производители начали понимать, что чем ближе техника к человеку, тем более эмоциональной должна быть покупка. например, сравните:

и если раньше техника эппл была единственной эмоциональной техникой, то сейчас множество компьютерной техники становится такой. производителям, конечно же, сильно не хватает понимания что и как делать, и по свежекупленной мышке видно, что к дизайну ее приложил руку производитель китайских маек с крутыми надписями на груди, но лет через десять…

leopard server alternative disc image

2008-01-28T00:03:00.000-08:00

antibacterial waterresistant keyboard

2008-01-22T21:20:00.000-08:00

решил себе купить клавиатуру для компа с вирусами и играми. я помню, что клавиатуры были сначала mitsumi и chicony, потом появились виндовс кмопки, мультимедия, беспроводность, идиотская ноутбучная раскладка, скроллер для мыши и вот теперь новый шик - антибактериальная, не боящаяся воды клавиатура. я вот все думал, зачем. все же просто - это клавиатуры специально для дрочеров - подрочил, помыл клавитуру.

leopard persistent vpn

2008-01-22T04:22:00.000-08:00

в принципе, по сравнению с тигром ничего не поменялось разительно, но в силу отсутствия /etc/rc нужно поместить в крон суперюзера строчки, которые будут поднимать vpn при загрузке системы. в терминале:

sudo crontab -e

вводим административный пароль;
потом две строчки


*/10 * * * * /etc/ppp/check-and-reconnect.sh
@reboot      /usr/sbin/pppd plugin PPTP.ppp remoteaddress vpn.corbina.ru logfile /var/log/ppp.log user USERNAME password PASSWORD defaultroute usepeerdns persist maxfail 0

еще по умолчанию в леопарде не работают правила для ipfw, поэтому единственный способ расшарить интернет соединение - это использовать IPNetRouterX; будем надеяться, что в 10.5.2 они все это починят. natd зачем-то сбрасывает значение net.inet.ip.forwarding, посему следует изменить внутренности скрипта /etc/ppp/ip-up, если вы им пользовались в моей редакции, согласно обновленной инструкции для тигра.

speedup

2007-12-12T23:03:00.000-08:00

postgresql

в последнее время на проекте замечались некислые такие тормоза. они наблюдаются до сих пор, но их количество сильно уменьшено. часть из них, оказывается, была связана с тем, что postgresql по умолчанию настроен так, чтобы запускаться на 200 пентиуме с 128 мегабайтами оперативки. соответственно, даже на минимальных запросах он безбожно тормозит. 10 строк счастья:

max_connections = 5 # на локальной машине мне совсем незачем 20 процессов постгреса
shared_buffers = 32MB # required
max_prepared_transactions = 10 # только если есть prepared transactions и то не уверен что работает так, как нужно
work_mem = 16MB
max_fsm_pages = 204800

random_page_cost = 2.0 # required, сильно ускоряет работу, если у вас быстрый диск
cpu_tuple_cost = 0.001 # required, у нас быстрый процессор и их даже несколько
cpu_index_tuple_cost = 0.0005 # required, как и выше
cpu_operator_cost = 0.00025 # required, как и выше
effective_cache_size = 64MB # required, позволяет использовать кэш операционной системы

berkeleydb

кто-то говорил о том, что берклидб - быстрая? может быть, но в обычном применении в perl, когда ее используют как tie MLDBM+Storable - она просто пиздец какая тормозная.

я тут сравнил скорость tie MLDBM и SQLite, где в SQLite создается табличка из двух колонок. и ужаснулся.

1. SQLite быстрее пишет свои файлы, чем tie свои читает;
2. разница в скорости записи - четыре раза, чтения - почти два раза, размер файла - полтора и все в пользу SQLite;

тест

64 bit in leo

2007-10-26T16:14:00.000-07:00

если вы хотели бы увидеть полностью 64 bit систему, то можете себе поставить linux или freebsd. опять же, что для вас 64 bit - это просто очередная галочка или вам это реально нужно?

посмотрим на это с практической точки зрения. в той инсталляции, которая сейчас работает у меня - только apache2 web server работает как 64 bit приложение. основное преимущество 64 bit приложений в том, что они могут адресовать намного больше памяти, но за это приходится платить. все указатели, которые создаст приложение, будут занимать в два раза больше памяти. это легко показать на примере простого приложения, выполненного внутри апач.

<скучные подробности>
у нас есть апач и мод_перл. мы создадим процесс апач, в котором мод_перлу укажем использовать массив на 10 миллионов элементов. потом избавимся от 64 bit части в апач и повторим процедуру. каждый раз внутри перла будет выполнена программа ps, которая нам расскажет, сколько памяти мы смогли сожрать.

все измерения производятся в /tmp


cd /tmp
cat >/tmp/test.httpd.conf

ServerName 127.0.0.1
ServerAdmin aaa@bbb.com
Listen 50081
ServerRoot /tmp/
DocumentRoot /tmp/
User  _www
Group _www
ErrorLog error_log
LoadModule perl_module /usr/libexec/apache2/mod_perl.so

my $a = [];
$a->[50_000_000] = 1;
print `ps -o rss -p $$`, "\n";
die;

^D


lipo -info /usr/sbin/httpd
Architectures in the fat file: /usr/sbin/httpd are: ppc7400 ppc64 i386 x86_64


lipo /usr/sbin/httpd -output /tmp/httpdi386 -extract i386


lipo -info httpdi386
Architectures in the fat file: httpdi386 are: i386


sudo /usr/sbin/httpd -f /tmp/test.httpd.conf
RSS
393356


sudo /tmp/httpdi386 -f /tmp/test.httpd.conf
RSS
197808

то есть явно видно, что процесс, который оперирует 64bit указателями, использует почти в два раза больше памяти. совершенно точно, что если такой процесс будет использовать менее 4гигабайт оперативной памяти, то эффективность использования такого процесса будет стоять под большим вопросом - он съест вдвое больше памяти и будет работать медленнее за счет большего количества операций с памятью.

в то же время, процессы, которым нет нужды оперировать с большим количеством объектов, например Preview.app, вполне может себе позволить быть 64bit, потому как он не сильно вырастет в памяти.

теперь давайте посмотрим на то, что нам покажет activity monitor. в текущем состоянии с небольшим количеством процессов приложения потребляют половину оперативной памяти. и при этом они 32 bit. если все они будут 64 bit, то количество свободной памяти уменьшится. и если в отношении (картинка ниже) VLС, Terminal и TextEdit при пересборке под 64bit потребление памяти почти не увеличится, то насчет остальных программ я этого сказать не могу, потому как они используют множество объектов.

для того, чтобы не быть голословным, я собрал пример из /Developer/Examples/WebKit/MiniBrowser для двух архитектур и запустил. в каждом из них рендерится по одной странице (http://apple.com/). разница в размере занимаемой памяти отличается от 20 до 100%. это потому, что браузеры используют множество объектов.

до загрузки страницы

после загрузки страницы

поэтому, в большинстве GUI приложений, пользователь не получает выигрыша от использования в приложении 64bit. поэтому только некоторые серверные приложения собраны с поддержкой 64bit. но не все так плохо.

если у вас есть процессы, оперирующие с данными, которые занимают в памяти больше четырех гигабайт и у вас есть mac pro или xserve, то это будет для вас очень хорошо. потому что вместо загрузки данных частями по два гига приложение сможет загрузить в память все, что вам нужно (если у вас есть достаточно памяти).

другой выигрыш от этой архитектуры вы можете получить при математических рассчетах и сравнении строк. то есть Photoshop и Maya только выиграют. выиграют базы данных и веб сервера. выиграет профессиональное использование, а обычный пользователь ничего не заметит.

leopard vs tiger

2007-09-22T20:35:00.000-07:00

первой mac os x, с которой я работал, была версия 10.3. после linux все было несколько странно, но в целом приемлемо, и, даже, очень неплохо. год отработав на своем ноутбуке под 10.3, я решил сменить операционку на 10.4, благо что она только что вышла.

трансфер был мучительный, потому что новый софт был несовместим со старым. чего стоит хотя бы новый quicktime 7, к которому не было плагинов, ноутбук, не возвращающийся из sleep, если подключена хотя бы одна samba share.

проблем была масса, но и обновлений тоже было немало. dashboard и automator, spotlight и smart folders в finder, address book, mail. новый isync с поддержкой нового железа, новый safari, который наконец смог заменить ie 5.2

10.4 - это к тому же первая система, портированная на intel. вместе с портированием на intel в mac os x появился bootcamp, photobooth, itunes с coverflow, front row. это уже была не 10.4, а нечто большее, благо что изменений не на одну major версию наберется.

сейчас я сижу и рассматриваю mac os x 10.5 и что-то мне кажется, что джобс всех омбанул. реально новых приложений - всего 3: spaces, time machine, podcast capture. изменения интерфейса вобрали в себя некоторые моменты дополнительно устанавливаемого софта на 10.4.

все стало симпатичнее, многое стало лучше и понятнее работать, но если tiger по сравнению с panther это три шага вперед, то leopard - визуально этот даже один шаг не смог вытянуть. тем более странно смотреть на 300+ фич, которые отличают леопард от тигра.

через сутки после начала работы на новом релизе я понял, что в леопарде больше скрытого, чем открытого глазу. netinfo manager? его больше нет. нет ни графического интерфейса, ни утилит, доступных через терминал. его полностью вырезали, заменив directory services. точнее, netinfo остался, но интерфейс к нему полностью сменился. lookupd? его тоже больше нет. вместо него directory service cache manager. /etc/rc? канул в лету. на его месте allmighty launchd. java? для java становится все меньше программных интерфейсов. еще в тигре apple отказалась поддерживать нативные классы для java. теперь модно программировать на ruby, в том числе и gui. universal binary? да, но они стали еще универсальнее. вместо архитектур i386 и ppc в тигре во всех поставляемых с леопардом бинарников аж четыре архитектуры: ppc7400 ppc64 i386 x86_64. и леопард не умеет запускаться под g3 и ранними g4 вообще. потому что запускаемого кода под такую платформу не содержит.

хотя, наверное, в теперешнем состоянии 10.5 совсем хороша. у нее нет множества детских проблем предыдущих версий (например, с сетью). интерфейс отполирован и лишился своей полосатости. улучшать систему можно, но особенно некуда. если раньше имело значение количество галочек, которые отмечают залатанные бреши отсутствующего софта, то теперь нужно переходить к доводке напильником и полировке. потому что под mac os x есть практически все, что нужно.

performance testing

2007-09-22T04:33:00.000-07:00

некоторое время назад один человек рассказал о том, что в mac os x невозможно оперировать с 250 000 файлов в одной директории. конечно, делать так - это бред, но мне стало интересно, действительно ли оно так. при этом, этот же человек уверял, что в виндовс все в порядке и никаких проблем с этим нет.

скрипт:


#!/usr/bin/perl

use strict;

local $/;

my $file = $ARGV[0];
my $dir  = $ARGV[1];

die 'can\'t open file' unless open IN, $file;

binmode IN;
my $content = <$file>;

close IN;

foreach my $counter (0 .. 300000) {
  print "$counter\n"
      if $counter % 10000 == 0;

  die 'can\'t open file for writing'
      unless open OUT, '>', "$dir/$counter.png";
  binmode OUT;

  print OUT $content;

  close OUT;
}

все тестировалось в фаловой системе hfs+ для mac os x, ntfs для windows xp sp2

создание файлов в виндах и mac os x заняло примерно 2-3 минуты (windows time /t не выводит секунды)
время показа содержимого директории в finder и explorer - 4-5 минут. короче, не делайте так и будет вам счастье.

P.S.: far всю ночь удалял файлы из директории, потому что эксплорер выдавал sharing violation при попытке удаления папки. и до сих пор еще не справился. под mac os x в finder все произошло достаточно быстро (10 минут), хотя файндер перед перемещением в корзину очень уж долго считал считал файлы.

mac os security guidelines

2007-08-29T21:00:00.000-07:00

безопасность в mac os x

для параноиков: мне придется вас огорчить. не существует и не будет существовать системы, которая при наличии сетевого соединения позволит вам чувствовать себя уверенным.

для всех остальных: всегда есть что терять. если вам не жаль историю посещения сайтов или программу, которую вы установили вчера, то у вас наверняка найдется звуковая дорожка, видео или фотография, которые вам очень дороги и второй копии у вас не найдется. за время своей работы с компьютерами я три раза терял все данные из-за сбоя оборудования и данные по частям по мере смены операционных систем, компьютеров, телефонов и ошибок в программах. это очень неприятно. мне хочется рассказать вам, как части из этих напастей можно избежать.

немного теории

вирусы и прочее могут нарушить стабильность и целостность системы, создать нежелательный сетевой трафик. в mac os x по умолчанию сложнее нарушить целостность системы за счет удаления и подмены системных файлов по сравнению с windows. потому что в windows xp системная папка защищена намного слабее - в ней можно удалять и перемещать файлы.

нежелательный сетевой трафик создает большинство современных приложений. например, microsoft office 2004 при запуске «смотрит» по локальной сети, не стоит ли рядом такой же microsoft office с таким же серийным номером. желание производителя защититься понятно, но это не то, что нужно пользователю. coolbook при регистрации отправляет серийный номер вашего ноутбука по незащищенному соединению. itunes показывает по умолчанию itunes music store, хотя в россии купить в нем музыку невозможно. если вы платите за трафик, то вас может удивить, насколько много трафика потребляют проверки обновлений программ.

все это можно заблокировать с помощью настроек программ или, если настроек нет, ipfw (System Preferences/Sharing/Firewall) и LittleSnitch.

стабильность системы без приложений достаточно высока. то есть, если вы только что установили операционную систему и не ставили никаких дополнительных приложений, то вероятность того, что вы потеряете данные, очень мала. чем больше у вас установлено приложений, тем более вероятна потеря данных, меньшая отзывчивость системы («у меня компьютер тормозит») или ее неожиданное поведение («у меня по контрол-пробел включается itunes и spotlight. как сделать так, чтобы айтюнс не загружался по этой комбинации?»). поэтому устанавливайте только то, что реально необходимо.

к сожалению, совершенно неважно, какие приложения у вас установлены. потому что мне и вам приходится пользоваться сторонним софтом, исходники которого недоступны и контролировать запуск каждого приложения не представляется возможным. стабильность, то есть нежелательное поведение программ, относится уже не к системе, а к самому пользователю. потому как запускать все, что выкачал из интернет, будет именно пользователь. и я считаю пользователя, в том числе и умудренного опытом, стократ разрушительнее самого крутого вируса. тут не спасут ни антивирусы, ни firewall. то есть основная причина появления вирусов, троянов и тому подобного - это действия пользователя.

причем этим пользователем можете быть совсем не вы. кошка, прошедшая по клавиатуре, однажды выключила мой интернет сервер. те, кто могут находиться рядом с вами, могут случайно удалить файлы или набранный за день текст совершенно случайно.

единственное, как можно защитить действительно ценную информацию - это резервное копирование.

внутренние средства системы

с помощью настроек системы вы можете немного обезопасить себя от случайных и намеренных потерь данных.

запускаем яблочное меню -> System Preferences

раздел Security

filevault позволит вам зашифровать вашу домашнюю директорию.

я считаю, что использование filevault на компьютере оправдано лишь в том случае, если на нем есть действительно ценные данные, которые никто не должен увидеть. потому что если вы забудете пароль и master password, то и про данные тоже забудьте. включайте на свое усмотрение и под свою ответственность.

require password to wake … - хорошая опция для всех, кто дорожит своими данными и не сидит в гордом одиночестве в 100-метровом бункере под землей. с помощью этой опции у вас будет возможность вернуться к нетронутому рабочему столу после того, как вы решите сходить на кухню и попить чаю.

disable automatic login - после загрузки будет показан список пользователей и нужно будет выбрать одного из них.

require password to unlock … - с помощью System Preferences вы можете сделать многое. даже слишком многое. с установкой этой опции для некоторых небезопасных вещей вам придется ввести пароль.

log out ater … - не рекомендую. возможна потеря данных.

use secure virtual memory - не рекомендую. сильное снижение скорости работы. но если вы решили включить filevault - то эта опция сделает вашу машину защищеннее.

Dashboard and Expose

Active Screen Corners
каждый раз, когда я отлучаюсь от компьютера, я блокирую его с помощью скринсэйвера. чтобы облегчить эту задачу, я установил для правого верхнего угла экрана опцию Start Screen Saver

Accounts

Change Password - установите пароль. хотите совет? откройте книжку со стихами и выучите одну из строк наизусть. и используйте ее в качестве пароля. взломать компьютер намеренно очень просто, если у вас в качестве пароля стоит день рождения или имя собаки.

Sharing

вкладка Services

рекомендую оставить только Windows Sharing. и Printer Sharing, если у вас стоит общий принтер на несколько компьютеров. но тогда печатать на вашем принтере сможет любой человек из «вашей» сети. например, если ваш провайдер - корбина и интернет раздается другим компьютерам через макинтош с принтером, при включенном Printer Sharing вашим принтером сможет воспользоваться весь ваш район.

вкладка Firewall

firewall должен быть включен всегда. без вариантов. это позволит защититься от большей части атак извне.

Software Update

если вы включите проверку обновлений раз в неделю и будете устанавливать обновления, то это с большой вероятностью защитит вас от злоумышленников, которые будут ломить сквозь бреши в системе безопасности.

сторонний софт

LittleSnitch

позволит вам пресечь трафик некоторых программ, которым для работы не нужно лезть в интернет.

AppFresh

сделает архив приложений, которыми вы пользуетесь, чтобы в случае неприятностей восстановить рабочую версию.

Carbon Copy Cloner

позволит вам сделать точную копию рабочей системы

Firefox + AdBlock Plus + flashblock

позволит вам не смотреть рекламу на сайтах. для Safari есть подобное решение (PithHelmet), но за деньги.

coolbook

2007-08-24T21:06:00.000-07:00

об отсылке персональных данных с компьютера при регистрации, и о деньгах, которые платятся за уменьшение стабильности системы.

есть такой софт - coolbook, позволяет охладить пыл macbook и macbook pro. в силу того, что я решил отдохнуть недельку в киеве, а температура держится тут на очень высоком уровне, то нужно было как-то бороться с жарой.

coolbook без регистрации ничего не дает сделать, только посмотреть текущий вольтаж на процессоре и частоту. с ним поставляются два документа как пользоваться и руководство по понижению вольтажа процессора, и одна ссылка на cputest, который позволяет проконтролировать работу процессора после понижения вольтажа.

я решил посмотреть, что будет, если нажать кнопку регистрации. coolbook поперся в интернет по незащищенному http, отправил first name, last name и activation code. я решил посмотреть, что еще он отправит, и для этого завернул с помощью firewall трафик, который идет на сервер регистрации, на локальный апач. оказывается, после первого запроса coolbook получает количество оставшихся лицензий. а потом отсылает на свой сервер серийный номер ноутбука. так мы не договаривались, посему я загрузил xcode tools и с помощью дебаггера два раза отредактировал регистр eax в процессе выполнения процедуры doRegistration. coolbook решил, что все в порядке и я стал зарегистированным пользователем.

после часа тестирования (и постоянных перезагрузок) на каком же минимальном напряжении сможет работать мой процессор, выяснилось что таких напряжений два: .95 вольта для 1.67GHz и 1.025 вольта для 2.0GHz. естественно, все тестировалось с помощью CPUTest. хорошо, пускай так и будет. через некоторое время я запустил импорт фото с помощью adobe lightroom - перезагрузка. повышение вольтажа, потом снова импорт фото. в итоге оказалось, что для 2GHz стабильное напряжение будет 1.1 вольта. а автор CPUTest и автор coolbook просто облажались с тестированием.

итоги:

работа ноутбука: кулер крутится медленнее, реже начинает «завывать» и температура без нагрузки ниже - почти такая же как под нагрузкой, но для powerbook 12". но под нагрузкой ноутбук точно так же обжигает колени, хотя и без страшного воя. разница при работе от аккумулятора почти незаметна, то есть ставить кулбук только для того, чтобы бук больше жил от аккумулятора - бесполезно. дополнительно к coolbook можно поставить smcFanControl, тогда температура еще немного уменьшится.

программа отправляет по незащищенному протоколу серийный номер ноутбука и это никуда не годится.

способ тестирования программы, предагаемый автором никуда не годится. то есть, после удачного тестирования вы можете получить чрезвычайно нестабильный под нагрузкой ноутбук.

mac os x pptp persistent connection

2007-05-12T07:07:00.000-07:00

corbina и другие vpn провайдеры: как подключиться и расшарить интернет
предупреждение: вам придется перед тем, как сделать это, освоить терминал и редактирование файлов в нем (мне нравится vim, но я не стану объяснять вам как в нем работать. инструкция для nano).

по отдельности ничего работать не будет. сначала выполните все шаги.

примечание: если у вас все работает, то не стоит делать описанного ниже.

если вам нужно только подключиться, выполняйте шаги с первого по третий. если нужно подключиться и расшарить, то

шаг первый. /etc/rc.local

/usr/sbin/pppd plugin PPTP.ppp remoteaddress vpn.corbina.ru logfile /var/log/ppp.log user USERNAME password PASSWORD defaultroute usepeerdns persist maxfail 0
/usr/libexec/InternetSharing

описание:

важно: заменить USERNAME и PASSWORD на свои логин и пароль соответственно

первая строка соединит вас с интернетом прямо при старте компьютера. при дисконнекте соединит заново
а вторая строка расшарит этот интернет

шаг второй. /etc/ppp/check-and-reconnect.sh

#!/bin/sh

GOOGLE_CHECK=`/sbin/ping -c 10 -o google.com && echo ok`

if [ "x$GOOGLE_CHECK" == "x" ] ; then
       echo >&2 "link failed"
       kill -1 $(< /var/run/ppp0.pid)
fi

после того, как создали файл, в терминале выполните

sudo chmod 755 /etc/ppp/check-and-reconnect.sh
sudo chown root:wheel /etc/ppp/check-and-reconnect.sh

этот скрипт будет проверять соединение с гугл и при недоступности гугла пинать соединение с корбиной на предмет пересоединения

шаг третий /var/cron/tabs/root

*/10 * * * * /etc/ppp/check-and-reconnect.sh

после того, как создали файл, в терминале выполните

sudo chmod 600 /var/cron/tabs/root
sudo chown root:wheel /var/cron/tabs/root

примечание для флеймеров и эстетов: для crontab -e нужна установленная переменная EDITOR. объяснять, как ее устанавливать, я не хочу по причине, указанной в первом абзаце поста.

примечание для тех, кому не нужно расшаривать интернет: теперь сохраняйтесь и перезагружайте машину. все должно работать.

шаг четвертый. /etc/natd.conf

same_ports yes
use_sockets yes
dynamic yes
interface ppp0

это позволит пакетам, переданным на машину с других машин, уходить в интернет (и обратно)

шаг пятый. /etc/ppp/ip-up

#!/bin/sh

IPFW='/sbin/ipfw'

/usr/sbin/natd -f /etc/natd.conf
$IPFW add 1001 divert natd all from any to any via $1

$IPFW add 501 allow tcp from any to any in recv en1

/usr/libexec/InternetSharing

/usr/sbin/sysctl -w net.inet.ip.forwarding=1

и еще /etc/ppp/ip-down

#!/bin/sh

IPFW='/sbin/ipfw'

$IPFW delete 1001

$IPFW delete 501

/usr/libexec/InternetSharing

после того, как создали файлы, в терминале выполните

sudo chmod 755 /etc/ppp/ip-{up,down}
sudo chown root:wheel /etc/ppp/ip-{up,down}

важно: замените интерфейс en1 на тот, который у вас airport.

описание: сие действо открывает после соединения ваш компьютер для атак через airport. а после рассоединения - закрывает. в принципе, вы можете удалить строчку с цифрой 501, но тогда на компьютерах, для которых вы расшариваете интернет, отключатся все сервисы, закрытые у вас в закладке firewall в секции shared ваших system preferences. но можете на этот текст не обращать внимания. потому что если кто-то сильно захочет, то сломает вашу машину даже с работающим файрволлом.

после перезагрузки вы станете счастливым обладателем расшаренного интернета.
примечание: или не станете.