Кто убил Лору Палмер

Disclaimer.

Если слово «цеце» несет для вас гораздо больше смысловой нагрузки, чем слово «жеже», дальше читать не нужно. Спасибо.

Я в ЖЖ 1 год и 4 месяца, поэтому могу делать какие-то выводы. Или не могу. Но это не важно.

Поначалу русский ЖЖ был одним маленьким и тесным комьюнити (я уже писал об этом), где тусовались Великие. ЖЖ был «закрытой» тусовкой, которую просто не афишировали (например, в своей культовой статье «Comment on this» Горалик даже не дала ссылку на ЖЖ).

Но случилось то, что должно было случиться: в ЖЖ набежала толпа народа, с разными интересами, запросами и насекомыми в голове. Но все равно — оставался fif, оставались какие-то центральные персонажи (r_l, avva, tema), которые так или иначе объединяли «русскую диаспору» в ЖЖ в одно целое.

«Поэтому, думаю, с ростом популярности дневника, communities будут переходить в закрытый режим», — писал я полтора года назад. «Предсказание» частично сбылось, но никакого «перехода» в закрытый режим не было, ибо не было в этом никакой нужды — новые пользователи просто создавали какие-то свои образования, кучкуясь на основе real life relationships. То есть реальные компании просто «переползали» в ЖЖ, используя его как место тусовки, пока все сидят на работах и имеют доступ к халявной Сети. «Переходить в закрытый режим» было бы глупо: всем остальным просто дела нет до этой тусовочки; к тому же эти ЖЖ-пионэры, как правило, просто не имели понятия о том, что в ЖЖ есть были такие «культурные центры», как avva, r_l и прочие, поэтому изначально были отделены от всех.

Avva любит натыкаться на эти конгломераты человеческой тупости, называя их «параллельным ЖЖ». Увы, но похоже, что «параллельный ЖЖ» — это вовсе не они, а скорее наоборот...

Последнюю неделю ЖЖ колбасило по-черному. Началось все с того, что один русский пользователь ЖЖ (antistatic) добавил себе 750 англоговорящих «друзей» и начал писать, как это ни странно, о своем сайте. Это вполне можно было расценить, как спам, как «массовую рассылку красных стрелочек». Работает это так: один из 750 человек видит, что его добавили, идет смотреть ЖЖ того человека, который это сделал, и видит там «объявление рекламного характера». В результате аккаунт прикрыли «за спам». Хотя мотивы у antistatic’а были другие, в том числе и найти вменяемых англоязычных «друзей».

Интересно совсем другое. Довольно много добавленных человек очень настойчиво просили удалить их из друзей и не читать. В противном случае они грозились нажаловаться в Abuse Team. И жаловались. По моему скромному мнению, antistatic’а выперли не сколько за мифический «спам», сколько за многочисленные жалобы «а он не хочет удалять меня из друзей».

Следует сказать, что фраза «удалите меня из друзей» с точки зрения русского ЖЖ выглядит довольно глупо, почти так же, как и, например, «не ходи на мою homepage!». Тут же с легкой руки kukutz’а народ поднялся на защиту здравого смысла: самых активных поборников privacy добавила себе в «друзья» куча народа, и начались изощренные издевательства над ними, дабы объяснить им одну простую вещь: если ты пишешь публичный дневник, не жалуйся на то, что его читают незнакомые люди.

Причины феномена «Please remove me from your friend list», как ни странно, можно понять. Или, по крайней мере, можно попытаться выдвинуть какие-то гипотезы на этот счет. Моя гипотеза такая: в нерусском ЖЖ нет и не было никакой «глобальной тусовки», т.е. их ЖЖ никогда не был «большой деревней». Достаточно просто посмотреть количество друзей у среднего американского пользователя ЖЖ — как правило, это что-то в пределах 10 человек. То есть в их ЖЖ изначально создавались мелкие тусовки на основе real life. Примерно то же самое происходит и в русском ЖЖ. Не так давно (наверное, уже никто не помнит?) затоптали какую-то глупую девочку, которая вела дневник «для себя», но в открытом режиме. Затоптали на том же основании — «хочешь приватный дневник — пиши в приватном режиме». А девушка просто была пионэркой и не знала, что «тут так принято». Она просто не подозревала, что за пределами ее ЖЖ существует Большая Жизнь.

Здесь, думаю, то же самое: ты заводишь ЖЖ и с самого начала его читают только 3 твоих друга. А тут появляются какие-то незнакомые люди...

Но, разумеется, к этому нужно прибавить типично американскую ксенофобию и америкоцентризм (God bless us! We’re special), привычку стучать и нездоровую тягу к privacy. Все это есть, что бы там ни говорили.

Из самого последнего -- один американец пишет другому: «Да, меня добавила куча русских, совершенно со мной незнакомых. Я пошел в их журналы, и прикинь, там все на русском! Это тааааак страаааанно!!!».kukutz

Доходило до маразма: один раз в процессе объяснения американцам, почему они не правы, один русский пользователь обратился к другому на Родном Могучем, тот, естественно, на нем же ответил, а одна американка отреагировала так: мол, если вы хотите, чтобы вас тут понимали, пожалуйста, говорите на человеческом языке, то есть по-английски. На что получила совершенно правильный ответ, что вообще-то существуют и другие языки и, как ни странно, их даже кто-то понимает.

В общем, волна от всего этого в русском ЖЖ действительно была довольно немаленькая. Пожалуй, впервые в ЖЖ так сильно столкнулись два разных мира, абсолютно разделенных. Как минимум, два человека повторили подвиг antistatic’а по добавлению 750 англоязычных друзей. Очень много народу добавило несколько десятков самых активных американцев, противившихся светлой американо-русской дружбе.

Итак, лично я бы выделил следующие причины феномена «Please remove me from your friend list» (в порядке убывания важности):

• Их ЖЖ устроен по принципу переноса реальных взаимоотношений в Сеть, наш — по принципу «большой деревни». Т.е. они просто не сталкивались с тем, что их добавляли в друзья незнакомые люди, там нету «ЖЖ-знаменитостей», а среднее количество друзей очень мало.

• Нелюбовь к русским и ксенофобия вообще. Очень много американцев писало что-то вроде «Меня добавила куча русских. Нет, я ничего не имею против русских, но...». Любой психолог скажет вам, что такое явное отрицание чего-то — как раз первый признак наличия этой проблемы.

• Согласно статистике, среднестатистический пользователь ЖЖ — это 17-летняя американская девочка (абсолютно серьезно). И что вы хотите после этого?

• Паранойя вокруг privacy.
  

Как ни странно, но я считаю, что пункты 1 и 3 — это то, что в какой-то форме ждет и русский ЖЖ.

Update. Kukutz’у пришло письмо от Abuse Team, типа «Вы добавляете людей толпами (а это не правда, он добавлл только самых-самых идиотов) себе в друзья. Они этого не хотят. Вы, однако, не нарушаете правил, но... так как пользователи залупаются на вас, мы просим вас это прекратить, иначе будет плохо».

Потом его аккаунт прикрыли. Что, собственно, и требовалось доказать — правила правилами, но когда несколько человек попросят удалить одного — причем, не важно за что, — это, скорей всего, произойдет.

10 millions lemmings can’t be wrong.

Теперь о личном.

Один раз я уже убивал свой ЖЖ: надоело убеждать людей, что «настоящий я» несколько лучше, чем мой виртуал в ЖЖ. Это было слишком похоже на оправдания, а Настоящие Падонки (каким и является мой lj user smirnov) никогда не оправдываются. Пока в ЖЖ водятся люди, которых нельзя встретить на улице — это терпимо. Но когда там заводится все больше и больше «живых» людей — это начинает раздражать. Моя любимая сказала, что никогда бы не рискнула иметь со мной что-то общее, если бы до нашего знакомства читала «Спектатор» или мой ЖЖ. И я ее вполне понимаю, знаете ли.

Когда-то я написал вот это:

Относитесь к моим «статейкам», как к досадному недоразумению. Невозможно выйти на улицу и знать всех прохожих по именам и биографиям. Вон та смешная бабка с авоськой, потешно перебежавшая улицу перед самой машиной, так и будет для вас бабкой с авоськой, а не уборщицей Ивановой Людмилой Николаевной, похоронившей вчера двух своих сыновей. Каждый случайный прохожий для вас — всего лишь силуэт в пальто.

Неповторимая уникальность снежинки — это не про вас. You are not a beautiful and unique snowflake. You are the same decaying organic matter as everything else. We are all part of the same compost heap. «Fight Club». В вашем мире — вы пуп земли. В моем — я, а вы — случайные прохожие, бабки с авоськами. За редким исключением я не знаю ваших имен, да и вы и сами избегаете их называть, ограничиваясь одной буквой или ничего не значащей кличкой, превращая ваши и без того бледные фигуры в еще более бледные абстракции.

И меня очень долго устраивала такая позиция. И до сих пор устраивает. Но, как я уже говорил, кругом все меньше и меньше бледных абстракций и все больше и больше людей из плоти, крови и кала.

Использовать ЖЖ, как инструмент для провокации и abuse, уже довольно тяжело. Слишком мало стало места для маневров. Того и гляди, отдавишь ненароком кому-нибудь эго, кругом-то — живые люди. А живые люди такие скучные и так любят проводить параллели с real life...

Использовать ЖЖ, как «блог» (что я в последнее время и делаю) — глупо. Он предоставляет слишком мало механизмов по работе с информацией, верней — не предоставляет их вообще, хотя бы даже банальный поиск, не говоря уже об остальном. К тому же — в любой момент тебя могут грохнуть за тот же abuse — и тогда все пропадет.

Скорей всего, я попробую возродить insomniac в несколько ином качестве. Напишу движок Идеального Блога. И буду писать туда.

Но с ЖЖ я завязываю.

Может быть, сделаю туда экспорт из моего блога (если он вообще будет). Но не уверен.

PS. О «спаме». Дарю идею. Пишется скрипт, который открывает счетчики SpyLog по порядку (благо, у них только номера меняются) с реффером = урлу вашего сайта. Владелец счетчика лезет проверять статистику и видит, что заходили с вашего сайта. Заинтригованный, лезет на сайт.

Частота букв в русском языке

Написал забавный php-скрипт. Погонял через него все тексты на «Спектаторе» на предмет языка. Всего в текстах употребляется 39110 разных словоформ. Сколько именно разных слов — определить довольно сложно. Чтобы хоть как-то приблизиться к этой цифре, я брал только первые 5 букв слова и сравнивал их. Получилось 14373 таких комбинаций. С большой натяжкой это можно назвать словарным запасом «Спектатора».

Потом я взял слова и иследовал их на предмет частоты повторения букв. В идеале надо брать какой-нибудь словарь, для полноты картины. Прогонять тексты нельзя, нужно только уникальные слова. В тексте же одни слова повторяются чаще, чем другие. Итак, получились следующие результаты:

о — 9.28%
а — 8.66%
е — 8.10%
и — 7.45%
н — 6.35%
т — 6.30%
р — 5.53%
с — 5.45%
л — 4.32%
в — 4.19%
к — 3.47%
п — 3.35%
м — 3.29%
у — 2.90%
д — 2.56%
я — 2.22%
ы — 2.11%
ь — 1.90%
з — 1.81%
б — 1.51%
г — 1.41%
й — 1.31%
ч — 1.27%
ю — 1.03%
х — 0.92%
ж — 0.78%
ш — 0.77%
ц — 0.52%
щ — 0.49%
ф — 0.40%
э — 0.17%
ъ — 0.04%

Тем, кто поедет на «Поле чудес», советую заучить эту таблицу наизусть. И называть слова в таком порядке. Так, например, казалось бы, такая «привычная» буква «б» употребляется реже, чем «редкая» буква «ы». Помнить надо также и то, что в слове не одни гласные. И что если вы угадали одну гласную, то нужно начинать идти по согласным. И кроме того, слово угадывается именно по согласным. Сравните: «**а**и*е» и «ср*вн*т*». И в том и в другом случае — это слово «сравните».

И еще одно соображение. Как вы учили английский? Помните? Э пен, э пенсил, э тэйбл. Что вижу — о том и пою. А смысл?.. Как часто вы в нормальной жизни говорите слово «карандаш»? Если задача — научить говорить как можно быстрее и эффективнее, то и учить надо соответствующе. Проводим анализ языка, выделяем самые употребимые слова. И учить начинаем именно с них. Чтобы более-менее говорить на английском языке, достаточно всего полторы тысячи слов.

Еще одно баловство: составлять слова из букв случайным образом, но учитывая частоту появления, чтобы было похоже на нормальные слова. В первой же десятке «случайных» четырехбуквенных слов выскочило «осел». В следующей полсотне — слова «мчим» и «нато». Но, увы, очень много неблагозвучных комбинаций, таких, как «блтт» или «нрро».

Поэтому — следующий шаг. Я разбил все слова на двухбуквенные сочетания и начал случайным образом (но с учетом частоты повторения) комбинировать их. Стали в больших количествах получатся слова, похожие на «нормальные». Например: «коивдиот», «воабма», «апый», «депоид», «дебяко», «орфа», «поеснавы», «озза», «ченя», «риторя», «урдеед», «утоичи», «стых», «сапоть», «гравда», «абабап», «обарто», «еелует», «лярезы», «мыни», «бромомер» и даже «тодебыст».

Куда применить... есть варианты. Например, написать генератор красивых фирменных игривых имен. Для йогуртов. Типа, «мемолисо» или «уторорерто». Или — генератор футуристических стихов «Бурлюк-php»: «опелдиий миатон, линоаз окмиая... деесопен одесон».

И есть еще один вариант. Надо попробовать...

Некоторые статистические данные об использовании русских слов:

• Средняя длина слова 5.28 символа.

• Средняя длина предложения 10.38 слов.

• 1000 наиболее частотных лемм покрывает 64.0708% текста.

• 2000 наиболее частотных лемм покрывают 71.9521% текста.

• 3000 наиболее частотных лемм покрывают 76.5104% текста.

• 5000 наиболее частотных лемм покрывают 82.0604% текста.
  

Отсюда.

После заметки мне пришло вот такое письмо:

Здравствуйте, Дмитрий !

Проанализировав статью «Язык до Киева доведет» и ту ее часть, где Вы описываете свою программу, возникла идея.
Вами написанный скрипт кажется мне предназначенным абсолютно не для «Поля чудес» в большей мере, а для другого.
Первое самое разумное применение результатов работы Вашего скрипта — определение порядка букв при программировании кнопок для мобильных устройств. Да, да — именно в мобильниках и нужно все это.

Я распределил это по волнам (см. рисунок)

Далее распределение по кнопкам:
1. Все буквы из первой волны уходят на 4 кнопки в первый ряд
2. Все буквы из второй волны тоже на остальные 4 кнопки в тот же первый ряд
3. Все буквы из третьей волны туда же на оставшиеся две кнопки
4. 4,5 и 6 волны уходят во второй ряд
5. 7,8,9 волны уходят на третий ряд, причем 9-я волна уходит вся полностью (не смотря на кажущееся большое количество букв) в третий ряд 9-й кнопки, что-бы 10 кнопку оставить под всякие там знаки препинания (точка, запятая и прочее).

Я думаю все понятно и так, без детальных обьяснений. Но все же не могли бы Вы обработать Вашим скриптом (включая знаки припинания) тексты следующего содержания:

1. Л. Н. Толстой. «Анна Каренина» (лучше конечно «Войну и мир», но я не нашел на www.lib.ru) -http://www.lib.ru/LITRA/TOLSTOJ/anna_kar.txt
2. Ф. М. Достоевский. «Игрок» — www.lib.ru/LITRA/DOSTOEWSKIJ/igrok.txt
3. Леонид Филатов. «Про Федота Стрельца» — www.lib.ru/ANEKDOTY/fedot.txt
4. Вильям Шекспир. Сонеты (перевод С. Я. Маршака) www.lib.ru/SHAKESPEARE/sonets.txt
5. Б. И А.Стругацкие. Пикник на обочине. www.lib.ru/STRUGACKIE/picnic.txt

А потом выложить статистику? Мне показалось? что тексты максимально отражают нашу современную речь, а ведь мы как говорим, так и пишем sms.

Заранее большое спасибо.

Итак, анализировать частоту повторения букв можно двумя способами. Способ 1. Взять текст, найти в нем уникальные (не повторяющиеся) словоформы и анализировать их. Способ хорош для построения статистики по словам русского языка, а не по текстам. Способ 2. Не искать в тексте уникальные слова, а сразу перейти к подсчету частоты повторения букв. Получаем частоту букв в русском тексте, а не в русских словах. Для создания клавиатур и прочего нужно использовать именно этот способ: на клавиатуре набираются именно тексты.

Клавиатуры должны учитывать не только частоту букв, но и самые упортебимые слова (словоформы). Не так уж и трудно догадаться, какие именно слова самые употребимые: это, во-первых, служебные части речи, ибо роль у них такая — служить всегда и везде, и местоимения, роль у которых не менее важная: заменять в речи любую вещь/человека (это, он, она). Ну и основные глаголы (быть, сказать). По результатам анализа перечисленных выше текстов я получил такие самые «популярные» слова: «и, не, в, что, он, я, на, с, она, как, но, его, это, к, а, все, ее, было, так, же, то, сказал, за, ты, о, у, ему, мне, только, по, меня, бы, да, вы, от, был, когда, из, для, еще, теперь, они, сказала, уже, него, нет, была, ей, быть, ну, ни, если, очень, ничего, вот, себя, чтобы, себе, этого, может, того, до, мы, их, ли, были, есть, чем, или, ней» и так далее.

Возвращаясь к клавиатурам — очевидно, что в клавиатуре буквосочетания «не», «что», «он», «на» идругие должны находится как можно ближе друг к другу, или если не вплотную, то каким-то наиболее оптимальным образом. Нужно провести исследования, каким именно образом пальцы движутся по клавиатуре, найти самые «удобные» позиции и поместить в них самые употребляемые буквы, не забывая, однако, про буквосочетания.

Проблема, как всегда, одна: даже если и получиться создать Уникальную Клавиатуру, куда деть миллионы людей, которые уже привыкли к qwerty/йцукен?

Насчет же мобильных устройств... Наверное, it makes sense. По крайней мере, буквы «о», «а», «е» и «и» должны точно находиться на одной клавише. Знаки препинания в порядке частоты употребления : , . - ? ! " ; : ) (

Запятая употребляется в 2 раза чаще, чем точка. А точка на стандартной русской клавиатуре расположена удобней...

Статистика по приведенным выше текстам: