* * * *

Тут готовится к выходу новая версия openwrt, 25.12. Вот думаю о том, не пора ли подумать об апгрейде роутера (впрочем домашний роутер у меня еще на 24.10.4 не сапгрейжен, а два других роутера с openwrt - в деревне и недосягаемы пока я туда не приеду).

Там два интересных нововведения - пакетный менеджер opkg поменяли на apk (который из Alpine linux). Ну это в общем-то и неплохо. Похоже что apk становится еще одним мейнстримным пакетным, добавляясь в коллекцию apt, dnf и pacman. Помнится были уже какие-то клиенты, которые хотели PostgresPro на чем-то Alpine-подобном, хотя это и совершенно несерверный дистрибутив.

А вот идея переписать luci с lua на ucode вызывает у меня куда более смешаные чувства. Всё-таки пихать ECMAscript куда ни попадя — это плохо. С другой стороны, если таки появится реализация ECMAscript, способная работать в resource constrained environment, это хорошо. Так-то язык ничем не плох, кроме того что любой его диалект критически зависит от объектной модели среды выполнения. А хороших моделей среды выполнения ни в браузере, ни в WSH нету. Что там у npm за модели я пока не особенно копался. Но что-то мне подсказывает, что люди, мозги которых вывернуты фронтэнд-разработкой под современные браузеры ничего простого и логичного придумать не в состоянии.

Вот тут меня душит жаба сделать пару покупок. И я в сомнениях, согнать с шеи мерзкое пупырчатое земноводное или оно дело говорит.

1. Хочу складной швертбот. Стоит он 300Круб. Но я не уверен что буду им активно пользоваться. А тратить такую кучу денег чтобы оно пылилось на чердаке.... У меня уже телескоп пылится, а у Ирины - вязальная машина.
2. Задумался над приобретением плюс-минус мощного GPU в десктоп. Чтобы нейронки локально гонять. Как посмотрю сколько народ денег тратит на подписки на сервисы нейронок, возникает мысль, что при активном использовании приличный GPU на 8-12 гигов окупится за 2-3 месяца. (но это при условии что удастся разобратся c ROCm). Тут еще вопрос - имеет ли смысл ограничиваться 8Гб картой за 25К или нужно не пожалеть вдвое больших денег и купить 12Гб. Насколько я понимаю, приемлемых денег сейчас стоят только АМД-шные видеокарты. На NVidia цены уже взлетели, потому что по умолчанию все нейронки хотят CUDA. Но у меня давняя нелюбовь к NVidia. Глюкавое оно. А ATI-AMD наоборот люблю с 1997 года.

Что-то на https://chat.qwen.ai суточные лимиты токенов на бесплатных аккаунтах какие-то совсем негуманные стали.

По этому поводу попробовал запускать qwen локально На CPU, с использованием llama.cpp скомпилированной с OpenBLAS. Ну надо сказать работает. Медленнее в разы, конечно, чем на их серверах. Зато в неограниченных количествах. Прикручивать к локальному инстансу нейронки командлайновый клиент, чтобы оно код писало, пока не пробовал, хотя знаю как. Вообще командлайновый клиент там через API работает, а через API лимиты другие.

Хочу ещё попробовать

1. Локально погенерировать картинки. Интересно, осилит оно это без NVidia-вской видеокарты?
2. Попробовать собрать llama с ROCm и запустить на chara. Там вроде как видеокарата поприличнее. чем на десктопе. Или лучше с Vulcan?
3. Попробовать запустить генерацию картинок на ноутбуке Ирины. Там-то как раз NVidia, правда с небольшой памятью. (4гига уже небольшая считается. А я ведь помню времена когда 1Мб считалась большая, а маленькая - 256Кб, но и на ней мы ухитрялись режим 640x400x8bit запускать).

Тут в ходе некоей дискуссии в ЖЖ появилось предсказание о том, какая будет вторая ИИ-революция.

1) Для начала очень многие, если не люди, то фирмы, начнут гонять LLM на своих локальных мощностях, дабы можно было спокойно доверять им конфиденциальную информацию, и она бы никуда не утекла.

2) Как только это явление станет массовым, возникнет спрос на LLM заточенные под конкретные задачи. В принципе уже сейчас крупные производители LLM выкатывают по десятку моделей слегка приспособленных к тем или иным задачам - эта для писания кода, эта для разговоров на общие темы и т.д. Но по идее, количество специализированных дообученных LLM должно быть сравнимо с количеством специальностей, которым сейчас обучает система высшего и среднего персонального образования.

3) Далее, фирмы будут брать профессионально обученную LLM и дообучать ее уже на конкретном "рабочем месте" своим внутренним процессам. Очевидно, что позволить себе вычислительные мощности, на несколько порядков превосходящие те, на которых модель способна отвечать на конкретные вопросы, сможет далеко не каждый пользователь модели. Но это и не надо. Большую часть работы по обучению сделают специализированные организации на двух предыдущих пунктах.

Как мы знаем, человек тратит примерно 17 лет для получения общего образования и базовой социализации, 3-6 лет для получения профессионального образования, и несколько месяцев для того, чтобы вписаться в рабочий коллектив на новом месте. Человек отличается тем, что он использует ровно ту же самоую аппаратную часть и для обучения своей нейросети и для inference. Как мы знаем хорошего геймерского десктопа для inference современных LLM вполне достаточно. А куда большие мощности для обучения нужны потому, что создатели моделей не готовы ждать 15-20 лет, пока модель обучится до уровня выпускника общеобразовательной школы. Им нужно прогнать это за несколько месяцев. Но, в отличие от естественного интеллекта, модель копируется. Соответсвенно скопировав созданную на супер-пупер компьютерах базовую модель, можно на компьютере на порядок слабее за пару месяцев дать ей "профессиональное образование", А там еще раз раскопировать и пусть уже дообучается на рабочем месте малой скоростью.

Самое главное это чтобы она дообучалась на любых своих действиях, как это делает человек. Сейчас, когда у нас имеется одна модель и миллионы пользователей, вводится искусственное разделение на модель, скиллы, контекст и прочее. Если моделей будет много, такое разделение с возможностью отбросить более специализированные части будет лишним. (в крайнем случае всегда можно на бэкап откатиться).