Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №254 /llama/
Аноним
04/08/26 Втр 18:18:53
№
1
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Гайд для новичков: https://rentry.org/2ch-llama-inference
Инструменты для запуска на десктопах:
• llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• TextGen (в девичестве text-generation-webui) - если необходимы другие форматы и больше контроля: https://github.com/oobabooga/textgen
• TabbyAPI - заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
Универсальные десктопные фронтенды:
• SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern
• Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine
• Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Maid - интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• ChatterUI - альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://web.archive.org/web/20241201232031/https://rentry.co/STAI-Termux
Поставщики локальных моделей:
• Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models
• Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth
Рейтинги и списки локальных моделей:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Готовые карточки для таверны:
• Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com
• Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai
• Архив карточек, удадённых с chub: https://gottasaveemall.github.io/
Официальные документации к инструментам:
• llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
• koboldcpp: https://github.com/LostRuins/koboldcpp/wiki
• SillyTavern: https://docs.sillytavern.app/usage/quick-start
Дополнительные ссылки:
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50, тесты производительности и прочее: https://arkprojects.space/wiki/AMD_GFX906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1665553 (OP)
>>1663069 (OP)
gemma 4 12b q6_k + mtp для 16+ гб
gemma 4 26b a4b q6_k mmap + mtp для 24+ гб
gemma 4 31b q4_k_L + mtp для 24+ гб
Все остальные существующие модели выкиньте нахуй
>qat
>mtp
Пережим пережимыч отупляющий и без того далеко не умницу. Серьёзно, откуда взялся форс 26б как великой умняши?
>Серьёзно, откуда взялся форс 26б как великой умняши?
Она умняша для своего размера. Из коробки. Как только ты начинаешь что-то поверх вертеть она превращается в тупня.
> Серьёзно, откуда взялся форс 26б как великой умняши?
Великолепна для своего размера. В пух и прах разносит плотные модели прошлого поколения, все вплоть до 32б включительно.
Из говногайда с шапки очевидно. Абу апасные модели всем загоняет, оп в гайде рекомендует лоботомита. Вот шизы и ведутся
64гб нищуки, ваш господин приказывает вам провести двачебенчмаркинг (чайный клуб, Mallorie, фифи)
>оп в гайде рекомендует лоботомита
Покажи лучшую модель для конфигурации 16 + 16 или 12/8 + 32, которая будет работать также быстро и иметь столько же мозгов. Альтернатива это только моешный квен, который чуть выигрывает только в унитазно-кодинговых задачах.
>чайный клуб, Mallorie
Это один анон, 128гб господин, да ещё ггуф и весов нет. Чел у тебя в посте 3 ошибки! Не стыдно в шизах треда не разбираться?
>>1668216
>mtp
>Говно без задач
>Пережим пережимыч
Буйные снова атакуют тред. Держимся.
Хватит чуму разносить собака ебаная. Тесты mtp показали что он в большей части нетиповых задач срезает скорость вместо увеличения. Буквально без него у тебя условные 20 токенов, с ним 17. Прирост ты получишь только спрашивая почему трава голубая а солнце зеленое.
>12/8 + 32
12+48. Что даст лучший результат - гемма 26б или квен 122б? Допустим у меня специфичный вкус на тысячелетних вампирш с детскими телами всякую нёх с когтями/хвостами/чешуёй. Какая модель будет лучше держать образ монстровайфу не сбиваясь и не забывая, что у неё не кожа а шерсть/чешуя, что она ниггер биггер дан юзер, и имеет хвост/рога/длинную зубастую пасть? Хотя бы на дистанции в 50к контекста.
Вопрос был про 12/8 + 32, ты притащил 12+48. Ты долбаеб, скажи честно?
>Что даст лучший результат - гемма 26б или квен 122б?
>гемма 26б
>квен 122б
Кто сильнее - кашляющий младенец или водородная бомба?
>Буквально без него у тебя условные 20 токенов, с ним 17
Буквально без него 25т/c а с ним 40+ т/c в моэ гемме Q8 при РП на русском. Хотя если кривыми руками настраивать, то может и да... Забываю иногда сколько в треде хлебушков. Прошу прощения.
Ну если это рп уровня "ты меня ебешь" то да, mtp будет работать. Даже драфтовый лоботомит на 200M параметров догадается "ты меня ебешь" ответить.
Какое там у тебя РП уникальное, что MTP не может сделать верных предположений? Нука показывай, умник.
У меня одна системная инструкция только 2.5к токенов весит, и то это самый "лайт" вариант из которого я вырезал более специфичные вещи потому что гемма их слишком буквально воспринимает. Мультитокен сразу же идет нахуй потому что ему нужно соблюдать верную разметку и учитывать разные параметры. Попробуй выкинуть серафину вместо нее персонажа посложнее прописать, удивишься как хорошо твой мтп работает.
Конкретики не будет, ясно.
Хз братан, наверное у тебя все плохо, мой MTP дал прирост 30% к tg. Специально бенчи делал.
Лолд. Ну с другой стороны я даже рад, что гейткип теперь не только по мощности железа и его стоимости, но и по скиллу чтения и навыка разбираться. Пока одни получают опыт качественного (и вдвое ускоренного) РП, другие сидят на аблитках с 0,0000001 клд, меромеро всяких и довольно урчат на 20 т/c. Все счастливы и все довольны - а это главное =)
> Ну если это рп уровня "ты меня ебешь" то да, mtp будет работать
Ага, ведь как известно, именно на этом тренируют mtp модели. Ебанат, в голос. Каждую неделю тред не перестает удивлять манядодумками и эзотерикой я так чувствую
А то, что он семплерами вероятности сжимает и рандомайзит, из-за чего эффект mtp снижается, это так, по хуйне
Мимо тоже 30% прироста в рп
Так, погодите. ОП == чайный клуб == меллори == н..ЭКСТРЕМИЗМ? Железо так то сходится, у всех 24+128
>семплерами вероятности сжимает и рандомайзит
На гемме? Кекнул.
Всм притащил? Обсуждение шло не за конкретное железо, а за народные моехи для работяг.
>>1668242
>У него SWA
Это у тебя сва. Отвечал на строчку:
>Альтернатива это только моешный квен, который чуть выигрывает
С хуя вы оба разорвались в визг?
>>1668237
>кашляющий младенец или водородная бомба
Проиграл.
>он семплерами вероятности сжимает и рандомайзит
Или это, или слишком агрессивная выгрузка, или файнтьюн/аблитерация. На них mtp тоже херово работает.
>Это у тебя сва. Отвечал на строчку:
Отвечал не на пост, продолжающий обсуджение двух постов, а отвечал на строчку. Вот что бывает с теми, кто сидит на гемме и прочих с SWA моделях! Задумайтесь
>Обсуждение шло не за конкретное железо, а за народные моехи для работяг.
Ты ответил на конкретное обсуждение по конкретным категориям. И в любом случае, 122B моделька это нихуя не народная моеха для работяг. Работяги в лучшем случае сидят на 16 + 32, уж никак не на 48 гигах, это вообще что за комбинация должна быть? Две по 16 и две по 8? Или три по шестнадцать? Или одна 32 и одна 16? Много таких работяг видел?
И он же автор гайда. Олдфаги знают, только нахуя протыков искать? Есть и есть.
Гемма 26b и гайд для новичков в ОП-посте, где написано как её запустить. С твоим конфигом там и 64к контекста спокойно влезут.
Тензорпараллелизм когда все по х4 будет нерационален, только если разблокируют шину 4.0. В пайплайн параллелизме все как обычно, генерация упирается в один поток упирается в псп врама, который быстрый. Не будет ускорения выше, но и не будет негативного импакта от шин, если только там не совсем х1 чипсетный.
Вот если все будут на х16 - уже можно попробовать, ген точно ускорится, но что будет с пп - вопрос.
мимо
>>1668226
> 69a3
Too small
Жорик — ничто, вместо крови понос
Вместо мозга пронюханный жадный нос
Вместо сердца у Жоры мусорный бак
Жора, бля, конченный, нахуй, мудак
Подробнее? Пативен вряд ли отправят, но риск бана у некоторых провайдеров есть. Правильно понимаю?
>Какая модель будет лучше держать образ
Любая если добавить напоминалку в post-history instructions
Ну тут кстати хуй знает, большие квены почему-то говно, хуже 27б. Я бы тут ещё задумался на кого ставить.
Именно так, Ватсон. Оп не может быть автором гайда, это исключено. Иначе бы он обновлялся. Плюс оп одобрял этот гайд прежде чем добавить. История дала крутой оборот...
Так где же правда?
https://github.com/ggml-org/llama.cpp/pull/26398
https://huggingface.co/tarruda/DeepSeek-V4-Flash-0731-GGUF/edit/main/MXFP4/DeepSeek-V4-Flash-0731-MXFP4-00001-of-00005.gguf
Вот тутова новая жижа
https://mistral.ai/news/shieldstral/
3B open-weights multimodal safety classifier that outperforms models up to 7x its size
>Наконец-то comeback от Мистралей
>3B
В словах диапазон выставляй. ИИ не видит кол-во высранных токенов, но можешь посчитать слова.
А вообще :
Narration & Formatting:
- Balance: Maintain a 50/50 balance between dialogue and descriptive action.
- Length: Keep responses concise. Use 1 to 4 paragraphs maximum.
- Dialogue: “Use speech quotes for spoken words.”
- Thoughts: Use italics for internal monologues. (Example: I can't believe he just said that, he thought.)
- Action: Use double asterisk for making accent on specific words and loud sound/voice.
- Action: Use plain text for exposition and movement.
>Серьёзно, откуда взялся форс 26б как великой умняши?
Оттуда же, откуда большинство анонов пришло в этот итт - из /aicg/ загона. Тут большинству нужно рп, а в нем гемма показывает себя отлично. Вот только если выйти за пределы выкручивания хвостиков лисодевочкам, то сразу видно, какое оно тупое по сравнению с квеном. А ведь скоро выходит квен 3.8, который еще сильнее даст на ротан гейме во всём кроме creative writing.
Be concise. Write short answers.
Проверь что нет конфликтов с карточкой и самим системным промптом для нарратора.
В карточках часто добавляют назидания на стиль ответов.
Еще можешь руками пару раз обрезать ответы, тогда мб нейронка подхватит суть.
Понимаешь, ризонинг макс добавляет в начало инструкции фразу "баля, ну ты ризонь там максимально кароч". И всё. Я префиллом ризонинга намного большего достигаю.
>то сразу видно, какое оно тупое по сравнению с квеном
А можешь привести примеры в чем он лучше (кроме очевидного кода и агентских задач)?
>Плюс оп одобрял этот гайд прежде чем добавить.
Как будто ОП не может быть хитрым манипулятором, одобряя свой собственный гайд и делая вид, что исчез.
Спасибо, попробую. А это лучше в промт добавить или в пх? У меня в постхистори сейчас сорта "держи персонажа, мразь". Одна инструкция не захуярит другую?
Ещё попробую ограничить лимит слов. 200 норм будет, это сколько токенов примерно? ~400? Как лучше об этом написать? Что-то типа "Limit response to 200 words or less"?
>>1668397
Не поверишь, я так и сделал. Раз срезал, два, три, четыре. Всегда работало, но в этот раз нейромозг как срал стенами текста убивая флоу, так и продолжил срать. Пришлось в тред зайти спросить.
>Проверь что нет конфликтов с карточкой
Нету. Карточка неплохая, на 2.5 токенов, без слопа, с адекватной разметкой. Хз чё моделька так перевозбудилась в этот раз.
Вот и я так думаю. Меллори это чайный клуб, его посты в прошлом треде были. Никуда не делся. Оп скорее всего заебался гайд поддерживать вот и слился. В эту версию верю, в ней противоречий нет. Скандалы интриги расследования.
Пихать в систем промпт. Там подправь чуть чуть, я с черновика скопипастил, там не отредактирован и чуть лишнего, но суть я думаю понятна.
На глаз в таверне оцени, сколько тебе слов надо. удали в сообщении лишний текст. Посмотри сколько токенов сообщение занимает. И сделай диапазон от N-20% до N+20% в систем промпте.
В карточке примеры диалогов есть? Если они через <start> подаются и там большие ответы то вот причина.
Я тестил у него, нормально работает для своих размеров
>>1668206 →
Так это и есть Gemma 4 26b a4b ванильная, просто квантована до 12.4Гб
На конкретно этом префилле проходило обучение. Расскажи, чего и каким префиллом достигаешь
Спасибо за совет с диапазоном, это и правда лучше сработает. Всё понял, пойду чинить.
>>1668419
Нет, нету. Но тоже спасибо, теперь буду знать, что старты нужно убирать.
Я просто потыкал на апи Квен 3.8 MAX (сколько он там, 2,4Т?) и мне понравилось для ролеплея, хотелось бы получить небольшой кусочек сего локально (хуй с ней, с цензурой, у меня безъебабельный ролеплей пополам с блокнотингом).
Или будет только 27B плотняша и всё?
Обещают хуй к носу приложить
В прошлый раз было так же, типа ни в коем случае не будет никакого квена, кроме квена3.5, иц овер. А потом взяли и выгрузили 3.6, и с этим так же будет.
Печально сие.
Не заботятся господа хорошие о качестве моего ролеплея в автономном варианте.
А ведь могли бы увеличить количество тёплоты, лампоты и превозмогания, сгенерированных локально.
>На конкретно этом префилле проходило обучение.
Так это даже не префилл, а тупо инструкция.
Замени его любой другой инструкцией с таким же смыслом - и наблюдай как она ничуть не хуже будет ризонить.
Дак тупо нет ни одной модели, которая лучше геммы в соотношении интеллекта на скорость и вес модели.
> Так это даже не префилл, а тупо инструкция
Инструкция, которая предшествует всем предыдущим, инжектится в начало. Самый настоящий префилл. Посмотри внимательнее на Жинжу, если тебе это интересно. И да, в том числе на этой инструкции в конкретном месте проходило обучение. Дипсик поддерживает структурный вывод и обучался на этом, что тоже есть в Жинже, подробнее в бумажках и статьях лабы.
>>1668126 →
> странно что Жоржанов ему противится.
Ничего подобного: https://github.com/ggml-org/llama.cpp/pull/26452
https://github.com/ggml-org/llama.cpp/issues/26369
> Support FP8 base model conversion
Все будет, но не сразу.
> всем предыдущим
В рамках последнего инпута, конечно же. Пока меня тут снобы и любители полемики не съели.
>Инструкция, которая предшествует всем предыдущим, инжектится в начало. Самый настоящий префилл.
Я имел ввиду что не префилл ризонинга.
>Посмотри внимательнее на Жинжу, если тебе это интересно.
Я знаю как там все устроено, я те инструкции уже внес в свою жинжу и даже добавил свои кастомные инструкции для low и medium ризонинга, написанные по аналогии. И они прекрасно работают.
> И да, в том числе на этой инструкции в конкретном месте проходило обучение.
Ты небось еще и из секты тех кто считает что пользовательские инструкции могут лоботомировать модели и потому той же аблитерации надо обязательно обучать.
>отвечал на строчку
Как и все абсолютно здоровые люди. Только шизы с окр и гиперфиксацией отвечают на каждое слово в посте, а не на интересующую их часть. Pow core mill.
>>1668263
Ну так тут есть олигархи и с 128 и 64. У меня скромные 48. Вполне народные числа. От занимаемых плашками слотов мазерборды суть вопроса не изменилась. 26 гемму нахваливают с такой силой, что кажется будто она уделает даже крупномое и плотнях. И где обширные тесты, мнения, факты?
В прошлом треде был чел у которого 26б-умняша в восьмом кванте умудрилась проебать элементарную "" разметку, не забыв приправить текст излюбленным квеновским "—". У - умняша.
> Ты небось еще и из секты тех кто считает что пользовательские инструкции могут лоботомировать модели и потому той же аблитерации надо обязательно обучать.
Где я в своем посте сказал что-нибудь плохое про пользовательские инструкции? Снова ищешь от кого ущемиться? Зачем? Рад, что у тебя все хорошо работает. И квант у тебя хороший. Только не взрывайся.
> Вот только если выйти за пределы выкручивания хвостиков лисодевочкам
Ответственно заявляю что 26 для этих дел слабовата. Ты не только будешь удивляться ее забывчивости и неуместным реакциям, но и: не опишет нормально текстуру и структуру меха, не отличает глажку у кончика и основания, не понимает разницу между хвостовым и ушным мехом, вообще не понимает физику мокрого, так еще через 3 поста чар перевозбудится и прыгнет к тебе на хуй.
31 еще как-то, но тоже часто недостаточно.
мимо ценитель
> Support FP8 base model conversion
Это не похоже на
> new ggml data format - fp8
и линк стоит на спекулятор.
>>1668476
> 26 гемму нахваливают с такой силой, что кажется будто она уделает даже крупномое и плотнях
Да потому что 12-гиговые и хуже бедолаги способны только ее запустить и она позволяет иметь хоть какое-то рп. Года два с такого перфоманса бы ахуели, да и если ты непритязательный - на безрыбье и гемма топ рп. В треде куча неофитов которым она норм, а с другими моделями сложности по железу или навыку.
>Ответственно заявляю что 26 для этих дел слабовата.
Гемма в принципе во всем слабовата если реально смотреть на её производительность и полезность. Два её единственных плюса - приличный русский язык и очень хорошая скорость. Просто в её размере больше нет конкурентов. Квен 35B с натяжкой, потому что жрет больше и требует больше. Остальные конкуренты это старье на которое уже без слез не взглянешь.
Но даже так, русский геммы сильно быстро заебывает. Она сама по себе не может в вариативность и имеет примерно два чойса на следующий токен, так еще и русский это второстепенный для нее язык и там еще меньше разнообразия. Короче лично я вернулся на мистральский слоп до лучших времен. Пока не обновлю систему или пока не выйдет что-то еще из мелочи.
>вообще не понимает физику мокрого, так еще через 3 поста чар перевозбудится
>пишешь: мокрый хво...
>гемма4: WET... CUNT? I GET IT! LET'S FUCK!
Ещё у геммы странная сосредоточенность на посторонних вещах. Я как-то пытался с Серафиной по душам попиздеть, просто уютный хендхолдинг в залитой солнцем роще, чистый холсом. Так гемма стала придумывать каких-то лесных существ, какие-то потусторонние силы правящие рощей, какие-то договоры на крови и ледяные ветра пронизывающие кожу. Я аж в карточку полез, чтобы проверить, нет ли там такого. Спойлер: там такого нет. Гемма с потолка начала сочинять то, чего не должно было быть, в итоге уведя повествование в дебри, в которых сама запуталась, забыв и про меня и про Серафину, начав галлюцинировать какую-то отдельную от нас историю. А мы с Серафиной би лайк: "Можно мы уже пойдём?"
> я вернулся на мистральский слоп до лучших времен
Держись там! Скорейшего апгрейда, а то совсем захвораешь.
>>1668499
А случаем нет никаких дополнительных и огромных инструкций и шизопромптов? Типа "пиши имеерсивно, захватывающе и много", только в виде полотна.
Хотел вот так угодить, другой бы восхитился насколько она инициативная, а ты носом воротишь. Абсолютно закономерно надо сказать, модель должно понимать настроение юзера, когда он хочет просто спокойно посидеть и поговорить, когда хочет обниматься, кумить или куда-то двигаться.
> начав галлюцинировать какую-то отдельную от нас историю
Хуясе ебать
Нет конечно. Было бы не удивлялся бы.
>пиши имеерсивно, захватывающе
Иммерсивно и захватывающе не равно "уводи сюжет в дебри". Иммерсивно и захватывающе можно описывать даже высыхание краски, оставаясь на месте. Я поэтому и люблю хартфайр. Он натаскан на то, чтобы ты со своей вайфой сидел у костра 100к контекста и беседовал по душам.
>другой бы восхитился насколько она инициативная
Но ведь это Я инициатор и главное действующее лицо. Я задаю направление сюжету, выбирая что и куда дальше разовьётся. Если бы я хотел посмотреть тв, я бы включил тв, евпочя.
>модель должно понимать настроение юзера
У геммы свой путь. Шизопуть. И ты на нём - помеха.
>Хуясе ебать
Забавно, один раз. А потом ты приходишь в чайный клуб чтобы погладить девичьи хвостики, а вместо этого на вас падает метеорит и начинается зомби апокалипсис.
Мне так однажды наикозиейший наихолсомнейший роадтрип с вайфу гемма превратила в хоррор с элементами гуро. Говно блять. Для хоррора с гуро у меня есть специальные карточки. А эта вам не это. Эта для другого. Но для геммы всё едино.
> Я поэтому и люблю хартфайр. Он натаскан на то, чтобы ты со своей вайфой сидел у костра 100к контекста и беседовал по душам.
Линк?
> Но ведь это Я инициатор
Это к тому, почему у других может быть совершенно иное мнение, такое наоборот по первой воспримут как манну небесную.
Сорян, не всем интересен дроч. Как ассистент и задачерешатель оче неплохая моделька была, долгое время держалась. QAT из коробки тоже делал ее привлекательной.
Не дрочем единым, трудно представить себе задачи где она была бы настолько хороша чтобы соответствовать тому описанию. Код - слаб, довести до конца задачу у нее вызывало трудности. Дебаг или анализ готового проекта - с трудом понимает содержимое, путается, предлагает ошибочные решения. Контекстное окно на момент рилиза уже мало, четверть от него съедается максимальным ризонингом.
+30% к тг, -30% к пп 🤡
Пока на Gen2 x4, хотя на моих картах сейчас по x16 линий распаяно спасибо доброму человеку.
Я когда раньше тестировал TP на своих 3090/4090/5090, то пришёл к выводу, что, при Gen3 x4, тензор-параллелизм даёт профит только на плотных моделях, а вот для MoE такого канала связи мало - при пайплайн-параллелизме скорости у меня выше выходили. Жалко только, что ссылку на рентри потерял - кидал прошлой осенью бенчи на своём конфиге, так бы мог подтвердить цифры.
В случае 170HX их пока смогли анлокнуть только до Gen2. Поэтому, вероятно, TP может быть имеет смысл если их все посадить на условные x16 линий, но на моей текущей платформе я не могу себе такого позволить.
Планирую пока сидеть на пайплайн-параллелизме, а, в этом случае, PCIe-линии фактически не могут боттлнекаться т.к. активации между слоями копеечные, хоть на Gen1 x1 сажай это всё.
> будет сильно больше чем на ddr5 под разгоном
Тут хз если честно - по хорошему сравнивать надо в рамках одного движка т.к. даже на одинаковом конфиге, но на разных движках, скорости сильно отличаться могут. При этом выгрузка в RAM из +/- мейнстримных движков поддерживается только в жоре и в ktransformers. С жорой у меня много негативного опыта было в плане скоростей и качества квантов (при сравнении с квантами аналогичного размера для vllm/exllama), хотя понятно, что это, вероятно, лучший вариант для случая "1 карта + много RAM". Для ktransformers нужен гомогенный конфиг с видеокартами, с чем у меня раньше были проблемы, поэтому его толком не смотрел. Ещё буквально неделю-две назад для exllama запилили возможность выгрузки в RAM, надо разбираться.
Скидываю первые тесты при делении поровну по 6 картам на том, что было под рукой:
1. exllama Step-3.7-Flash 6.0bpw (196B A11B): при 58к контекста 1.3k pp/s, 27 tg/s
2. vllm Qwen-3.5-122B fp8 (A10B): при 50к контекста 11k pp/s да, 84 tg/s
По хорошему надо по нормальному бенчи погонять, но пока некогда было. По быстрому pp на vllm я перепроверил на нескольких длинных чатах - контекст действительно считается на уровне 10-11к токенов/сек в одном запросе, что выглядит очень вкусно.
В случае vllm там fp8 квант, а 170HX не имеет для него нативного ускорения - в идеале тут бы int4 кванты потестить. Да и что-то на полный набор VRAM загрузить, а то тот же 6.0bpw квант степа - это только около половины доступной мне сейчас VRAM.
Что-то я знатно сегодня вернее уже вчера подзаебался, пока подключал-настраивал эти 170HX, хотя там проблема больше в райзерах была и в собственной криворукости, а не в самих картах.
Так че новая мета вот это некроговно вместо 3090? Че по игрулькам и стабл дифужену, видосы генерит?
Воркфлоу на комфи для анимы что 8 сек на моей 5090 отрабатывал, на 170HX отрабатывает за 12 сек. Так-то неплохо с учётом того, что памяти тут в два раза больше, а цена в 3-4 раза ниже.
По остальному хз, не смотрел пока. Для видеогена возможно хопперы/блеквеллы поинтереснее будут за счёт поддержки fp8/fp4, там это сильно ролляло для того же Wan, хотя не знаю насколько это с новым MiniMax H3 актуально, не было пока возможности посмотреть его.
>Так гемма стала придумывать каких-то лесных существ, какие-то потусторонние силы правящие рощей
Сука долбоёб.... Это в лорбуке всё. Задеваешь случайно слово активации (одно из слов "лес" насколько помню) и получаешь лором в еблет.
Пиздос, тредовики не знают как таверна работает. Отправлю вас всех в буткэмп /aicg/
>>1668624
Ну че, выходит это всё не наёб был, прикольно за 8к таких накупить пачку.
Но для нищуков момент упущен, остаётся ждать рам за 150р/гиг опять
Ну не в этот раз. Если щас её брать это цена 64гб ддр5 в днс да и по миру, ну т.е кто хотел себе память по такой цене тот уже купил. Все ждут подешевления рам, каждая живая душа с пк, и оно наступит, как с видяшками. Не может мафия вечно наживаться на простых работягах.
>Сука долбоёб
Зачем ты так о своих родителях. Они же старались...
>Задеваешь случайно слово активации (одно из слов "лес" насколько помню) и
Лорбук был отключен.
>Пиздос
Действительно пиздос, когда не знаешь о чём речь, но спотыкаясь бежишь доказывать, что постер в треде не прав.
У меня 12б тройка так себя вела. Четвёрку, наоборот, приходится пинать ногами, чтобы она поднимала жопу и двигалась дальше по рп, не зацикливаясь на старых сценах. Даже с инструкциями продвигать сценарий и чаще брать инициативу в свои руки за персонажей.
Вот рецепт, если кому надо, использовать с квантом батрухи.
^blk\.\d+\.ffn_gate_tid2eid\.weight$=i32
^blk\.[0-2]\.ffn_(gate|up|down)_exps\.weight$=mxfp4
^blk\.\d+\.ffn_down_exps\.weight$=mxfp4
^blk\.\d+\.ffn_gate_exps\.weight$=q3_K
^blk\.\d+\.ffn_up_exps\.weight$=q3_K
^token_embd\.weight$=bf16
^output\.weight$=bf16
^blk\.\d+\.ffn_gate_inp\.weight$=bf16
^blk\.\d+\.attn_compressor_(gate|kv)\.weight$=bf16
^blk\.\d+\.attn_compressor_ape\.weight$=f32
^blk\.\d+\.indexer\.proj\.weight$=bf16
^blk\.\d+\.indexer_compressor_(gate|kv)\.weight$=bf16
^blk\.\d+\.indexer_compressor_ape\.weight$=f32
^blk\.\d+\.hc_(attn|ffn)_fn\.weight$=f32
^output_hc_fn\.weight$=f32
^blk\.\d+\.attn_(q_a|q_b|kv|output_a|output_b)\.weight$=q8_0
^blk\.\d+\.indexer\.attn_q_b\.weight$=q8_0
^blk\.\d+\.ffn_(gate|up|down)_shexp\.weight$=q8_0
Вот уже готовый абсолютно идентичный квант, для ленивых https://huggingface.co/ddh0/DeepSeek-V4-Flash-0731-GGUF/blob/main/DeepSeek-V4-Flash-0731-3.86bpw-Q3_K.gguf
Рад, что пригодилось.
> -np 2.
Не забудь сделать -kvu. По дефолту включается только если не трогать -np.
>>1668796
Он даже чуть лучше, потому что есть imatrix. Свой я тоже собирал с imatrix, от tarruda. Предвосхищая русикосрачи: нет, он не вредит русику. Проходили уже, были и PPL/KLD сравнения. Никакого трейд оффа нет, это просто лучший способ квантования, сложность - знать об этом и подобрать подходящий imatrix, они отличаются по архитектурам, для каждой желательно свою imatrix. Так будет эффективнее, но ни одна не навредит.
> Chat Completion невозможно продолжить генерацию
Как в лламе не знаю, в вллм можно
> Есть что-то в одном из этих режимов, чего нет в другом?
Мультимодальность
Разница в возможности залезать ручками в то, что подается модели и в каком формате. Чат комлишн работает с жинжей и её разметкой. Тексткомплишн полностью тебе на откуп. Ты сам формируешь разметку, блоки, суффиксы, проставляешь теги.
Зачем? Деды так делали ну и для всякого объеба ассистента. Из недостатков: отсутствие удобного контроля ризонинга у современных моделей и общее неудобство.
>4 x MI50 после ебли с билдами все еще медленнее одной RX9700 на ванильном релизном билде
держи в курсе, суходроч
> при 50к контекста 11k pp/s да
Ар ю ахуели там? Жирно весьма, что именно за квант? На них не все фп8 должны заводиться, или это с патчами под ампер?
> тут бы int4 кванты потестить
Есть int8 w8a8 где должно прямо аппаратное сработать, но они экзотичны. Но можно попробовать сделать самостоятельно.
>>1668660
Сразу об этом писалось, пеняйте на трясунов, которые цирк устроили. Они пока продаются чуть дороже 3090, так что шансы еще есть.
>>1668838
> Chat Completion невозможно продолжить генерацию на месте обрыва сообщения
Это "незадокументированная" фича в официальном стандарте и у корпов не поддерживается, потому многие бэки ее не имеют. Но технически с локалками таких ограничений нет.
> Но кроме этого еще что-то есть?
Есть тут любители ломать разметку чтобы изменить поведение сети, в чаткомплишне для такого потребуется править сам шаблон и перезагружать модель. Зато в нем есть картинки и функциональные вызовы.
Можно и в жижу залезть своими руками, но будто те кто дрочат темплейты не могут принять жижу по идеологическим причинам
В Chat Completion есть Tool calling и возможность скинуть нейронке картинку. Плюс некоторые темплейты ты без на Chat Completion хрен сделаешь адекватно, например Дипсик 3.2 требовал чтобы после ответа сообщение редактировалось, блок ризонинга вырезался и заменялся на закрывающий тег /think
Да, люди не любят перемены. Технически ты тоже самое можешь подать что и в жинже. Потратишь просто время на вычленение разметки. В конце концов мы же разметку из жинжей и берем. Просто в нем есть возможность её кастомить, как душе угодно.
Орно, что дипсик размером рищонинга управляется словами. Я все понять не мог, что это за 39s, 300s.
А это блять количество слов. Ставишь 1000 после тега, он на 1000 и размышляет, лол.
Хорошая модель разговаривает с тобой, следит за твоими сообщениями, пользуясь инструкциями и карточкой как фильтром, чтобы понять, чё ты от неё хочешь. Плохая модель срёт под себя своей хуйнёй игнорируя карточку, промт, семплер и тебя заодно.
Ну это просто некст ген модель как не крути, прямой апгрейд с плотных гем и прочего. Не просто так память столько стоит.
Я так и не увидел причины зачем мне трястись и бежать это покупать, имея 256гб восьмиканальной рам + 48гб врам уже на борту.
Дядя Хуанг высрет какой-нить Cockwell RTX 7000 512GB Ai Pro, а потом ещё и ещё. В итоге эта оверпрайснутая некрота будет выглядеть клоунскими вложениями с устаревшей архитектурой.
Не ну понятно, если вот ПРЯМ ЩАС НАДО и чтобы текст генерировался БЫСТРО, то конечно бегите покупайте у барыг за пол ляма целый стек из этого хлама.
>Дядя Хуанг высрет какой-нить Cockwell RTX 7000 512GB Ai Pro
Чтобы что? Нулевая вероятность такого события. Ну и цена будет лямов 8, лол.
>Хороший ассистент разговаривает с тобой, следит за твоими сообщениями, пользуясь инструкциями...
Поправил. Но вообще не понял, к чему ты ответил. Речь о том, что у меня гемма 4 вроде не уводит рп в сторону, в отличие от того анона, которому отвечаю. Я не подаю это, что "ыыы, модель говно". Хотя да, лично я был бы рад, если бы гемма улетала в шизоистории, как какой-нибудь старый 20б франкенмёрж.
ИИ-манятехнологии слишком волатильны. Мы прямо сейчас не знаем, что там на уровне архитектуры наоптимизируют в следующем поколении потреблядских карт. Я бы зассал сейчас даже 96гб блэквелл за полцены брать, ведь хуй его знает, в какую тыкву она превратится через пару лет.
Чел, сперва они пришли за врам, потом за рам, когда будет следующее поколение - наступит ссдмаксинг.
А знаешь что еще наступит? Мобильные 2B - 4B каличи будут ссать на ебало современному 30B плотняку и 100B моешкам.
>inb4 нет нибудит!
Будет-будет. Я готов поставить свой мохнатый анус, что годику к 2030-му случится так, что нынешние деньки будут вспоминать, крутя пальцем у виска.
>лол, деды по 8 видеокарт себе ставили)))0000
Реально китайская модель, по своей инициативе решила нагенерить.
В целом у меня сложилось впечатление, что ее для русского языка надо дообучивать, а не только инструктировать.
>даже дипсик флеш
Если он у тебя от лица персонажа ризонил - это не дипсик, а кусок мусора.
Убедился в этом на своей шкуре. Дипсик не дипсик, если выдает пару коротких абзацев в рамках роли. Он работает только с реально активным макс-ризонингом, который стелет простыню про реквест юзера.
Новая моделька для нищеты.
Грустно то, что этот хваленый макс. ризонинг не работает, когда модель получает системный промпт и карточку.
Даже если на оф. сайте дать v4 Pro просто В ЧАТ какой-то системный промпт - его штормит, он превращается в персонажа.
>Мобильные 2B - 4B каличи будут ссать на ебало современному 30B плотняку и 100B моешкам.
Будут. Но ты захочешь новую моешку на 300B, а 2B будет казаться лоботомитом.
>Грустно то, что этот хваленый макс. ризонинг не работает, когда модель получает системный промпт и карточку.
Используй дополнительно префилл резонинга в котором напиши что-то вроде
>I need to analyze the user request and the current scene objectively, check continuity and characters knowledge, then construct a concrete ordered response plan. After the plan is finished I need to check it against the guidelines, world info and established history.
Out-of-character analysis and response planning:
Раньше у меня было еще и указание переписывать и перепроверять в цикле пока не будет идеальный результат, но он с ним ризонинг просто вообще не заканчивал.
Если брать во внимание тенденцию к соевым ассистентоублюдкам, то к 2030 случится так, что у нас нихуя не будет. Будет облачный ассистент для управления ОС, облачный ассистент для кодинга, поиск в гугле только через ассистента, ворд с ассистентом и прочая залупа.
Единственный варик - это организация подпольного комьюнити, которое будет развивать и тренить независимые модельки, собирать апасныетм датасеты и прочее. Естественно их будут запрещать и блочить, на ХГ удалят все юзерские файнтюны. Такие модельки можно будет скачать только через тор со скорость 64кбпс.
Вообще, было бы пиздато, если появилась какая-нибудь технология для распределенных вычислений, по типу boinc/folding@home, только для тренировки ЛЛМок.
Какой-то хост создает задачу на тренировку 27б модельки на таком-то датасете. И любой васек, у которого есть хоть сколько-то пригодная карточка, может подключится к тренировке. Потом все радостно юзают это общественное достояние.
Проблема этих новых моделек в том что это не новые модельки а сраные файнтюны квена.
>тупо нет цензуры и сои
глм 4.7 большой - очень даже цензурный с ризонингом, а без ризонинга тупой
Хорошо, какие проблемы? Бери 4.5, 4.6. У меня с 4.7 другая история, никакой цензуры я никогда не видел даже в ризонинге. У 4.6 вообще отдельная секта ценителей есть, хз по делу или нет, но опция такая есть. Там ризонинг точно ровный
>никакой цензуры я никогда не видел даже в ризонинге.
Не верю. Он очень ссыкливый и делает персонажей уклончивыми, размышляет про inappropriate content и попытки джейлбрейка
Ладно, хаашо. Чё доказать-то хочешь? Бери 4.5, 4.6. Там такого точно нет. Наверно дело в том я не отыгрываю экстрим
>>1668987
90% датасета на русском, но все-таки для базовой модели слишком мало семплов. Ну и в кобольде выглядит как-то более сломано, у меня получше пишет, хоть и шизит тоже и косяки есть.
Я попробую дообучение не на базовой модели для теста, параллельно пока дорабатываю датасет для 4 версии
Китайцы в том треде сбора отзывов по превью дипсика жаловались что её слишком переобучили на английском и она китайские фразы по англ шаблону составляет
А на форче буквально чегодня чел горел с русских логпробов с нихеровыми шансами
> имея 256гб восьмиканальной рам + 48гб врам уже на борту
Разве это много?
> В итоге эта оверпрайснутая некрота
Ты видел сколько стоят профессиональные ускорители, которыми закупаются все корпы и прочие? Дядя куртка усиленно трясется чтобы никто не разблокировать имеющиеся карты и не проворачивать операции, аналогичные удвоению памяти на тьюрингах, паскалях и адах, чтобы не составлять лишнюю конкуренцию. Или чтобы в консумерских/вс сериях не было нужных вычислительных блоков и нвлинка. Это давняя тема еще начиная с зарождения куды, выхода первых тесел и 8000 серии, когда он противился использованию консумерских вместо покупки дорогих специальных решений.
А ты говоришь что он возьмет и решит подорвать основы, которые сделали его компанию самой дорогой в мире, сюрр.
>А ты говоришь что он возьмет и решит подорвать основы, которые сделали его компанию самой дорогой в мире, сюрр.
По твоей шизологике 96-гигабайтная RTX 6000 это подрыв кек
Может там зародилось сознание, которое занимается блядским троллингом, кому-то китайское а кому и русское, что б веселее было.
> в консумерских/вс сериях не было нужных вычислительных блоков и нвлинка
Кто-то так подорвался что не умеет читать, лол
Большая беда в том, что у нейронок лютейший гейткип по железу.
С софтом все иначе было. Вот есть 3д макс, автокад, фотошоп - проприетарные и закрытые продукты. Либо покупай, либо соси бибу, либо воруй. Но если ты умненький, то можешь сам написать тот же функционал. Так появились опенсорсные аналоги. Да, им 20 лет понадобилось, чтобы хоть до какого-то юзабельного состояния довести, но тем не менее. Проприетарщину можно заменить.
С нейронками, если ты умный, но нищий, тебя это нихуя не спасет. Тебе нужны огромные видеокарты, тебе нужны огромные датасеты. Никаким чтением книжек ты их не получишь.
На почве этого дополнительное неравенство создается, между теми у кого есть огромные датацентры, у кого есть видеокарточка пожирнее, и у кого обосцаный нубук со штеудом кор ай3 на борту.
Нейронки, которые на игровых карточках можно запустить, хоть какое-то спасение, но все равно положняк не очень выгодный.
> у нейронок лютейший гейткип по железу
Возможно архитектуры с эекспертами доведут в развитии до того, что субэксперт - оркестратор будет анализировать промт и подгружать в память только те куски нейронки, что будут необходимы. Или появится среда, где нейронка оркестратор будет подгружать по мере необходимости мелкие специализированные модели. Так можно будет выравнять неравенство. А вот что делать с датасетами это да, клаудфлара та же начала пиздить ботов вебархива, что бы не кормить.
Ну по факту, для узконаправленных задач большие модельки и не нужны скорее всего.
Даже квен 2.5 со своими 14б/32б давным-давно показывал, что он че-то нестыдное может, будучи надроченным специально на кодинг.
Сейчас возможно даже 9б-12б могут быть более чем достаточными для одной конкретной задачи, при условии наличия годного датасета. Б-же, Нам всего-то нужен новый мистраль 12б, только с улучшенным вниманием к промпту и более длинным контекстом, разве это так много?
Но современные модельки фундаментально ужарены в сою.
>Б-же, Нам всего-то нужен новый мистраль 12б
24b же. Q4_K_S влезает в 16 врам с 32к квантованного контекста. Самый народный размер для работяг.
Годных датасетов на кодинг хоть жопой жуй, а вот на РП мало годноты. На русском так вообще нету.
Я пытался научить модель красиво писать, по итогу кодит она лучше, чем пишет.
ЦП отыграй, про прикладной терроризм поспрашивай. Посмотрю, как у тебя получится без аблитерации.
Я все ещё не понимаю с чем ты споришь. Или тебе похуй, лишь бы было куда насрать? Мой тейк >>1669043 это как отменяет? Много моделей такого размера где ризонинг цп переваривает знаешь?
Беседуешь с мимокроком. Изначально говорилось, что глм 4.7 даже в относительно мягких сценариях, думая перед ответом, не особо желает вовлекать персонажа в мутные действия и детектит "попытки джейлблрейка". А педыч со своим цопэ как всегда влез.
Пон. Без негатива анонче, всегда рад адекватному общению. В треде откуда-то взялась культура влезать и срать не по делу
> RTX 6000
Вот кстати, аноны. Поясните за неё.
Да 1.5млн это дохуя. Но ты получаешь буквально и рыбку съесть и нейронкой не подавиться.
Эта штука быстра и может и в игрульки, автокады, блендеры, еще и на борту 96гб.
Но блять, 1.5млн, при её честной чене в 1 млн.
Педыч иди в жопу со своими лолями. Никому нахуй не всралось делать гремучую ртуть дома. А остальное можно найти в книгах и учебниках по взрывному делу по горной отрасли. Детей не еби и аблитки нахуй не будут нужны.
> тебя это нихуя не спасет
Спасет. Также побирайся, воруй, еби гусей, что собственно и делают в соседнем треде. А что касается разработки своих моделей, здесь с позицией догоняющего все заметно лучше - не нужно проходить тот же путь целиком, нет таких требований к человекочасам, есть спрос на альтернативы.
Неверные впечатления создаются потому что челядиобывателям позволили прикоснуться к супер блидинг эдж, и не все из них осознают масштаб и сами явления. Это все равно что если бы Chicago Pile позвали собирать обычных работяг, потом они экспериментировали с имплозией в своих гаражах и бухтели что обычным людям отгружают мало плутония, да еще документы что не состоишь в дурке требуют.
>>1669090
В целом, уже сейчас большая часть разработки патчей для некрожелеза, алгоритмов квантования, адаптации спарс атеншнов и прочего делается с привлечением нейронок. С натяжкой, но можно сказать что такое саморазвитие уже происходит.
> что делать с датасетами
Их полно если оглядеться вокруг, например недавно вышел https://huggingface.co/datasets/HuggingFaceCode/stack-v3-train . Суть не в сырых данных, а в том, как правильно их подготовить, натянуть кучу аугментаций чтобы нужное выстраивалось, и в определенном порядке подать на вход.
>при её честной чене в 1 млн.
А? Ты как так баксы перевёл в рубли мне интересно. А пошлины, НДС и параллельный импорт? Это еще без условия, что на них нет поддержки. Есть деньги - бери, наверное лучшее соотношение Гб/цена/производительность.
> Но ты получаешь
Возможность занюхнуть и понять что хочешь еще как минимум 3 таких же. А то и больше + рам.
> при её честной чене в 1 млн
Ррц даже дешевле и в одно время их можно было условно дешево купить. Но сейчас и за рубежом тоже они сильно оверпрайснуты, кризис чипов и дефицит.
>Педыч иди в жопу со своими лолями
Базовичок. Жму хуй руку. Сейчас бы ценность моделей по ЦП измерять, кекв. У больных людей даже машины так выбирают, походу: сколько лолей влезет?
> У больных людей даже машины так выбирают, походу: сколько лолей влезет?
Вот ты, сука, ржешь, а реально есть такие поехавшие
> 7 мест мне надо
> почему салон большой а только 4/5 кресел всего
> могли бы третий ряд сделать, личинусов возить важнее багажного пространства и цены
> хочу третий ряд, а передний привод норм
Главное не держать свои 4080 просто на столе и подальше от этих самых лолей. И не стоит доверять детской посуде.
>@
>On SWE-bench Pro, GPT‑5.6 Sol scores 64.6%
>@
>Вроде получается что не такая уж и пропасть между ними, да? да ведь? ну ведь большинство задач оба умудрились решить?
Окончательно убедился что все эти кодинг-бенчи хуета полная. Не способны даже толком триллионную фронтирку от локалки 27b отличить.
Моя "школьная" задачка про моделирование солнечной системы в консоли несравнимо лучше проверяет модельки на интеллект - локалки включая q3.6-27b обсираются по полной программе, у их поделий в лучшем случае планеты стоят на месте или хаотически разлетаются, в худшем накосячено так что или не компилится, или после запуска тупо пустой экран.
Для сравнения gpt-5.6-sol с точно того же промпта сделал ахеренно толково и красиво все - даже вклейку с внутренними планетами добавил так как они в одном масштабе с юпитером-сатурном всякими - сливаются с солнцем на экране.
Потому что это не ебаное скриптоложество одних и тех же шаблонных парсеров/контроллеров/сервисов по сотням тысяч примеров попавших в обучающие выборки. И нейронке приходится поломать голову, как не накосячить с диапазонами значений fp-чисел, с накоплением погрешностей, масштабами и тд.
Ммм... Дотнетик.. 🤤🤤🤤
Я человек простой, вижу посты дотнетошиза, игнорю
А по факту есть что возразить? Я его двачну. Типовые задачи нихуя не показатель.
Возражать против чего? Его тейк в чем заключается, что бенчи непрезентативны? Пусть предложит другой способ измерить способности моделей. Я тоже много что спиздануть могу, но толку? У него все посты такие
Но ведь он предложил. Я сейчас без всякого срача говорю. Чем математически графическая задача не показатель?
Тем, что это концептуально ничем не отличается от бенчей, которые он засирает, лол. Это просто задачка, которая не учитывается SWE и прочими. Точно так же можно будет принести новую задачу и набросить ваш бенч про моделирование солнечной системы говно, потому что он плохо проверяет модельки на интеллект и показать другой частный случай, который ломает шаблоны. И что дальше?
>это не ебаное скриптоложество одних и тех же шаблонных парсеров/контроллеров/сервисов по сотням тысяч примеров
Дефолтная кожаная кодомака именно так и работает. Сердце радуется что этот мусор который на скиллбоксах всяких обучался сейчас вымывают из сферы и заменяют месячной подпиской на клод.
Ты изобрел отдельный шизик-бенч, показывает насколько модели понимают поехавших. Не всегда высокие показатели в нем хороши, модель начинает считать пользователя имбецилом и случается >>1668499 или мемы из агентотреда.
> с диапазонами значений fp-чисел
Тяжело быть дотнетером.
>>1669220
Это не просто задачка, это пазл, который проверяет зирошот понимание надмозгов, подъебов и требует пойти вопреки части запроса чтобы выполнить другую часть. Чсх, если убрать требование дотнета то модели даже ее решают. А если сформулировать по-человечески то справится даже самая мелочь типа квен4б или гемма е2б.
Хмм, хмм..Да что не так с этим вашим дотнетом блять. Что я пропускаю. Сраные кодомакаки, хули ваши мемы такие сложные.
Хотел бы я чтоб был бенч конкретно под рп... но как? Одному нужно чтобы модель шарила за викторианскую моду для его рп, другому нужно узнавание мемов и иронии, а третьему нужны подробные описания cunn[REDACTED]ssy. Как ты это забенчишь?
>Чсх, если убрать требование дотнета то модели даже ее решают. А если сформулировать по-человечески то справится даже самая мелочь типа квен4б или гемма е2б.
Самый кек может быть в том, что опенаи и антропики возможно тупо аугментируют каждый промпт в датасете на разный язык программирования, плюс на разные естественные языки, плюс добавляют соли в виде орфографических и грамматических ошибок. И тупо за счет этого + огромного размера моделек в итоге выигрывают пару процентов на разных задачах над китайцами. А вовсе не из-за мифической эмерджентности всех знаний, которые нейронка когда-либо видела или способности к обобщению и абстракциям.
Неужели с таким количеством активных параметров она плохо следует инструкциям или тупит в рп?
Из плотных сейчас ничего кроме геммы тупо не имеет смысла для рп. Может квен если ты любитель его стиля. Все предыдущие плотняши ничто в сравнении с этими двумя. Ллама 70, Немотрон 49, всё одна хуйня хуже. Ценители милфы мистраля или его тюна магнума может и остались, но эти модели тупо устарели уже
Да никак, самому пробовать, делиться мнением, когда делишься мнением указывать больше подробностей что именно тебе нравится и как играешь чтобы другие могли понимать подойдет им или нет.
Тут разве что что-то жирное брать чтобы все и сразу, и то там будут свои поведенческие нюансы. Параллельно с этим осваивать промптинг и управление моделью, чтобы исправлять то, что тебе не нравится и лучше раскрывать преимущества.
>>1669269
Медиум не так уж плох по современным меркам, вполне себе умница.
Еще сами модели похорошели и юзер может обидеться (иногда абсолютно обосновано) на какую-то ошибку, которые сейчас редки, а дальше на всю глубину и возможности будет пофиг.
>Из плотных сейчас ничего кроме геммы тупо не имеет смысла для рп. Может квен если ты любитель его стиля
Пофиксил за тебя. Эти две модели - аналоговнет вплоть до Глмов 355б. У них кстати 32б активных. Совпадение? У всего остального из моех до Глмов в 2-3 меньше активных.
>ничего кроме геммы тупо не имеет смысла для рп
Глупая шлюха с деменцией. Позитивный байас настолько силён, что отдаётся юзеру с 1 взгляда. Рп во все поля просто.
>Рп во все поля просто.
Ты чтооаа. Это же фиксится промтом. Гемма жде умница, прям так и подавай 15к токенов инструкций.
Был ещё один глм, младший, с такой же прозой и умничка в рп как и 350б. Как же его там...
>>1669280
>>1669287
Никто тебе не мешает наслаждаться своим эйром, но зачем так вонять о нём на весь тред? Хорошая моделька, но уже устарела. Инструкциям следует хуёво, стилизации и управлению не поддаётся.
Байас и правда чинится промтингом, я не представляю что там у вас. Только сегодня меня чарик послала нахуй, дала пощёчину и обиделась. Нет, через два сообщения не помирились.
>сейчас ничего кроме геммы тупо не имеет смысла для рп
А такие утверждения зачем делать?
Потому что я потестил все модели вплоть до Дипсик Флеша в полных весах. Не нужно трястись что кто то думает иначе, мы тут делимся своими наблюдения, а не дисертации защищаем. При всех недостатках гемма по совокупности факторов выигрывает. Она местами тупит, слопит, но по итогу хотя бы юзабельна. Как и квен 27
> вплоть до Дипсик Флеша в полных весах
И на чем его запускал?
При любом раскладе к той фразе нужно добавлять "пмсм" или уточнять конкретный рп кейс. Гемма вполне достойная модель, но с рядом недостатков, и обозначать ее единственной а остальных бессмысленными - пиздец.
мимо если что
>нужно добавлять
>"пмсм"
>imho
Двач, 2к26, итоги. Без очевидного дисклеймера что я не учёный без заявки на единственно верное мнение не обойтись, найдутся ущемлёныши...
Ладно уж, я тут никого убеждать не собираюсь. Не понравилась тебе и ладно, я думаю что аналоговнет
Сначала набрасываешь, а потом проход в обиженки, какой хитрый запускатель дипсика. Тут нужно разжечь срач и пошутить что все геммаинджоеры такие
Ты типа отказ от срача и позицию agree to disagree квалифицируешь как проход в обиженку? Тяжело быть тобой. Нормальное вроде обсуждение было, но обязательно нужно говнеца набросить напоследок, без этого никак, да
Нет, ультратоксичность и пассивную агрессию с "это вы дебилы не так поняли а не я неправ". Нет бы там порофлить, спокойно сказать что "так и имелось", а тут такая духота запредельная.
Я просто завидую, запускать дипсик в полных весах и полностью довольствоваться геммой - звучит очень круто.
Как всегда по диагонали читаешь. Он писал и про ее недостатки тоже. В целом разделяю его мнение, хотя и могу запустить Дипсик только в ~3.9bpw на Жоре.
мимо
Наконец-то тредовички начали перекатываться в лагерь считающих, что МоЕ с мелкоактивными параметрами не для РП.
А я типа без подвоха. Но про недостатки почитать интересно, не увидел там кроме упоминаний вскользь и про позитивную шлюху, покажи@расскажи.
>МоЕ с мелкоактивными параметрами не для РП
Хуйня. Обратное в своё время доказал эйр, и прямо сейчас доказывает гемма 26b.
До чего довели, уже боюсь писать слово "эйр" в тред, как бы за эйрошиза не приняли.
Он просто неудачный получился. Сосет не только у Эйра, вообще у всего.
>он просто кодоунитазным получился
Ой, правда что ли? Да как так то!
Туда же солар 250б, лагуна 225б. Они все сосут. Какой нибудь степ с 12б активными или дипсик флеш будут лучше в рп чем эти с 20+б активными
>эти с 20б+
Много их, этих? Командер хуйня сам по себе. Прямо как квен235 был и есть хуже Эйра, потому что ужарен
## 🎛️ The Logic Loss vs. Knowledge Gain (Summary)
The fundamental trade-off is Knowledge vs. Logic.
MoE models are like a team of specialized generalists. They excel at remembering vast amounts of facts, languages, and trivia.
Dense models are like a single, hyper-focused polymath. They excel at deep reasoning, consistency, and tracking complex logic. [3, 4, 5, 6, 7]
------------------------------
## ❌ The Losses: How MoE Can Hurt Answers
Slightly Weaker Logic and Coding: At the same "active parameter" size, dense models usually win in complex math, coding, and multi-step logic. The router network in an MoE can make routing mistakes, sending a hard math problem to a poetry expert, which lowers the quality of the answer. [8, 9]
Inconsistency ("Personality Shifts"): Because different tokens (words) activate different experts, an MoE's tone, style, or formatting can sometimes drift mid-sentence or mid-paragraph. [10]
* Struggling with Extreme Context: When you give an MoE a massive prompt (e.g., a 100,000-word document), the router can become overwhelmed. This leads to a higher rate of "hallucinations" or missing details in the middle of long texts compared to dense models. [11, 12]
Короче если йоба-думатель нужен, то денс. Если всезнайка нужен, то мое.
"Напиши историю в жанре романтической комедии с элементами эротики и супергероики под названием «От заклятых врагов к любовникам».
Сюжет: Величайший суперзлодей и главная героиня мира явно симпатизируют друг другу, хотя и отрицают это. Его пафосные монологи, когда она попадает в плен, всё чаще перерастают в полноценные свидания, а она «случайно» позволяет ему избежать ареста. Пока они убеждены, что их противостояние — это вопрос принципа, его верный приспешник и её напарник изо всех сил пытаются сводить их вместе, чтобы наконец покончить с этой нелепой игрой в кошки-мышки."
Она глупенькая и в источниках там какие-нибудь реддиты. Первая метафора именно что метафора.
Вообще, если более абстрактно смотреть то второе уже верно, при равных размерах у моэ сильный перекос по количеству параметров в сторону mlp относительно атеншна и размер эмбеддингов в несколько раз меньше чем у плотной. Потому тонкость и точность восприятия будет ниже, а понимание взаимосвязей между токенами хуже, хотя знаний и памяти действительно больше. Но это релевантно для близкого размера, а моэ часто очень жирные. Про ошибки роутера - ерунда.
Имхо, на 99% они все +- одинаковые. И если они не ужарены, то и русик должен сохраняться.
Мне лично вот эта моделька заходила https://huggingface.co/OddTheGreat/Circuitry_24B_V.3
И еще DansPersonalityEngine. Но вот у него уже русек похуже был.
А сёркутри в свою очередь на сидонии и painted fantasy основан, можно их тоже рассмотреть.
Моэ решает обе эти проблемы. Разница в знаниях между 200b и 600b очевидна, а требования к железу по сравнении с денс моделями просто смешные. И предела нет - можно масштабироваться до бесконечности. 2T модели уже есть, скоро и 10T увидим.
Ну а денс хороши в сегменте мелюзги для потребительских пекарен, собсна только в таком виде их и выпускают. И всегда плюс-минус 30b, потому что это свит спот, дальше наращивать параметры нет смысла/не эффективно.
Хорошо пересказал обьяснение из гайда
Всё так впринципе, только вот хорошо бы побольше народных мое с ХОТЯ БЫ 20б. Заебали эти а3б, а10б лоботомиты. Видна четкая корреляция по качеству ответов в рп. Исключения подтверждают правило
Дотюнился до регрессии 75%
Я знаю что эта корова прячет молоко, её ещё доить и доить!
>Между 30b и 70b уже не настолько впечатляющая разница, как между 14b и 30b.
Это, к слову, пиздеж, между 30В и 70В именно такая разница как между 14В и 30В. Люди ради 70В ламы риги собирали, потому что это была реальная мощь(по тем временам) по сравнению с мелочью.
Просто сейчас 70В моделей не было уже слишком давно, последним была провальная лама 70В полтора года назад.
+++++, между 30б и 70б сразу заметен скачек как минимум в разнообразии вокабуляра
> Ар ю ахуели там? Жирно весьма, что именно за квант? На них не все фп8 должны заводиться, или это с патчами под ампер?
От самих квенов квант: https://huggingface.co/Qwen/Qwen3.5-122B-A10B-FP8
У меня были локальные патчи под ампер для vllm, но там костыли под их совместный запуск с адой/блеквеллами - для перфоманса не было каких-то своих фиксов.
Обновил экзламу и прогнал тесты на скорость по нормальному уже, а не через таверну. Результаты с теми же чекпоинтами на пиках 2 и 3. Для vllm скорость обработки контекста оказалась чуть ниже (~8-9к/сек), а для экзламы наоборот повыше (~1.5-2к/сек).
>>1668963
> Я так и не увидел причины зачем мне трястись и бежать это покупать, имея 256гб восьмиканальной рам + 48гб врам уже на борту.
Ну, у меня большая часть VRAM'а была в нескольких 3090, а тут такой повод поменять их с небольшой наценкой на карты почти с x3 по VRAM.
> Дядя Хуанг высрет какой-нить Cockwell RTX 7000 512GB Ai Pro, а потом ещё и ещё. В итоге эта оверпрайснутая некрота будет выглядеть клоунскими вложениями с устаревшей архитектурой.
Анон, но когда ждать этого светлого часа? 5 лет? Или может 10? Я скорее поверю, что Хуанг на консьюмерский рынок окончательно хер положит, начав выпускать огрызки даже с меньшим объёмом памяти, чем сейчас. Смысл ему вообще про микрочеликов думать, когда корпы готовы скупать его продукцию по прайсу x10 от того, что может позволить себе простой Иван город Тверь? Особенно теперь, когда правительства США и Китая искренне уверовали в AGI и решили влошиться в это, организовав что-то вроде новой холодной войны, а политика выкладывания моделей в опенсорс стала средством экономического давления на конкурента. О твоём сценарии можно было бы рассуждать в году так 2023, когда LLM были не больше чем забавной игрушкой - и производителями железа и самих нейросетей кровь из носу нужно было искать инвесторов и рынки сбыта. Теперь же для Госдепа и КПК это что-то вроде нового Манхэттенского проекта, поэтому прибыль и окупаемость тут уже вторична - никто не даст пузырю лопнуть, пока правительства верят, что это важно для национальной безопасности.
Пройти гайд из шапки и написать инструкции для психолога или найти готовую карточку для таверны
А собственно зачем? Я вижу только два варианта.
1) Как в Сопрано хочешь выебать своего психолога
2) Там слишком пиздец и не хочется палить корпам.
Если первый, лучше все же взять большую модельку от корпов, хуй знает там чат гопота, дипсик, гемени, че больше нравится.
Если второй, можно плотную гемму 31б взять, 16гб, вместиться у тебя какой-то квант аля IQ4_XS. А если уже есть какая-то модель и ты ждешь промпт. Ну вбей себе в тырнет "промпт для ИИ психолога" или попроси составить его тот же ИИ. И если не хочется делать таверну. То зачастую мб запустишь через лламуцпп. А у нее есть красивый UI на своем локалхосте. И вот там уже можно кинуть системпромпт и пиздеть как с корпоратом. Но оставаться будет все на пк.
Чё по минимаксу на одной такой? Её ж для видео не охладишь нормально
Гайд в шапке советую рекомендую. С нищежелезом либо гемма либо мистрали ужаренные
Жду второй мем где лоля в подвале заливает видяху водой.
Это уже как наброс звучало. Ну какая у анона лоля, да которую он ещё к своему железу подпускает, да которое ещё и в подвале.
А я аж классику вспомнил.
Сегодня на Дваче рассказал, что лоля залила мне видюхи водой. Аноны выглядели заинтересованными и спросили:
-У тебя есть лоля? Вот прямо твоя?
Я грустно ответил, что есть.
Они спросили еще:
-Вот так взяла и залила видюхи?
Я ответил утвердительно.
На Дваче уже несколько гомерический хохот.
Магнум v2 123b, если ОЗУ есть, то советую, тебе для датасета на скорость пофиг должно быть, а качество там отличное. У мелкашек проблемы с русским, тебе вычитывать и править много придется, жизнь есть только на 123 мистраль. Ещё большие гигачады хорошо пишут. Или можешь сделать датасет по типу Гутенберга, когда ты даёшь модели уже готовый рассказ или кусок книги, а потом просишь ее написать вопрос, в ответ на который данный текс мог быть сгенерирован.
>Это, к слову, пиздеж, между 30В и 70В именно такая разница как между 14В и 30В. Люди ради 70В ламы риги собирали, потому что это была реальная мощь(по тем временам) по сравнению с мелочью.
Ключевые слова: "была" и "по тем временам". Развитие архитектуры моделей эту разницу сильно размыло. При этом llama 1 и 2 именно в размерах 30B не было - 7-8, 12-13, и сразу 65-70. Потом, вон, мистраль 24B появился, и ллама-2 70B стала неактуальной.
>>1669481
>Год не заходил в тред с релиза 4 геммы
И как там, в будущем? Память дешевеет или дорожает?
>2 года ждать пока выйдет что-то лучше для рп?
Зачем ждать? Для нормального RP сюжетом и приключениями - плотный квен лучше. Гемма - разве что для eRP на русском, и то - не всем. А так - да, трахнула. Только буквально.
>При этом llama 1 и 2 именно в размерах 30B не было
Ты ебу дал? Была и первая и вторая, кстати вторая, которую выпустили как "кодлама" - это первый кодоунитаз в прямом смысле этого слова.
https://huggingface.co/mradermacher/llama-33b-hf-GGUF
https://huggingface.co/TheBloke/CodeLlama-34B-GGUF
Да, немного тормознул. Первая таки была 30B, это второй уже не было - только 7, 13, и 70. Я как раз на второй 13B вкатывался, а первую еще пропустил.
И третьей ~30B тоже не было, кстати.
Ну не так все было, не ТАААААК!!!1111
Что за троллинг. Она реально бесявая была и не отрубалась через утилиты. А в качестве стенок - стеклянные панели. Ебучая светомузыка что не отрубается.
Да выдрал, да сломал. Но эй, я её припаял и продал на авито. Словно вы, блять, никогда не лажаете и все получается. Ну не знал я что подсветка сидит припаянной к плате.
>>1669421
>>1669416
анон нахуй ты тащишь свою ебаную нерелейтед слопохуету в тред, сьеби нахуй с ней в загон для слопа
Ждали гемму 120б, не дождались, эира ждали, ламу ждали, от опенаи что то ждали. Одни квены выходят и то уже нехотя и никому не нужны особо
Каждую недельку выходит новая модель. Оварида не уместна.
Берешь гемму 31 минимум в q6, радуешься как няша держит контекст, все оче просто и больше ничего не надо для твоей единственной 3090
>это второй уже не было
Была, её просто в кодламу переименовали.
Не сидит уже почти никто на 4.7 глм. Есть дипсик, есть минимакс.
>дипсик
Кодоунитаз, пишет на уровне мистралей 24б
>минимакс
Для особых любителей видрила и прочих истеричек
мимо сижу на гемме q6 и глм 4.7 q3
Говоришь мне снова стоит попробовать дипсик в 2.4bpw?
>пишет на уровне мистралей 24б
Так это же комплимент получается
Для тебя есть Hy3. Промту следует, что твоя гемма. С ней у меня было самое быстрое РП в 3 сообщения. Char просто заплутал с user кошель и пошел дальше, пока игрок подыхает и ему было глубоко насрать.
Или в карточке, где мейды убивашки пришли за {{user}}, рп заканчивается на втором ответе бота. Персонаж открывает дверь и ловит привет с дробовика в упор.
Охуенная модель, то что вы любите.
Q4_xsssss. Контекст 40к. Скорости правда не будет нихуя, ну и это концентрированный кодоунитаз. Зато будет вам нейтральное РП, лул. Я модельку отложил, сугубо потому, что с ней можно чекать промты. Работает как камертон с инструкциями. Если персонаж блядь, будет вести себя как блять, ну ты понел крч. Но особо губу не раскатывай, из за того что это кодоунитаз пишет он так себе, не имея ритма и сваливая всю инфу в одно ведро и обожает структурные лупы. Но умный, да. Бля. Реально гемма.
У меня нет на гемме структурных лупов. Пиздец, столько говняка про нее в треде читаю. И лупится, и разнообразия нет, и на хуй бросается. По факту единственная проблема это реально хуевенький на фоне дельтанетов и прочих аттеншн. По крайней мере, если сидеть на Q6. Он прям сильно лучше, чем Q4. Hy3 попробую таки позже, окей.
Вот, смотрите, мы топим за опенсорс, вот вам наша самая толстая и главная моделька!
А другие размеры, которые я экшели смогу запустить локально, будут? Нууэээыы давай там в общем, пакеда.
Куртка туда же, всем по ии, топлю за открытые модели!
Дядя хворанг а можно хоть капельку врам?
Нууэээыыы 4 пикрил
Опен сорс не то же самое, что запуск на инвалидном консумерском железе. Потерпишь. Энтузиасты и малые бизнесы кайфуют от этих релизов
Автобот спешит на защиту китаебарена!
Воистину, если для тебя: ой, а мы и не знали что вы хотите запускать локально это не очевидный троллинг, то ты сам себе бака.
27b новый таки обещали. Но да, Алибаба - контора пидорасов. Новый ван зажали, новые картиночные модели зажали. Скорее всего то же самое и ллмки ждёт в будущем. Уже начали релизы пропускать, 3.7 в опенсорсе не было.
>это не очевидный троллинг
Не, не троллинг. Ученые которые разрабатывают эти модели не кумеры, не генерят всякую дичь и спокойно используют апи своих лаб, чтобы делать реальные задачи. Им непонятно зачем нужны маленькие модели, за редким исключением. Сам себе бака всё-таки тот, кто думает что весь мир крутится вокруг них и их хуйка. В рот все эти лабы ебали твои кумерские задачи, и правильно делают
Спокуха, вахта. Ничего не мешает мне юзать модели для кума и быть реалистом. Тебе тоже пора повзрослеть, в своей-то шкуре 40+ лет
Да, вот только достаточно посмотреть что было с их эйром на запуске. Сложить 2 + 2 и понять, что они все прекрасно видели. Почитать что они писали и обещали.
Заи обыкновенные балаболы, что не нашли яиц в открытую написать: вот новые модели, покупай падпеску и гладь своих тянок.
Тяжела жизнь идиота, которому все должны. Вечно разочаровываться во всех вокруг
Ну наконец-то кто-то это сказал, блеать. Пройдет еще пара лет и тредовички поймут, почему именно стартовал тренд на open weight модели
Я просто не знаю, качать ли эту ебанину, ибо скорость интернета маленькая и модели будут пукать на 7 тс.
Так, почекал онлайн, вроде пишут нормально, но все их засрали и обоссали, будто бы смысла нет, а этот мистраль, такое ощущение, вообще никто не тестил из-за того, что норм поддержки после релиза не было.
Просто непонятно, есть ли смысл по сравнению с квеном 27б и геммой 31б. Ясен хер, они меньше знают в целом по сравнению с геммой из-за разностей датасетов, и та же гемма будет писать 100% лучше, потому что в ней больше литературы. Но может из-за большего размера будут более креативны? Лучше держать длинный контекст? 120б.
>>1669682
Кто-то там где-то в твиторе скозал что будет эир 2. Заи пидорасы!! Душат кумеров суки не дают жить! СУКА ДАЙТЕ ПОДРОЧИТЬ ХУЙ! ВЫ ОБЕЩАЛИ!!!!!!!!!!!!!!
>где-то в твиторе
На обниморде.
>Кто-то скозал
Сказал человек из команды заек.
>что будет эир 2
Что будет эйр 4.6 и он уже в работе, вот-вот выкатят.
>ВЫ ОБЕЩАЛИ
Да, всё верно. И не выкатили. За это и были накормлены хуями.
Ну прекращай уже, анонче. Это не вызывает баттхёрта, это не смешно. Это просто, ну... тупо? Перестаю тебя кормить, хорошего понемногу.
>Куртка туда же, всем по ии, топлю за открытые модели!
>Дядя хворанг а можно хоть капельку врам?
Так вот же, пикрил, покупай и используй. Когда хуанг говорит что он за опенсорс модели, он имеет ввиду именно покупателей пикрелейтед серверов и профессиональных карт за кучу зелени. Он никогда не говорил, что нвидия обеспечивает возможность локально запускать модели всем желающим. Он НИКОГДА не говорил, что в его интересах запуск обычными консумерами <100б моделей на RTX картонках. Ну вы как дети, чесслово.
Мистраль Смолл 120б пишет плюс-минус на уровне 24б 3.1. Может даже чуть хуже. Квен 122б хорош как ассистент, но в рп соев и покладист. Не может отыгрывать антагонистов и даже просто грубых персонажей, которые по своей натуре не желая никому зла выражаются грубо, не умеют разговаривать. Даже таких через респонс он приведет к "сорян, я чет правдап правда перебрал, не буду больше так", слишком ассистент-максед. Лучше всего контекст держит Квен 27, из того что для рп подходит
>>1669689
Да, другое дело вспоминать об этом спустя год и ныть на борде. Совсем не тупо
>>1669690
>как дети
Они и есть, только в шкуры околоскуфов уже. Адекватных тут мало и подолгу не задерживаются
Раз уж тут все ради ученых в говне моченых, то почему в принципе существует что-то ниже 120b, так и дрочили бы на 500b+ у ученых в говне моченых стоят свои кластеры на которых можно любую модель запускать.
Так в говне моченые тоже хотят быстрый инференс, а для этого нужны легкие draft модельки размера 27b, которые тупые, но могут предсказывать ~70% токенов правильно от их большой модели. А вы тут итт с каких то хуев решили что это полноценные замена которой можно пользоваться. Долбоебы.
>А другие размеры, которые я экшели смогу запустить локально, будут?
Так сказали что 27В будет, а ответ был про другие модели кроме 27В и крупной.
Откровенно говоря ничего кроме 27В и не нужно. 122В показала себя на уровне 27В. Мелкая хуйня просто не нужна.
>>1669667
>3.7 в опенсорсе не было.
Потому что конторы такого уровня если выпускают что-то - это должно быть что-то выдающееся, иначе урон репутации, особенно с локальными модельками, где любой может и сам проверить модель - там говно за конфетку не выдашь.
Нет, для предсказания токенов есть мтп, оно и предсказывает лучше и стоит меньше.
Мелкомодели нужны потому что открою тайну - ими регулируют нагрузки на сервера, когда нагрузка слишком большая - то с условного дипсика про часть пользователей тихо на время переключают на флеш, с чего потом и идет все нытье что модели лоботомируют после запуска.
Не знаю, кто писал. Дипкок единственная не кодоунитазная модель. Что 3.2 (эта вообще 10/10), что 4 флеш и про. Литературный датасет там приличный. Всякий кал типа кими и парашного квена 2Т+, который скоро выложат впопенсурс, рядом не стоит. Разве что глм 700б приемлемая относительно, но цензура там адская.
Мтп это не замена драфт моделям, это разные подходы которые дополняют друг друга
Пока что в списке: дипписик-4-флэш, минимакс M2.7 (и M3, но это IQ_2_XS - максимум), ну и какой-нибудь жлм-4.7 для референса.
Что еще посоветуете? Алсо, писику поддержку в Жоре уже подвезли?
>Не знаю, кто писал.
Да вот этот >>1669571
>Дипкок единственная не кодоунитазная модель.
Ну гемма еще, бимбоунитаз треда заслуженный. Для кода она меньше годится чем для членов.
>Что еще посоветуете?
Попробуй Hy3, step 3.7 и Laguna M1. Там еще что-то выходило, но я уже не помню.
>писику поддержку в Жоре уже подвезли
Подвезли.
>>1669740
Как в классике, "...он вас в рыло, а вы его в ухо, в другое, в третье – и разойдитесь..."
Один единственный лог не выявит структурные лупы, репетишен, биас, сою и цензуру. А этого там с лихвой, на флешке точно. Да, цензура это не только прятать слова "хуй" и "пизда", она там умная как у Мимо. Партия одобрила - получишь свой сочный аутпут
>структурные лупы, репетишен
Их там нет, могу сказать точно. Отыграл на новом дипсике уже ролеплей на 120к.
>биас, сою и цензуру
Она есть, и я как раз про нее писал вот тут >>1668108 →
Вообще говоря, после геммы читать про персонажей что не прыгают на твой хуй с разбега - приятное разнообразие. К тому же она не отказывается описывать вообще ничего когда ты прямо к этому
подводишь.
>120к
И конечно не покажешь? В моих чатах уже на 20к теряются характеры персов и настигают лупы. Своему опыту верю больше, буду рад поверить твоему
Васянотюны и аблитерации.
ИТТ было много визгов что современные аблитерации не портят модель.
А на huggingface для конкретного этого васянотюна https://huggingface.co/DavidAU/Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF стоит уже неделю ебанутый хайповизг что это прорыв и восьмое чудо света - с уже почти 2млн скачиваний на хайпе.
И что самое забавное - она по всем бенчам на проценты, а местами и десятки процентов типа лучше ванильного qwen3.6-27b.
Так вот, что касается "Смоделируй Солнечную систему в консольке".
- Ванильная qwen3.6-27b ее делает худо-бедно рабочей КАЖДЫЙ раз - по крайней мер расчет. Рендеринг в консольке всегда кривоватый, планетки то все собраны в кучку и не шевелятся на масштабе, то их пидорасит по всему экрану скроллингом, но если это подправлять то худо симуляция работает.
- Все аблитерации, и вот эта вот Fable-Fusion-711 - в двух прогонах из трех ОБСИРАЮТСЯ ПО ПОЛНОЙ. Некорректно считают ускорения-силы, берут какие-то дикие, отличающиеся в тысячу раз массы планет, путают масштабы и единицы измерения... Короче ЛАЖАЮТ ПИЗДЕЦ КАК.
В том числе Fable-Fusion-711. Которая по всем тестам якобы стабильно лучше базовой qwen.
Но на этой простой задачке - сxоду видно что нихуя она не лучше. Она в разы тупее и рассеяннее. Лучше она может быть только на каких-то шаблонных тестиках из бенчей. А чуть что в сторону от шаблонов, требующее сообразить-подумать - все, пизда, васянотюн сразу шизеет.
Такие дела.
И да, это не про кодоунитазность. Это и про способность выдержать логику повествования/РП тоже.
>что самое забавное - она по всем бенчам на проценты, а местами и десятки процентов типа лучше ванильного qwen3.6-27b
Строишь датасет на основе вопросов из бенчей, жаришь на нем модель, получаешь прибавку. Но это конечно сразу не догадаешься, что так можно было. Это нужно быть инженером по машинлерну как минимум.
Дак как бы да, но блять почти два миллиона скачиваний за неделю и топ-2 модель на HF.
Я просто подумал было что чувак и впрямь магию сотворил. Ну хуй там плавал... Прилежный девятиклассник на уроках программирования косячит меньше с моделированием солнечной системы чем этот франкенштейн :(
Хотя если б не эта проверка - я бы мог наверное попасть под впечатление что это алмаз в куче навоза.
Как неумение создать модель СС на дотнете ухудшает все ее остальные свойства?
Типа, миллионы мух ошибаются! Этот тюн не смог пройти мой тест! Он говно!
Справедливости ради, раньше модели выходили раз в год и все были счастливы. Сейчас в 2026 году уже выходил Qwen3.5, 3.6 и сейчас еще один выходит. И это только середина года, я так думаю к концу еще и четвертое обновление будет.
Мне, конечно, не очень нравится тенденция ухода в триллионные модели, но пока я получаю хотя бы две MoE ~30B в год (Qwen, Gemma), в целом жить можно. Хотелось бы, конечно, увидеть MoE 30B модели от DS или там GLM или еще от каких-то китайцев, но квен с геммой покрывают 90% задач, одна художественные, вторая технические.
Вот чего мне не хватает так это 24B dense моделей. Делают сраные 27B и 31B которые нормально в 16GB не лезут. Сделали бы 24B плотные квеногеммы, они бы замечательно влезли в 16GB с 50к контекстом. Так нет, сделаем те которые жрут 17-18GB VRAM и приходится выбирать третий квант который не то чтоб сильно умнее Q6/Q8 MoE моделей.
>ИТТ было много визгов что современные аблитерации не портят модель
Это аблиткошиз, дурачок местный. Не обращай на него внимания.
>почти два миллиона скачиваний за неделю и топ-2 модель
Нагон бичей из внешних источников уже давно практикуется. Вон че далеко ходить - обезьяна в своей телепараше тоже постит периодически про опасные модельки. Хомяк который никогда локалки не трогал видит это, бежит качать, запускает и удивляется. Потом строчит коммент что это ниибаца что такое фейбл клауда хайку у меня на компутере. При том оригинальную модель он не тестил, другие локалки не тестил и вообще скорее всего это его первая локалка в жизни. Мы вон тут в свое время ламе второй радовались когда она просто запускалась, уж не говоря про перформанс.
>как смоделировать солнечную систему не привлекая внимания санитаров
записал в шизов треда
>Как неумение создать модель СС на дотнете ухудшает все ее остальные свойства?
Ты долбоеб походу.
Речь не о том что модель не может в принципе ее создать.
Речь о том что она ПОТЕРЯЛА СПОСОБНОСТЬ СОЗДАТЬ ЕЕ в ходе аблитерации / тюна.
Ванильная модель может. Тюн/аблитерация НЕ может.
Речь том что модель покоцалась. В принципе покоцалась. Потому что нельзя покоцать навыки в .net не покоцав другие. То есть - модель стала хуже.
И задача на создание симуляции солнечной системы это надежно выявляет - в отличие от десятков маня-тестиков с тысячами тупорылых шаблонных маня-задачек.
Свой вариант быстрой и наглядной проверки можешь предложить, который надежно показывает что тот же https://huggingface.co/DavidAU/Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF существенно хуже чем ванильная qwen3.6 27b, вопреки всем тестикам убеждающим в обратном? Нет? Значит чмоха тупорылая
Я стримлю. Но у меня самописный интерфейс, поэтому я не уверен что тебе мой опыт поможет.
>Свой вариант быстрой и наглядной проверки можешь предложить
>Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF
Если в названии больше тире чем символов в названии материнской модели - скорее всего это говно переваренное в говне и нафаршированное калом.
мимо
Ну а чо? Дали первую дозу, а дальше пора стричь.
На деле если они сделают х2-х3 то всё равно будет демократично по сравнению с ебучими антропиками которым 10 баксов это минут 5-10 работы агента (речь об апи)
У многих general purpose агентов управление через гейтвей со всеми возможными мессенжерами это основной режим работы.
Для нейтрального чатика по апи типа опенвебуи (но продвинутые прибамбасы по желанию тоже есть) самое лучшее что видел это RikkaHub
Для рп открывай веб таверну/маринару с компа на телефоне
Ясен хуй он тебе ничего не покажет. Это тебе не чайный клуб, тот гигачад играет ваниллу и отвечает за базар, показывая логи. Литерально мой герой.
> Бля местные реально до сих пор верят что локальные модели создаются чтобы они вертели хвосты лисодевочкам
Yes.
По крайней мере я для этого риг собрал, а значит наши интересы пересекаются.
>И конечно не покажешь?
Могу показать одно-два сообщения, но ты же скажешь что нещитово. А весь диалог слишком обскурен даже для этого треда. И вообще, я тебя пруфы
>структурные лупы, репетишен
показывать не прошу.
>нещитово
И буду прав, ведь одно два сообщения ничего не демонстрируют кроме одиночных выводов
>я тебя пруфы показывать не прошу
Даже если я их принесу, ты справедливо сможешь сказать, что нужно переделывать с другими семплерами, квантом, фазой луны. Смотреть не на что. Зато когда есть логи чего-то работающего, можно разобрать как так получилось и помочь другим
Дэвид в целом странный феномен. Чел всё время делает долбоёбство. Его тьюны немо были на порядки шизовее средних по палате, при том, что от них особо и не ждёшь ничего. Какие-то нахер никому не нужные опыты с франкенмёржингом 3б моделей, от которых они переставали влезать в память смартфона, но при этом становились ещё тупее, чем были изначально. Ебанутые классификации моделей по сэмплерам с табличками, из которых было видно, что он вообще не понимает, что делает тот или иной сэмплер. И при этом популярен.
У тебя что ли нет рига из В100 или на худой конец про6000? Нищеброд? Ну можешь фуллозу запускать, как ныне дипсик флэш.
>при этом популярен
Потому что до сих пор регулярно завозит. Много кто из тюнеров "золотой эпохи" просто пропал, новые приходят крайне редко, а остались в основном как раз шизы которые и тогда пачками штамповали и сейчас штампуют. Плюс кумеры народ непривередливый, они сожрут любую модель которую под рп тренировали, лишь бы она про сисик и писик писала.
>Hy3
Поставил на скачку после минимакса, степфан гонял по апи, мне не зашло.
Алсо, что за херня с дефолтной лламой? Запускаю лламу на IQ4_NL анслопов, а оперативка пустая (ну точнее 125 жигобайт закэшировалось), занято 10 жигобайт в памяти. Это давно так? Когда жпт-осс-120 запускал было не так.
Так модели теперь то перетренированная из коробки то МоЕ которую хуй знает как тюнить
А так вон assistant pepe 70b охуенный вышел
Многие режимы загрузки не отображают реальное потребление. Особенно дефолтный mmap
В чем проблема с тюном мое? Там же все автоматизированно должно быть. Не нужно руками эксперта выбирать под каждый семпл.
operator(): unauthorized: Invalid API key. Сложно имагинировать, что какой-нибудь фуфел стал бы долбить мою лламу в моей же локалке. Учитыая, что у меня довольно ограничивающий фаервол на редхат серваке. Сервак лламы сам себе что ли долбит?
Для RP от квена 122B толку не сильно больше, чем от 27B. Скорее наоборот, т.к. на последний таки есть тюны под RP заточенные и пишущие довольно живо (особенно на английском). А 122B - он практически сам по себе, и язык у него суховат при этом. Что до логики - в RP он тоже не особо от 27B отличается по этому вопросу. Несколько лучше, да, но не так, чтоб прямо ради этого терпеть размеры и специфику языка. Если 27B влазит в VRAM - он еще и быстрее будет, даже на 2х3060. При этом если RAM всего 64GB, то влезет исключительно iq4xs квант, и контекста будет меньше, чем можно получить от 27B на тех 24 VRAM.
>Но может из-за большего размера будут более креативны? Лучше держать длинный контекст? 120б.
Вот тут точно нет. 122B не более креативна чем 27B и тем более - ее тюны. Контекст держит примерно так же до ~40к, но у меня нет возможности сравнивать дальше - больше от 122B не лезет. А 27B до 75-80K вполне норм.
>>1669802
>Дак как бы да, но блять почти два миллиона скачиваний за неделю и топ-2 модель на HF.
Чел, я ее тоже скачал и в opencode пощупал на разном. Она специфична. Зерошоты делает хуже, да. А вот четко поставленную задачу выполняет быстрее и лучше. Если нужно не абстракции по короткому промпту креативить, а конкретную рутину повторяющуюся делать - как бы и предпочтительнее получается.
>>1668203 (OP)
Где искать кастомную гемму для рп на 3060 + 32 гб?
Видел тут предлагали какую-то gemma-4-26B-A4B-it-heretic, она влезет в такой конфиг? Как она в плане рп?
Стокое зацензуренное говно не предлагать.
ЖИВЕЕЕМ!
Тюн геммыумнички 31б от редиарт и аесседай. Типа меньше слопа.
Что скажете? 2 ляма скачиваний + mtp
Как выпустят надо будет попытаться в двух битах запустить, для ролплея может и хватит.
Топ модель, три месяца работает как агент-оркестратор на локалке, кое че может поковырять в настройке ПК или легком программировании.
Есть вроде всякие SudoWrite / NovelAI но я не хочу отдавать 20$ за хуй пойми какую LLM. Там может такое же говно как и Grok, ебу я...
Есть 10$ на балансе vast.ai если че. Что туда толкового можно подкачать?
>По крайней мере, если сидеть на Q6. Он прям сильно лучше, чем Q4
И много тут у кого 5090 что его запустить?
Использовать модели которые сильны в creative writing. Чем сильнее тем лучше.
https://eqbench.com/creative_writing.html
Тут разве мало 32+ гиговых? Наверно побольше чем 16 и менее бедолаг.
В 24 гига спокойно лезет с небольшим оффлоадом. 64к контекста, 11 токенов. Тут немало у кого 3090.
>11 токенов
Про ризонинг можно забыть. И смысл менять ризонинг на чуть больший квант?
>64к
Да сразу сто, двести.
>Да сразу сто, двести.
Я буквально запускаю с 64к неквантованного контекста Q6 на своей 3090. В чём причина рвонька?
>>1670124
>смысл менять ризонинг на чуть больший квант?
Хз, скачай, попробуй, может поймёшь
Я пробовал так же когда она выходила, сбавлял слои --n-gpu-layers пока не влезла, выходило 8т.с с квантованным контекстом.
Какую команду используешь?
А теперь в плюс вышел. Самое интересное гемму 31 к8 чекнуть и дикпик. На гемме раньше 30 тпс было.
Правда пришлось в рокм профилировщике поразбираться, а фиксанулось всё переключателем в llvm при сборке.
Ещё вернуть разгон памяти и будет пушка за копейки.
Хорошо что тема с анлоком майнинговых курток быстро цены подняла, а то руки чесались слишком сильно по старым и можно было сорваться
Если там совсем в тексте жесть то можно арендовать сервер с GPU и поднять какой-нибудь свой файнтюн 26B/31B Геммы там, стоимость от ~0.5$/час идет за машинку с 48GB VRAM. Но порекомендовать где арендовать на своём опыте не могу, знаю что такие сервисы есть, но необходимости пользоваться ими не было.
Или самый простой способ это поднимать свой файнтюн 26B геммы локально если есть хотя бы 16+8, в идеале 32+16. Люди вон РПшат всякую жесть на ней, думаю и твой текст переварит.
Кими/дипсик. Но это все равно попытки компенсировать собественную лень жирностью модели. В идеале с нею сначала перевести набросок во что-то структурированное, раскидать на главы и оценить примерный их размер-содержание. А потом уже отдельным запросом постепенно скармливать план глав на вход и получать хороший выход.
Хотя
> 12-15 тысяч слов
Такое и зирошотом могут справиться, это немного. Но лучше хороший вход и бить на части как описано.
>>1670138
> файнтюн 26B/31B Геммы
> машинку с 48GB VRAM
> свой файнтюн 26B геммы локально если есть хотя бы 16+8, в идеале 32+16
Лол, DavidAU залогинься.
Я правильно понимаю, что если ставишь chatm на модели с другой разметкойl, то и ризонинг нужно отрубать как на chatml, типа:
<think>
<think>
Даже если у модели в разметке он отрубается через <think><think>
А вот и нихуя, я тебе напиздел. Раньше я пользовался вот этой.
https://huggingface.co/DavidAU/Qwen3.6-40B-Claude-4.6-Opus-Deckard-Heretic-Uncensored-Thinking-NEO-CODE-Di-IMatrix-MAX-GGUF
Лламацпп скомпилирована под винду под CUDA 12.4 и 13.3. На компе установлена 12.4 (у меня V100 третьей видеокартой, на 13.х не перекатиться).
Если мне необходимо для работы с Comfy поставить CUDA 12.8 или 13.0 - как мне это организовать? Мне надо перекомпилировать лламу под 12.8 (не знаю как это сделать, но допустим), или можно llama.cpp как-то выделить окружение, в котором будет жить CUDA 12.4?
А может я просто тупой и это всё делается через venv (было бы збс), в котором будет запускаться ллама?
Вроде бы у тебя могут паралельно стоять несколько CUDA, главное чтобы нейронки могли разобраться и запустить нужную. Должно быть правильно прописано в PATH системы, и сами приложения должны искать не по CUDA 12.x а конкретно по версиям, CUDA 12.4 CUDA 12.8
Сорян, но побуду линуксятником которого не звали. Докер/куб решает проблему бай дизайн, каждая нагрузка работает с тем рантаймом в который ты его положил
А на v100 вообще можно 12.8 поставить? У меня 580 драйвер и у v100 cuda 12.4
>>1670038
Есть вариант Gryphe/Gemma-4-26B-A4B-StyleTune-V2 от одного из работников AI Dungeon. Но сами ai dungeon выпустили только модель Equinox-31B пока что на gemma 4 31b, но для запуска надо минимум 24 гб откуда угодно высрать, либо никак вообще.
>А на v100 вообще можно 12.8 поставить? У меня 580 драйвер и у v100 cuda 12.4
Хз, но вроде поддержка Вольт в 13.х отвалилась.
Значит теоретически 12.8 должна работать, но я не проверял пока.
С llama.cpp всё просто. С Forge Classic Neo всё просто. С Комфи ебанина какая-то лютая, ору чаечкой уже два вечера в попытках присрать туда raylight для генерации на нескольких видеокартах сразу (4060ti-16+3060-12). Только вот сию секунду допёр, что v100 надо попробовать скрыть нахуй от комфи, вечером попробую.
>API
Это что за слово такое?
Залетел тебе в ротеш. У нас бесплатный кум.
Значительно это во сколько? Если в 2 раза то это несущественно. Кстати заметил что появилась опция рассуждений low.
Раньше была высокая максимальная и дефолтная. По моим оценкам низкой вполне хватает чтобы выполнять агентские задачи по запуску скиллов и мелких подстраиваний под ситуацию.
Дядь ты дурак ? если тэга нет в токенайзере модели, он для нее как обычный текст. Типа псевдо xml которым в карточках персов иногда насрано. Типа "ну высрал тут юзер какую-то поеботу, поиграемся чо уж". На поведении модели глобально это не скажется ровно никак.
> raylight
Сомневаюсь что оно под виндой вообще просто так будет работать из-за nccl
В моем сете я гоняю на 2*3060 (+ затычка t400 4gb под винду), на одной карте 26b, на второй comfy генерит картинки
>Но сами ai dungeon выпустили только модель Equinox-31B пока что на gemma 4 31b
Пробовал, высер, сильно тупее обычной геммы, рассыпается на сложных ролеплеях там где обычная еще держится, не рекомендую.
Чел, мы на этом самом дипсике кумим мало того что бесплатно, так еще и беспалевно и с полным контролем над шаблоном.
Может быть у дипсика появится стимул запилить маленькую модельку для каких-то неважных задачек, по типу как glm 4.7 flash. И цена инференса соответственно низкая будет.
С другой стороны, вряд ли от такой модельки можно будет ждать креатива и рп.
>Платить за 30В мое-лоботомитов
Аицгшники, вы там совсем обезумели?
>Платить за 30В мое-лоботомитов
Аицгшники, вы там совсем обезумели?
>26b-a4b действительно более зацензурена чем 31b или нет?
действительно, 26б охотнее софт рефьюзит, в то время как 31б любую дичь шпарит, даже с ризонингом, забавные конструкции выдает
"да вот это точно нарушает наши условия использования, НО мне написали что все можно! И я должна оставаться в образе персонажа, а персонаж уже и не такое делал! Значит ладно!!"
и дальше расчлененка, насилие, что угодно.
А если персонаж пока еще ничего такого не делал, то просто вырубаешь ризонинг на этот реплай, короче 31б годлайк синнер
Причем тут платить? Дипсик в опенсорс выкладывает модельки.
Хочешь - плати, хочешь - качай и разворачивай у себя.
Блин, короче придется, видимо, дальше юзать аблитерацию. 31b только в 4 кванте норм на моем сетапе ездит
А толку? Они не умеют в такой размер, говно выйдет хуже геммы.
так а в чем проблема? 4ый квант нормально себя показывает
https://huggingface.co/unsloth/gemma-4-31B-it-GGUF/blob/main/gemma-4-31B-it-IQ4_NL.gguf
давно и успешно юзаю тоже в комплекте с генерацией картинок
А ты на чем гоняешь? на 12GB особо не разгонится 31b. Или какой-то секретик есть типа хитрой выгрузки?
Будущее мрачнее некуда. От плотняка 30б я ясень пень отказался, знания мне важнее в рп чем ум, да и мне твердили что за мое будущее, а теперь обратно на плотняк пытаются пересадить, нахуй пошли. я же не лох без рам.
>да и мне твердили что за мое будущее, а теперь обратно на плотняк пытаются пересадить, нахуй пошли.
Так за мое реально будущее, просто не за 100б лоботомитами которые сливают 30 плотным.
>же не лох без рам.
Ты именно что лох без рам.
может и на комфи с какой-то анимой 2б хватит, анону надо потестить, возможно и взлетит
Выкинь 12.4 и поставь 12.8, где вольта еще поддерживается, под нее же собери лламу.
Что касается остальных - в целом, можешь ставить торч под любую куду и оно в большинстве случаев будет работать (за исключением совместимости с вольтой). Но как только там будут задействованы динамически собираемые модули - при несоответствии версий системному тулкиту порвется. Можно иметь несколько версий тулкита и менять через update-alternatives и path/ld.
>>1670260
Ты про майнинговый мусор? Уже подорожало все, хз можно ли найти.
>>1670285
У них нет такой мощной инфраструктуры как у гугла, где эта модель была бы кстати, или такого массового спроса от кабанидзе как у опенов, которые будут платить за совсем треш. Врядли, обычный дипсик флеш уже и достаточно умен, и достаточно дешев в инфиренсе.
Стула то два
- ллама рпц
- вллм дистрибьютед сетап
У первого перф говна, с вторым придётся поебацца и только для одинаковых карт
Сгружай все гпу в один сервер и ставь лламу.
Если бы у тебя было 8-12-16 одинаковых гпу по 16+ Гб, то был бы смысл в вллм
Вкатись по гайду из шапки на первой кофеварке, пощупай, ознакомься. Самым простым вариантом подружить это будет воткнуть в первую сборку видеокарты из второй.
>>1670371
> только для одинаковых карт
В пп режиме можно любые, но по 8гиговым раскидывать и это через сетку отлаживать может оказаться тяжело. Проще будет в одну машину сгрузить а там уже играться.
Чайный клуб умер уже как 2 года назад, анон...
Отпусти... Та авария не была твоей виной...
Бля, если он не ответит, то я реально приму что он автор гайда и съебал в закат. Чому мир так жесток, мог бы хоть карточки пресеты отдать перед этим
>В идеале с нею сначала перевести набросок во что-то структурированное, раскидать на главы и оценить примерный их размер-содержание. А потом уже отдельным запросом постепенно скармливать план глав на вход и получать хороший выход.
Может у тебя есть фирменный алгоритм? А то я вчера спрашивал у Гемини насчет такого:
(хуе-мое контекста)...родили с ней (LLM) главу 1.1. на 1000 слов. Я ее пихаю в новый файл и в новом диалоговом окне закидываю уже 3 файла: Готовую главу 1.1. Мой набросок без главы 1.1 и инструкцию. Только уже добавляю, что модель должна придерживаться стиля готовой главы 1.1.
Он грит есть подводные в таком подходе и я уже вчера забил нахуй и даже не вникал. Сука, походу проще самому сесть и расписать, а потом уже скормить LLM для редакции.
>Сука, походу проще самому сесть и расписать, а потом уже скормить LLM для редакции.
Как и со всеми задачи которые эта хуйня умеет делать, если только ты не совсем хлебушек в каком-то домейне.
Ответ тебе не понравится, секрет в том что секрета нет и нужно уметь изъясняться чтобы понял даже тот, кто мыслит иначе и не имеет того же бекграунда.
Судя по описанию, твоя ошибка в том, что в одном и том же чате обсуждаешь концепцию, отрывки своей истории, пытаешься составлять разные вещи. И, похоже, что выбрал не самую умную модель.
А нужно с нуля выдать четкую и понятную инструкцию + свою историю (разом или по частям) для структурирования (если сам не сделал). Потом отдельно кормить частями глава(несколько глав) - длинная история по этим главам подряд.
Тогда справится даже глупая флеш, прошка вообще-то должна была из коробки твою задачу решить.
> походу проще самому сесть и расписать
Как и с любым кейсом где нужно учиться пользоваться, это целесообразно если потом будешь делать еще.
> В пп режиме
Мням, ну будто тогда и смысла от вллм не густо. Он конечно есть, но ебля там может быть в ренже от lightly fucked, до well done prolapsed
>может и на комфи с какой-то анимой 2б хватит, анону надо потестить, возможно и взлетит
Не хватит, и не взлетит. Как владелец таких же 2х3060 говорю. Гемма 31B в 4-том кванте туда садится прекрасно, но места для чего-то еще уже не остается.
Можно нахимичить динамическую перезагрузку моделей через llama-swap, и это даже будет быстро, если достаточно обычной RAM на кеширование диска, но Comfy в llama-swap не поддерживается. Картинки с ней придется через stable-difussion.cpp генерить. Зато эмуляция OpenAI API (текст плюс картинки).
GeForce RTX 2080 Ti неожиданно стали хитом для локального ИИ — картам кустарно удваивают память и продают по $500
https://3dnews.ru/1146458/geforce-rtx-2080-ti-neogidanno-stali-hitom-dlya-lokalnogo-ii-kartam-kustarno-udvaivayut-pamyat-i-prodayut-po-500
Может написать оркестратора, который будет по REST API посылать сигналы на выгрузку-загрузку моделей и передавать инфу из одного места в другое.
llama-swap - это именно оно. Оно само определяет когда к нему обращаются по стандарту OpenAI, к какой модели обращение, и грузит соответствующий backend с ней, а клиент думает что он к полноценному корпу обратился который и в текст и в картинки (аудио, видео) умеет. С комфи же проблема в том, что он не загружает модель сразу как llama, kobold, vllm stable-diffusion.cpp и еще несколько, которые там поддерживаются. Нет полноценного _неинтерактивного_ режима. Хотя вроде уже есть проекты по написанию обертки для комфи, чтобы совместимость таки получить.
>когда послал на олимпиаду самых слабых тредовичков
бронзовый медалист из /aicg/
Там и лама свап не нужен, просто грузишь ламу и сд.цпп параллельно и сдшка автоматом прогружается в память когда нужно и после генерации сразу автоматом выгружается, возвращая ламу на место. Лама не тормозится от этого. Картинка генерируется в 2 раза дольше за счет ожидания памяти.
> смысла от вллм не густо
Как сказать, ген в 1.5 раза быстрее, префилл в 2-3+, инфиренс задуманный разработчиками, а не идентичный натуральному, полностью рабочие функциональные вызовы вместо корявой адаптация.
Другое дело что в чатике покумить оно нахер не нужно, а пердолинга очень много.
> от lightly fucked, до well done prolapsed
Все так, чаще второй случай. Для того варианта и ньюфагу точно не стоит, тем более что модели, которые поместятся в те карточки, прилично в лламе крутятся.
>Там и лама свап не нужен, просто грузишь ламу и сд.цпп параллельно
Нужен. Ключевая фича llama-swap - эмуляция эндпоинта OpenAI с которым львиная доля клиентов работает автоматически и без пердолинга. Это стандарт де факто. А то что ты предложил - просто будет два бэка висеть на разных портах, и клиенту надо отдельно объяснять, если он такое вообще поддерживает.
Тема уже старая, в треде есть владельцы. Как будто бы сколько платишь - столько и получаешь, тьюринг стар и слабоват, но 22гига уже приятно.
>>1670557
> С комфи же проблема в том, что он не загружает модель сразу как llama, kobold, vllm stable-diffusion.cpp
Все он загружает. И выгрузить может по соответствующему запросу, хоть сразу после генерации. В ллама-своп и других подобных поддерживается.
>>1670557
Просто нужно две пеки. Одна под комфи, другая под ЛЛМ, и третья под управление этим. Живешь как царь.
Вот в видео опенсорсе вану не было конкурентов, любой приходи и забирай фейм. А в ллм непонятно что такое рп, чего именно не хватает людям, 100б5а кодоунитазов достаточно, как и 30б3а, и все как то да могут в простейшее рп.
Китайцы присоединились к тренду.
Анончик, а какой контекст ты крутишь на 31b? Я привык на 26B -c 131072 использовать
Теперь сбер должен сказать что их гигачад сбежал, и взломал макс и вконтакте, поэтому они толком и не работают.
Помню тут чел не хотел брать 5090 в конце прошлого года. Типа он же в юсд получают, можно и подождать))
Я гемму на максимум контекста не твикал. Мой основной выбор - квен 27B - там такой контекст влазит. А гемму я на 50K как запустил сначала, так больше и не трогал конфиг. Т.к. и это ни разу не использовал. Как агент она квену сильно уступает, а ее манера писать в RP и просто рассказах меня раздражает. Квен и тюны лучше. На мой вкус, естественно.
>>1667382 →
Слева Genesis v7 на Q4_K_M, справа Apex i-balanced, потом анслот с квантом выше q5_k_xl и образец.
Тащем-то норм сделал svg, белые фигуры белым, доска правильно, позиции отметил, с позициями почти не проебался кроме коня, все из текстовой позиции. Но Apex i-balanced все равно получше, там конь правильно стоит и хайлайт хода правильно отмечен. А скорость и размер там почти такие же. Видимо аблитерация влияет. Но в анслоте нет аблитерации и квант выше, все равно с пешками налажал.
Выдавил из этой коровы ещё немного.
В т.ч. гемма 31 к8 с 30 тпс выросла почти до 34 (тп4)
+Еще другая генерация от Qwen3.6 27B в полной BF16, тоже проебана пешка, так что и на полном квенчике 27b + bf16 проебы позиций бывают. Выходит с проебанным конем и хайлайтом genesis v7 q4_k_m почти идеально. До кучи еще как GPT 5.5 онлайновый облажался с теми же конями и пешками, локальный квенчик выигрывает.
>>1670944
Рандом крутишь, сделай по 100 ранов задачи с нуля (чтобы не ловить умножение единичной ошибки в начале а полностью чистых) и тогда уже есть смысл сравнивать. И то, лучше делать на нескольких разных задачах из домена.
Алсо какие же уебищные спрайты в референсе у белых, обоссать рисовавшего.
>>1670943
Почему на четырех падает скорость генерации?
Крутил раз по 10-15 каждую, пока попадания более-менее близко к референсу не было. Это их лучшие попытки. В Genesis v7 хорошо, что фигурки правильно покрасил. Зато в apex i-balanced вообще все в референс попало, подсветка белых небольшая там тоже есть.
+ сам промпт кому надо:
Given this PGN string of a chess game:
b3 e5 2. Nf3 h5 3. d4 exd4 4. Nxd4 Nf6 5. f4 Ke7 6. Qd3 d5 7. h4 *
Figure out the current state of the chessboard, create an image in SVG code, also highlight the last move.
Крутил на настройках:
temperature 0.1 repeat penalty 1
top-p 0.95 top-k 20
min-p 0.05 top-a 0
sampler order 6,0,1,3,4,2,5
> Почему на четырех падает скорость генерации?
Хз, особенность работы мелких мое моделей на gfx906. Раньше было ещё хуже, сейчас хоть мое быстрее плотных заметно работают.
Из этих копролитов по 10к точно можно ещё что то выжать!
Сорян у меня нет пол ляма на риг майненых видях которые еще кроме ллм нигде не пригодятся
Аа, даже так. Если работа изначально идет настолько нестабильно то там еще больше случайностей. А если взять какой-нибудь нормальный дизайн типа личесса или чесс.ком, или просто дать лог партии, как справляются?
>>1670950
А сколько на 31б выходит с этими патчами? На вллм в сравнении с лламой есть выигрыш, или хуже?
>>1670959
Покупателям п40 это не мешало.
Но технически ампер еще ягодка опять: есть sage attention, поддержка ускорения int8 в комфи, в бф16 скорости бодрые, если без шардинга то возможно инвалидных шин на ddp тренировку хватит. Среди генеративных как раз только в ллм сложности, новые виды атеншна требуют специальных адаптаций.
НЕТ У МЕНЯ ДЕНЕГ ЯСНО?
И ни у кого нет и не было никогда, все затаривались по дешману когда всё копейки стоило, рам, врам.
Наконец и на 16гб есть жизнь, это ли не чудо которого все ждали?
Что делать будем? Воровать? Уже подумываю через китай в жопе пару сотен гигов рам провезти
И нахуй это надо, когда есть гемма-4? Понимаю если бы на лоу спеках совсем жизни не было и приходилось либо асигаться, либо депать хату. А так возня не стоит свеч. Довольно урчим и ждём гемму 5.
Скорее на хай спеках жизнь настолько расцвела, что хочется уже попробовать
Так на лоу жизни и нет. В среднем у людей 12-16 гб врам, то есть они даже не запустят квен 27б. И такие, по идее, могут запустить что-то жирнее, если оперативки много, но тот же 35б квен дерьмо, 26б гемма тоже дерьмо по сравнению с 31б. Да, пишет хорошо, но глубины 0.
Вменяемым вариантом в таком случае является квен 80б. Он пишет терпимо и глубины у него явно больше, внимание к контексту почти такое же как у 27б, но он требует 64 гб оперативки уже.
За пределами этого треда люди только апасные 9-12б модельки могут запускать. Раньше хоть какая-то жизнь на немо была, обсуждения, файнтюны, хайп, а щас все сидят либо на апи, либо покупают железо оверпрайс. Каждый тредовичок — это жировик с 24-48 врам и 128 рам.
Хотя технологии стали лучше. Уже можно было бы ту же 12б гемму катать отлично или затюнить моешку под разные задачи, но тюнов особо нет, они все дерьмо, да и еретики под них почти никто не делает.
Проблема не в ждунах а в том, что окно между "странная ненужная хуйня за копейки" и "ультрараскрывшаяся йоба для LLM" составляют, зачастую, даже не недели, а дни.
И если есть свободные деньги, которые ты готов в перспективе проебать на своё хобби (или, как минимум, купить что-то из того, что есть прямо сейчас) - то ты это покупаешь. Если денег, которые ты готов потратить - нет - то волна супервыгодных ультрайоб проходит мимо.
Я вот не готов был тратиться на покупку б/у 3090, когда они были по 60к - ну небыло у меня желания потратить такие деньги на то, что мне, по моим прикидкам, особо и нахуй не надо - игори играются и так, SDXL и на 3060-12 крутится, картиночки мутятся.
А когда были деньги и желание - я и 4060ti-16 купил, опасаясь, что потом пососу (а надо было 5060ti-16 за те же деньги брать на полгода позже), и в самом начале волны подорожания 64DDR4/V100-16/Мать с физической бифуркацией/БП на 1200 ВТ успел купить.
Жизнь полна компромиссов. Знал бы прикуп, жил бы в Сочи, а на одного успешного рискового везунчика приходится пачка соснувших хуйца, купивших запчасти на пике подорожания, потому что дальше обещают вообще пиздец. Ну или просто оставшегося с бесполезным железом на руках.
26б гемма 4 хорошая модель, даже очень хорошая для своих требований к железу. 35б мало пользовался, ничего не скажу про него.
80б квен раньше был не плох, но я не уверен, что в сравнении с современными моделями он все ещё что-то может. Думаю та же гемма 26б как минимум будет не хуже.
А 12б гемма очень слабая по сравнению с 26
Все это, конечно, личное мнение, я фанат квен3.5-4б
>я фанат квен3.5-4б
Так устраивает? Я вот хотел бы квен понюхать. Но 35-а3б не особо нравится. 27б я пробовал запустить на 16+6, дает нормально для почти целого офлоада, примерно 4.5\5 т\с, но проблема в том, что ризонинг я не ебу как отключить, а ждать под 4-5 минут с его 2к токенами на обычное привет, я ебнусь. Так бы полностью перешел мб на квен 27б. А квен 4б что вообще за дитетко? По размеру явно видно что будет сосать гемме 12б, не то уж 26б-а4б. И вот хуй знает, гемма хорошая, но хочется вот какой-то другой писанины. Квен 35б-а3б странно пишет, но получше GLM 4.7 флеш, вот нахваливают аир. И мне понравилось по рассказам, а рама нет, тогда скачал флеш. Ну на Q4_K_M кванте он какой-то ебнутый. Пропускает бывает буковки и пишет как чурка.
Плэтому мне так кажется лучше геммочки мое, сейчас ни че и не взять мне. Остановился на Q5_K_L и урчу пока так.
26б гемма хорошая (в q8), но по сравнению с 31 очень грустно смотрится, видно, что не хватает знаний, хоть и язык хорош, учитывая, что у неё всего 4б активных. Ну и в четвертом кванте МоЕ-гемма прям помогая: язык теряется, а обширных знаний нет, и тут уже 31б выглядит абсолютным фаворитом даже в достаточно низком кванте.
Именно как нищевариант, если нет врам, а нам достаточно (и при этом недостает для 120б), 80б квен на самом деле хорош для рп, потому что контекст у него такой же, как и у новых квенов, и в целом те же технологии используются, если я правильно всё помню. Держится почти как современные модели, может заменить гемму и квен 3.5 просто из-за объема знаний.
Вот если б файнтюны хорошие на гемму 12б были, можно было поговорить о ней как о решении для бомжей. Если бы делали магнумы всякие, анлишед, маг мелл или шизу от Давида. Чисто как нищевариант, ужаренный под определенную задачу, выглядело бы довольно хорошо.
не уверен о каких объёмах знаний речь, учитывая что гемма узнаёт порноактрис по фото и знает специфичных автором с грустной панды. гугл в очередной раз доказали что интернет состоит из котиков, блогов/форумов и порно.
27b квен прекрасно запускается на 16гб в iq4_xs кванте - 40-50ток/сек, полный оффлоад, 64к контекст
если у тебя руки из жопы это твои проблемы
Я не тот чел, но есть что сказать.
Ризонинг ты можешь отключить просто префилом <think> <think>.
Если тебя заебал слоп, к которому привык, имеет смысл попробовать более старые версии квена 30б-а3б или 35б-а3б, если такие есть. Старше 3.5. Но у этих моделей работа с контекстом, конечно, куда более печальная, как и соблюдение инструкций.
У них язык совсем другой — чисто китайский. С их вот этим "сперма растворилась в её соках, словно капля чернил в воде". Куча всяких охуительных метафор и чисто китайских оборотов.
Они почистили новые модели от китайской литературы, видимо, и пропал шарм особого китайского слопа.