Финна настройка на модела Google's Gemma-3-4B-IT с MLX_LM и подготовката му за Ollama

Финното настройване на големи езикови модели (LLMs) става все по-достъпно благодарение на инструменти като MLX-LM, който е оптимизиран за Apple Silicon. В тази статия ще направим финна настройка на базовия модел Google Gemma-3-4B-IT с помощта на персонализиран датасет, сливане на адаптерите и конвертиране на резултата във формат GGUF за използване с Ollama. Ще разгледаме основните стъпки: изтегляне на базовия модел, финна настройка, сливане, работа с токенайзера, конвертиране към GGUF и конфигуриране на Modelfile за Ollama. Предварителните условия включват Mac от M-серията, инсталиран MLX_LM, регистрация в Hugging Face и Llama.cpp за етапа на конвертиране. Да започваме! Стъпка 1: Изтегляне на базовия модел от Hugging Face Преди да можете да настроите модела, трябва да изтеглите базовия Google Gemma-3-4B-IT модел от Hugging Face. Имайте предвид, че Gemma моделите са с ограничен достъп, което означава, че трябва да приемете лицензионните условия на страницата на модела (https://huggingfa...
Публикуване на коментар

Безценно

Лекар казва на пациент:
"Джо, добрата новина е, че имам лек за главоболието ти.
Лошата новина е, че ще е необходима кастрация.
Имаш много рядко заболяване, което кара тестисите ти да притискат гръбначния ти стълб
и това причинява адско главоболие.
Единственият начин главоболието да спре, е да премахнем тестисите."
Джо беше изненадан и депресиран. Чудеше се дали има за какво да живее.
Нямаше друг избор освен да отиде под ножа.
Когато напусна болницата, главоболието спря за първи път от 20 години, но Джо имаше чувството,
че му липсва нещо много важно. Както си вървеше изведнъж осъзна, че сега той е друг човек.
Можеше да сложи ново начало и да заживее нов живот.
Той видя магазин за мъжко облекло и си помисли: "Ето какво ми трябва - нов костюм." Той влезе в магазина
и каза на продавача: "Искам нов костюм."
Продавачът, който бил по-възрастен, го измерил с поглед и казал: "Да видим... 44-ти размер."
Джо се засмя: "Точно тоака! Как познахте?"
"В бизнеса съм от 60 години!", отговорил продавачът.
Джо премерил костюмът, паснал му идеално.
Докато Джо се възхищавал на себе си в огледалото, продавачът попитал: "А какво ще кажете за нова риза?"
Джо помислил за малко и казал: "Добре."
Продавачът го измерил с поглед още веднъж и казал: "Да видим, ръкав 34 и врат 16-1/2."
Джо бил изненадан: "Точно тоака! Как познахте?"
"В бизнеса съм от 60 години."
Джо пробвал ризата, стояла му перфектно.
Тогава продавачът го попитал: "А какво ще кажете за ново бельо?"
Джо помислил за малко и казал: "Добре."
Продавачът казал: "Да видим, размер 36."
Джо: "Ха! Ето че сбъркахте, аз нося 34 от 18 годишен!
Продавачът поклати глава и каза: "Не можете да носите белъо размер 34. То ще притисне тестисите ви
към гръбначния стълб и ще ви причини адско главоболие."

Нов костюм - $400
Нова риза - $36
Ново бельо - $6
Второ мнение - безценно

От www.kafence.com

Коментари

Публикуване на коментар

Популярни публикации от този блог

Поддръжка и настройка на хидрофор

Изображение
Целта на поста е да обясни с прости думи и визуализации как да установите дали хидрофора ви е настроен правилно и да ви даде насоки как да го настройте ако не е. Също така ще опиша чести повреди, както и съвет как да ги поправите. Хидрофора е изключително проста система. От едната страна идва приток на вода от другата страна излиза под по-голямо налягане, точно като водна помпа ако пренебрегнем налягането. Като добавим към водната помпа разширителен съд (не съм сигурен дали това е точният термин) и пресостат и имаме завършен хидрофор. Във вътрешността на разширителният съд има мембрана. Може да си я представите като гумена топка, с автомобилен фитил който се показва извън разширителното тяло и служи за премерване на налягането в мембраната. Хидрофора работи като мембраната е надута до определено налягане, а водната помпа нагнетява вода в останалото пространство в разширителният съд до зададеното максимум налягане в работният диапазон, след което спира работа. Това е принципа на работа ...
Прочетете още

Родопски диалектни думи

--> Първата седмица на месец май изкарахме почивайки в село Давидково. Малко китно селце в Родопите (любимите ми планини). От доста време обикалям по тези места, но досега не бях чувал родопския диалект. Този път ми се отдаде тази възможност. Оказа се, че човек трябва да се позапознае за доста от думите, за да разбере смисъла на това което му говорят, а и за да се избегнат недоразумения. Например думата "копеле" няма негативен смисъл ами означава момче или пък "опишкал съм се", което ще рече убол съм се, а не напикал съм се. Впечатление ми направи и факта, че има много разновидности за думата "много", ето ги и тях поне тези които знам: еце, букадър, шукадър, дерин. Ето и още един израз за района: "Ищеш ли кукуди в гюся", което ще рече Искаш ли юмруци в гърдите, местна заплаха за саморазправа;) По-надолу ще направя един кратък речник на думите които чух там. Сигурно това няма да е пълния списък, но смятам и занапред да записвам каквото чуя...
Прочетете още

Памук заседнал в ухото

Какво да направите ако чистейки ушите си памука заседне в ухото ви? Ако има лекар наблизо или спешен център е препоръчително да отидете и памука да бъде отстранен от доктор. На пръв поглед изглежда дребно и незначително събитие, но последствията могат да бъдат доста сериозни. В случай, че не почистите ушния канал напълно, инфекция е напълно възможна, а в най-лошия случай и загуба на слух. Ако няма лекар наблизо и трябва да се оправяте сами, както ми се случи на мен, ето какво може да направите: Намерете някаква клечка било то кибритена или за зъби. Счупете края и я сдъвчете хубаво докато не стане като метличка. След това внимателно я вкарайте в ушния си канал като я въртите през това време. Сдъвкания край с твърдите си влакна ще закачи влакната на памука, като по този начин памука ще се навие около клечката. Когато усетите, че памука се е закрепил за клечката издърпайте. Бъдете много внимателни когато вкарвате клечката в ухото си да не упражните голям натиск върху тъпанчето. Ако по н...
Прочетете още