Финна настройка на модела Google's Gemma-3-4B-IT с MLX_LM и подготовката му за Ollama

Финното настройване на големи езикови модели (LLMs) става все по-достъпно благодарение на инструменти като MLX-LM, който е оптимизиран за Apple Silicon. В тази статия ще направим финна настройка на базовия модел Google Gemma-3-4B-IT с помощта на персонализиран датасет, сливане на адаптерите и конвертиране на резултата във формат GGUF за използване с Ollama. Ще разгледаме основните стъпки: изтегляне на базовия модел, финна настройка, сливане, работа с токенайзера, конвертиране към GGUF и конфигуриране на Modelfile за Ollama. Предварителните условия включват Mac от M-серията, инсталиран MLX_LM, регистрация в Hugging Face и Llama.cpp за етапа на конвертиране. Да започваме! Стъпка 1: Изтегляне на базовия модел от Hugging Face Преди да можете да настроите модела, трябва да изтеглите базовия Google Gemma-3-4B-IT модел от Hugging Face. Имайте предвид, че Gemma моделите са с ограничен достъп, което означава, че трябва да приемете лицензионните условия на страницата на модела (https://huggingfa...
Публикуване на коментар

Масов електромобил ще се появи скоро на пазара.

Производителя на електрически автомобили ZAP се готви да представи новия си електромобил, който може да развива скорост до 160 km/h и има пробег от 160 км. с едно зареждане. Но с това не се изчерпват добрите новини, цената на новия седан ще бъде 30 000 USD, което е повече от добре на фона на подобните автомобили произвеждани от Tesla. Цената на Tesla Roadster например е от 92 до 98 хиляди долара, а седанът който предстой да бъдет пуснат в производство в края на 2009 ще струва от 50 до 70 хиляди долара. От ZAP планират при добър разчет автомобилът им да бъде пуснат в производство още в края на 2008 година.

Коментари

Анонимен каза…
Благодаря за един интересен блог
12 февруари, 2010 00:25
Анонимен каза…
научих много
12 февруари, 2010 21:56
Публикуване на коментар

Популярни публикации от този блог

Поддръжка и настройка на хидрофор

Изображение
Целта на поста е да обясни с прости думи и визуализации как да установите дали хидрофора ви е настроен правилно и да ви даде насоки как да го настройте ако не е. Също така ще опиша чести повреди, както и съвет как да ги поправите. Хидрофора е изключително проста система. От едната страна идва приток на вода от другата страна излиза под по-голямо налягане, точно като водна помпа ако пренебрегнем налягането. Като добавим към водната помпа разширителен съд (не съм сигурен дали това е точният термин) и пресостат и имаме завършен хидрофор. Във вътрешността на разширителният съд има мембрана. Може да си я представите като гумена топка, с автомобилен фитил който се показва извън разширителното тяло и служи за премерване на налягането в мембраната. Хидрофора работи като мембраната е надута до определено налягане, а водната помпа нагнетява вода в останалото пространство в разширителният съд до зададеното максимум налягане в работният диапазон, след което спира работа. Това е принципа на работа ...
Прочетете още

Родопски диалектни думи

--> Първата седмица на месец май изкарахме почивайки в село Давидково. Малко китно селце в Родопите (любимите ми планини). От доста време обикалям по тези места, но досега не бях чувал родопския диалект. Този път ми се отдаде тази възможност. Оказа се, че човек трябва да се позапознае за доста от думите, за да разбере смисъла на това което му говорят, а и за да се избегнат недоразумения. Например думата "копеле" няма негативен смисъл ами означава момче или пък "опишкал съм се", което ще рече убол съм се, а не напикал съм се. Впечатление ми направи и факта, че има много разновидности за думата "много", ето ги и тях поне тези които знам: еце, букадър, шукадър, дерин. Ето и още един израз за района: "Ищеш ли кукуди в гюся", което ще рече Искаш ли юмруци в гърдите, местна заплаха за саморазправа;) По-надолу ще направя един кратък речник на думите които чух там. Сигурно това няма да е пълния списък, но смятам и занапред да записвам каквото чуя...
Прочетете още

Памук заседнал в ухото

Какво да направите ако чистейки ушите си памука заседне в ухото ви? Ако има лекар наблизо или спешен център е препоръчително да отидете и памука да бъде отстранен от доктор. На пръв поглед изглежда дребно и незначително събитие, но последствията могат да бъдат доста сериозни. В случай, че не почистите ушния канал напълно, инфекция е напълно възможна, а в най-лошия случай и загуба на слух. Ако няма лекар наблизо и трябва да се оправяте сами, както ми се случи на мен, ето какво може да направите: Намерете някаква клечка било то кибритена или за зъби. Счупете края и я сдъвчете хубаво докато не стане като метличка. След това внимателно я вкарайте в ушния си канал като я въртите през това време. Сдъвкания край с твърдите си влакна ще закачи влакната на памука, като по този начин памука ще се навие около клечката. Когато усетите, че памука се е закрепил за клечката издърпайте. Бъдете много внимателни когато вкарвате клечката в ухото си да не упражните голям натиск върху тъпанчето. Ако по н...
Прочетете още