Финна настройка на модела Google's Gemma-3-4B-IT с MLX_LM и подготовката му за Ollama

Финното настройване на големи езикови модели (LLMs) става все по-достъпно благодарение на инструменти като MLX-LM, който е оптимизиран за Apple Silicon. В тази статия ще направим финна настройка на базовия модел Google Gemma-3-4B-IT с помощта на персонализиран датасет, сливане на адаптерите и конвертиране на резултата във формат GGUF за използване с Ollama. Ще разгледаме основните стъпки: изтегляне на базовия модел, финна настройка, сливане, работа с токенайзера, конвертиране към GGUF и конфигуриране на Modelfile за Ollama. Предварителните условия включват Mac от M-серията, инсталиран MLX_LM, регистрация в Hugging Face и Llama.cpp за етапа на конвертиране. Да започваме! Стъпка 1: Изтегляне на базовия модел от Hugging Face Преди да можете да настроите модела, трябва да изтеглите базовия Google Gemma-3-4B-IT модел от Hugging Face. Имайте предвид, че Gemma моделите са с ограничен достъп, което означава, че трябва да приемете лицензионните условия на страницата на модела (https://huggingfa...
Публикуване на коментар

Концепция за светлинни турбини

Концепция за светлинни турбини използва вятъра за осветяване на магистрали. Концептуалната светлинна турбина ( която ще бъде част от конференцията за екологични джаджи организирана за по-късно този месец във Ню Йорк) използва завихрянето от преминаващите покрай нея коли за да захрани с електроенергия уличните лампи. Все още липсват детайли относно точния механизъм на работа, затова ще чакаме конференцията, която се провежда на 25 февруари, за да научим повече.

Коментари

Анонимен каза…
спасибо большое было интересно читать
26 февруари, 2011 21:12
Публикуване на коментар

Популярни публикации от този блог

Поддръжка и настройка на хидрофор

Изображение
Целта на поста е да обясни с прости думи и визуализации как да установите дали хидрофора ви е настроен правилно и да ви даде насоки как да го настройте ако не е. Също така ще опиша чести повреди, както и съвет как да ги поправите. Хидрофора е изключително проста система. От едната страна идва приток на вода от другата страна излиза под по-голямо налягане, точно като водна помпа ако пренебрегнем налягането. Като добавим към водната помпа разширителен съд (не съм сигурен дали това е точният термин) и пресостат и имаме завършен хидрофор. Във вътрешността на разширителният съд има мембрана. Може да си я представите като гумена топка, с автомобилен фитил който се показва извън разширителното тяло и служи за премерване на налягането в мембраната. Хидрофора работи като мембраната е надута до определено налягане, а водната помпа нагнетява вода в останалото пространство в разширителният съд до зададеното максимум налягане в работният диапазон, след което спира работа. Това е принципа на работа ...
Прочетете още

Родопски диалектни думи

--> Първата седмица на месец май изкарахме почивайки в село Давидково. Малко китно селце в Родопите (любимите ми планини). От доста време обикалям по тези места, но досега не бях чувал родопския диалект. Този път ми се отдаде тази възможност. Оказа се, че човек трябва да се позапознае за доста от думите, за да разбере смисъла на това което му говорят, а и за да се избегнат недоразумения. Например думата "копеле" няма негативен смисъл ами означава момче или пък "опишкал съм се", което ще рече убол съм се, а не напикал съм се. Впечатление ми направи и факта, че има много разновидности за думата "много", ето ги и тях поне тези които знам: еце, букадър, шукадър, дерин. Ето и още един израз за района: "Ищеш ли кукуди в гюся", което ще рече Искаш ли юмруци в гърдите, местна заплаха за саморазправа;) По-надолу ще направя един кратък речник на думите които чух там. Сигурно това няма да е пълния списък, но смятам и занапред да записвам каквото чуя...
Прочетете още

Памук заседнал в ухото

Какво да направите ако чистейки ушите си памука заседне в ухото ви? Ако има лекар наблизо или спешен център е препоръчително да отидете и памука да бъде отстранен от доктор. На пръв поглед изглежда дребно и незначително събитие, но последствията могат да бъдат доста сериозни. В случай, че не почистите ушния канал напълно, инфекция е напълно възможна, а в най-лошия случай и загуба на слух. Ако няма лекар наблизо и трябва да се оправяте сами, както ми се случи на мен, ето какво може да направите: Намерете някаква клечка било то кибритена или за зъби. Счупете края и я сдъвчете хубаво докато не стане като метличка. След това внимателно я вкарайте в ушния си канал като я въртите през това време. Сдъвкания край с твърдите си влакна ще закачи влакната на памука, като по този начин памука ще се навие около клечката. Когато усетите, че памука се е закрепил за клечката издърпайте. Бъдете много внимателни когато вкарвате клечката в ухото си да не упражните голям натиск върху тъпанчето. Ако по н...
Прочетете още