Финна настройка на модела Google's Gemma-3-4B-IT с MLX_LM и подготовката му за Ollama

Финното настройване на големи езикови модели (LLMs) става все по-достъпно благодарение на инструменти като MLX-LM, който е оптимизиран за Apple Silicon. В тази статия ще направим финна настройка на базовия модел Google Gemma-3-4B-IT с помощта на персонализиран датасет, сливане на адаптерите и конвертиране на резултата във формат GGUF за използване с Ollama. Ще разгледаме основните стъпки: изтегляне на базовия модел, финна настройка, сливане, работа с токенайзера, конвертиране към GGUF и конфигуриране на Modelfile за Ollama. Предварителните условия включват Mac от M-серията, инсталиран MLX_LM, регистрация в Hugging Face и Llama.cpp за етапа на конвертиране. Да започваме! Стъпка 1: Изтегляне на базовия модел от Hugging Face Преди да можете да настроите модела, трябва да изтеглите базовия Google Gemma-3-4B-IT модел от Hugging Face. Имайте предвид, че Gemma моделите са с ограничен достъп, което означава, че трябва да приемете лицензионните условия на страницата на модела (https://huggingfa...
Публикуване на коментар

Lluon внася свежест в настолните компютри

В последните години се забелязва по-голям интерес към преносимите компютри отколкото към настолните. Корейският производител Lloun показва какви са тенденцийте за развитие в производството на персонални настолни компютри. Новият вид домашното РС може би ще върне част от потребителите към настолните устройства. Новият модел Lloun Crystal е може би най-добре изглеждащата домашна мултимедия която може да се намери на пазара. Със размерите си от 45.2 х 277 х 244.1mm компютъра е тънък почти колкото Mac Mini. Моделът LBFC27-RIBO работи с процесор Intel Core 2 Duo T5200 на честота от 1.66GHz и има 1 GB RAM с огормен диск от 320 GB. Също така е снабден с DVD записвачка и видео карта GeForce 8400 GS с 256MB, достатъчно мощна за да се играят новите игри.


Другият модел The LCFVC35-RIBO е малко по добре оборудван и е с процесор Intel Core 2 Duo T7200 с работна честота 2GHz и 2MB RAM. И двата могат да бъдат закупени от Trigem за около 1000 EUR.

Коментари

Топблог каза…
Здравейте

Каним ви да регистрирате блога си в блог класацията на България.
Намерете подходящата за вас категория и се регистрирайте .
Класацията приема само блогове .
http://topblog24.com

Поздрави Екипът на Топ Блог 24
16 януари, 2008 12:45
Публикуване на коментар

Популярни публикации от този блог

Поддръжка и настройка на хидрофор

Изображение
Целта на поста е да обясни с прости думи и визуализации как да установите дали хидрофора ви е настроен правилно и да ви даде насоки как да го настройте ако не е. Също така ще опиша чести повреди, както и съвет как да ги поправите. Хидрофора е изключително проста система. От едната страна идва приток на вода от другата страна излиза под по-голямо налягане, точно като водна помпа ако пренебрегнем налягането. Като добавим към водната помпа разширителен съд (не съм сигурен дали това е точният термин) и пресостат и имаме завършен хидрофор. Във вътрешността на разширителният съд има мембрана. Може да си я представите като гумена топка, с автомобилен фитил който се показва извън разширителното тяло и служи за премерване на налягането в мембраната. Хидрофора работи като мембраната е надута до определено налягане, а водната помпа нагнетява вода в останалото пространство в разширителният съд до зададеното максимум налягане в работният диапазон, след което спира работа. Това е принципа на работа ...
Прочетете още

Родопски диалектни думи

--> Първата седмица на месец май изкарахме почивайки в село Давидково. Малко китно селце в Родопите (любимите ми планини). От доста време обикалям по тези места, но досега не бях чувал родопския диалект. Този път ми се отдаде тази възможност. Оказа се, че човек трябва да се позапознае за доста от думите, за да разбере смисъла на това което му говорят, а и за да се избегнат недоразумения. Например думата "копеле" няма негативен смисъл ами означава момче или пък "опишкал съм се", което ще рече убол съм се, а не напикал съм се. Впечатление ми направи и факта, че има много разновидности за думата "много", ето ги и тях поне тези които знам: еце, букадър, шукадър, дерин. Ето и още един израз за района: "Ищеш ли кукуди в гюся", което ще рече Искаш ли юмруци в гърдите, местна заплаха за саморазправа;) По-надолу ще направя един кратък речник на думите които чух там. Сигурно това няма да е пълния списък, но смятам и занапред да записвам каквото чуя...
Прочетете още

Памук заседнал в ухото

Какво да направите ако чистейки ушите си памука заседне в ухото ви? Ако има лекар наблизо или спешен център е препоръчително да отидете и памука да бъде отстранен от доктор. На пръв поглед изглежда дребно и незначително събитие, но последствията могат да бъдат доста сериозни. В случай, че не почистите ушния канал напълно, инфекция е напълно възможна, а в най-лошия случай и загуба на слух. Ако няма лекар наблизо и трябва да се оправяте сами, както ми се случи на мен, ето какво може да направите: Намерете някаква клечка било то кибритена или за зъби. Счупете края и я сдъвчете хубаво докато не стане като метличка. След това внимателно я вкарайте в ушния си канал като я въртите през това време. Сдъвкания край с твърдите си влакна ще закачи влакната на памука, като по този начин памука ще се навие около клечката. Когато усетите, че памука се е закрепил за клечката издърпайте. Бъдете много внимателни когато вкарвате клечката в ухото си да не упражните голям натиск върху тъпанчето. Ако по н...
Прочетете още