18:35
Comentarii Adauga Comentariu

Queen 2.5


Qwen 2.5 - 19 septembrie 2024

Qwen 2.5

Data: 19 septembrie 2024

În acest blog, explorăm detaliile noilor modele de limbaj din seria Qwen2.5 dezvoltate de Alibaba Cloud Dev Team. Echipa a creat o gamă de modele dense numai pentru decodor, șapte dintre ele fiind open-source, variind de la 0,5B la 72B parametri. Cercetările arată un interes semnificativ al utilizatorilor pentru modelele din intervalul de parametri 10-30B pentru utilizare în producție, precum și modelele 3B pentru aplicații mobile. Pentru a răspunde acestor nevoi, echipa are Qwen2.5-3B, Qwen2.5-14B și Qwen2.5-32B cu sursă deschisă. În plus, modele precum Qwen-Plus și Qwen-Turbo sunt disponibile prin serviciile API din Alibaba Cloud Model Studio.

Qwen2.5 vs Qwen2

Seria Qwen2.5 aduce mai multe upgrade-uri cheie în comparație cu seria Qwen2 :

  • Open-source la scară completă: ca răspuns la cererea puternică a utilizatorilor pentru modele din gama 10-30B pentru producție și modele 3B pentru utilizare mobilă, Qwen2.5 își extinde ofertele open-source dincolo de cele patru modele Qwen2 (0,5B, 1,5B, 7B și 72B). Acesta adaugă două modele de dimensiuni medii rentabile — Qwen2.5-14B și Qwen2.5-32B — precum și Qwen2.5-3B optimizat pentru mobil. Aceste modele sunt extrem de competitive, Qwen2.5-32B depășind Qwen2-72B și Qwen2.5-14B depășind Qwen2-57B-A14B în evaluări cuprinzătoare.
  • Set de date pre-antrenament mai mare și de calitate mai înaltă: setul de date pre-antrenament s-a extins semnificativ, crescând de la 7 trilioane de jetoane la 18 trilioane de jetoane, sporind profunzimea de antrenament a modelului.
  • Îmbunătățirea cunoștințelor: Qwen2.5 demonstrează cunoștințe mai mari în diferite benchmark-uri. De exemplu, scorurile MMLU pentru Qwen2.5-7B și Qwen2.5-72B au crescut la 74.2 și 86.1, comparativ cu 70.3 și 84.2 pentru modelele Qwen2, cu câștiguri substanțiale observate și în benchmark-uri precum GPQA, MMLU-Pro, MMLU-redux și ARC-c.
  • Îmbunătățirea codării: capacitățile de codare ale Qwen2.5 s-au îmbunătățit semnificativ datorită progreselor în Qwen2.5-Coder. Qwen2.5-72B-Instruct îl depășește pe predecesorul său pe LiveCodeBench, MultiPL-E și MBPP, cu scoruri de 55,5, 75,1 și, respectiv, 88,2, față de 32,2, 69,2 și 80,2 pentru Qwen2-72B-Instruct.
  • Îmbunătățirea matematică: Abilitatea matematică a lui Qwen2.5 a cunoscut, de asemenea, o îmbunătățire rapidă, cu scorurile la benchmarkul MATH crescând de la 52,9 și 69,0 pentru Qwen2-7B/72B-Instruct la 75,5 și 83,1 pentru modelele Qwen2.5.
  • O mai bună aliniere a preferințelor umane: Qwen2.5 generează răspunsuri mai în concordanță cu preferințele umane. De exemplu, scorul Arena-Hard pentru Qwen2.5-72B-Instruct a crescut de la 48.1 la 81.2, iar scorul MT-Bench s-a îmbunătățit de la 9.12 la 9.35, comparativ cu Qwen2-72B-Instruct.
  • Alte îmbunătățiri ale capacității de bază: modelele Qwen2.5 excelează în urmărirea instrucțiunilor, generarea de text lung (extinderea de la 1K la peste 8K jetoane), înțelegerea datelor structurate și producerea de rezultate structurate precum JSON. De asemenea, demonstrează o rezistență îmbunătățită la diverse solicitări ale sistemului, îmbunătățind jocul de rol și setarea condițiilor pentru chatbot.

Performanță și comparații

Performanță Qwen2.5-72B

Seturi de date Llama-3-70B Mixtral-8x22B Qwen2-72B Qwen2.5-72B
MMLU 79,5 77,8 84,2 86,1
MATH 42.5 41.7 50.9 62.1
HumanEval 48,2 46,3 64,6 59,1
MBPP 70,4 71,7 76,9 84,7

Concluzie

Modelele Qwen2.5 demonstrează un salt major față de generațiile anterioare și excelează în multiple domenii.

Qwen 2.5 - 19 septembrie 2024

Qwen 2.5

Data: 19 septembrie 2024

În acest blog, explorăm detaliile noilor modele de limbaj din seria Qwen2.5 dezvoltate de Alibaba Cloud Dev Team. Echipa a creat o gamă de modele dense numai pentru decodor, șapte dintre ele fiind open-source, variind de la 0,5B la 72B parametri. Cercetările arată un interes semnificativ al utilizatorilor pentru modelele din intervalul de parametri 10-30B pentru utilizare în producție, precum și modelele 3B pentru aplicații mobile. Pentru a răspunde acestor nevoi, echipa are Qwen2.5-3B, Qwen2.5-14B și Qwen2.5-32B cu sursă deschisă. În plus, modele precum Qwen-Plus și Qwen-Turbo sunt disponibile prin serviciile API din Alibaba Cloud Model Studio.

Qwen 2.5 - 19 septembrie 2024

Qwen 2.5

Data: 19 septembrie 2024

În acest blog, explorăm detaliile noilor modele de limbaj din seria Qwen2.5 dezvoltate de Alibaba Cloud Dev Team. Echipa a creat o gamă de modele dense numai pentru decodor, șapte dintre ele fiind open-source, variind de la 0,5B la 72B parametri. Cercetările arată un interes semnificativ al utilizatorilor pentru modelele din intervalul de parametri 10-30B pentru utilizare în producție, precum și modelele 3B pentru aplicații mobile. Pentru a răspunde acestor nevoi, echipa are Qwen2.5-3B, Qwen2.5-14B și Qwen2.5-32B cu sursă deschisă. În plus, modele precum Qwen-Plus și Qwen-Turbo sunt disponibile prin serviciile API din Alibaba Cloud Model Studio.

Qwen2.5 vs Qwen2

Seria Qwen2.5 aduce mai multe upgrade-uri cheie în comparație cu seria Qwen2 :

  • Open-source la scară completă: ca răspuns la cererea puternică a utilizatorilor pentru modele din gama 10-30B pentru producție și modele 3B pentru utilizare mobilă, Qwen2.5 își extinde ofertele open-source dincolo de cele patru modele Qwen2 (0,5B, 1,5B, 7B și 72B). Acesta adaugă două modele de dimensiuni medii rentabile — Qwen2.5-14B și Qwen2.5-32B — precum și Qwen2.5-3B optimizat pentru mobil. Aceste modele sunt extrem de competitive, Qwen2.5-32B depășind Qwen2-72B și Qwen2.5-14B depășind Qwen2-57B-A14B în evaluări cuprinzătoare.
  • Set de date pre-antrenament mai mare și de calitate mai înaltă: setul de date pre-antrenament s-a extins semnificativ, crescând de la 7 trilioane de jetoane la 18 trilioane de jetoane, sporind profunzimea de antrenament a modelului.
  • Îmbunătățirea cunoștințelor: Qwen2.5 demonstrează cunoștințe mai mari în diferite benchmark-uri. De exemplu, scorurile MMLU pentru Qwen2.5-7B și Qwen2.5-72B au crescut la 74.2 și 86.1, comparativ cu 70.3 și 84.2 pentru modelele Qwen2, cu câștiguri substanțiale observate și în benchmark-uri precum GPQA, MMLU-Pro, MMLU-redux și ARC-c.
  • Îmbunătățirea codării: capacitățile de codare ale Qwen2.5 s-au îmbunătățit semnificativ datorită progreselor în Qwen2.5-Coder. Qwen2.5-72B-Instruct îl depășește pe predecesorul său pe LiveCodeBench, MultiPL-E și MBPP, cu scoruri de 55,5, 75,1 și, respectiv, 88,2, față de 32,2, 69,2 și 80,2 pentru Qwen2-72B-Instruct.
  • Îmbunătățirea matematică: Abilitatea matematică a lui Qwen2.5 a cunoscut, de asemenea, o îmbunătățire rapidă, cu scorurile la benchmarkul MATH crescând de la 52,9 și 69,0 pentru Qwen2-7B/72B-Instruct la 75,5 și 83,1 pentru modelele Qwen2.5.
  • O mai bună aliniere a preferințelor umane: Qwen2.5 generează răspunsuri mai în concordanță cu preferințele umane. De exemplu, scorul Arena-Hard pentru Qwen2.5-72B-Instruct a crescut de la 48.1 la 81.2, iar scorul MT-Bench s-a îmbunătățit de la 9.12 la 9.35, comparativ cu Qwen2-72B-Instruct.
  • Alte îmbunătățiri ale capacității de bază: modelele Qwen2.5 excelează în urmărirea instrucțiunilor, generarea de text lung (extinderea de la 1K la peste 8K jetoane), înțelegerea datelor structurate și producerea de rezultate structurate precum JSON. De asemenea, demonstrează o rezistență îmbunătățită la diverse solicitări ale sistemului, îmbunătățind jocul de rol și setarea condițiilor pentru chatbot.

Performanță și comparații

Performanță Qwen2.5-72B

Seturi de date Llama-3-70B Mixtral-8x22B Qwen2-72B Qwen2.5-72B
MMLU 79,5 77,8 84,2 86,1
MATH 42.5 41.7 50.9 62.1
HumanEval 48,2 46,3 64,6 59,1
MBPP 70,4 71,7 76,9 84,7

Concluzie

Modelele Qwen2.5 demonstrează un salt major față de generațiile anterioare și excelează în multiple domenii.

Qwen2.5 vs Qwen2

Seria Qwen2.5 aduce mai multe upgrade-uri cheie în comparație cu seria Qwen2 :

  • Open-source la scară completă: ca răspuns la cererea puternică a utilizatorilor pentru modele din gama 10-30B pentru producție și modele 3B pentru utilizare mobilă...
  • Set de date pre-antrenament mai mare și de calitate mai înaltă: setul de date pre-antrenament s-a extins semnificativ...
  • Îmbunătățirea cunoștințelor: Qwen2.5 demonstrează cunoștințe mai mari în diferite benchmark-uri...
  • Îmbunătățirea codării: capacitățile de codare ale Qwen2.5 s-au îmbunătățit semnificativ...
  • Îmbunătățirea matematică: abilitatea matematică a lui Qwen2.5 a cunoscut o îmbunătățire rapidă...
  • O mai bună aliniere a preferințelor umane: Qwen2.5 generează răspunsuri mai în concordanță cu preferințele umane...
  • Alte îmbunătățiri ale capacității de bază: modelele Qwen2.5 excelează în urmărirea instrucțiunilor...

Card model Qwen2.5

Modele Params Parametrii non-Emb Straturi Capete (KV) Încorporarea cravatei Lungimea contextului Lungimea generației Licenţă
Qwen2.5-0.5B 0,49B 0,36B 24 14 / 2 Da 32K 8K Apache 2.0
Qwen2.5-1.5B 1,54B 1,31B 28 12 / 2 Da 32K 8K Apache 2.0
Qwen2.5-3B 3.09B 2,77B 36 16 / 2 Da 32K 8K Cercetarea Qwen
Qwen2.5-7B 7,61B 6,53B 28 28 / 4 Nu 128K 8K Apache 2.0
Qwen2.5-14B 14.7B 13.1B 48 40 / 8 Nu 128K 8K Apache 2.0
Qwen2.5-32B 32,5B 31.0B 64 40 / 8 Nu 128K 8K Apache 2.0
Qwen2.5-72B 72,7B 70,0B 80 64 / 8 Nu 128K 8K Qwen

Performanțe Qwen2.5

Performanța modelelor Qwen2.5 este evaluată pe o gamă largă de sarcini, incluzând matematică, codare și multilingvism.

Performanță Qwen2.5-72B

Modelul de bază Qwen2.5-72B iese în evidență prin depășirea semnificativă a altor modele din categoria sa într-un spectru larg de sarcini.

Performanță Qwen2.5-14B/32B

Modelele Qwen2.5-14B și Qwen2.5-32B oferă performanțe robuste în sarcini generale precum MMLU și BBH...

Performanță Qwen2.5-7B

Modelul Qwen2.5-7B depășește atât predecesorii, cât și concurenții săi într-o gamă largă de benchmark-uri.

Concluzii

Modelele Qwen2.5 reprezintă un progres semnificativ, oferind performanțe competitive într-o gamă variată de domenii și fiind optimizate pentru utilizare în aplicații diverse.


(Mediafax)


Linkul direct catre Petitie

CEREM NATIONALIZAREA TUTUROR RESURSELOR NATURALE ALE ROMANIEI ! - Initiativa Legislativa care are nevoie de 500.000 de semnaturi - Semneaza si tu !

Comentarii:


Adauga Comentariu



Citiți și cele mai căutate articole de pe Fluierul:

_ Senatul a votat în unanimitate proiectul „fugarul plăteşte”

_ Ambasadorul SUA la București avertizează în privința unui război cu Rusia: 'Trebuie să ne modernizăm armata'

_ Josep Borrell susţine că armata israeliană este responsabilă pentru moartea a 115 palestinieni care aşteptau alimente

_ Grupul Psaltic Tronos al Patriarhiei Române concertează la Sala Dalles, pe 31 martie

_ DR MICHAEL MOSLEY: Ce să mănânci dacă vrei să trăiești până la 100 de ani

Micul Stalinist Nicușor Soros Dan ne spune că a&i lua unui om dreptul de a candida și milioanelor de români dreptul de a-l vota fără o condamnare "e o decizie corectă". Poate in URSS-ul lui Lenin, plicușor cu bani de la Soros

_ Inflația lipicioasă a lui Biden: ratele asigurărilor auto înregistrează cea mai mare creștere anuală din 1976

_ Inactivarea genei Tgfbr1 în embrionii de șoarece are ca rezultat membre suplimentare și fără organe genitale externe

Nimeni nu e mai presus de Lege. Nici măcar Curtean Constituțională

_ Derek Draper a fost terapeutul meu - mi-a salvat viața: Kate Garraway dezvăluie că pacientul soțului ei, psiholog, i-a spus „Sunt aici astăzi din cauza lui”, după ce l-a ajutat să se întoarcă din pragul sinuciderii

_ Incașii au folosit obiecte stringente numite „khipus” pentru a înregistra date – tocmai ne-am apropiat cu un pas de a le înțelege

Mișcarea Suveranistă e împărțită între "Turul Doi Inapoi" și "Sa mergem înainte cu Simion". Simion și Ana Maria Gavrilă trebuie sa sustina Rolul Important a lui Călin Georgescu în Statul Român dacă vor să castige

La fel ca și Călin Georgescu care avea peste 40% în turul întâi, Marine le Pen conduce detașat in sondaje pentru cursa prezidențială. E momentul ca regimul Neobolsevic Soroșist să o scoată din joc cum a făcut și la noi.

_ Atentat terorist într-o sală de concert din Moscova: 115 morţi şi peste 100 de răniţi / Statul Islamic revendică atacul armat

Calin Georgescu a avut dreptate când a arătat jaful multinaționalelor. Bulgaria înființează lanțuri de magazine cu adaos 10%, pentru a împiedeca multinaționalele să jefuiască populația. Puciștii de la noi sunt pe-o mână cu multinaționalele

Viktor Orban: "Je suis Marine!". Gunoiul de Viktor Orban de interzicerea lui Călin Georgescu nu a spus nimic desi acesta nu era condamnat deloc. Ce înseamnă să fii lipsit de caracter

Căratorul de genti al agentului KGB Sikviu Brucan, pe nume Lucian Mîndruță a făcut afirmații șocante într-o emisiune a Digi FM,

_ VIDEO - Un polonez în vârstă de 53 de ani, 'îndrăgostit de frig', a depășit toate recordurile la scufundarea în gheață

Securistoidul Pantazi un analfabet funcțional în domeniul economiei declara ritos că "distributivismul este baza marxismului". Mai dobitocule doctrina distributivista a fost creata de un Papă si dezvoltata de un alt Papă

_ Bătălia micului dejun! Cum se compară prăjitul lui JD Wetherspoon cu Toby Carvery?

_ Prima arestare după captura record de substanțe dopante a polițiștilor din Constanța: Și o femeie este anchetată

_ Descoperire revoluționară făcută de cercetători: O singură doză dintr-o nouă clasă de antibiotice a tratat infecțiile din sânge în doar 4 ore

_ Trump cere Curții Supreme să intervină în apelul privind imunitatea

_ Biden nu mulțumește pe nimeni cu un discurs lipsit de strălucire care declamă „antisemitism și islamofobie”

_ O profesoară de istorie explică pe înțelesul tuturor ce înseamnă legionarismul, în contextul declarațiilor lui Călin Georgescu

_ Kai Trump duce fanii în lansarea SpaceX a lui „Unchiul” Elon Musk și în avionul privat al bunicului Donald

Explicația pe scurt a Tarifelir vamale impuse de Trump și cât de mult ajută economia americană

_ Rezultatele tragerilor Loto - Numerele câștigătoare de joi, 4 aprilie 2024

_ Țara care dă o lecție României în fața marelui cutremur: 'Toată lumea îşi face treaba!' (VIDEO)

_ Căutarea energiei de fuziune face un mare progres cu reactorul UE-Japonia

_ Părțuitorul de la senzația Netflix Baby Reindeer mi-a hărțuit familia timp de cinci ani... chiar a amenințat că-mi va ucide soțul parlamentar

_ 'Niciodată, ca acum, omenirea nu a stat sub spectrul unui dezastru planetar': Pastorala cutremurătoare a unui episcop

_ Două ploi de meteori vor fulgera pe cer cam în aceeași oră la sfârșitul lunii iulie

_ În culise, cină privată la ZeroHedge Crypto Debate cu Schiff, Roubini, Scaramucci și Voorhees

_ Controversat miliardar german, care și-ar fi înscenat moartea într-o dispariție în Alpi, văzut bine-mersi în Rusia

_ Scandalos! Vorbitorul Johnson a vorbit despre �principiile fondatoare� a doua zi după ce a spart votul pentru a sprijini FISA Spionarea americanilor fără mandate � devine total rațional!

_ Focaccia: O tradiție culinară neolitică care datează de acum 9.000 de ani

_ Mutare cu impact major pe scena politică: Eugen Tomac, confirmat definitiv președinte al PMP

_ Musk face totul pentru „Judge Dredd” Matt Gaetz, notează că Garland „Douchebag” nu a fost acuzată niciodată

_ TikToker are „cel mai prost zbor British Airways din istorie” după un copil din clasa întâi care și-a lovit scaunul timp de 10 ORE (dar unii cred că el este de vină!)

_ Emma Răducanu a fost decisivă pentru calificarea Marii Britanii la turneul final al Billie Jean King Cup

_ Dovezi și perspective despre tendința ascendentă pe termen lung a aurului

_ Care sunt cele mai fericite țări: Pe ce loc se află România

_ Lovituri aeriene peste graniţă între Israel şi Hezbollah

_ ADN-ul nedorit la păsări poate deține cheia unei terapii genetice sigure și eficiente

_ RĂUL PUR: O �ngrijitoare din Michigan bate cu cruzime o pacientă neputincioasă �n v�rstă de 93 de ani cu demență �nainte de a o sufoca � Fiica victimei dezvăluie cum familia a surprins atacul pe bandă (VIDEO)

_ Cum va răspunde Israelul la atacul Iranului. Expert: "Nu mai există linii roşii"

_ �n timp ce americanii se străduiesc să protejeze conturile de pensii cu aur fizic și argint, o companie bazată pe credință le arată cum

_ De fiecare dată când văd o femeie purtând o pereche de acești pantaloni, sunt oprit în loc, spune SHANE WATSON. Iată de unde să obții tot ce este mai bun din acest stil de vară

_ Salariul de lux pe care Dorinel Umbrărescu, regele asfaltului, îl oferă unui șofer!

_ Analiză tranşantă a ecologistului Pânişoară: PSD şi PNL capitulează la Bucureşti

_ Victor reacționează: după ce ne-a distrus viitorul, Biden încearcă să mituiască tinerii să-l voteze (VIDEO)

_ Decizia CCR a scos românii în stradă: A patra zi de proteste contra și pro Călin Georgescu

_ Cele mai multe accidente de circulaţie în Vrancea - joia şi duminica - Iulie - luna cu cele mai grave accidente

În sondajul Atlas Intel Soroșiștul Nicușor Dan, e pe locul doi

Sorosistul Securistoid Bănescu noua Față Hidoase a Cenzurii Regimului UEist de la București

_ Zelensky a purtat discuții cu președintele Mauritaniei

Viktor Orbán: "Nu mai puteam să stăm cu mâinile în sân şi să privim cum lanţurile de magazine jefuiesc oamenii". Vă amintiți cum au sărit Soroșiștii pe Călin Georgescu când ne-a spus că Multinaționalele ne jefuiesc? De ce AUR și Simion TAC pe această temă?

_ Președintele polonez a dezvăluit că companiile străine dețin cea mai mare parte a agriculturii industriale a Ucrainei


Pag.1 Pag.2 Pag.3 Pag.4 Pag.5 Pag.6 Pag.7
Pag.8 Pag.9 Pag.10 Pag.11 Pag.12 Pag.13 Pag.14 Pag.15
Pag.16 Pag.17 Pag.18 Pag.19 Pag.20 Pag.21 Pag.22 Pag.23
Pag.24 Pag.25 Pag.26 Pag.27 Pag.28 Pag.29 Pag.30 Pag.31
Pag.32 Pag.33 Pag.34 Pag.35 Pag.36 Pag.37 Pag.38 Pag.39
Pag.40 Pag.41 Pag.42 Pag.43 Pag.44 Pag.45 Pag.46 Pag.47
Pag.48 Pag.49 Pag.50 Pag.51 Pag.52 Pag.53 Pag.54 Pag.55
Pag.56 Pag.57 Pag.58 Pag.59 Pag.60 Pag.61 Pag.62 Pag.63
Pag.64 Pag.65 Pag.66 Pag.67 Pag.68 Pag.69 Pag.70 Pag.71
Pag.72 Pag.73 Pag.74 Pag.75

Nr. de articole la aceasta sectiune: 4486, afisate in 75 pagini.