18:35
Comentarii Adauga Comentariu

Queen 2.5


Qwen 2.5 - 19 septembrie 2024

Qwen 2.5

Data: 19 septembrie 2024

În acest blog, explorăm detaliile noilor modele de limbaj din seria Qwen2.5 dezvoltate de Alibaba Cloud Dev Team. Echipa a creat o gamă de modele dense numai pentru decodor, șapte dintre ele fiind open-source, variind de la 0,5B la 72B parametri. Cercetările arată un interes semnificativ al utilizatorilor pentru modelele din intervalul de parametri 10-30B pentru utilizare în producție, precum și modelele 3B pentru aplicații mobile. Pentru a răspunde acestor nevoi, echipa are Qwen2.5-3B, Qwen2.5-14B și Qwen2.5-32B cu sursă deschisă. În plus, modele precum Qwen-Plus și Qwen-Turbo sunt disponibile prin serviciile API din Alibaba Cloud Model Studio.

Qwen2.5 vs Qwen2

Seria Qwen2.5 aduce mai multe upgrade-uri cheie în comparație cu seria Qwen2 :

  • Open-source la scară completă: ca răspuns la cererea puternică a utilizatorilor pentru modele din gama 10-30B pentru producție și modele 3B pentru utilizare mobilă, Qwen2.5 își extinde ofertele open-source dincolo de cele patru modele Qwen2 (0,5B, 1,5B, 7B și 72B). Acesta adaugă două modele de dimensiuni medii rentabile — Qwen2.5-14B și Qwen2.5-32B — precum și Qwen2.5-3B optimizat pentru mobil. Aceste modele sunt extrem de competitive, Qwen2.5-32B depășind Qwen2-72B și Qwen2.5-14B depășind Qwen2-57B-A14B în evaluări cuprinzătoare.
  • Set de date pre-antrenament mai mare și de calitate mai înaltă: setul de date pre-antrenament s-a extins semnificativ, crescând de la 7 trilioane de jetoane la 18 trilioane de jetoane, sporind profunzimea de antrenament a modelului.
  • Îmbunătățirea cunoștințelor: Qwen2.5 demonstrează cunoștințe mai mari în diferite benchmark-uri. De exemplu, scorurile MMLU pentru Qwen2.5-7B și Qwen2.5-72B au crescut la 74.2 și 86.1, comparativ cu 70.3 și 84.2 pentru modelele Qwen2, cu câștiguri substanțiale observate și în benchmark-uri precum GPQA, MMLU-Pro, MMLU-redux și ARC-c.
  • Îmbunătățirea codării: capacitățile de codare ale Qwen2.5 s-au îmbunătățit semnificativ datorită progreselor în Qwen2.5-Coder. Qwen2.5-72B-Instruct îl depășește pe predecesorul său pe LiveCodeBench, MultiPL-E și MBPP, cu scoruri de 55,5, 75,1 și, respectiv, 88,2, față de 32,2, 69,2 și 80,2 pentru Qwen2-72B-Instruct.
  • Îmbunătățirea matematică: Abilitatea matematică a lui Qwen2.5 a cunoscut, de asemenea, o îmbunătățire rapidă, cu scorurile la benchmarkul MATH crescând de la 52,9 și 69,0 pentru Qwen2-7B/72B-Instruct la 75,5 și 83,1 pentru modelele Qwen2.5.
  • O mai bună aliniere a preferințelor umane: Qwen2.5 generează răspunsuri mai în concordanță cu preferințele umane. De exemplu, scorul Arena-Hard pentru Qwen2.5-72B-Instruct a crescut de la 48.1 la 81.2, iar scorul MT-Bench s-a îmbunătățit de la 9.12 la 9.35, comparativ cu Qwen2-72B-Instruct.
  • Alte îmbunătățiri ale capacității de bază: modelele Qwen2.5 excelează în urmărirea instrucțiunilor, generarea de text lung (extinderea de la 1K la peste 8K jetoane), înțelegerea datelor structurate și producerea de rezultate structurate precum JSON. De asemenea, demonstrează o rezistență îmbunătățită la diverse solicitări ale sistemului, îmbunătățind jocul de rol și setarea condițiilor pentru chatbot.

Performanță și comparații

Performanță Qwen2.5-72B

Seturi de date Llama-3-70B Mixtral-8x22B Qwen2-72B Qwen2.5-72B
MMLU 79,5 77,8 84,2 86,1
MATH 42.5 41.7 50.9 62.1
HumanEval 48,2 46,3 64,6 59,1
MBPP 70,4 71,7 76,9 84,7

Concluzie

Modelele Qwen2.5 demonstrează un salt major față de generațiile anterioare și excelează în multiple domenii.

Qwen 2.5 - 19 septembrie 2024

Qwen 2.5

Data: 19 septembrie 2024

În acest blog, explorăm detaliile noilor modele de limbaj din seria Qwen2.5 dezvoltate de Alibaba Cloud Dev Team. Echipa a creat o gamă de modele dense numai pentru decodor, șapte dintre ele fiind open-source, variind de la 0,5B la 72B parametri. Cercetările arată un interes semnificativ al utilizatorilor pentru modelele din intervalul de parametri 10-30B pentru utilizare în producție, precum și modelele 3B pentru aplicații mobile. Pentru a răspunde acestor nevoi, echipa are Qwen2.5-3B, Qwen2.5-14B și Qwen2.5-32B cu sursă deschisă. În plus, modele precum Qwen-Plus și Qwen-Turbo sunt disponibile prin serviciile API din Alibaba Cloud Model Studio.

Qwen 2.5 - 19 septembrie 2024

Qwen 2.5

Data: 19 septembrie 2024

În acest blog, explorăm detaliile noilor modele de limbaj din seria Qwen2.5 dezvoltate de Alibaba Cloud Dev Team. Echipa a creat o gamă de modele dense numai pentru decodor, șapte dintre ele fiind open-source, variind de la 0,5B la 72B parametri. Cercetările arată un interes semnificativ al utilizatorilor pentru modelele din intervalul de parametri 10-30B pentru utilizare în producție, precum și modelele 3B pentru aplicații mobile. Pentru a răspunde acestor nevoi, echipa are Qwen2.5-3B, Qwen2.5-14B și Qwen2.5-32B cu sursă deschisă. În plus, modele precum Qwen-Plus și Qwen-Turbo sunt disponibile prin serviciile API din Alibaba Cloud Model Studio.

Qwen2.5 vs Qwen2

Seria Qwen2.5 aduce mai multe upgrade-uri cheie în comparație cu seria Qwen2 :

  • Open-source la scară completă: ca răspuns la cererea puternică a utilizatorilor pentru modele din gama 10-30B pentru producție și modele 3B pentru utilizare mobilă, Qwen2.5 își extinde ofertele open-source dincolo de cele patru modele Qwen2 (0,5B, 1,5B, 7B și 72B). Acesta adaugă două modele de dimensiuni medii rentabile — Qwen2.5-14B și Qwen2.5-32B — precum și Qwen2.5-3B optimizat pentru mobil. Aceste modele sunt extrem de competitive, Qwen2.5-32B depășind Qwen2-72B și Qwen2.5-14B depășind Qwen2-57B-A14B în evaluări cuprinzătoare.
  • Set de date pre-antrenament mai mare și de calitate mai înaltă: setul de date pre-antrenament s-a extins semnificativ, crescând de la 7 trilioane de jetoane la 18 trilioane de jetoane, sporind profunzimea de antrenament a modelului.
  • Îmbunătățirea cunoștințelor: Qwen2.5 demonstrează cunoștințe mai mari în diferite benchmark-uri. De exemplu, scorurile MMLU pentru Qwen2.5-7B și Qwen2.5-72B au crescut la 74.2 și 86.1, comparativ cu 70.3 și 84.2 pentru modelele Qwen2, cu câștiguri substanțiale observate și în benchmark-uri precum GPQA, MMLU-Pro, MMLU-redux și ARC-c.
  • Îmbunătățirea codării: capacitățile de codare ale Qwen2.5 s-au îmbunătățit semnificativ datorită progreselor în Qwen2.5-Coder. Qwen2.5-72B-Instruct îl depășește pe predecesorul său pe LiveCodeBench, MultiPL-E și MBPP, cu scoruri de 55,5, 75,1 și, respectiv, 88,2, față de 32,2, 69,2 și 80,2 pentru Qwen2-72B-Instruct.
  • Îmbunătățirea matematică: Abilitatea matematică a lui Qwen2.5 a cunoscut, de asemenea, o îmbunătățire rapidă, cu scorurile la benchmarkul MATH crescând de la 52,9 și 69,0 pentru Qwen2-7B/72B-Instruct la 75,5 și 83,1 pentru modelele Qwen2.5.
  • O mai bună aliniere a preferințelor umane: Qwen2.5 generează răspunsuri mai în concordanță cu preferințele umane. De exemplu, scorul Arena-Hard pentru Qwen2.5-72B-Instruct a crescut de la 48.1 la 81.2, iar scorul MT-Bench s-a îmbunătățit de la 9.12 la 9.35, comparativ cu Qwen2-72B-Instruct.
  • Alte îmbunătățiri ale capacității de bază: modelele Qwen2.5 excelează în urmărirea instrucțiunilor, generarea de text lung (extinderea de la 1K la peste 8K jetoane), înțelegerea datelor structurate și producerea de rezultate structurate precum JSON. De asemenea, demonstrează o rezistență îmbunătățită la diverse solicitări ale sistemului, îmbunătățind jocul de rol și setarea condițiilor pentru chatbot.

Performanță și comparații

Performanță Qwen2.5-72B

Seturi de date Llama-3-70B Mixtral-8x22B Qwen2-72B Qwen2.5-72B
MMLU 79,5 77,8 84,2 86,1
MATH 42.5 41.7 50.9 62.1
HumanEval 48,2 46,3 64,6 59,1
MBPP 70,4 71,7 76,9 84,7

Concluzie

Modelele Qwen2.5 demonstrează un salt major față de generațiile anterioare și excelează în multiple domenii.

Qwen2.5 vs Qwen2

Seria Qwen2.5 aduce mai multe upgrade-uri cheie în comparație cu seria Qwen2 :

  • Open-source la scară completă: ca răspuns la cererea puternică a utilizatorilor pentru modele din gama 10-30B pentru producție și modele 3B pentru utilizare mobilă...
  • Set de date pre-antrenament mai mare și de calitate mai înaltă: setul de date pre-antrenament s-a extins semnificativ...
  • Îmbunătățirea cunoștințelor: Qwen2.5 demonstrează cunoștințe mai mari în diferite benchmark-uri...
  • Îmbunătățirea codării: capacitățile de codare ale Qwen2.5 s-au îmbunătățit semnificativ...
  • Îmbunătățirea matematică: abilitatea matematică a lui Qwen2.5 a cunoscut o îmbunătățire rapidă...
  • O mai bună aliniere a preferințelor umane: Qwen2.5 generează răspunsuri mai în concordanță cu preferințele umane...
  • Alte îmbunătățiri ale capacității de bază: modelele Qwen2.5 excelează în urmărirea instrucțiunilor...

Card model Qwen2.5

Modele Params Parametrii non-Emb Straturi Capete (KV) Încorporarea cravatei Lungimea contextului Lungimea generației Licenţă
Qwen2.5-0.5B 0,49B 0,36B 24 14 / 2 Da 32K 8K Apache 2.0
Qwen2.5-1.5B 1,54B 1,31B 28 12 / 2 Da 32K 8K Apache 2.0
Qwen2.5-3B 3.09B 2,77B 36 16 / 2 Da 32K 8K Cercetarea Qwen
Qwen2.5-7B 7,61B 6,53B 28 28 / 4 Nu 128K 8K Apache 2.0
Qwen2.5-14B 14.7B 13.1B 48 40 / 8 Nu 128K 8K Apache 2.0
Qwen2.5-32B 32,5B 31.0B 64 40 / 8 Nu 128K 8K Apache 2.0
Qwen2.5-72B 72,7B 70,0B 80 64 / 8 Nu 128K 8K Qwen

Performanțe Qwen2.5

Performanța modelelor Qwen2.5 este evaluată pe o gamă largă de sarcini, incluzând matematică, codare și multilingvism.

Performanță Qwen2.5-72B

Modelul de bază Qwen2.5-72B iese în evidență prin depășirea semnificativă a altor modele din categoria sa într-un spectru larg de sarcini.

Performanță Qwen2.5-14B/32B

Modelele Qwen2.5-14B și Qwen2.5-32B oferă performanțe robuste în sarcini generale precum MMLU și BBH...

Performanță Qwen2.5-7B

Modelul Qwen2.5-7B depășește atât predecesorii, cât și concurenții săi într-o gamă largă de benchmark-uri.

Concluzii

Modelele Qwen2.5 reprezintă un progres semnificativ, oferind performanțe competitive într-o gamă variată de domenii și fiind optimizate pentru utilizare în aplicații diverse.


(Mediafax)


Linkul direct catre Petitie

CEREM NATIONALIZAREA TUTUROR RESURSELOR NATURALE ALE ROMANIEI ! - Initiativa Legislativa care are nevoie de 500.000 de semnaturi - Semneaza si tu !

Comentarii:


Adauga Comentariu



Citiți și cele mai căutate articole de pe Fluierul:

_ Moderna �nregistrează pierderi de 1,2 miliarde de dolari pe măsură ce cererea pentru COVID Jab se prăbușește, promite investitorilor un vaccin de �generația următoare� pentru a combate noile tulpini

_ 'Era un bărbat de doamne!' Cum era cu adevărat vedeta Baby Reindeer

_ Urmăriți: KJP �ncearcă să-l �nchidă pe Peter Doocy de la Fox pentru că l-a �ntrebat de ce Biden vorbește cu oamenii morți

_ De ce programe de slăbit foarte utile în cazul unora, eșuează lamentabil la alții?

_ Cum valurile și amestecul determină sistemele de revărsare de coastă

_ Papa Francisc va vizita câteva țări din Asia

_ Lucrător IT „care și-a ucis șeful milionar și soțul ei otrăvindu-i cu fentanil” a spus poliției că este predispusă la supradoze.

_ Politica de predare a cuțitului zombi de la Labor, care oferea compensații pentru lamele avea „defecte uriașe” și putea costa până la 1,1 MILIOANE de lire sterline

_ Tot ce poate merge prost cu sânii tăi - și ce să faci în privința asta: ghidul definitiv al DR PHILIPPA KAYE

_ Studentă suspendată după ce protestul anti-Israel s-a pl�ns că se confruntă cu consecințe pentru acțiunile ei

_ Percheziții la Primăria Ploiești - Mai mulți funcționari vor fi duși la audieri (surse)

_ Ilan Şor a declarat că Republica Moldova ar trebui să coopereze cu Uniunea Economică Eurasiatică pentru dezvoltarea economiei

_ Înțelegerea acidului iasmonic: un comutator care activează autofagia în petalele de Arabidopsis

_ MIKE JOHNSON �N PROBLEME: Reprezentantul Thomas Massie anunță că �și va uni forțele cu MTG pentru a-l �nlătura din funcția de vorbitor � Johnson �și poate permite doar să piardă un vot GOP

_ Cei mai în vârstă gemeni siamezi, Lori şi George Schappell, s-au stins la vârsta de 62 de ani

_ Video | Accident teribil în Constanța. Sunt doi morți

_ Cine este soția lui Dave Myers, Liliana Orzac? Faceți cunoștință cu femeia „remarcabilă” care l-a susținut pe starul Hairy Biker în călătoria sa „teribilă” împotriva cancerului

Prăbușirea demografică a României se datorează în integralitatea partidelor sistemului care au condus România 35 de ani

_ Moment dramatic, stăpânul supărat de animal de companie îi ordonă lui Rotweiller să-și atace vecinul în vârstă de alăturat doar pentru a ajunge să-l muște pe pensionar EȘASA - când câinele refuză

_ Primul genom complet al unui șarpe ajută la înțelegerea istoriei sale evolutive

_ Supărare mare - se anunța o lansare cu scântei a candidaților USR

_ Forţele americane şi britanice efectuează noi lovituri împotriva Houthis în Yemen

_ Record de beneficiari de ajutor social în decembrie 2023

_ Doi adulți au fost identificați și acuzați �n cadrul unei �mpușcături la parada din Kansas City � Autoritățile refuză să numească tinerii �narmați aflați �n prezent �n custodie

_ HORROR: Un american și frați australieni uciși �n timpul unei călătorii de surf �n Mexic, hoții �și aruncă trupurile �ntr-o f�nt�nă ad�ncă de 50 de picioare

_ Gigi Becali se teme de Ion Ţiriac! Nu mai are nicio şansă în faţa magnatului. Îi va lua faţa imediat

_ URMĂȚI: Un deputat din Georgia înregistrează un videoclip cu străini ilegali ascunși într-o cameră ascunsă, sub protecție militară, pe aeroportul din Atlanta

_ Filmul „Sleeping Dogs”, cu Russell Crowe, bazat pe o carte a unui autor român, are premiera în SUA

_ Ciucă, replică pentru Ciolacu după ce premierul a ironizat județul condus de Gheorghe Flutur: PNL a arătat că este partidul cu cei mai eficienţi aleși locali

_ Programele de transformare au şanse de reuşită de 12 ori mai mari prin concentrarea pe factorul uman

_ LIVE TEXT - Război în Ucraina: Kievul anunță că și-a triplat producția de arme

_ Se schimbă tot ceea ce se știa până acum: Ar putea exista viață pe 'Luna' lui Jupiter. NASA a prezentat sonda care ar putea descoperi acest lucru / VIDEO

_ Un virus extrem de contagios, care provoacă vărsături, se răspândește masiv în Marea Britanie

_ Femeie grav rănită după ce a fost atacată de câinele ei de talie mare, în curtea casei

Cum și de ce a fost recrutat Friedrich Merz de Black Rock

_ Soțul gelos și fost consilier conservator care s-a pozat în om de afaceri de succes cu plăcuța „7ORY” și-a urmărit fosta soție în campanie de teroare

_ SUA se pregătesc să abandoneze bazele din estul Siriei și să se �ntoarcă �n China

_ Rujeola face ravagii în România. Număr record de cazuri, iar un bărbat a murit recent după ce a luat boala de la fiul său

_ Pe măsură ce schimbările climatice și poluarea pun în pericol recifele de corali, oamenii de știință îngheață coralii pentru a repopula viitoarele oceane

_ CAROLINE WEST-MEADS: „Partenerul prietenului meu o folosește ca bilet de masă”

_ Sports Illustrated Model Rocks poșeta �MAGA� la evenimentul Maxim�s Super Bowl LVIII

_ William nu știa dacă era posibil să iubești o singură fată... dar apoi Kate a lovit orașul într-o rochie sexy și a revenit în fugă. Aclamatul autor regal PENNY JUNOR despre povestea adevărată din spatele ACEI despărțiri

_ Ar trebui să fie forțați proprietarii de câini să curețe urina animalului de companie? Un angajat al NHS susține că o femeie „agresivă” a personalului de poliție i-a ordonat să „curățeze” mizeria lui Saluki

_ Stoltenberg de la NATO se așteaptă ca SUA să rămână „aliat angajat”, chiar dacă Trump se întoarce

_ Cutremur, duminică dimineață, în România. INFP anunță activitate seismică intensă în țară

_ Atacul cu rechinul din Tobago: Vecinii descriu atacul „oribil și traumatizant” al unui rechin taur asupra tatălui britanic de doi copii, în vârstă de 64 de ani, în timp ce acesta înota în mare

_ De ce să investești în ferestre termopan de calitate și care sunt criteriile de selecție

_ Paraziți tropicali care infectează coralii descoperiți în ecosistemele marine reci

_ Grevă „FX Vigilantes” - Yenul se prăbușește brusc la minimele din aprilie 1990 față de dolar

_ DEZVOLTARE: SUA oprește finanțarea agenției ONU �n urma acuzațiilor de implicare a angajaților �n masacrul din Israel din 7 octombrie

_ CHIAR ÎN: Rep. Tim Burchett trimite o scrisoare Comitetului de Supraveghere al Camerei, solicitând investigarea scrisorilor democraților către companii private prin care le cere să cenzureze mass-media conservatoare și One America News Network

_ James Carville s-a prăbușit din cauza tinerilor alegători care participă la alegeri

Ingrid Mocanu, după interzicerea bolșevico-soroșista a lui Georgescu : LEGEA a murit Suntem în DICTATURĂ

_ California Highway 1 se prăbușește, lăs�nd 2.000 de turiști blocați

_ „Voi, americanii, sunteți fascinați de putere”

_ Ceasurile din viitor îi pot prinde pe investitori să dorm: cum sunt afectate reacțiile investitorilor de întreruperea somnului

_ Tehnologie cu empatie: Utilizarea agenților conversaționali în educație

_ Echipa feminină de tenis de masă a României, calificată la Jocurile Olimpice de la Paris

_ România învinge Croația în preliminariile Euro 2024 la handbal feminin

_ French cricket scandal: Women's national team disbands


Pag.1 Pag.2 Pag.3 Pag.4 Pag.5 Pag.6 Pag.7
Pag.8 Pag.9 Pag.10 Pag.11 Pag.12 Pag.13 Pag.14 Pag.15
Pag.16 Pag.17 Pag.18 Pag.19 Pag.20 Pag.21 Pag.22 Pag.23
Pag.24 Pag.25 Pag.26 Pag.27 Pag.28 Pag.29 Pag.30 Pag.31
Pag.32 Pag.33 Pag.34 Pag.35 Pag.36 Pag.37 Pag.38 Pag.39
Pag.40 Pag.41 Pag.42 Pag.43

Nr. de articole la aceasta sectiune: 2563, afisate in 43 pagini.