18:35
Comentarii Adauga Comentariu

Queen 2.5


Qwen 2.5 - 19 septembrie 2024

Qwen 2.5

Data: 19 septembrie 2024

În acest blog, explorăm detaliile noilor modele de limbaj din seria Qwen2.5 dezvoltate de Alibaba Cloud Dev Team. Echipa a creat o gamă de modele dense numai pentru decodor, șapte dintre ele fiind open-source, variind de la 0,5B la 72B parametri. Cercetările arată un interes semnificativ al utilizatorilor pentru modelele din intervalul de parametri 10-30B pentru utilizare în producție, precum și modelele 3B pentru aplicații mobile. Pentru a răspunde acestor nevoi, echipa are Qwen2.5-3B, Qwen2.5-14B și Qwen2.5-32B cu sursă deschisă. În plus, modele precum Qwen-Plus și Qwen-Turbo sunt disponibile prin serviciile API din Alibaba Cloud Model Studio.

Qwen2.5 vs Qwen2

Seria Qwen2.5 aduce mai multe upgrade-uri cheie în comparație cu seria Qwen2 :

  • Open-source la scară completă: ca răspuns la cererea puternică a utilizatorilor pentru modele din gama 10-30B pentru producție și modele 3B pentru utilizare mobilă, Qwen2.5 își extinde ofertele open-source dincolo de cele patru modele Qwen2 (0,5B, 1,5B, 7B și 72B). Acesta adaugă două modele de dimensiuni medii rentabile — Qwen2.5-14B și Qwen2.5-32B — precum și Qwen2.5-3B optimizat pentru mobil. Aceste modele sunt extrem de competitive, Qwen2.5-32B depășind Qwen2-72B și Qwen2.5-14B depășind Qwen2-57B-A14B în evaluări cuprinzătoare.
  • Set de date pre-antrenament mai mare și de calitate mai înaltă: setul de date pre-antrenament s-a extins semnificativ, crescând de la 7 trilioane de jetoane la 18 trilioane de jetoane, sporind profunzimea de antrenament a modelului.
  • Îmbunătățirea cunoștințelor: Qwen2.5 demonstrează cunoștințe mai mari în diferite benchmark-uri. De exemplu, scorurile MMLU pentru Qwen2.5-7B și Qwen2.5-72B au crescut la 74.2 și 86.1, comparativ cu 70.3 și 84.2 pentru modelele Qwen2, cu câștiguri substanțiale observate și în benchmark-uri precum GPQA, MMLU-Pro, MMLU-redux și ARC-c.
  • Îmbunătățirea codării: capacitățile de codare ale Qwen2.5 s-au îmbunătățit semnificativ datorită progreselor în Qwen2.5-Coder. Qwen2.5-72B-Instruct îl depășește pe predecesorul său pe LiveCodeBench, MultiPL-E și MBPP, cu scoruri de 55,5, 75,1 și, respectiv, 88,2, față de 32,2, 69,2 și 80,2 pentru Qwen2-72B-Instruct.
  • Îmbunătățirea matematică: Abilitatea matematică a lui Qwen2.5 a cunoscut, de asemenea, o îmbunătățire rapidă, cu scorurile la benchmarkul MATH crescând de la 52,9 și 69,0 pentru Qwen2-7B/72B-Instruct la 75,5 și 83,1 pentru modelele Qwen2.5.
  • O mai bună aliniere a preferințelor umane: Qwen2.5 generează răspunsuri mai în concordanță cu preferințele umane. De exemplu, scorul Arena-Hard pentru Qwen2.5-72B-Instruct a crescut de la 48.1 la 81.2, iar scorul MT-Bench s-a îmbunătățit de la 9.12 la 9.35, comparativ cu Qwen2-72B-Instruct.
  • Alte îmbunătățiri ale capacității de bază: modelele Qwen2.5 excelează în urmărirea instrucțiunilor, generarea de text lung (extinderea de la 1K la peste 8K jetoane), înțelegerea datelor structurate și producerea de rezultate structurate precum JSON. De asemenea, demonstrează o rezistență îmbunătățită la diverse solicitări ale sistemului, îmbunătățind jocul de rol și setarea condițiilor pentru chatbot.

Performanță și comparații

Performanță Qwen2.5-72B

Seturi de date Llama-3-70B Mixtral-8x22B Qwen2-72B Qwen2.5-72B
MMLU 79,5 77,8 84,2 86,1
MATH 42.5 41.7 50.9 62.1
HumanEval 48,2 46,3 64,6 59,1
MBPP 70,4 71,7 76,9 84,7

Concluzie

Modelele Qwen2.5 demonstrează un salt major față de generațiile anterioare și excelează în multiple domenii.

Qwen 2.5 - 19 septembrie 2024

Qwen 2.5

Data: 19 septembrie 2024

În acest blog, explorăm detaliile noilor modele de limbaj din seria Qwen2.5 dezvoltate de Alibaba Cloud Dev Team. Echipa a creat o gamă de modele dense numai pentru decodor, șapte dintre ele fiind open-source, variind de la 0,5B la 72B parametri. Cercetările arată un interes semnificativ al utilizatorilor pentru modelele din intervalul de parametri 10-30B pentru utilizare în producție, precum și modelele 3B pentru aplicații mobile. Pentru a răspunde acestor nevoi, echipa are Qwen2.5-3B, Qwen2.5-14B și Qwen2.5-32B cu sursă deschisă. În plus, modele precum Qwen-Plus și Qwen-Turbo sunt disponibile prin serviciile API din Alibaba Cloud Model Studio.

Qwen 2.5 - 19 septembrie 2024

Qwen 2.5

Data: 19 septembrie 2024

În acest blog, explorăm detaliile noilor modele de limbaj din seria Qwen2.5 dezvoltate de Alibaba Cloud Dev Team. Echipa a creat o gamă de modele dense numai pentru decodor, șapte dintre ele fiind open-source, variind de la 0,5B la 72B parametri. Cercetările arată un interes semnificativ al utilizatorilor pentru modelele din intervalul de parametri 10-30B pentru utilizare în producție, precum și modelele 3B pentru aplicații mobile. Pentru a răspunde acestor nevoi, echipa are Qwen2.5-3B, Qwen2.5-14B și Qwen2.5-32B cu sursă deschisă. În plus, modele precum Qwen-Plus și Qwen-Turbo sunt disponibile prin serviciile API din Alibaba Cloud Model Studio.

Qwen2.5 vs Qwen2

Seria Qwen2.5 aduce mai multe upgrade-uri cheie în comparație cu seria Qwen2 :

  • Open-source la scară completă: ca răspuns la cererea puternică a utilizatorilor pentru modele din gama 10-30B pentru producție și modele 3B pentru utilizare mobilă, Qwen2.5 își extinde ofertele open-source dincolo de cele patru modele Qwen2 (0,5B, 1,5B, 7B și 72B). Acesta adaugă două modele de dimensiuni medii rentabile — Qwen2.5-14B și Qwen2.5-32B — precum și Qwen2.5-3B optimizat pentru mobil. Aceste modele sunt extrem de competitive, Qwen2.5-32B depășind Qwen2-72B și Qwen2.5-14B depășind Qwen2-57B-A14B în evaluări cuprinzătoare.
  • Set de date pre-antrenament mai mare și de calitate mai înaltă: setul de date pre-antrenament s-a extins semnificativ, crescând de la 7 trilioane de jetoane la 18 trilioane de jetoane, sporind profunzimea de antrenament a modelului.
  • Îmbunătățirea cunoștințelor: Qwen2.5 demonstrează cunoștințe mai mari în diferite benchmark-uri. De exemplu, scorurile MMLU pentru Qwen2.5-7B și Qwen2.5-72B au crescut la 74.2 și 86.1, comparativ cu 70.3 și 84.2 pentru modelele Qwen2, cu câștiguri substanțiale observate și în benchmark-uri precum GPQA, MMLU-Pro, MMLU-redux și ARC-c.
  • Îmbunătățirea codării: capacitățile de codare ale Qwen2.5 s-au îmbunătățit semnificativ datorită progreselor în Qwen2.5-Coder. Qwen2.5-72B-Instruct îl depășește pe predecesorul său pe LiveCodeBench, MultiPL-E și MBPP, cu scoruri de 55,5, 75,1 și, respectiv, 88,2, față de 32,2, 69,2 și 80,2 pentru Qwen2-72B-Instruct.
  • Îmbunătățirea matematică: Abilitatea matematică a lui Qwen2.5 a cunoscut, de asemenea, o îmbunătățire rapidă, cu scorurile la benchmarkul MATH crescând de la 52,9 și 69,0 pentru Qwen2-7B/72B-Instruct la 75,5 și 83,1 pentru modelele Qwen2.5.
  • O mai bună aliniere a preferințelor umane: Qwen2.5 generează răspunsuri mai în concordanță cu preferințele umane. De exemplu, scorul Arena-Hard pentru Qwen2.5-72B-Instruct a crescut de la 48.1 la 81.2, iar scorul MT-Bench s-a îmbunătățit de la 9.12 la 9.35, comparativ cu Qwen2-72B-Instruct.
  • Alte îmbunătățiri ale capacității de bază: modelele Qwen2.5 excelează în urmărirea instrucțiunilor, generarea de text lung (extinderea de la 1K la peste 8K jetoane), înțelegerea datelor structurate și producerea de rezultate structurate precum JSON. De asemenea, demonstrează o rezistență îmbunătățită la diverse solicitări ale sistemului, îmbunătățind jocul de rol și setarea condițiilor pentru chatbot.

Performanță și comparații

Performanță Qwen2.5-72B

Seturi de date Llama-3-70B Mixtral-8x22B Qwen2-72B Qwen2.5-72B
MMLU 79,5 77,8 84,2 86,1
MATH 42.5 41.7 50.9 62.1
HumanEval 48,2 46,3 64,6 59,1
MBPP 70,4 71,7 76,9 84,7

Concluzie

Modelele Qwen2.5 demonstrează un salt major față de generațiile anterioare și excelează în multiple domenii.

Qwen2.5 vs Qwen2

Seria Qwen2.5 aduce mai multe upgrade-uri cheie în comparație cu seria Qwen2 :

  • Open-source la scară completă: ca răspuns la cererea puternică a utilizatorilor pentru modele din gama 10-30B pentru producție și modele 3B pentru utilizare mobilă...
  • Set de date pre-antrenament mai mare și de calitate mai înaltă: setul de date pre-antrenament s-a extins semnificativ...
  • Îmbunătățirea cunoștințelor: Qwen2.5 demonstrează cunoștințe mai mari în diferite benchmark-uri...
  • Îmbunătățirea codării: capacitățile de codare ale Qwen2.5 s-au îmbunătățit semnificativ...
  • Îmbunătățirea matematică: abilitatea matematică a lui Qwen2.5 a cunoscut o îmbunătățire rapidă...
  • O mai bună aliniere a preferințelor umane: Qwen2.5 generează răspunsuri mai în concordanță cu preferințele umane...
  • Alte îmbunătățiri ale capacității de bază: modelele Qwen2.5 excelează în urmărirea instrucțiunilor...

Card model Qwen2.5

Modele Params Parametrii non-Emb Straturi Capete (KV) Încorporarea cravatei Lungimea contextului Lungimea generației Licenţă
Qwen2.5-0.5B 0,49B 0,36B 24 14 / 2 Da 32K 8K Apache 2.0
Qwen2.5-1.5B 1,54B 1,31B 28 12 / 2 Da 32K 8K Apache 2.0
Qwen2.5-3B 3.09B 2,77B 36 16 / 2 Da 32K 8K Cercetarea Qwen
Qwen2.5-7B 7,61B 6,53B 28 28 / 4 Nu 128K 8K Apache 2.0
Qwen2.5-14B 14.7B 13.1B 48 40 / 8 Nu 128K 8K Apache 2.0
Qwen2.5-32B 32,5B 31.0B 64 40 / 8 Nu 128K 8K Apache 2.0
Qwen2.5-72B 72,7B 70,0B 80 64 / 8 Nu 128K 8K Qwen

Performanțe Qwen2.5

Performanța modelelor Qwen2.5 este evaluată pe o gamă largă de sarcini, incluzând matematică, codare și multilingvism.

Performanță Qwen2.5-72B

Modelul de bază Qwen2.5-72B iese în evidență prin depășirea semnificativă a altor modele din categoria sa într-un spectru larg de sarcini.

Performanță Qwen2.5-14B/32B

Modelele Qwen2.5-14B și Qwen2.5-32B oferă performanțe robuste în sarcini generale precum MMLU și BBH...

Performanță Qwen2.5-7B

Modelul Qwen2.5-7B depășește atât predecesorii, cât și concurenții săi într-o gamă largă de benchmark-uri.

Concluzii

Modelele Qwen2.5 reprezintă un progres semnificativ, oferind performanțe competitive într-o gamă variată de domenii și fiind optimizate pentru utilizare în aplicații diverse.


(Mediafax)


Linkul direct catre Petitie

CEREM NATIONALIZAREA TUTUROR RESURSELOR NATURALE ALE ROMANIEI ! - Initiativa Legislativa care are nevoie de 500.000 de semnaturi - Semneaza si tu !

Comentarii:


Adauga Comentariu



Citiți și cele mai căutate articole de pe Fluierul:

_ Tot ce poate merge prost cu sânii tăi - și ce să faci în privința asta: ghidul definitiv al DR PHILIPPA KAYE

_ Oficial! Avem o nouă staţiune pe litoralul românesc

_ Un judecător CSM intră tare peste critici: Durata mare de soluționare a proceselor e o excepție!

_ Cariera ta va primi un impuls la 2:22! Cum rolul mamei bântuite din povestea cu fantome din West End a devenit o parte de bază pentru actori aspiranți, inclusiv Lily Allen, Cheryl... și acum Stacey Dooley

_ Cel puţin patru morţi în urma incendiului izbucnit într-un bloc cu 14 etaje din Valencia

_ Satul pitoresc de pe malul râului, în țară, îndrăgit de turiștii britanici, oferă case de vânzare pentru 10 PENCI - dar trebuie să aveți sub 45 de ani, iar clădirile ar putea avea nevoie de ceva TLC

_ Mike Tindall își arată abilitățile sportive în timp ce participă la Rugby for Heroes' Family Fun Run cu fiica sa, Lena, în vârstă de 5 ani

_ Una din șase familii a fost afectată de INCEST, susține un raport șocant - și este încă legal într-o oarecare măsură în 19 state

_ Rară gospodărie marmorată moare la scurt timp după ce a atras admiratori în Vermont: Ce s-a întâmplat?

_ Schimbările climatice distrug bacteriile rare într-o Antarctica „înverzită”.

_ Începe runda 28 a Superligii cu trei meciuri, toate cu mize importante

_ Grund unic degenerat îmbunătățește semnificativ performanța codurilor de bare COX1 în profilarea nematodelor din sol

_ Întoarce-ne comorile „jefuite”, le spun războinicii chinezi TikTok vecinilor din Norfolk ai Prințului William și Kate Middleton, după ce susțin că conacul impunător cu 106 camere este plin de obiecte de valoare antice din dinastia Qing

_ ALEXANDRA SHULMAN face o recenzie pe Victoria Beckham X Mango: „Posh aruncă un pic de praf de zână de modă pe High Street, iar hainele oferă”

_ Ucraina primeşte veşti bune: ajutor din Europa şi de peste Ocean

_ Curtea Constituțională din Rep. Moldova, decizie istorică - 'Referendumul privind aderarea la UE este constituțional' / Maia Sandu anunță când va avea loc

_ „Am fost șocat, nu vrei să fii asociat cu un spion comunist”: John Simpson de la BBC dezvăluie că a fost „teribil de supărat” după ce a aflat că fostul său iubit de la Beeb era agentul blocului sovietic „Vora” care spiona pentru cehi

_ Fostul fundaș de colț NFL Davis găsit mort la 35 de ani: poliție

_ Prezentatoarea de știri Channel 4 CATHY NEWMAN se deschide despre acel interviu cu Jordan Peterson, despre planurile ei de pensionare și dezvăluie pe cine ar fi nerăbdătoare să intervieveze pe ecran

_ Ministerul Familiei propune noi condiții pentru atestarea asistenților maternali

_ DEZVOLTARE: Șoferul lovește vehiculul �n poarta de securitate din față la sediul FBI din Atlanta (VIDEO)

_ Pădurile tropicale nu se pot recupera în mod natural fără păsări care mănâncă fructe, arată un studiu de recuperare a carbonului

_ Actualizări live ale procesului lui Donald Trump: așteptarea verdictului continuă, în timp ce juriul le cere să le citească mărturia lui David Pecker

_ Lovituri mortale ale Rusiei asupra Donețk și Harkov din Ucraina, în timp ce dușmanii marchează Paștele Ortodox

_ Veronika Kudermetova, învinsă în primul tur la Doha (WTA)Veronika Kudermetova, învinsă în primul tur la Doha (WTA)

_ Un vulcan a erupt în Indonezia. Sute de oameni au fost evacuaţi

_ Hunter Biden încearcă să iasă din acuzațiile federale privind armele aruncând vina pe Trump și „Aliații săi MAGA”

_ 'Aceasta este casa lui Dumnezeu... nu un rave din anii '90!' Congregația trântește discotecile tăcute băutură care găzduiesc oameni precum Vengaboys și All Saints la Catedrala Canterbury - dar liderii bisericii apără mișcarea de a atrage turme mai tinere

_ Ninsorile abundente continuă în centrul ţării

_ Paul Hollywood primește un MBE pentru serviciile de difuzare și coacere de la Prințesa Anne, deoarece admite că i-ar alege pe William și Kate pentru a apărea la Bake Off: „Ar fi mai mult decât bineveniți!”

_ Accidentarea la spate îl obligă pe prostituatorul din Țara Galilor Owens să se retragă

_ FAA emite avertisment pentru întreruperi în călătoriile aeriene în timpul eclipsei totale de soare din 8 aprilie

_ Ce speră Joe Biden că se va întâmpla odată cu începerea Ramadanului

_ Cine este soția lui Dave Myers, Liliana Orzac? Faceți cunoștință cu femeia „remarcabilă” care l-a susținut pe starul Hairy Biker în călătoria sa „teribilă” împotriva cancerului

_ Contestația PNL la candidatura lui Mihai Georgescu, primarul penal, a fost admisă

_ Kyle Walker elimină scandalul său de paternitate cu Lauryn Goodman pentru a pleca cu cei trei copii ai săi la amicalul Angliei - în timp ce soția însărcinată Annie Kilner urmărește

_ Adolescent migrant pl�ngător găsit abandonat de către traficanți �n deșertul Texas � Democrații au făcut asta

_ „Ochii” telescopului spațial roman al NASA trec primul test de vedere

_ Poliția localizează cadavrul studentului dispărut Riley Strain

_ Momentul plin de căldură Aryna Sabalenka pleacă braț la braț cu cea mai bună prietenă Paula Badosa în urma câștigării meciului la Miami Open... la doar câteva zile după ce fostul iubit Konstantin Koltsov a murit după ce a căzut de pe balconul hotelului

_ În interiorul primului kebab comunist din Marea Britanie, unde felurile de mâncare poartă numele lui Lenin și Marx

_ Elon Musk întreabă „Este asta de dreapta?”

_ Studiul creditorilor auto arată că inteligența artificială ar putea atenua prejudecățile și ar putea deschide împrumuturile clienților marginalizați

_ Intrarea Wikipedia despre „Istoria scaunului” devine câmpul de luptă al războiului cultural

_ Cod galben de vânt puternic în şase judeţe, până miercuri dimineaţa

_ Starul OnlyFans Bonnie Blue dezvăluie cum MAMA ei a ajutat-o ​​să se culce cu 158 de bărbați în 2 săptămâni - și ce crede cu adevărat tatăl ei despre cariera ei de adult

_ De la regalitatea Primrose Hill... la WAG-ul fotbalistului? În interiorul vieții boeme a lui Iris Law, cu educație privată, fiica celor din anii '90 Jude și Sadie Frost, care aproape că a înghițit odată Ecstasy la Soho House, la doar 2 ani.

_ Prima reacţie a lui Putin după atacul terorist soldat cu cel puţin 115 morţi: atacatorii au fost reţinuţi în timp ce se îndreptau spre Ucraina

_ Taiwanul simulează un scenariu ucrainean

_ Breaking - Cristiano Bergodi a fost demis de la Rapid: Clubul a făcut anunțul oficial

_ VIDEO – Cătălin Cîrstoiu: 'M-am simțit hărțuit!'

_ UE este pregătită pentru „decizii dure de protejare a economiei”, spune von der Leyen Chinei

_ A început Carnavalul de la Veneţia, cu o tematică dedicată lui Marco Polo

_ Mamma Mia! Ce farmacie: magazinul din Florența care este parțial magazin, parțial muzeu, spune Rosie Green

_ Pe măsură ce drama Netflix cu aristo-întâlnește-gangster crește cererea pentru șic „bani vechi”... Cum să-i faci pe The Gentlemen să arate mai puțin

_ Fără canabis la Oktoberfest! Motivul pentru care Bavaria vrea 'să limiteze consumul de canabis în public'

_ DEZVLUIT: Cele trei suplimente periculoase dacă iei prea mult - provocând vărsături, vedere încețoșată și chiar sângerare internă

_ Wicked se deschide cu numere surprinzătoare de box office, în ciuda supărării extreme din cauza turneului de presă

_ PSD continuă racolările din PNL: Un nou lot liberal a migrat în PSD Iași

_ Greva iraniană asupra Israelului „iminentă” în următoarele 24-48 de ore – Reporteri


Pag.1 Pag.2 Pag.3 Pag.4 Pag.5 Pag.6 Pag.7
Pag.8 Pag.9 Pag.10 Pag.11 Pag.12 Pag.13 Pag.14 Pag.15
Pag.16 Pag.17 Pag.18 Pag.19 Pag.20 Pag.21 Pag.22 Pag.23
Pag.24 Pag.25 Pag.26 Pag.27 Pag.28 Pag.29 Pag.30 Pag.31
Pag.32 Pag.33 Pag.34 Pag.35 Pag.36 Pag.37 Pag.38 Pag.39
Pag.40 Pag.41 Pag.42 Pag.43 Pag.44 Pag.45 Pag.46 Pag.47
Pag.48 Pag.49 Pag.50 Pag.51 Pag.52 Pag.53 Pag.54 Pag.55
Pag.56 Pag.57 Pag.58 Pag.59 Pag.60 Pag.61 Pag.62 Pag.63
Pag.64 Pag.65 Pag.66 Pag.67 Pag.68 Pag.69 Pag.70 Pag.71
Pag.72 Pag.73 Pag.74 Pag.75 Pag.76 Pag.77 Pag.78 Pag.79
Pag.80 Pag.81 Pag.82 Pag.83 Pag.84 Pag.85 Pag.86 Pag.87
Pag.88 Pag.89 Pag.90 Pag.91 Pag.92 Pag.93 Pag.94 Pag.95
Pag.96 Pag.97 Pag.98 Pag.99 Pag.100 Pag.101 Pag.102 Pag.103
Pag.104 Pag.105 Pag.106 Pag.107 Pag.108 Pag.109 Pag.110

Nr. de articole la aceasta sectiune: 6550, afisate in 110 pagini.