23:59
Comentarii Adauga Comentariu

ZeRO-Infinity și DeepSpeed: Deblocarea unei scale de model fără precedent pentru instruirea în profunzime a Inteligenței Artificiale



Blogul Microsoft Research

ZeRO-Infinity și DeepSpeed: Deblocarea unei scale de model fără precedent pentru instruirea în profunzime a Inteligenței Artificiale

Publicat 19 aprilie 2021

De echipa DeepSpeed

Inteligență artificială

De când a fost introdusă biblioteca de optimizare DeepSpeed ​​anul trecut, a lansat numeroase optimizări noi pentru instruirea modelelor mari de AI - îmbunătățirea scării, vitezei, costurilor și utilizabilității. Deoarece modelele mari au evoluat rapid în ultimul an, la fel și DeepSpeed. Indiferent dacă le permite cercetătorilor să creeze generația de limbi naturale Microsoft Turing de 17 miliarde de parametri (Turing-NLG) cu precizie de ultimă generație, obținând cel mai rapid record de formare BERT sau susținând formare de 10 ori mai mare folosind un singur GPU , DeepSpeed continuă să abordeze provocările din AI la scarăcu cele mai recente progrese pentru formarea la scară largă a modelelor. Acum, noua tehnologie de optimizare a memoriei ZeRO (Zero Redundancy Optimizer), inclusă în DeepSpeed, se află într-o transformare proprie. ZeRO-Infinity îmbunătățit oferă capacitatea sistemului de a trece dincolo de peretele de memorie GPU și de a antrena modele cu zeci de miliarde de parametri, un ordin de mărime mai mare decât sistemele de ultimă generație. De asemenea, oferă o cale promițătoare spre instruirea modelelor de 100 trilioane de parametri.

ZeRO-Infinity dintr-o privire: ZeRO-Infinity este o nouă tehnologie de formare profundă (DL) pentru formarea modelelor de scalare, de la un singur GPU la supercomputerele masive cu mii de GPU-uri. Alimentează dimensiuni de model fără precedent, utilizând capacitatea completă de memorie a unui sistem, exploatând simultan toată memoria eterogenă (GPU, CPU și memorie non-volatile express sau NVMe pe scurt). Aflați mai multe în lucrarea noastră, „ ZeRO-Infinity: Breaking the GPU Memory Wall for Extreme Scale Deep Learning ”. Cele mai importante momente ale ZeRO-Infinity includ:

Oferind capacitatea sistemului de a antrena un model cu peste 30 de trilioane de parametri pe 512 GPU-uri NVIDIA V100 Tensor Core, de 50 de ori mai mari decât stadiul tehnicii.

Oferind o eficiență excelentă de formare și o scalare a randamentului superliniar prin partiționarea și maparea de date noi, care pot exploata lățimile de bandă de memorie CPU / NVMe agregate și calculul procesorului, oferind peste 25 de petaflopi de transfer susținut pe 512 GPU-uri NVIDIA V100.

Continuarea misiunii echipei DeepSpeed ​​de a democratiza formarea de modele mari, permițând oamenilor de știință de date cu un singur GPU să regleze modele mai mari decât Open AI GPT-3 (175 miliarde de parametri).

Eliminarea barierei de intrare pentru formarea de modele mari, făcându-l mai simplu și mai ușor - ZeRO-Infinity depășește un trilion de parametri fără complexitatea combinării mai multor tehnici de paralelism și fără a necesita modificări în codurile de utilizator. Din câte știm, este singura tehnologie paralelă care face acest lucru. Videoclipul de mai sus arată modul în care ZeRO-Infinity valorifică în mod eficient GPU, CPU și NVMe în totalitate prin 1) partiționarea fiecărui nivel de model în toate procesele paralele de date, 2) plasarea partițiilor pe dispozitivele NVMe paralele de date corespunzătoare și 3) coordonarea mișcării datelor necesare pentru a calcula propagarea înainte / înapoi și actualizările de greutate pe GPU-urile paralele de date și respectiv CPU-uri.

Suntem, de asemenea, încântați să anunțăm integrarea DeepSpeed ​​cu Azure Machine Learning și soluțiile open-source. Mediul curatat DeepSpeed din Azure Machine Learning facilitează accesul utilizatorilor la Azure . DeepSpeed ​​este acum integrat în Hugging Face v4.2 și PyTorch Lightning v1.2. Utilizatorii Hugging Face și PyTorch Lightning își pot accelera cu ușurință modelele cu DeepSpeed ​​printr-un simplu steag „deepspeed”!

Abordarea nevoilor de formare de modele mari acum și în viitor cu ZeRO-Infinity

În ultimii trei ani, cel mai mare model dens antrenat a crescut de peste 1.000 de ori, de la o sută de milioane de parametri în era pre-BERT la peste o sută de miliarde de parametri acum. Cu toate acestea, în aceeași durată, memoria GPU simplă a crescut doar cu 5x (16 GB la 80 GB). Prin urmare, creșterea dimensiunii modelului a fost posibilă în principal prin progresele în tehnologia de sistem pentru instruirea modelelor DL ​​mari, cu tehnologii paralele precum paralelismul modelului, paralelismul conductelor și ZeRO permițând modelelor mari să se încadreze în memoria GPU agregată, creând o cale către instruirea modelelor mai mari și mai puternice.

Stadiul tehnicii în tehnologia de formare a modelelor mari este paralelismul 3D. Acesta combină paralelismul modelului (tranșarea tensorială) și paralelismul conductelor cu paralelismul datelor în moduri complexe pentru a scala modele în mod eficient, utilizând pe deplin memoria GPU agregată și calculul unui cluster. Paralelismul 3D a fost folosit în DeepSpeed și NVIDIA Megatron-LM , printre alte cadre.

În ciuda capacităților incredibile ale paralelismului 3D pentru formarea modelelor mari, ajungem acum la peretele de memorie GPU. Memoria GPU agregată pur și simplu nu este suficient de mare pentru a susține creșterea dimensiunii modelului. Chiar și cu cele mai noi GPU-uri NVIDIA A100, care au 80 GB memorie, paralelismul 3D necesită 320 de GPU-uri doar pentru a se potrivi cu un model de trilioane de parametri pentru antrenament. În plus, paralelismul 3D necesită refactorizarea semnificativă a codului de la oamenii de știință a datelor, creând o barieră mare la intrare. Trei întrebări apar:

Privind în viitor, cum susținem următoarea creștere de 1.000 de ori în dimensiunea modelului, trecând de la modele precum GPT-3 cu 175 de miliarde de parametri la modele cu sute de miliarde de parametri?

Concentrându-ne pe prezent, cum putem face ca marile modele de astăzi să fie accesibile mai multor oameni de știință care ar putea să nu aibă acces la sute la GPU-uri necesare în prezent pentru a se potrivi acestor modele?

Putem face mai ușoară pregătirea pentru modelele mari eliminând această nevoie de refactorizare a modelelor?

Astăzi, facem un salt înainte de paralelismul 3D prin introducerea ZeRO-Infinity, un sistem nou capabil să abordeze toate provocările menționate mai sus ale antrenamentului pentru modelele mari. ZeRO-Infinity extinde familia de tehnologie ZeRO cu noi inovații în cartografierea datelor și acces la memorie eterogenă de înaltă performanță, care permite ZeRO-Infinity să accepte dimensiuni masive ale modelului pe resurse GPU limitate prin exploatarea simultană a memoriei CPU și NVMe, neimputernicită de lățimea lor de bandă limitată .

ZeRO-Infinity poate antrena, de asemenea, aceste modele fără a fi nevoie să combine mai multe forme de paralelism în paralelism 3D. O face printr-o nouă abordare bazată pe calcul, centrată pe memorie, care vizează reducerea cerințelor de memorie GPU ale straturilor individuale mari, care altfel ar necesita paralelismul modelului (feliere tensoriale) pentru a se potrivi modelului în memoria GPU. În plus, ZeRO-Infinity simplifică formarea de modele mari, identificând și automatizând toate comunicațiile necesare pentru instruirea oricărei arhitecturi de model arbitrare, eliminând practic nevoia de refacturare a oricărui model chiar și atunci când se scalează la trilioane de parametri. Nu în ultimul rând, ZeRO-Infinity oferă un motor puternic de calcul și comunicare care se suprapune conceput pentru a împinge eficiența antrenamentului la limite ascunzând cât mai multă latență de comunicare.

Cu toate aceste inovații, ZeRO-Infinity redefinește capacitățile unui sistem DL, oferind o scală de model fără precedent, care este accesibilă și ușor de utilizat , obținând în același timp o eficiență excelentă a antrenamentului .

Scală de model fără precedent: instruiți modele de 30 de trilioane de parametri pe 512 GPU-uri ZeRO-Infinity oferă un salt de ordine de mărime în tehnologia sistemelor de instruire DL, deschizând o cale către susținerea următoarei creșteri de 1.000 de ori a scării modelului prin exploatarea eficientă a sistemelor de memorie eterogene pe generațiile actuale și viitoare de hardware. Acesta rulează un model cu peste un trilion de parametri pe un singur nod NVIDIA DGX-2 și peste 30 de trilioane de parametri pe 32 de noduri (512 GPU-uri). Cu o sută de noduri DGX-2 într-un cluster, proiectăm ZeRO-Infinity poate antrena modele cu peste o sută de miliarde de parametri . (vezi Figura 1 pentru detalii).

Figura 1: Compararea scării modelului între paralelism 3D și ZeRO-Infinity. Experimentele sunt efectuate pe clustere GPU utilizând sisteme NVIDIA DGX-2 16-GPU (noduri). Modelul scalează până la 32 trilioane de parametri pe 512 GPU-uri V100 (32 noduri DGX-2) pe baza rulărilor măsurate, în timp ce numărul de parametri pe 64 și 128 noduri DGX-2 se bazează pe proiecții. Pentru a permite formarea modelului la această scară, ZeRO-Infinity extinde familia de tehnologie ZeRO cu inovații distincte care vizează diferite blocaje ale memoriei.

1. Etapa 3 a ZeRO (ZeRO-3) permite eliminarea tuturor redundanțelor de memorie în formarea paralelă de date prin partiționarea stărilor modelului în procesele paralele de date.

Explorează modul în care ZeRO-3 elimină redundanțele de memorie

2. Infinity Offload Engine, o nouă bibliotecă de descărcare de date, permite exploatarea completă a arhitecturilor eterogene moderne de memorie prin descărcarea stărilor de model partiționate în memoria dispozitivului CPU sau NVMe, care sunt mult mai mari decât memoria GPU.

Figura 3: Defalcare a memoriei / stocării totale disponibile pe un singur sistem NVIDIA DGX-2. Are 3x memorie CPU și peste 50x stocare NVMe comparativ cu memoria GPU.

Explorează modul în care Infinity Offload Engine exploatează pe deplin memoria eterogenă 3. Punctul de control al activării cu descărcarea procesorului permite reducerea amprentei de memorie de activare, care poate deveni blocajul memoriei de pe GPU după ce memoria cerută de stările modelului este adresată de ZeRO-3 și Infinity Offload Engine.

Explorați modul în care punctele de control ale activării cu descărcarea procesorului conservă memoria

4. Placarea operatorului centrat pe memorie, o tehnică nouă de reprogramare a calculelor care funcționează împreună cu programul de acces și comunicare ZeRO, permite reducerea amprentei de memorie a straturilor individuale incredibil de masive care pot fi prea mari pentru a se potrivi în memoria GPU chiar și cu un singur strat la o vreme.

Explorează modul în care placarea operatorului centrat pe memorie reduce memoria de lucru pentru straturile mari

Acces mai larg la reglarea fină a modelelor extrem de mari: GPT-3 sau chiar modele mai mari pe un singur GPU

Figura 4: Compararea celor mai mari dimensiuni de model care pot fi instruite pe un singur nod NVIDIA DGX-2 utilizând diverse tehnologii de formare paralele DL. Nodul NVIDIA DGX-2 este format din 16 GPU-uri V100-32GB împreună cu 1,5 TB memorie CPU și 20 TB stocare NVMe utilizabilă. Culorile albastru, portocaliu și verde sunt utilizate pentru a reprezenta tehnologii care utilizează numai memoria GPU, GPU cu memorie CPU și GPU cu memorie atât pentru CPU, cât și pentru NVMe. ZeRO-Infinity poate rula de fapt cu peste un trilion de parametri chiar și pe un singur GPU, comparativ cu stadiul tehnicii, care este de 13 miliarde de parametri cu ZeRO Offload.

În timp ce pregătirea preliminară este primul pas important în crearea unui model masiv, reglarea fină pentru sarcini specifice este esențială pentru valorificarea întregului potențial al modelului pentru diferite scenarii. Reglarea fină a modelelor masive ușor accesibile pentru oamenii de știință a datelor ar putea permite crearea multor modele derivate pentru a satisface nevoia diferitelor scenarii de aplicație. Aceste sarcini ar putea varia de la corecția gramaticală la asistența la scriere, de la subtitrarea imaginii la generarea de cod - orice sarcină posibilă cu modelele mari de AI.

Spre deosebire de pretraining, care poate necesita milioane de ore de calcul GPU, reglarea fină a unui model cu sute de miliarde de parametri este mult mai ieftină, necesitând semnificativ mai puține ore de calcul GPU și se poate face pe un singur nod de calcul cu o mână de GPU-uri. În timp ce astfel de resurse de calcul sunt accesibile multor companii și utilizatori, din păcate, acestea sunt restricționate de memoria disponibilă pe aceste noduri de calcul, care la rândul său limitează dimensiunea modelului care poate fi reglat fin. Face inaccesibilă reglarea fină a modelelor mari pentru majoritatea companiilor și companiilor care nu au acces la clustere masive GPU.

ZeRO-Infinity schimbă complet acest peisaj, permițând oamenilor de știință de date cu acces la un singur nod, cum ar fi NVIDIA DGX-2, să regleze fin modelele cu peste un trilion de parametri (Figura 4). De fapt, poate rula modele cu peste un trilion de parametri chiar și pe un singur GPU al unui astfel de nod, deoarece are suficientă memorie CPU și NVMe. Aceasta este cu aproape 100 de ori mai mare decât stadiul tehnicii pentru antrenamentul GPU unic. Cu ZeRO-Infinity, blocajul memoriei nu mai este memoria GPU sau chiar memoria CPU. În schimb, le putem folosi acum împreună cu memoria NVMe mult mai mare și mai ieftină.

Prin ZeRO-Infinity, facem un alt pas spre democratizarea AI, permițând utilizatorilor și companiilor cu resurse limitate să valorifice puterea modelelor masive pentru aplicațiile lor specifice afacerii.


(Fluierul)


Linkul direct catre Petitie

CEREM NATIONALIZAREA TUTUROR RESURSELOR NATURALE ALE ROMANIEI ! - Initiativa Legislativa care are nevoie de 500.000 de semnaturi - Semneaza si tu !

Comentarii:


Adauga Comentariu



Citiți și cele mai căutate articole de pe Fluierul:

Cioloș poreclit fiul lui SOROS, saluta PACTUL Rusia-UE de la Chisinău care a impus Guvernul Ruso-UE al soroșistei Maia Sandu

MOSTENIREA nestiuta a lui Ceausescu! America e SOCATA de ce a descoperit in Romania
ULTIMA ORA: Dusmanii tarii vor sa ascunda adevarul

Partidul Republican denunță decizia Facebook în cazul lui Trump / Compania, amenințată cu scindarea

Imaginile din Bucovina au impresionat Apple, care a preluat pozele unui fotograf român

COMENTARIU Valeriu ȘUHAN: Gratuitate pentru testări !

ISTORIA FĂRĂ PERDEA Marius Oprea | Afacerile postrevoluționare ale Securității (I)

Drulă, despre parcarea de la Aeroportul Otopeni: Scăpăm de acel sistem oribil cu fisă

Mihai Eminescu - Despre BISERICA RASARITEANA

Metodele mafiote ale proxenetului român care a îngrozit Anglia: și-a închis iubita în pivniță, a vrut să-i scoată ochii, să-i taie limba și tendoanele!

HOROSCOP 6 mai: Noroc de bani și afirmare pentru aceste zodii. Oportunități în carieră

VIDEO A murit Nick Kamen, model și cântăreț-simbol al anilor '80. A fost preferatul Madonnei

RUŞINE. CA-N COLONII. La fel ca Vîşinski pe vremea lui Stalin, Bilderbergul Timmermans prieten de-o viață cu SOROS şi Prim-Vicepreședintele Comisiei UE a venit la Bucureşti ca să ia la rost Parlamentul României, Guvernul României şi pe Ministrul Justiției

Arena Națională va găzdui 4 meciuri în cadrul Campionatului European. Doar persoanele vaccinate au acces pe stadion

Lucrările la stația de metrou Pipera continuă până la sfârșitul lunii mai. Ce modificări apar la traficul pietonal

O carte pe zi. "Lațul" de Lilja Sigurdardóttir

Ce scrie presa internațională după împușcarea ursului Arthur: "Un prinț în febra vânătorii"

Racheta Starship a aterizat cu succes, după patru tentative eșuate

Ion Cristoiu: USRPLUS devine pe zi ce trece un partid tot mai pragmatic

IEȘI PE PLUS, ora 12:00. Ce este" open-banking" și cum ne ajută? Cum gestionăm bugetul folosind serviciile online bancare? Invitat: Mugur Podaru, director canale alternative la CEC Bank

Sapporo Challenge Half Marathon 2021 a fost un test reușit înainte de Jocurile Olimpice. Ce măsuri anti COVID-19 au luat organizatorii

Muncitori români chinuiți pe un șantier din Italia. Nu aveau acces la asistență medicală

Împușcarea lui Arthur îi scandalizează pe austrieci: "Vânătoarea de trofee trebuie scoasă în afara legii". Ce scrie The Guardian despre "măcelul" din Munții Carpați

Rezultatele studiului din Danemarca și Norvegia după decesele persoanelor vaccinate cu serul AstraZeneca

Cum împart averea Bill și Melinda Gates? Cei doi nu aveau semnat un contract prenupțial

Noi restricții de circulație pe Autostrada Soarelui. Ce trebuie să știe șoferii

Google Maps: Ratingul castelului Riegerburg, scăzut de românii indignați de omorârea ursului Arthur

India. Guvernul admite că o variantă "dublu mutantă" a dus la creșterea cazurilor de Covid

Primul autotest antigen Covid-19 în România a fost avizat

Coface: SUA conduce revenirea globală, economiile emergente rămân în urmă

"Never give in" este fascinantul documentar despre viața legendarului Sir Alex Ferguson. Când va fi lansată pelicula

Partidele folosesc banii din subvenții în special pentru propagandă

Primăria Ploiești: Gunoaiele din oraș, neridicate de două săptămâni

RUȘINE. După ce a dat pe nimic austriecilor tot petrolul țării și după ce a dat rușilor aproape toată metalurgia, Adrian Nastase vine și are tupeul să facă pe "patriotul". Adrian Năstase: 'PSD are nevoie de un mesaj mai puternic de natură naționalistă"

Proteste violente în Columbia: 24 de morți și zeci de răniți. Poliția i-a întâmpinat pe manifestanți cu glonț pe țeavă

STUDIU Măștile de unică folosință eliberează poluanți chimici. "Este o problemă cu care ne vom confrunta în viitor"

Cel mai mare studiu. Vaccinul Pfizer are o eficiență de peste 95% împotriva Covid-19. În ce condiții scade

Coronavirus România LIVE UPDATE 6 mai. Ultimul bilanț COVID-19

Nicușor Dan, care a recunoscut că a fost plătit de Fundația Soroș, e prieten bun cu Remus Cernea și cu Alina Mungiu Pippidi, cea care a organizat linșajul mediatic. Nu votați cu ONG-urile lui Soroș și cu rețeaua de activiști progresiști internaționaliști.

Chelsea Londra a completat finala 100% engleză a Ligii Campionilor

22-iunie-2017 Austriecii au Comandat, 14-iulie-2017 Iohannis a Executat. Iohannis a întors în Parlament legea care impunea multinaționalelor un impozit mai mare din venituri pentru prețurile de peste 85 lei/MWh la gaze. LEGEA PROTEJA POPULAȚIA ROMÂNIEI

Coaliția Pentru Familie Condamnă Convenția de la Istanbul ratificată şi de România. Convenția deschide drumul transformării băieților în fete şi fetelor în băieți introducând conceptul neomarxist progresist de "gen" ca fiind separat de sexe

INCREDIBIL. Prof. univ. dr. Corvin Lupu: Dezvaluie planul prin care Ceausescu a fost tradat: "In 1989 depozitele alimentare ale României erau arhipline dar magazinele erau goale și românii nu aveau ce mânca"

BANII SI TERENURILE DATE MASONERIEI NU AU FOST TAIATE. Marea Lojă Naţională Masonică a primit gratuit de la Guvern un teren cu o valoare de peste 2,1 milioane de lei, pentru construirea unei clădiri "de interes public", în decembrie 2013

Peste 61.000 de români CER "Opriți Jaful. Vreau să las moștenire copiilor mei această țară!". NATIONALIZAREA RESURSELOR, OPRIREA CONCESIONĂRILOR PE NIMIC ȘI INTERZICEREA VÂNZĂRII TERENURILOR LA STRĂINI - e cea mai semnată Petiție de pe PetițieOnline.net.

Cicliștii au prioritate la vaccinare, în Vinerea Verde, la centrul drive-through din Deva

Avionul Egyptair prăbuşit: Analiza uneia din cutiile negre arată că s-a pronunţat cuvântul "foc"

"InSecuritate," cu Bogdan Nicolae. Invitat în emisiune: Yugo Neumorni, președinte al CIO Council

Elevii evită copiii care au avut COVID-19. Psiholog: Vina nu este a elevilor

Octavian Berceanu: Nu contează dimensiunea ursului, nici cine l-a împușcat, ci cum s-a făcut recoltarea

SUA susțin accesul la brevetele de vaccin COVID pentru a spori producția. Decizia a primită cu entuziasm de directorul OMS Tedros Ghebreyesus

In timp ce Iohannis si-a triplat salariul si si-a marit bugetul presedintiei cu 40%. PENTRU GUVERNUL CIOLOS/SOROS CEI MAI SARACI ROMANI POT SA CRAPE NU LI SE DA NIMIC IN PLUS LA SALAR. Dragu: Salariul minim NU crește de la 1 ianuarie la 1.200 lei

Sergiu Nicolaescu - era nepotul lui Ion Gheorghe Maurer. Nesimțitul trădător, părtaș al Puciului Moscovit din Decembrie 1989, a vrut să joace rolul lui Mihai Viteazul, în locul lui Amza Pellea. Noroc cu Ceaușescu care nu l-a lăsat să ia rolul.

Decizie judecătorească: Vaccinul produs de firma Glaxo provoaca autism! Vaccinul "Infanrix Hexa”, este un vaccin hexavalent, administrat in primul an de viata, care „protejează” de poliomielita, difterie, tetanos, hepatita B, tusea convulsiva, haemophilius

Ţânţarul TIGRU, care transmite virusul ZIKA, a fos FOTOGRAFIAT în Bucureşti. Adrian Ionel, directorul Institutului Cantacuzino - a confirmat că ţânţarul-tigru a fost identificat în parcurile din Bucureşti încă din 2015

VÂNZAREA ȚĂRII. Săracii Europei: în România, 40% din populație trăiește în mizerie. Românii se împrumută la rude și prieteni ca să își plătească utilitățile

Anthony Fauci: "Vaccinurile sunt mai bune decât răspunsul pe care îl obțineți de la infecția naturală"

OPRIȚI VĂNZAREA TERENURILOR LA STRĂINI. Mii de fermieri protesteaza in Bucuresti: „Ați schimbat Guvernul să vindeți terenul!”.

Microsoft, Google, Intel și Mozilla vor să mute WebAssembly dincolo de browser

Dezvăluire Şoc. Ponta "am fost obligați de UE sa integrăm zona de Vest a Țării cu Ungaria Cehia și Slovacia". Când vă spuneam, că se lucrează din greu la regionalizarea, federalizarea și la dispariția statului național numit România nu ne credeați.

IOHANNIS CONTRA REFERENDUMULUI PRO-FAMILIE. Progresistul Iohannis mai dovedește o dată că e o simplă sculă a Rețelei Progresiste Internaționaliste. Ca să amâne din nou Referendumul Pro-Familie, Iohannis va ataca din nou la CCR, noua lege a Referendumului


Pag.1 Pag.2 Pag.3 Pag.4 Pag.5 Pag.6 Pag.7
Pag.8 Pag.9 Pag.10 Pag.11 Pag.12 Pag.13 Pag.14 Pag.15
Pag.16 Pag.17 Pag.18 Pag.19 Pag.20 Pag.21 Pag.22 Pag.23
Pag.24 Pag.25 Pag.26 Pag.27 Pag.28 Pag.29 Pag.30 Pag.31
Pag.32 Pag.33 Pag.34 Pag.35 Pag.36 Pag.37 Pag.38 Pag.39
Pag.40 Pag.41 Pag.42 Pag.43 Pag.44 Pag.45 Pag.46 Pag.47
Pag.48 Pag.49 Pag.50 Pag.51 Pag.52 Pag.53 Pag.54 Pag.55
Pag.56 Pag.57 Pag.58 Pag.59 Pag.60 Pag.61 Pag.62 Pag.63
Pag.64 Pag.65 Pag.66 Pag.67 Pag.68 Pag.69 Pag.70 Pag.71
Pag.72 Pag.73 Pag.74 Pag.75 Pag.76

Nr. de articole la aceasta sectiune: 4533, afisate in 76 pagini.