Acelere a inovação

em machine learning
com a infraestrutura
e os serviços de
nuvem certos
Prepare os dados facilmente e construa,
treine e implante aplicações de machine learning

1
Sumário

Inove com o machine learning ................................................. 3

Alcance o sucesso com o AWS Machine Learning.......................... 5

Acelere cada etapa do ciclo de vida do machine learning............... 6

Etapa 1: Prepare dados de forma rápida e fácil............................ 7

Etapa 2: Crie modelos precisos em vários frameworks. . ................. 9

Etapa 3: Treine modelos mais rapidamente e por um custo menor.... 11

Etapa 4: Implante modelos rapidamente e com economia de custo..... 14

Crie uma base sólida para usar o machine learning com êxito......... 17

2
Inove com o machine learning
Graças aos avanços na potência computacional, à diminuição do preço de Algunsdosalgoritmosmaisonhc ecidosatualmentesEo:
armazenamento e à prevalência da computação em nuvem, a inteligência
arti0cial(IA)eomachinelearning(ML)sepoularizam.OrganizaSHese • Processamento de linguagem natural (PLN):osalgoritmosdePLN
setoes r devzriosportes,incluindo,entreoutros,0nanSas,vaejo,mdar analisam a linguagem em grande escala, com a capacidade de compreender
veim isesade,pomutilizarIAeMLerum cpaof amplavarieda onte
c xto,analisaraflaeali
r zartraduSHesquaseemteeal. mpor Eles
benef}ciosesa
mpr rias.Issoincluiole c tarinsightsmaisdetalhadossoeos
br sEousadosparcilicaSHesdeML,omchatbots,0ltrosdespam,
clientes,identiesp 0car onderamSascibern|ticas,tomardecisHesmais assistentesdevozeframntasdemonitoramentoeds
r socias.
inteligenteseorintadaspordasemlhorasesso ocpr sontrdec ataSEo. • Visão computacional (CV):osalgoritmosessa
ocdCVpr meanalisam
daosvisuaisa0mdetectarobjetoseclassi0carimgensdemaneira
Poonta
rc dessesbenef}cios,maisganior zaSHesestEoinvestindoemIAe semelhante)mentehumana|m,por emumavelocidaescala
ML.AIDCev¶ pr queogastoglobalemIAeMLvaiaumentaraumataxade exponencialmentees.maior Elespodemserusadosparmelhora
esc
cr imentoanualompsta
c CAGR) ( de26,5%entre206,saltandode seguranSadolocaldetrablho,habilitaraveri0caSEodeintidaeigtal
USD18bilhHesem20parisdeUSD300bilhHesem206.¹ esinalionte
zarc doinaopriad.

OsmodelosdeMLsEousadospardiversoscasosdeusoom,c • Processamento de documentos:osalgoritmosessa

ocdpr mentode
essa
ocpr mentodelinguagemnatural(PLN),visEomputa c cionalCV()e documentosextraemtexto,escrita)mEoedasdeocumentosevEo
essa
ocpr mentodeocumentos,queendapr ombase
ec nosdaosexistentes, al|monhecdr ecimntoptiodecartees
r OC( R)paridenti0care
pormeidumesso ocpr chamdotreinamento,parfundamentardecisHes endomprc erdaosdeformulzriosetabelas.Elespodemserusadospar
soenobr vosdaosemumesso ocpr denominadoinf¶nc
er ia.Osmodelosde extrairnformaSHesegistr
dr osm|dos ic eautomatiessa oczarp mentode
MLdegrandescalaatuais,onhc ecidosomdelo
c sdefundaSEo(FMs), documentos0nancos.
eir
ont¶m
c ente c nasdebilhHesdepar·metros,quesEomdelosdeusogeral • IA generativa:osFMs,oms
c modelosdelinguagemrandes(LLMs)e
incrivelmentevaa nSadosquepodemserestendidoseprsonalizadospar osmodelosdeifusEo,pdemserusadosonte pargec dorignal
casosdeusoespec}0os c semaneessi
c daecriummodelooto
erdz da semelhanteaocridphumanos,osa
mprc ,imagensev}deos
vez.EssesmodelosalimentamaplicaSHesdeIAgenerativaesum
omr,c o ente
orc sbaseadosompts
er delinguagemnatural.Elespodemser
detexto,geraSEdigoecraSEodeimagns,ombase
c ompts
er de usadosparlicaSHesesum
digo,rmac irtextoesp
,r ondera
linguagemnatural. gunta
per segraimv}deo.

¹ orld
W wideSpendingonAI-CentricSystemsWillPass$300Billiony206,b Acdingorc toIDC Ga( stosglobaisomc
3
sistemasentr c adosemIAultrapssarEoUSD300bilhHesem206,estimaIDC ),IDC,seteode20mbr
 Ovaloesa
rmp rialqueessasaplicaSHesomete
pr m|substancial,assiomsE c os
equi
r sitosecur dr soseinfraestruturaneesszr
c iosparoez-lasomvec locidaem
escala.OtreinamentodemolosdeMLquealimentamessescasosdeusoexigrandes
quantidaesdeaos,enadz sdemilhes
ar densomputa
dec SEeds
or intraentrens
vaa nSadas.

esp
Emr ostaaessesequi
r sitos,umnmesc
ocr enteganideor zaSHesestzonsi
c derando
anuvem.Anuveenemr daos,enaarmz mentoocusto
debaix ,seguranSaeser viSos
deMLominfc raestruturomputa
adec SEodealtaperfomance(HPC )partreinamentoe
implantaSEodmelo.

Como a AWS acelera o sucesso do machine learning

O ML e stz m a i s p re se nte na Am a zo n We b Se r vi ce s ( AW S) d o q ue e m q ua lq ue r o utro
lug a,r e a AW S o f e r ce o p o r tf li o d e se r vi So s m a i s a m p lo e a p ro f und a d o p a r a ce le r a
a tr a nsf o r m a SE o e m p re sa r i a l. Org a ni z a SHe s d e to d o s o s p o r te s, d e sta r tup s a e m p re sa s
d a Fo r tune 50 0 , se b e ne 0 c i a m d a co m b i na SE o i d e a l e ntre a i nf r a e str utur a d e ML d e
a lta p e r f o r m a nce b a i xo c usto e o s se r vi So s d a AW S. Ao e x c uta r wo r k lo a d s d e ML na
nuve m , a l|m d e re c b e r m a ce sso so b d e m a nd a f e r a m e nta s d e ML e i nf r a e str utur a
q ue p o d e m se r a ti va d a s e m i nuto s, o s c li e nte s co nse g ue m e sc a la r d e um a p a r
m i lh a re s d e i nst·nc i a s e p a g m so m e nte p e lo q ue usa m .

Va m o s d a r um a o lh a d e m a lg uns e x m p lo s d e c li e nte s d a AW S q ue e stE o

i m p ulsi o na nd o s re sulta d o s co m ML a tua lm e nte .

4
Alcance o sucesso com o AWS
Machine Learning
Deenaz sdemilhes
ar declientesescolheramoAWSMLparjudz-losaobterumampla
vaesulta
rida dosesa
mpr rias.ejalg
V unsemplo
x s:

• ALG AI ResearchdesenvolveuaEXAONE,umFMqueont|m
c 300bilhHesdepar·metros.
AEXAONEfoidesenvolvidausando Amazon SageMaker para concluir uma ampla variedade
detaefas r emdiversossetoes,
r omda,fbricSEo,pesquisa,educaSEoe0nanSas.Usando
oFM,esa
ampr desenvolveuumaIAar tistachamdTilda,queola c ou
br omum
c designer
emodaprg3milimagensHeepadr sa0mdelaboramisde20trajesparNew
orkFaY shionek20.Ao W usaroSageMa,aLG erk AIReseeduz chra iuoscustoscaderm
35%ele
ac ou
r essa
ocpr mentodeaoscade60rm %.
• ANerdWalletforneeframnta
c sonse
ec lhosquepossibilitamqueosclienteencgr iemas
f entesuas0nanSas.Aesa
acilm mpr depndetotalmentedaci¶nciadeosedoMLpar
onec ctarosclientesoduto
apr s0nancos
eir personalizados.Aalle
dWNer tusadiversosser viSos
daAWS,omSac geMaerk instâncias P3 do Amazon Elastic Compute Cloud (Amazon EC2),
a0mdelhorape fmnceduz
r irdemsesapenasdiasotemponeesszr
c ioparque
oscientistasdeaostreinemefaSamiteraSHesemodlosdeML.
• ASprinklreum
cofr aplataformaunienc0cadgr iamentodaexpri¶nciadoclienteCXM(
uni0cad)queombinac diversasaplicaSHeseti parmk ng,publicidae,psquisa,atendimento
aocliente,vendasengajmentoem}diassocias.AplataformaCXMuni0cadSprinklr
usaalgoritmosdeMLemdaosnEoestruturadosdeiversoscanaisparfoneerinsi c ghtsde
sentimentoeintenSEoasclientes.Poemplo rx ,osmodelosdeMLdePLNesa CVdampr
analisamdiversosformatosdeaosobtidosdepostagensem}diassocias,postagens
emblogs,onte c doev}deoutrosontec dosdispon}veisemdo}niospblios c emais
de30canais.Comas instâncias Inf1 do Amazon EC2, desenvolvidas com a tecnologia AWS
Inferentia,umele ac radoeinf¶nc
er iasdeMLdealtaper fomance,aSprinklronse
c guiu
eduz r iralat¶nciaem30%.OomeSoc foizcil,eagorquionse pec gueimplantarummodelo
usandoinst·nciasInf1doAmonaz C2emnoE sdeuassemanas.

5
Acelere cada etapa do ciclo de vida do machine learning
Asesa
mpr sem)AW
orc Sparsuperaseiras
b emcadtapadocilo AAWSnfi a e c str reafo uturML ed a lhem o c ncamrofese
p dro,e nvolviad
devidaeML.HzquatroetapasprincipasnocilodevidaeML.Emcad GPUs
mo c le
e ca s e roda ML
ed si
po r mo c tosp e }0ce o c AWS Trainium e
etapa,osdesenvolvees
dor deMLecisa
pr ersup
cmof orteve)go rnanSade AWS Inferentia.OAWSTrniia umnaoic r po t| a 50%uSE
de r d s
od usto
c s
ML,emplo
orx ,criandopl}ticasestabeleendc ontr c olespargntira tred naie nto
em SE
ar pmo c e nst·nc
i mo c sai sila im s e r Am od no za O.2C E
transp¶nc ar iadomelo,aprivacidaeosdaoseaseguranSa. AWSInfnti e r naoic r pola e r2a SESo e rp o ncamrofep t|
/a e 70%lh em me ro
SE
ar pmo c nst·nc
i mo c s
ai sila im s e r Am od no za .2C E

Aneam s iam ri zcf l i zpr e usa

ed a i a r infraestrutura de ML da AWS|o m c
1. As equipes de ciência de dados precisam preparar dados de SaMaeg um
, re k serviSototalmnte e nce r gue q odai nee r umlo pma njo c unto
exemplo para treinar um modelo. ur
ce r d sos,tula o r mo c s,
oda ed m g SE
ar pe s,
oda ed o nge nhe d air
ur
ce r sos,te ed SE c vied o |ssta e t}stineihcam ,o clenira nguto a zti
m Auto (oc ML),
2. Depois, elas escolhem qual algoritmo ou framework vão
trnaie nto
em uste ja , st,
oh , li pxe li ibac niom ,eda tonto
emar ux 1e s o tr
ed lh
ab .o
usar para criar o modelo.
O Amazon SageMaker JumpStartnte e c e r fo naslg
a ed tm
iro s
o nte
i s,
odarg
FMs|-rp trnaie s od so
e luSHes|-rs pad irc ueq s o lic nte e sla pmi edop ntamo c r
3. Em seguida, os modelos devem ser treinados para fazer
previsões e ajustados com frequência para alcançar a naepa slg a unsli c ue q s.
máxima precisão possível. O SDK do AWS Neuronta|mbmli icaf tatr
xe a SE
a to
ed o ncamrofeps
ad e
le
e ca s e roda AWSTrniia umAW e SInfnti e r se oa ntei naamrof ed rti
a g vaa
4. Por0m,osmodelosecisa
pr mserimplantados,ouseja,
s
kro wemarf ula
po s
e r ML,
ed Pyom c ToTee hc r nsoFlo r Os . w li c nte e smedop
integrados às aplicações, monitorados, dimensionados e
nti
o c nuausa r ndse o uss krowemarf li pa ed ogid c e SE ac ste
ixe o ntesusa oa s
ar
gerenciados na produção.
nst·nc
i s
ai Trn1n,Trn1Inf , Inf
e 2 Am
od 1 no zase b 2C E s ad nessesle e ca s.
e roda

Osli c nte e sta|musa bm edop r contêineres de aprendizado profundo da AWS

ns
egami( Dood |-rp ensta
kic las ad s kro wemarf mo c ndeund
fr op a e d a z i ) o
AAWSesua
cofr opSEodeinfraestruturaemcdtapado1uxodetrablho com o Amazon Elastic Kubernetes ServiceAm ( no za KS)
E oe Amazon Elastic
deML.kposs}velpersonalizarsuainfraestrutura,inclusiveomputa
c SEeds
o,r Container ServiceAm ( no za S)C E Al|m
. sso
id neronte
feibdma 0re c, s|-rp
enaarmz mento,parqueelaseajusteaosseusequi
r sitosdeprfomance n0o c ur
g soda nstr
o c ar p uinte emadip r li pa SHe ac sndeund
fr op a e d a z i , o
Sa
eor mento¶oc .V temumamplavariedaopSHesparobteruma as AMIs de deep learning da AWSDLAMI) ( s
oa me c refo ssi
0o rp nao si e
infraestruturombcusto a -benef}cio,escalzveledaltaperfomance. sq
ep uisas e rod ML
ed nfi a str
ear uturs a e nta
emar ef snesszr
ec s ai le
e ca r p ra
ndeund
fropa dazi nao nuveua q me lquesc e r laa .

Ague
q aro vo¶c teum m l areg aied a sso
e co rp om c ed se
ed nvolvinto em ed
MLunc
f AW naaoim c ed Sudja edop va, ra s om naa lisaum ad c r s
od ua
q tro
stzg
e s
oi s iam ta
ed lhnte emad .
6
E TA PA 1

Prepare dados de forma rápida

e fácil
O desafio
OsdaossEombust}ve c lparML.Po|mr ,mesmomaestr
c at|giadeosercta
implantaencda,ogr iamentodeaospodeseraptemaisdesa0adorem
desenvolvimentodemolosdeML.Muitosclientesa0rmquegastacade80 rm %do
tempoetaefas
r eparSE
d odeas,ole
mc ta,liotula mpezar gem.

Hzdoistiposdeaos:estruturadosenEoestruturados.DadosestruturadossEodas
quantitativosaltamenteganior zadosquepodemserdecifaosomfacilidaepormchine
learning.Noentanto,osdaosestruturadosompHec mapenasumapequenaenta cpor gem
detodososdaos.DadosnEoestruturadossEodasqualitativos,omiagens, c anotaSHes
manuscritasedaosgeospacis.ElessEoextremantevaliosos,masmuitomaisdif}ceis
deusarpaML.AmaiordsinsightsparMLestEoembutidosemdaosnEoestruturados,
masanzlisedeaosnEoestruturadosgeralmenteestzal|mdashabilidaesdemuitasdas
feramntasencdgr iamentodeaosexistentes;emplo
orx ,quandoumm|decisa
opr
analisarinformaSHesderaiosXesso
,r n·nciasmagn|ticaseita
cr sescritas)mEo.

Paompli
rac carindamisasoisa c s,amiordsequipesdengenharideMLecisa
pr
escever digopars
c taefas r omuns
c eparSE
d odeasneesszr
c iasaoML,ouerafz
integraSEorks mfaewc dextraSEo,transformaSEegamntoocr (ETL)indepndentes
quesEencogr iadosporutrasganior zaSHes.

7
A solução
OSageMaerajud
k anoessa
ocpr mentodeaosestruturadosenEoestruturados.O Amazon
SageMaker Ground Truth Plusajudaosclientesacriflmenteonjc untosdeaosde Com o Amazon SageMaker Data
treinamentodealtaqualidaesemaneessic daesenvolveraplicaSHesotula
der gem Wrangler, agora nós podemos
ouencgr Sa
iarfo detrablhotula
der gem.OSageMaerGrk oundTruthPlustamb|m selecionar, limpar, explorar e
ajudeduz
ar iroscustosotula der gemdaosemat|40%eatenderaosequi
r sitosde compreender nossos dados de
onfc ormidae,pvacidaeseguranSadeaos.Bastaegarse
c usdaosqueoSageMaerk
forma interativa e eficaz, o que
GroundTruthPluscria1uxosdetrablhotula der gemdaosencgr iaos1uxosde
permite que nossa equipe de
trablho.Paradosgeospacis,oso0ssi
pr onaisdeMLessa
podmac rfontesdeaos
geospacis,operaSHesessa
ocdpr mentoopsi
mrc toespec}0o,mdelo
c sdeML|-pr ciência de dados crie pipelines de
treinadoseframntasdevisualizaSEointegradsecuta
parx rMLgeospacilomais
c engenharia de recursos que podem
rapidezmgndescala. escalar facilmente para conjuntos
de dados que abrangem centenas
ela
Comr SEoadsestruturados,o Amazon SageMaker Data Wranglersimpli0ca
de milhões de linhas... Com o
drasticamenteeparSEodessesdaosomum
c ainterevifac sualsedigo.Omc SageMaerk
DatarangW leonta
rc omaisc de300transformaSHesdeaosintegradsparquevo¶c
Amazon SageMaker Data Wrangler,
possanormali,trzar ansfombinaraec ecur
r sosrapidmente,seecisa
mpr rescever r também podemos operacionalizar
nenhumdigo.Cms
c modelosdevisualizaSEodSageMaerDak tarangW le,vor ¶c pode nossos fluxos de trabalho de ML
|-pr visualizareinspecionarapidmenteseessastransformaSHesoncframc lu}dasda mais rapidamente.”²
maneiraquevo¶c desevaja visualizando-asno Amazon SageMaker Studio, o primeiro
Caleb Wilkinson, nti
e i c stas
o d a e d l}dIN, r ISTA
eV
ambientedesenvolvimentototalmenteintegrado(IDE)parML.¶oc V tamb|mpode
simpli0carseus1uxosdetrablhodeasomum c ambienteuni0cadoernopar
engenharideos,anzliseeML.Crie,navegueoneec cte-seaclustersdo Amazon EMR e
sessHesinterativasdoAWSGlueeta dir mentedecarnosdoSageMaerStud
k io.Monitoer
depuretrablhosnoSparkusandoferamntasfamilies, ar omSpc arkUI,eta dir mentenos
cadernos.Useecur or sointeeparSE
gdo odeasomte
c cnologiadoSageMaerDak ta
rangW leeta rdi mentenoscadernosparvisualizardos,identioble 0carp masdequalidae
nosdaoseaplicarsoluSHesomendcr adsparmelhoraqualidaeosdaosecisE apr o
domelosemescever rnenhumalinhdigo.aec

Depoisqueosdaosepardos,
mf vo¶c poderz1ux
cria ostr
de ablhML
deo totalmente
automatizados com o Amazon SageMaker Pipelinesesalvz-loseuti par lizaSEono Amazon
SageMaker Feature Store.

² Amonaz SageMaerDak tarangW ler So

,mar de203
8
E TA PA 2

Crie modelos precisos em

vários frameworks
O desafio
Depoisdetreinarosdaosdispon}veis,vo¶c ecisa pr rzescolherumalgoritmodeML
omumc estiloenddapr izadoqueatenda)ssuasneessi c daes.Issopodeserdif}cil,
jzquehzenadz sdealgoritmosparescolh.Os er orks famew deML,omPyc Tochr
eTensorFlo,facili w tamodesenvolvimento,masostum c amsermaisadequadospar
algoritmosespec}0os. c Porisso,geralmente|neesszr c enciogr iarecusandouma
variedalgoritmosorks,
efamw oquepodeseomple
rc openso
,rx os aer e
eruso faz intensoecur dr sos.

AcriaSEodemlostamb|mexigmuitaexprimntaSEoeiteraSEo.Amaior
dasequipesusabloos c deanotaSHesdoJupyterpacimodelosomparectilharo
trablhoentresi.Infelizmente,quantomaismodelossEodesenvolvidos,maisdif}ceisse
tornaomparctilhamentodetrablhoseascalabilidae.

9
A solução
Sese ed usa aj lg a r tm iro s o |-rs podairc um e serviSototalmnte e ncerag p odai Casoe0rausa p rAutoMLpardesenvolverseusmodelos,o Amazon
se
ed nvolvelo edom r sML ed nte eic0 s,so icerp svaa e nSas, od Sao Maeg re k SageMaker Autopilotdesenvolve,treinaeajustaautomaticamenteos
|so a luSEl aedi o voar p ¶.c OSaMaeg nci re k luiumnaez d alg ed tm iro so melhes or modelosdeMLombase c emseusdaos.¶oc V tamb|mpodeusar
|-rs
podairc ue q se medop la
pmi r ntas od sua enod krowemarf sc e lh o moC .a oSageMaerJum k pStar tparlanSaraplicaSHesdeMLnocadoefrm
Sao Maeg Stud
re k |,oi ss}ve
p lse ed nvolvelo edom r sum me nia nte
i a c e c arf maisrzpidaefzcil.ComSageMaerJum k pStar t,vo¶c teesso mac algoritmos
visual,ue q o lh em dop uti dorp a ro viui qe ad ¶nc
ic ed p s
oda e ai me integradosomdelo c s|-pr treinadosdehubsdemolos,FMs|-pr treinados
t|a ve01 s. ez ³ parjudarvo¶c eali r zartaefas,r esum
omrc odeartigosegraSEode
imagens,esoluSHes|-pr criadseso par lvercasosdeusoomuns. c Al|m
OSageMaerStud k eto
ciofr talesso
ac ontr ,c oleevisibilidae)mi
disso,vo¶c ompardectilhar tefatosdeML,incluindomdelosecadrnos
quevo¶c treinaseumodelo¶oc .V egardos, pc crianovosbloos
c de
deML,emsuaganior zaSEele
oparc raodesenvolvimentoeaimplantaSEo
anotaSHeseajustarexpimntosdeMLrapidmente.Todasasatividaesde
demolosdeML.
desenvolvimentodeML,incluindocadernos,encgr iamentodexprimntos,
criação automática de modelos, depuração e detecção de desvio de modelos e Acelere o tempo de implantaSEo par mais de 150 modelos de c igo
daos,podemseeali
r zadsnoSageMaerStud
k io. aber to, inclusive de modelos de ML que podem ser implantados com apenas
um clique e d algoritmos de conjuntos de modelos conhecidos. Comec
Os cadernos do Amazon SageMaker Studioencgr iamnst·nciasde
com apenas alguns cliques e introduza f cilmente as aplicaSHes de ML no
omputa
c SEoparvisualiecuta ,x zar rouomparctilharumcaderno.Com
mercado usando soluSHes pr|-criad s e FMs pr|-treinados em teraby tes
osecur r sosomputa dec SEosubente jac ssEototalmenteelzstios, c vo¶c pode
de ados de tex to e image .oVc¶ pode r alizar uma mpla varieda de
aumentaroueduz r irfaclmenteosecur r sosdispon}veis,easalteraSHes
tarefas, com resumo de ar tigos e g raSEo de texto, image ou v}deo,
emdforauto c mzticaemsegundoplano,seminteomperseu
que sEo pr|-con0gurad s com todos os ser viSos da AWS necesszrios par
trablh¶oc .V tamb|mompardectilharbloos c deanotaSHesomutr c as
o lanSamento em produSEo, incluindo uma rquitetura de r f ¶ncia e um
pessoasomapenac salgunscliques.ElasebrEoxata c menteomesmoblooc
modelo do AWS CloudFormation.
deanotaSHes,salvonomesmolug. ar

³Amonaz SageMaerStud
k io So
,mar de203 10
E TA PA 3

Treine modelos mais

rapidamente e por um
custo menor
O desafio
DepoisqueosmodelossEonstr c u}dos,asequipesdeci¶nciadeosostreinam
onjemc untosdeaoseparz-0md losevirpafz sHesecisa pr ssoenobr vos
daos.Otreinamento|umesso ocpr iterativoe,aolongodtempo,smodelos
ecisa pr mseetr r einadoseajustadosonsi parc derasviosemdaosnovosouno
modeloend.Comapr ofund
izadpr oestzsetornandedominapr nte,osmodelos
estEo0candocadvezmaisomple c os.
x Aomple c xidaeosmodelosdobrac
doisanos,emuitosmodelosinovaes dor agort¶mumtrilhEodepar·metros.O
treinamentoeoajustedessesmodelosextensoseque r rusointensoomputa dec SEoe,
)svees,
z t¶mumcustooibti pr vo.

mediaqueultrapssarmososlimitesdaperfomncedosecur r sosdomelo
deML,otempoecustoneesszr c iospartreinarmodelosnEovEesc
opardc . er
Esseonsum c esc
ocr enteecur
dr sospodeimrquesuaganior zaSEveoapr ite
aomzximoqueoMLte,atr ercmof asandoainovaSEejud
opr icandoapi
ecuti x voparinvestimentosdeML.

11
 A solução
AAWSeum cofr ainfraestruturadeMLdealtaper fomancon»m
ec icaprtreinamento
Ao usar instâncias P4d do Amazon deML.EscolhaentreagmdoAmonaz C2deinst·nc
E iasbaseadsemCPU,GPUe
EC2, conseguimos reduzir eleac es
rado opsi
mrc toespec}0oparte
c nderaosequi
r sitosdosseuscasosdeuso
nosso tempo de treinamento detreinamentodeML.Osclientespodemusaro treinamento de modelos do Amazon
SageMakerveopar itaressainfraestruturaseecisa
mpr encrg iz-la.
de reconhecimento de objetos
em até 40%, em comparação à AWS Trainium:as instâncias Trn1 do Amazon EC2,omte c cnologiaAWSTrainiumemc,ofr
geração anterior de instâncias amisaltaper fomancenotreinamentodemolosdePLNendomaprc ofund
izadpr o.
Elascionapr mat|50%eduSE
r odscustosdetreinamentoomparSE
ec omc
baseadas em GPU, sem fazer
inst·nciassimilaes r doAmonaz C2.Essasinst·nciasemsup
cofr or teat|1.600Gbps
nenhuma modificação nos códigos ( Trn1n)delagur
r adebndedoEla
ar sticFabricAdapter(EFA).ElassEoimplantadasem
existentes.”⁴ UltraClustersdoAmonaz C2,que E permitemaumentaraescalaver ticalmentepar30.0
ele
ac es rado doAWSTrainium,queestEointeonecr ctadosomum
c edse
ar mbloqueioem
Junya Inada, diretor de condução automatizada
escaladeptabitsparfoneerat|
c 6,3exa1opsomputa
dec SEo.Osclientespodemusar
onhec(r ecimnto),TRI-AD
i nst·nc iasTrn1partreinarPLN,CVemodlosomendcdr adoremvzriasaplicaSHes,omc
esum
r odetextos,omendcr aSHesegraSEodev}deoimag.

GPUs da NVIDIA:aAWSeum
cofr aextensalinhadeinst·nciasbaseadsemGPUdaNVIDIA.
Asinstâncias P4d do Amazon EC2sEoasinst·nciasbaseadsemGPUqueese apr ntam
melhorpe fmancepartreinamentoendomaprc ofund
izadpr o.SEoadequadaspar
treinarosmaisomple c os
x modelosdeMLomvzr c iosnsomalta c e0ci¶ncia.Asinst·nciasP3
doAmonaz C2sE E oideasquandovo¶c ecisa pr treinarmodelosdem|dioagrndepor tee
parcsosdeusodetreinamentodistribu}dodennio.As c instâncias G5 do Amazon EC2
eduSE
mrcof odeat|15%nocustodetreinamentoomparSE ec omas c inst·nciasP3
doAmonaz C2.E

Intel/Habana Gaudi:as instâncias DL1 do Amazon EC2, com a tecnologia dos aceleradores
GaudidaHabanaLabs(umesa ampr daIntel)ojeta,framp dasespeci0amntepar
treinamentodemolosenddapr ofund izadpr o.Essasinst·nciasela mrcof SEeSo
opr /
per fomanceat|40%melhomparSE
ec ominst·nc
c iassimilaes r doAmonaz C2,esE E o
adequadasparcsosdeusodePLN. eCV

Inst·nciasP4ddoAmonaz C2E So
,mar de203
12
4
A solução
Consulteatabelaaseguiompars
c opSHesdeinfraestruturadAWSotimizadspartreinamentoeajustedeML.

Máximo de chips Tipo de Largura de banda

Tipo de instância Armazenamento Recursos adicionais
por instância acelerador de rede

AimplantaSEopdeserfeitaemUltraClustersdo
FA
E 60.1 ed Gb0 s
p Amonaz ompsto
C2,cE sdemaisde30milele
ac esrado
Trn1 do 61 le
e ca s
e roda AWS (Trn1n) AWSTrainiumeds ,r dealtavelocidae
AWSTrniia um MeVN 8
ed TB enaarmz mentoomalto
c thoug r hputebaixlat¶ncia
Amazon EC2 Trniia um FA
E 80
ed Gb0 sp
(Trn1) Compat}velorks
mfaewc deMLpoulaes
r omc
SDK do AWS Neuron
AimplantaSEopdeserfeitanosAmonaz C2E
FA
E 40ed Gb0 s,
p UltraClusters,ompsto c sdemaisde4milGPUs,edsr
P4d do Amazon EC2 8GPUA-0 1 IDIA
VN MeVN 8
ed TB
RDMAto
erid naGPU dealtaveloenacidarmz mentoomalta
c taxade
transf¶ncer iaebxlat¶ncia

P3 do Amazon EC2 8GPUTesla0 1V IDIA

VN FA
E Gb0 1 ed s
p MeVN 8
,1 ed TB Compat}velomto
c dososprincipasorks
famew deML

Compat}velorks
mfaewc deMLfamososomSDK
c
DL1 do Amazon EC2 8le
e ca s
arod Gaudi Hanaab Las,
b Intel A
NE 40ed Gb0 s
p MeVN 8
ed TB
doHabanaSynapseAI

OSageMaeduz
rk otempoecustodetreinamentoeajustedos A0mdetreinarmodelosenddapr ofund
izadpr omais
c rapidez,vo¶c
modelosdeMLusandoferamntasincorpadsencparg iare pode usar o Amazon SageMaker Training Compilerele parc raemt|
monitoraosexprimntosdetreinamento,escolherdfomautomztica 50%esso ocpr detreinamentodemolospormeidtimizaSHesemn}vel
oshipera·metros,depurarostrablhosdetreinamentoemonitora ernedgafok lqueutilizamosele ac es rado deformaise0cinte.Al|m
utilizaSEodsecur r sosdosistemasubente jac edalagur
r adebnded.ar disso,|poss}veladiconarpalelismodeasoudemolosaoseuscript
OSageMaeduz rpok irouexpandirautomaticamenteainfraestrutura detreinamentoomalg c umaslinhasdigo,eas
c biliotecasdetreinamento
ombase c nosequi r sitosdeseutrablhodetreinamento,deumamilhes ar distribu}dasdoSageMaerdivik dirEoautomaticamenteosmodeloseos
ele dac es, rado oudeteyrabtesapetaybtesenadarmz mento.Al|mdisso, onjc untosdeaosdetreinamentoentreasinst·nciasdoAmonaz C2a0mE
omvoc ¶c pagenaspeloqueusa,|poss}velencgr iarseuscustosde deajudarvo¶c oncac luirotreinamentodistribu}domais c rapidez.
treinamentoomais c e0ci¶ncia.

13
E TA PA 4

Implante modelos rapidamente

e com economia
O desafio
Assimquetreinareotimizarseumodeloparon}veldesejadoecuiecisE dapr voo, ¶c
jzolopdec cz-looduSE
empr evirpoafz sHes.Essafase|onhc ometa
cida pade
evipr sEouinf¶nc
er iadeML.

Ummodeloquelevavzriasente c nasdemilissegundospargetraduSHesdetexto,aplicar
0ltrosaimgensouomendcgra aSHesoduto epr spodetornarousodeumaplicaSEo
lentooufrustranteoudesmotivarosusuzrios.Aoele ac rainf¶nc
er ia,|poss}veleduz
r ira
lat¶nciagerldaplicaSEerum cof aexpri¶nciatranquila.

At|90%docustodainfraestruturaprdesenvolveecuta rx rumaplicaSEodeML|gasto
eminf¶nc er ia,oquetornaaneessi
c daeumainfraestruturadeinf¶nc
er iadeMLdealta
perfomancocusto
ebaix umapriode.⁵

⁵ Inst·nciasInf1doAmonaz C2E So
,mar de203 14
A solução
Parainf¶nc
er iadeML,aAWSeum
cofr avariedanst·nciasdealta Osclientesquedeseonti
jamc nuarusandossi
ec stemaNVIDIApar
perfomancombcusto
e, -benef}cioefzceisdeusa.Par ramodelos inf¶nc
er ia,deviompati
d)c bilidaeomloorku
,famew , operad
altamenteso0sticados,omLLMs c oumodelosdeifusEo,as instâncias Inf2 podem utilizar as instâncias G5 do Amazon EC2 parinf¶nc
er iadelta
do Amazon EC2omte c cnologiaAWSInfenti
r a2sEoamelhorpSEo.As per fomance.Sevo¶c estiverbuscandoinf¶nc
er iaprmodelosque
inst·nciasInfcionapr2 ela
mr SEeSo
opr perfomanc/ eat|40%melh, or veoapr itaos m benef}ciosInte
do lAV-51X ecto V2 Neur
r alNetwInstr
ork uctions,
thoug
r hputat|3veesz maiorelat¶nciat|8vees
z menoomparSE
ec o as instâncias C5 do Amazon EC2podemajudele arc rasoperaSHest}picas
omas
c inst·nciassimilaes
r doAmonaz C2.As
E instâncias Inf1 do Amazon deML,onvo
mc luSEo,emlhorautomaticamenteaperfomnceda
EC2,omte c cnologiadprmeSEodAWSInfenti
r a,sEoadequadas inf¶nc
er iaemumamplavaorklo
iedaw adsenddapr ofund
izadpr o.
parmodelosmenoes
r dePLNevisEo.Elasemcusto
ofr at|70%mais
oeth
baix oug
r hput2,3vees
z maisaltodoqueasinst·nciassimilaes
r do Useatabelaaseguiompars
c opSHesdeinfraestruturadAWS
Amonaz C2.E otimizadsparinf¶nc
er iadeML.

Máximo de
Largura de banda
Tipo de instância aceleradores por Tipo de hardware Armazenamento Recursos adicionais
de rede
instância

Inf¶nc
er iadstribu}donemca ctividaelta
velocidaentrele
ac es;
rado adequadaspar
Inf2 do le
e ca 21 s
e roda 40Gbs
p la
ed ur
g r ed a modelosultragrndesente omc nasdebilhHesde
AWSInfnti
e r 2a Gb0 1 s
p par·metros
Amazon EC2 AWSInfnti e r 2a ndab BS
E ed a
t}ve
apmoC s
l
k r o w eML
m ae rd f ula
mp o pc s
er o moc
SDK do AWS Neuron

Inf1 do 61 le
e ca s
e roda 9
1 Gbs
p la
ed ur g r ed a t}ve
apmoC s
l
k r o w eML
m ae rd f ula
mp o pc s
er o moc
AWSInfnti
er a Gb0 1 s
p
Amazon EC2 AWSInfnti er a ndab BS
E ed a SDK do AWS Neuron

8GPUsTensoe roC Compatibiliomto

daec dososprincipasorks
famew
G5 do Amazon EC2 IDIA
VN Gb0 1 s
p MeVN 7,6
8IDIA
VN A1G0 ebiliotecasNVIDIA

C5 do Amazon EC2 96vCPUs AVInte

ad X l 52 Gbs
p 4SSDMeVN 900 CriadonoNitro

15
A solução
OSageMaerajud
k avo¶c veoapr itaramplaseleSEodeinfraestruturas Projects(modelosonipard zarmbientesdesenvolvimentopar
deMLmencionadaseopSHe
caimfr sdeimplantaSEodemlos c stasdeaosesistemasdeintegraSEont}nua
ienti c entront}nua
egac
partender)ssuasneessi c daes,emteeal
mpor ouemlote.Depoisda CI/[ CD]parengenhos
eir deMLOps),oSageMaerFek atureStoer
implantaSEodeummodelo,oSageMaerciandk pointspersistentesaseemr encgr( iamentoecur
dr sos),o Registro de Modelos do Amazon SageMaker
integrados)saplicaSHesevirpa0mdfz sHesdeML.Ele|ompat}ve
c lomc catzlo
( godear tefatosemodlosparmonitoralinhersup
cagmof or te
todoespectrodeinf¶nc
er ias,debaixlat¶ncia(lgunsmilissegundos)ealto a1uxosdetrablhvaodeapr SEoautomatizados),o Amazon SageMaker
thougr hputente c( nasdemilhes
ar desolicitaSHesdeinf¶nc
er iaporsegund)o Clarifydete ( SE c odevi|s)eo Amazon SageMaker Model Monitordete
( SE
c o
ainf¶nc
er iadelongecuSE
ax oparcsosdeusoomPLN
c .Utilizandos desvioncdec eitoemodlo).
seuspriosmodelosont¶i ec nees
r ouosfornecidospelaAWS,|poss}vel
i mentarasprzticasomendcr adsdeMLOpsusandoSageMaerpak
mple Poressemotivo,quervo¶c estejaimplantandoumouenadz sdemilhes
ar
eduz r irasogaopercinab lencdgr iamentodemolosdeMLem demolos,oSageMaerajud
k adimnuirasogaopercinab lde
lagaesc
r ala. implantaSEo,escalaencgr iamentodemolosdeML,omabec
introduzi-losnaoduSE
pr omais
c rapidez.
ParacsosdeusoHeompadrc sdeusoeviimpr s}veiseintermitentes,a
Inferência Sem Servidor do Amazon SageMaker permite implantar modelos
deMLompagento
c onfc ormeuso,semseeocup
pr omse
arc r vies
dor ou
clusters.Aoimplantarseumodelo,bastaselecionaraopSEodetecnologia
semser vidorpaqueoSageMaerauto
k maticamenteviopr sione,dimensione “Lançamos um serviço de chatbot de IA de larga escala nas
edsativeomputa acide cionalombasec novolumedsolicitaSHes instâncias Inf1 do Amazon EC2 e reduzimos nossa latência
deinf¶nc
er ia,permtindoquevo¶c nEecise
opr encgr iarpol}ticasde
de inferência em 97% em relação às instâncias similares
escalabiliomple daec xasneevempr rdemandasdetrzfomante
egc ed¶nc
c ia.
baseadas em GPU, e também reduzimos os custos. Conforme
O Amazon SageMaker Inference Recommenderajudavo¶c aescolhera continuamos ajustando nossos modelos personalizados de
melhon0rc guraSEoeinst·ncomputa iadec SEodispon}velparimlantar PLN periodicamente, reduzir os tempos de treinamento e os
modelosdeMLetercustoseprfomancedinf¶nc er iades.OSageMaerk
custos também é importante. Com base na nossa experiência
Infencr eReomendc erselecionaautomaticamentefatoes r omti
c pode
inst·ncomputa iadec SEonta
,c gemdinst·ncias,par·metrosont¶i dec ner na migração bem-sucedida da workload de inferência nas
eotimizaSHesdemolosparinf¶nc er ia0mdexzrpfonce instâncias Inf1 e nosso trabalho inicial nas instâncias Trn1 do
eminimizaroscustos. EC2 baseadas no AWS Trainium, esperamos que as instâncias
Osecur r sosdeimplantaSEodemlodoSageMaersE k ointegradosde
Trn1 agreguem valor adicional na melhoria da performance
formanativaecur
ar sosdeMLOps,omAm
c onaz SageMaerPik pelines e dos custos de ML de ponta a ponta.”⁶
que
or( straSEoeautomaSEode1uxosdetrablh),o Amazon SageMaker
Takuya Nakade,CTOdaMoneyFord,Inc
wa .

Inst·nciasTrn1doAmonaz C2E So
,mar de203
16
6
Crie uma base sólida para usar
o machine learning com êxito
Aescolheractadeser viSoseinfraestruturapodemlhorasigni0cativamente
aperfomncedasorklo
w adsdeML.¶oc V epardosparMLmais
rapidmente,estarequipadoresenvolvermodelosso0sticadosdemaneira
on0c zvel,treinarosmodelosomrapidezgndc escalaeimplantz-
loson»m defrma0cz ica.Querestejatransferindoamirptedo
desenvolvimento para um serviço totalmente gerenciado, criando modelos
ou
erdz eali
r zandoqualqueoisa
rc entressesextremos,osser viSoserctos
eainfraestrutureta orac podemajudarvo¶c oncac luiojeto
rp sdeMLmais
rapidmenteeatingirmelhes
or esulta
r dos.

AAWSombinaeacfr SEoidealdeinfraestruturadeltaperfomance
ocusto
baix omse
c r viSosotimizadosparML.Aoecuta
x rasorklo
w adsde
MLnanuvem,vo¶c vaesso
braci sobdemanda)sferamntasdeMLe
infraestruturaquepodemativarinst·nciasemquestEodeminutosescalar
parmilhes
ar deinst·ncias,tudoissopagndosomentepeloqueusa.

Comece a usar ML ›

©️203,Amonaz ebSeW r vies,

c Inc.ousuasa0liads.Todososeito
dr sese
r r vados.
17