class: center, middle, inverse, title-slide # Introdução à mineração de texto com R: </br> Parte II ### Prof. Carlos Trucíos <br><a href="http://ctruciosm.github.io"> <i class="fa fa-desktop fa-fw"></i>  ctruciosm.github.io</a><br> <a href="mailto:carlos.trucios@facc.ufrj.br"><i class="fa fa-paper-plane fa-fw"></i>  carlos.trucios@facc.ufrj.br</a><br> ### Faculdade de Administração e Ciências Contábeis, </br> Universidade Federal do Rio de Janeiro ### Última atualização: 2021-11-14 --- layout: true <a class="footer-link" href="http://ctruciosm.github.io">ctruciosm.github.io &mdash; Carlos Trucíos (FACC/UFRJ)</a> --- <div> <style type="text/css">.xaringan-extra-logo { width: 110px; height: 128px; z-index: 0; background-image: url(imagens/ufrj.png); background-size: contain; background-repeat: no-repeat; position: absolute; top:1em;right:1em; } </style> <script>(function () { let tries = 0 function addLogo () { if (typeof slideshow === 'undefined') { tries += 1 if (tries < 10) { setTimeout(addLogo, 100) } } else { document.querySelectorAll('.remark-slide-content:not(.title-slide):not(.inverse):not(.hide_logo)') .forEach(function (slide) { const logo = document.createElement('div') logo.classList = 'xaringan-extra-logo' logo.href = null slide.appendChild(logo) }) } } document.addEventListener('DOMContentLoaded', addLogo) })()</script> </div> ## Introdução à mineração de texto: pacotes necessários. Para esta seção serão necessários os pacotes: - `dplyr`, - `wordcloud`, - `wordcloud2`, - `tidytext`, - `lexiconPT`, - `tm`, - `rtweet`, - `stringr` -- .pull-left[ ```r # Instalando pacotes install.packages("wordcloud") install.packages("wordcloud2") install.packages("tidytext") install.packages("lexiconPT") install.packages("tm") install.packages("stringr") ``` .blue[Não precisamos instalar o pacote `dplyr` pois já foi instalado quando instalamos o pacote `tidyverse`.] ] -- .pull-right[ ```r # Carregando pacotes library(dplyr) # Manipulação de dados library(wordcloud) # Nuvem de palavras library(wordcloud2) # Nuvem de palavras library(tidytext) # Mineração de texto library(lexiconPT) # Dicionários library(tm) # Mineração de texto library(rtweet) # Dados to Twitter library(stringr) # Manipulação de textp ``` ] --- ## Introdução à mineração de texto .bg-washed-green.b--dark-green.ba.bw2.br3.shadow-5.ph4.mt5[ .center[ Existem vários formatos para se trabalhar com texto. Na medida do possível, utilizaremos o formato `tidy text` que nos permite interagir facilmente com várias funções disponíveis no pacote `tidyverse`. **O formato `tidy text` é uma tabela na qual cada _token_ é uma linha.** ] ] -- .pull-left[  ] .pull-right[ **Token:** unidade do texto que estamos interessados em analisar. Geralmente são palavras, mas podem também ser n-gramas ou frases. **Tokenization:** refere-se ao processo de dividir o texto em _tokens_. > Na versão mais simples, o formato `tidy text` é uma tabela onde cada palavra do texto é uma linha! ] --- ### Introdução à mineração de texto ```r # Baixando tweets twitter <- search_tweets("CPI", n = 200, lang = "pt", include_rts = FALSE) # Selecionamos a variável text e tokenizamos twitter_token <- twitter %>% dplyr::select(text) %>% unnest_tokens(word, text) glimpse(twitter_token) ``` ``` ## Rows: 4,588 ## Columns: 1 ## $ word <chr> "lucianohangbr", "a", "havan", "ganhou", "propaganda", "grátis", … ``` -- > A função `unnest_tokens()` além de transformar o texto no formato `tidytext` também remove as puntuações e passa tudo para minúsculas 😄. --- ### Introdução à mineração de texto #### Hands-On: Utilizando os dados e contidos no objeto `twitter`, repita o processo de dividir o texto em tokens, mas dessa vez utilize: 1. unnest_tokens(word, text, token = "words") 2. unnest_tokens(word, text, token = "ngrams", n = 2) 3. unnest_tokens(word, text, token = "ngrams", n = 4) 4. unnest_tokens(word, text, token = "sentences") Dica: Modifique levemente o código abaixo: ```r twitter_token <- twitter %>% dplyr::select(text) %>% unnest_tokens(word, text) glimpse(twitter_token) ``` <div class="countdown" id="timer_6191663a" style="right:0;bottom:0;" data-warnwhen="0"> <code class="countdown-time"><span class="countdown-digits minutes">04</span><span class="countdown-digits colon">:</span><span class="countdown-digits seconds">00</span></code> </div> --- ### Introdução à mineração de texto Contando _tokens_ com a função `count()`. ```r twitter_token <- twitter %>% dplyr::select(text) %>% unnest_tokens(word, text) twitter_token %>% count(word, sort = TRUE) ``` ``` ## # A tibble: 1,439 × 2 ## word n ## <chr> <int> ## 1 cpi 245 ## 2 do 187 ## 3 a 178 ## 4 o 108 ## 5 de 107 ## 6 não 95 ## 7 da 93 ## 8 https 88 ## 9 t.co 88 ## 10 e 73 ## # … with 1,429 more rows ``` -- .red[Repare que `word` é o nome da variavel contida em `twitter_token` que contem os _tokens_. Repare também que a função `count()` automaticamente criou uma variável chamada `n` com a frequência absoluta de cada _token_.] --- ### Introdução à mineração de texto Dados vindos do twitter precisam de uma limpeza especial (possuim links, nomes de usuários, etc.). Não entraremos em detalhes sobre como funcionam as funções abaixo, mas utilizaremos o seguinte código para fazer essa limpeza. ```r clean_tweets <- function(x) { x %>% str_remove_all(" ?(f|ht)(tp)(s?)(://)(.*)[.|/](.*)") %>% # Remove URLs str_remove_all("@[[:alnum:]_]{4,}") %>% # Remove nomes de usuário str_remove_all("#[[:alnum:]_]+") %>% # Remove hashtags str_replace_all("&amp;", "e") %>% # Troca "&" por "e" str_remove_all("^RT:? ") %>% # Remove "RT: " no começo do tweet str_replace_all("\\\n", " ") %>% # Replace any newline characters with a space # Removes whitespace from start and end of string str_trim("both") } ``` --- ### Introdução à mineração de texto .panelset[ .panel[.panel-name[Tweets] ```r twitter <- search_tweets("CPI", n = 200, lang = "pt", include_rts = FALSE) ``` ] .panel[.panel-name[Limpeza] ```r twitter$text <- clean_tweets(twitter$text) # ou twitter <- twitter %>% mutate(text = clean_tweets(text)) ``` ] .panel[.panel-name[Tokens] ```r twitter_token <- twitter %>% dplyr::select(text) %>% unnest_tokens(word, text) ``` ] .panel[.panel-name[Contamos] ```r twitter_count <- twitter_token %>% count(word, sort = TRUE) twitter_count ``` ``` ## # A tibble: 1,237 × 2 ## word n ## <chr> <int> ## 1 cpi 237 ## 2 do 187 ## 3 a 178 ## 4 o 108 ## 5 de 107 ## 6 não 95 ## 7 da 93 ## 8 e 73 ## 9 que 67 ## 10 na 57 ## # … with 1,227 more rows ``` ] ] --- ### Introdução à mineração de texto .blue[Quando analisamos texto, algumas palavras tais como `a`, `o`, `de`, `para`, etc. não trazem informação relevante mas possuem uma frequência alta. Essa palavras são conhecidas como _stop words_ e precisar ser retiradas antes de qualquer análise.] -- Infelizmene, o pacote `tidytext` apenas contém _stop words_ em Inglês 😢, mas o pacote `tm` contém _stop words_ em várias linguas! 💖. -- ```r stop_words_pt <- stopwords("portuguese") %>% # Stop Words do pacote tm union(c("é", "pra", "pro", "vc", "vcs")) %>% # Nossas proprias Stop Words as_tibble() %>% # Formato tibble unnest_tokens(word, value) # Tokens ``` -- > **_Stop Words_ devem ser retiradas antes de fazermos a contagem de palavras.** -- .pull-left[ Para ficarmos unicamente com as palavras que estão em _twitter_token_ não estão em _stop_words_pt_, utilizamos a função `anti_join()` do pacote `dplyr`. ] .pull-right[ <div class="figure"> <img src="imagens/anti_join.png" alt="Fonte: https://qiita.com/matsuou1/items/b1bd9778610e3a586e71" width="100%" /> <p class="caption">Fonte: https://qiita.com/matsuou1/items/b1bd9778610e3a586e71</p> </div> ] --- ### Introdução à mineração de texto .panelset[ .panel[.panel-name[Tweets] ```r twitter <- search_tweets("CPI", n = 200, lang = "pt", include_rts = FALSE) ``` ] .panel[.panel-name[Limpeza] ```r twitter <- twitter %>% mutate(text = clean_tweets(text)) ``` ] .panel[.panel-name[Tokens] ```r twitter_token <- twitter %>% dplyr::select(text) %>% unnest_tokens(word, text) ``` ] .panel[.panel-name[Stop Words] ```r # Primeiro definimos as Stop Word stop_words_pt <- stopwords("portuguese") %>% union(c("é", "pra", "pro", "vc", "vcs")) %>% as_tibble() %>% unnest_tokens(word, value) # Aplicamos anti_join twitter_token <- twitter %>% dplyr::select(text) %>% unnest_tokens(word, text) %>% anti_join(stop_words_pt, by = "word") ``` ] .panel[.panel-name[Contamos] ```r twitter_count <- twitter_token %>% count(word, sort = TRUE) twitter_count ``` ``` ## # A tibble: 1,130 × 2 ## word n ## <chr> <int> ## 1 cpi 237 ## 2 circo 50 ## 3 grande 41 ## 4 norte 37 ## 5 rio 37 ## 6 bandidos 36 ## 7 investigando 35 ## 8 investigou 35 ## 9 covid 30 ## 10 senador 17 ## # … with 1,120 more rows ``` ] ] --- ### Introdução à mineração de texto Uma vez que temos as palavras contadas (e _stop words_ removidas), podemos, por exemplo, fazer uma nuvem de palavras. -- ```r wordcloud(words = twitter_count$word, freq = twitter_count$n, min.freq = 3, colors = brewer.pal(8,"Dark2")) ``` <img src="IMTR2_files/figure-html/unnamed-chunk-19-1.png" width="100%" /> --- ### Introdução à mineração de texto Outra forma de fazer nuvem de pontos é coma função `wordcloud2` do pacote `wordcloud2` -- ```r wordcloud2(data = twitter_count) ``` <div id="htmlwidget-8d2e1c7b2a67413f3566" style="width:100%;height:252px;" class="wordcloud2 html-widget"></div> <script type="application/json" data-for="htmlwidget-8d2e1c7b2a67413f3566">{"x":{"word":["cpi","circo","grande","norte","rio","bandidos","investigando","investigou","covid","senador","brasil","operação","senadora","alvo","governo","sobre","bolsonaro","furado","nada","agora","tanque","contra","gabinete","policial","aí","eliziane","consumo","dinheiro","diz","exagerado","gama","nordeste","q","ter","cara","combustível","cuja","d","estridente","fazer","federal","hidroxicloroquina","povo","pq","presidente","senado","senadores","sim","todos","uso","vai","voz","ainda","assim","consórcio","dados","deveria","fez","google","governadores","humberto","investigar","outra","ouvia","p","pessoas","político","randolfe","ser","stf","19","amapá","aziz","calheiros","certo","cláudio","coisa","conta","executar","fake","g7","heinze","impossibilitada","lá","news","ninguém","nova","pandemia","preciso","quê","quebra","sigilo","tanto","tudo","urgente","vergonha","vivo","alguma","assinaturas","bem","cachoeira","carnaval","dentro","estado","estar","fatos","faz","fazendo","feito","hipocrisia","incentivo","indiciamento","lava","lista","marcos","médicos","mídia","militares","nessa","nunca","outros","pauta","pf","porque","psdb","querendo","quero","relatório","renan","rn","saúde","sempre","toga","trabalho","vão","abrir","acho","água","amanhã","andou","aparecer","apesar","aqui","aras","assunto","atacar","avisa","base","bastante","boa","bolsonaristas","c","cadeia","chamando","cid","circense","cloroquina","colher","colocou","começar","comissão","comprou","congresso","contribuir","corrupto","corruptos","dar","defendendo","defender","demais","depoimento","depor","dessas","desta","deve","dizer","dubai","então","escândalo","esquerda","explica","extrema","faça","falando","falar","falta","favor","feitos","ficar","forma","foto","frente","funcionou","gabas","gasolina","gazela","girão","globo","gomes","honesta","honestas","hora","horrores","indicados","intere","investigação","ja","justiça","kit","ma","maior","maioria","mdb","medicamentos","melhor","membros","merecia","mesma","momento","morrer","motivo","narrativa","nega","nesse","novo","olimpiadas","omar","onde","oportunista","pedir","pode","poder","pois","população","pp","prender","problema","promover","propaganda","pt","quadrilha","quanto","querer","randolf","realmente","revelados","ruim","sabe","senhor","somente","sr","ta","tá","talvez","tempo","tô","todas","todo","único","usando","vacinar","val","vê","veio","vem","ver","viagens","1","100","2","200","2020","3","4","6.100","600mil","7","99","abafar","abandonado","abastece","abençoe","aberta","abertura","abre","abrissem","acabei","acertou","acha","achando","achar","acontece","acontecendo","acontecer","aconteceu","acontecimento","acorda","acreditar","acreditou","acusa","admiro","adversário","afirma","afirmou","africana","agradece","agradecer","ahhhh","ai","ajuda","ajudou","ajustar","alegada","alegados","além","alerj","algo","alguém","aliar","aliás","alinhado","alma","almas","almg","aloprado","amada","amadores","amarelou","amigos","ano","anos","antro","apanhou","aparecerem","aparelhar","aparelho","apelar","apelido","apenas","apinhada","apoio","apresentasse","apura","apurar","armas","arthur","árvore","assa","assembléias","assinatura","assinou","atenção","atinge","ator","através","atuar","aula","aumentar","aviões","ayan","baba","baboseiras","bancar","banco","bandido","banir","baralho","barrado","barragem","barragens","bastidores","batem","bater","beneficiar","besteira","bill","bittar","boa.kkk","boca","boçal","bolsolão","bolsonaros","bom","boné","bonito","bora","brasileira","brasileiro","bravata","brigado","brigue","brutalmente","bulling","cabaré","cabe","cachoeiras","cada","cadê","cagando","camarão","camera","câmeras","caminha","caminho","cana","candidatem","candidatura","cansado","cao","capa","capacidade","capivara","caráter","caro","carro","carta","cedo","certinha","charlatão","charlatões","chefões","chega","chegaram","cheia","chico","china","chinês","cidad","claro","clientes","coadunarem","coices","coisas","coloca","colocado","colocar","colocaram","comandada","comandado","combater","combustíveis","começa","começou","comédia","comenta","comentários","comer","complica.os","compra","comprovarem","comunistas","condicionado","condicionam","confere","confidenciou","confirmado","confusão","conhece","conhecer","conhecimento","conselho","considerado","consigo","conspiradores","constituição","construção","contábil","contas","continua","continuar","contratos","conversa","convidado","convocação","corja","corre","corrida","corrrupto","corrupção","costa","crianças","criar","critica","crítica","cruzeiro","cu","cuidando","culpar","cunha","cunho","curioso","custo","dá","dando","danilo","dão","daquele","daqui","ddt's","decepciona","defensores","deixá","deixou","delação","dem","demolir","demônio","denúncia","depoimentos","depôs","deputado","deputados","descaso","descuidemos","desculpas","dessa","desses","desvio","desvios","desviou","deu","deus","devem","devia","deviam","devo","devolver","dezenas","dia","diga","digo","diminuir","diria","disse","ditado","dito","diversionismo","divulga","dizia","dois","dos.governadores","douglas","dpvat","dra","duas","dura","durante","duvidar","edson","eduardo","educação","eficácia","elegância","elegeram","elmano","elogiada","elogiando","emancipar","emanuel","emmy","empresa","empresários","encaminhar","energúmeno","enfim","engraçadinho","entraram","enviou","envolvido","eprefeituras","escapou","escárnio","escolha","escuta","esfrega","espaço","espalhou","espantoso","esperar","esperava","espero","esporadas","esporas","estabilizada","estatais","estimular","etc","ética","eua","europa","ex","exaustivo","excelência","excesso","exibir","experimentos","faço","faka","fakenews","fala","falam","falastrona","falcatruas","falso","faltou","família","familícia","famílicia","faria","fartamente","fé","fecharam","ferrenhos","ferrer","fevereiro","fia","fica","ficha","fictício","filho","fiocruz","fique","fisiologismo","fiz","fizeram","flávio","foder","fofoca","fonte","forçar","formação","fornecer","fotossíntese","fracasso","fruta","fuça","funciona","furados","futebol","g","g1","gabrilli","galinheiro","galo","ganha","ganhou","garrafadas","gás","general","genocídio","gente","geografia","gerais","geral","gerindo","gigante","gosta","gostar","governador","governadora","governistas","graça","graças","grana","grátis","gritando","gritinhos","haa","hahahahahhahah","havan","haver","hipócrita","histérica","histérico","holofotes","honestos","ia","idem","ido","ignorou","igual","igualmente","imagine","impedem","impedir","impediram","importante","imprensa","impressiona","imundices","incentivar","incisiva","incluir","inclusive","index","indicações","indicada","indicar","indicia","indiciado","indiciar","ineficácia","inexistência","infantis","infiltrados","insta","instalada","instâncias","institucional","instituições","instituto","insuportável","inteligência","interessada","interesse","interlagos","internacional","intolerância","inúteis","investidas","investido","investigações","investigada","investigado","investigados","investigaram","ipsm","ir","ira","irá","iria","iriam","ivermectina","jair","jarbas","jeito","jornal","jornalismo","julgando","julgarem","julgou","juristas","justificam","kelps","khalifa","kkk","kkkk","lacrador","ladainha","lalau","lavatoga","lavradores","ler","leva","levantada","libélula","licença","líder","ligadas","literalmente","live","lixo","lo","lockdonw","lockdown","lombo","los","lula","luxemburgo","macho","máfia","mailza","manda","mandar","mandem","mandou","maneira","manifestações","manobra","mantém","mantido","mara","maravilhoso","márcio","marconny","marmitex","matar","matéria","matriz","mbc","mbl","médica","meio","meios","meliantes","membro","mente","mentira","mentiras","mentirosa","mentirosas","mentor","mercedes","merece","mereciam","mês","mesa","meses","metade","meteu","mia","milhões","minas","ministros","mito","mofar","monte","montou","moral","moro","morreu","morte","mortes","mostrando","mostrar","mostrará","mostrarem","moura","mt","muda","mudado","mudar","mudou","mulher","mundo","música","nao","narrativas","ne","né","nebulizada","negacionista","negar","negou","nenhum","nise","nisso","nn","nobre","nome","nordestinos","notícia","notícias","obrigada","ocorrerá","óculos","ocupar","ódio","oferecidos","oficiais","olhos","onda","opocisão","oposição","oposicionistas","oq","orçamento","órgãos","orgulho","orientou","ouvindo","ouvir","ovo","pacientes","pagou","país","paladino","papelão","par","pará","parabéns","paralelo","paralelos","parâmetros","parceiro","parceiros","parentes","pares","parlamentar","parte","participação","participar","participes","particular","passam","passaram","passeava","passei","passou","patrão","pátria","patriotas","pau","paulo","pc","pdt","pedágio","pede","pedido","pegar","pena","pendentes","pensar","perdeu","permanecer","pernas","péssimos","pessoa","pessoal","petecão","petistas","piada","picaretas","pilantragem","podem","podemos","poderão","poderíamos","policia","polícia","política","politicagem","poluiu","pontapé","popular","porém","porno","porq","porquem","porta","possam","possíveis","possível","posso","postura","pouco","pow","praticantes","preço","precoces","precose","prefeitos","prejudicados","prenda","presidentes","presidir","prestação","prestar","prevent","previdência","problemas","processo","procurando","produz","programa","promíscua","propagador","propósito","própria","provado","provas","psd","punições","puta","puxado","qq","quatro","quer","queria","queriam","questiona","questões","quis","quiserem","qye","rabo","rachadinha","racismo","radicalmente","radolfe","ranan","randolfinho","rapaz","raposa","rasgam","realiza","realizado","recusar","redentor","reeleito","relação","religiões","religiosa","religioso","remunerado","repetindo","reportagem","represa","representação","representante","respectivas","respeitar","respiradores","respondendo","restrição","resultados","ridículo","robozinho","rodrigo","rodrigues","rogério","rondônia","roubalheira","roubar","roubo","roubou","s","sabemos","sabidos","sai","saiba","salomão","saltitante","sambas","santo","sdds","sebosa","secreto","seguir","segura","seguros","sei","semelhantes","sen","senão","senhora","sênior","sento","sergio","serviço","servidores","serviu","sido","silêncio","sistema","situação","subiu","submetido","sugere","sugerem","surpreendem","suspeita","tal","tanques","tanta","tão","tarde","tcu","teatro","tendo","tensão","terem","terra","tese","tias","times","tipo","tirou","título","tocado","tomar","torna","tostão","trabalhos","tráiras","trans","transfere","transmissão","tratamento","tratamentos","tratavam","trazer","tumultuar","ué","umas","uniram","urgentes","usar","usou","utilizar","v.exa","vacina","vacinas","vagabundo","vagabundos","vale","vamo","vasconcelos","veículos","véio","vendas","venezuela","vereadora","vez","vi","viado","vice","vídeo","vira","vírus","vishi","vista","viu","voltar","vontade","vossa","votou","vulgo","wagner","zap"],"freq":[237,50,41,37,37,36,35,35,30,17,13,13,13,12,12,12,11,11,11,10,10,9,9,9,8,8,7,7,7,7,7,7,7,7,6,6,6,6,6,6,6,6,6,6,6,6,6,6,6,6,6,6,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1],"fontFamily":"Segoe UI","fontWeight":"bold","color":"random-dark","minSize":0,"weightFactor":0.759493670886076,"backgroundColor":"white","gridSize":0,"minRotation":-0.785398163397448,"maxRotation":0.785398163397448,"shuffle":true,"rotateRatio":0.4,"shape":"circle","ellipticity":0.65,"figBase64":null,"hover":null},"evals":[],"jsHooks":{"render":[{"code":"function(el,x){\n console.log(123);\n if(!iii){\n window.location.reload();\n iii = False;\n\n }\n }","data":null}]}}</script> --- ## Introdução à mineração de texto ### Hands-On: 1. Escolha uma conta do Twitter da sua preferência. 2. Baixe os últimos 100 tweets postados nessa _timeline_. 3. Limpe os dados (limpeza especial para o Twitter). 4. Transforme os textos em _tokens_. 5. Remova _Stop Words_. 6. Conte as palavras. 7. Faça uma nuvem de pontos (seja com `wordcloud` ou `wordcloud2`). <div class="countdown" id="timer_619168e7" style="right:0;bottom:0;" data-warnwhen="0"> <code class="countdown-time"><span class="countdown-digits minutes">05</span><span class="countdown-digits colon">:</span><span class="countdown-digits seconds">00</span></code> </div> --- # Data-Tips: .pull-left[ <img src="https://octodex.github.com/images/minertocat.png" width="70%" /> ] .pull-right[ O livro [Text Mining with R](https://www.tidytextmining.com) contém bastante informação para fazermos mineração de texto. Nas próximas reuniões veremos os pontos mais importantes. O livro [Supervised Machine Learning for Text Analysis in R](https://smltar.com) presenta vários tópicos de modelagem de dados com dados textuais. O livro [Textual Data Science with R](https://www.routledge.com/Textual-Data-Science-with-R/Becue-Bertaut/p/book/9781032093659) discute vários conceitos teóricos e pode ser um ótimo complemento. ]