class: center, middle, inverse, title-slide # Introdução à mineração de texto com R: </br> tf-idf ### Prof. Carlos Trucíos <br><a href="http://ctruciosm.github.io"> <i class="fa fa-desktop fa-fw"></i>  ctruciosm.github.io</a><br> <a href="mailto:carlos.trucios@facc.ufrj.br"><i class="fa fa-paper-plane fa-fw"></i>  carlos.trucios@facc.ufrj.br</a><br> ### Faculdade de Administração e Ciências Contábeis, </br> Universidade Federal do Rio de Janeiro ### Última atualização: 2021-12-04 --- layout: true <a class="footer-link" href="http://ctruciosm.github.io">ctruciosm.github.io &mdash; Carlos Trucíos (FACC/UFRJ)</a> --- <div> <style type="text/css">.xaringan-extra-logo { width: 110px; height: 128px; z-index: 0; background-image: url(imagens/ufrj.png); background-size: contain; background-repeat: no-repeat; position: absolute; top:1em;right:1em; } </style> <script>(function () { let tries = 0 function addLogo () { if (typeof slideshow === 'undefined') { tries += 1 if (tries < 10) { setTimeout(addLogo, 100) } } else { document.querySelectorAll('.remark-slide-content:not(.title-slide):not(.inverse):not(.hide_logo)') .forEach(function (slide) { const logo = document.createElement('div') logo.classList = 'xaringan-extra-logo' logo.href = null slide.appendChild(logo) }) } } document.addEventListener('DOMContentLoaded', addLogo) })()</script> </div> ### Pacotes necessários Os seguintes pacotes serão necessários para rodar os códigos de hoje. ```r library(rvest) library(tidyverse) library(tidytext) library(tm) library(forcats) ``` -- Caso não tenha os pacotes instalados, tome-se 5 mim para instalá-los e carregá-los antes de começar. <div class="countdown" id="timer_61ab9350" style="right:0;bottom:0;" data-warnwhen="0"> <code class="countdown-time"><span class="countdown-digits minutes">05</span><span class="countdown-digits colon">:</span><span class="countdown-digits seconds">00</span></code> </div> --- class: inverse, right, middle # Fundamentos --- ### Fundamentos - Umas das questões centrais em mineração de texto é quantificar de que trata um determinado documento. -- .bg-washed-green.b--dark-green.ba.bw2.br3.shadow-5.ph4.mt5[ - Uma forma simples de quantificar isto é através do _term frequency (tf)_ ou frequência relativa da palavra, que é dado por `$$tf = \dfrac{\text{Freq da palavra no documento}}{\text{Total de palavras no documento}}$$` ] -- - Contudo, existem palavras no documento que ocorrem muitas vezes mas não são importantes. Por exemplo: e, da, do, o, a,... -- - Uma alternativa e utilizar _stop words_ e remover essas palavras. Mas, pode acontecer que algumas palavras comuns sejam mais importantes em algum documento do que em outros. --- ### Fundamentos .bg-washed-green.b--dark-green.ba.bw2.br3.shadow-5.ph4.mt5[ - Outra abordagem é olhar para o _inverse document frequency (idf)_ que é menor para palavras muito usados em todos os documentos e maior para palavras que não são muito usadas em todos os documentos `$$idf(term) = \log \Big(\dfrac{n_{\text{documentos}}}{n_{\text{documentos que contém o termo}}} \Big)$$` ] -- - `\(idf\)` e `\(tf\)` quando combinados dão origem ao `\(tf-idf\)`, que mede a frequência da palavra ajustadoa pelo quão raramente é utilizada. -- - `\(tf-idf\)` .blue[tenta quantificar quão importante é uma palavra em um documento em função de um conjunto de vários documentos.] --- class: inverse, right, middle # Caso de estudo --- ### Caso de estudo Analisaremos os discursos de posse do [Jair Bolsonaro](https://www.gov.br/planalto/pt-br/acompanhe-o-planalto/discursos/2019/discurso-do-presidente-da-republica-jair-bolsonaro-durante-cerimonia-de-posse-no-congresso-nacional) e da [Dilma Rousseff](https://www.gov.br/mre/pt-br/centrais-de-conteudo/publicacoes/discursos-artigos-e-entrevistas/presidente-da-republica/presidente-da-republica-federativa-do-brasil-discursos/discurso-da-presidenta-da-republica-dilma-vana-rousseff-durante-a-cerimonia-de-posse-no-congresso-nacional). Precisamos importar os discursos que estão na web para o **R**. Para isto, utilizaremos a função `read_html` do pacote `rvest`. -- ```r url_bolsonaro <- "https://www.gov.br/planalto/pt-br/acompanhe-o-planalto/discursos/2019/discurso-do-presidente-da-republica-jair-bolsonaro-durante-cerimonia-de-posse-no-congresso-nacional" url_dilma <- "https://www.gov.br/mre/pt-br/centrais-de-conteudo/publicacoes/discursos-artigos-e-entrevistas/presidente-da-republica/presidente-da-republica-federativa-do-brasil-discursos/discurso-da-presidenta-da-republica-dilma-vana-rousseff-durante-a-cerimonia-de-posse-no-congresso-nacional" scraping_bolsonaro <- read_html(url_bolsonaro) scraping_dilma <- read_html(url_dilma) ``` -- .pull-left[ Temos carregado todo o conteudo disponível no site, mas precisamos apenas do texto. > O site está escrito em HTML, basta identificar em qual parte do código fonte está o texto desejado e selecionar unicamente esse texto. ] .pull-right[ <img src="img/coding_zOvBKUUEERdNm.gif" width="10%" /> ] --- ### Caso de estudo .panelset[ .panel[.panel-name[Passo 1] <img src="imagens/dev01.png" width="77%" /> ] .panel[.panel-name[Passo 2] <img src="imagens/dev02.png" width="60%" /> ] .panel[.panel-name[Passo 3] <img src="imagens/dev03.jpeg" width="100%" /> ] ] --- ### Caso de estudo O texto que precisamos está identificado com o div id `parent-fieldname-text`. -- ```r discurso_bolsonaro <- scraping_bolsonaro %>% html_nodes("#parent-fieldname-text") %>% html_text() discurso_dilma <- scraping_dilma %>% html_nodes("#parent-fieldname-text") %>% html_text() ``` -- ```r discurso_bolsonaro ``` ``` ## [1] "Congresso Nacional, 01 de janeiro de 2019\n \nExcelentíssimo presidente do Congresso Nacional, senador Eunício Oliveira,\n Senhoras e senhores chefes de Estado, chefes de Governo, vice-chefes de Estado e vice-chefes de Governo, que me honram com suas presenças.\n Vice-presidente da República Federativa do Brasil, Hamilton Mourão, meu contemporâneo de Academia Militar de Agulhas Negras,\n Presidente da Câmara dos Deputados, prezado amigo e companheiro, deputado Rodrigo Maia,\n Ex-presidentes da República Federativa do Brasil, senhor José Sarney, senhor Fernando Collor de Mello,\n Presidente do Supremo Tribunal Federal, ministro Dias Toffoli,\n Senhoras e senhores ministros de Estado e comandantes das Forças aqui presentes,\n Procuradora-Geral da República, Raquel Dodge,\nSenhoras e senhores governadores,\nSenhoras e senhores senadores e deputados federais,\nSenhoras e senhores chefes de missões estrangeiras acreditados junto ao governo brasileiro,\nMinha querida esposa Michelle, daqui vizinha Ceilândia,\n Meus filhos e familiares aqui presentes – a conheci aqui na Câmara.\n Brasileiros e brasileiras,\n \n Primeiro, quero agradecer a Deus por estar vivo. Que, pelas mãos de profissionais da Santa Casa de Juiz de Fora, operaram um verdadeiro milagre, Obrigado, meu Deus!\nCom humildade, volto a esta Casa, onde, por 28 anos, me empenhei em servir à nação brasileira, travei grandes embates e acumulei experiências e aprendizados que me deram a oportunidade de crescer e amadurecer.\nVolto a esta Casa, não mais como deputado, mas como Presidente da República Federativa do Brasil, mandato a mim confiado pela vontade soberana do povo brasileiro.\nHoje, aqui estou, fortalecido, emocionado e profundamente agradecido a Deus, pela minha vida, e aos brasileiros, que confiaram a mim a honrosa missão de governar o Brasil, neste período de grandes desafios e, ao mesmo tempo, de enorme esperança. Governar com vocês.\nAproveito este momento solene e convoco cada um dos Congressistas para me ajudarem na missão de restaurar e de reerguer nossa Pátria, libertando-a, definitivamente, do jugo da corrupção, da criminalidade, da irresponsabilidade econômica e da submissão ideológica.\nTemos, diante de nós, uma oportunidade única de reconstruir o nosso País e de resgatar a esperança dos nossos compatriotas.\nEstou certo de que enfrentaremos enormes desafios, mas, se tivermos a sabedoria de ouvir a voz do povo, alcançaremos êxito em nossos objetivos, e, pelo exemplo e pelo trabalho, levaremos as futuras gerações a nos seguir nesta tarefa gloriosa.\nVamos unir o povo, valorizar a família, respeitar as religiões e nossa tradição judaico-cristã, combater a ideologia de gênero, conservando nossos valores. O Brasil voltará a ser um País livre das amarras ideológicas.\nPretendo partilhar o poder, de forma progressiva, responsável e consciente, de Brasília para o Brasil; do Poder Central para Estados e Municípios.\nMinha campanha eleitoral atendeu ao chamado das ruas e forjou o compromisso de colocar o Brasil acima de tudo e Deus acima de todos.\nPor isso, quando os inimigos da Pátria, da ordem e da liberdade tentaram pôr fim à minha vida, milhões de brasileiros foram às ruas. Uma campanha eleitoral transformou-se em um movimento cívico, cobriu-se de verde e amarelo, tornou-se espontâneo, forte e indestrutível, e nos trouxe até aqui.\nNada aconteceria sem o esforço e o engajamento de cada um dos brasileiros que tomaram as ruas para preservar nossa liberdade e democracia.\nReafirmo meu compromisso de construir uma sociedade sem discriminação ou divisão.\nDaqui em diante, nos pautaremos pela vontade soberana daqueles brasileiros: que querem boas escolas, capazes de preparar seus filhos para o mercado de trabalho e não para a militância política; que sonham com a liberdade de ir e vir, sem serem vitimados pelo crime; que desejam conquistar, pelo mérito, bons empregos e sustentar com dignidade suas famílias; que exigem saúde, educação, infraestrutura e saneamento básico, em respeito aos direitos e garantias fundamentais da nossa Constituição.\nO Pavilhão Nacional nos remete à “Ordem e ao Progresso”.\nNenhuma sociedade se desenvolve sem respeitar esses preceitos.\nO cidadão de bem merece dispor de meios para se defender, respeitando o referendo de 2005, quando optou, nas urnas, pelo direito à legítima defesa.\nVamos honrar e valorizar aqueles que sacrificam suas vidas em nome de nossa segurança e da segurança dos nossos familiares.\nContamos com o apoio do Congresso Nacional para dar o respaldo jurídico para os policiais realizarem o seu trabalho.\nEles merecem e devem ser respeitados!\nNossas Forças Armadas terão as condições necessárias para cumprir sua missão constitucional de defesa da soberania, do território nacional e das instituições democráticas, mantendo suas capacidades dissuasórias para resguardar nossa soberania e proteger nossas fronteiras.\nMontamos nossa equipe de forma técnica, sem o tradicional viés político que tornou o Estado ineficiente e corrupto.\nVamos valorizar o Parlamento, resgatando a legitimidade e a credibilidade do Congresso Nacional.\nNa economia traremos a marca da confiança, do interesse nacional, do livre mercado e da eficiência.\nConfiança no cumprimento de que o governo não gastará mais do que arrecada e na garantia de que as regras, os contratos e as propriedades serão respeitados.\nRealizaremos reformas estruturantes, que serão essenciais para a saúde financeira e sustentabilidade das contas públicas, transformando o cenário econômico e abrindo novas oportunidades.\nPrecisamos criar um círculo virtuoso para a economia que traga a confiança necessária para permitir abrir nossos mercados para o comércio internacional, estimulando a competição, a produtividade e a eficácia, sem o viés ideológico.\nNesse processo de recuperação do crescimento, o setor agropecuário seguirá desempenhando um papel decisivo, em perfeita harmonia com a preservação do meio ambiente.\nDessa forma, todo setor produtivo terá um aumento da eficiência, com menos regulamentação e burocracia.\nEsses desafios só serão resolvidos mediante um verdadeiro pacto nacional entre a sociedade e os Poderes Executivo, Legislativo e Judiciário, na busca de novos caminhos para um novo Brasil.\nUma de minhas prioridades é proteger e revigorar a democracia brasileira, trabalhando arduamente para que ela deixe de ser apenas uma promessa formal e distante e passe a ser um componente substancial e tangível da vida política brasileira, com o respeito ao Estado Democrático.\nA construção de uma nação mais justa e desenvolvida requer a ruptura com práticas que se mostram nefastas para todos nós, maculando a classe política e atrasando o progresso.\nA irresponsabilidade nos conduziu à maior crise ética, moral e econômica de nossa história.\nHoje começamos um trabalho árduo para que o Brasil inicie um novo capítulo de sua história.\nUm capítulo no qual o Brasil será visto como um País forte, pujante, confiante e ousado.\nA política externa retomará o seu papel na defesa da soberania, na construção da grandeza e no fomento ao desenvolvimento do Brasil.\nSenhoras e senhores Congressistas,\nDeixo esta casa, rumo ao Palácio do Planalto, com a missão de representar o povo brasileiro.\nCom a benção de Deus, o apoio da minha família e a força do povo brasileiro, trabalharei incansavelmente para que o Brasil se encontre com o seu destino e se torne a grande nação que todos queremos.\nMuito obrigado a todos vocês.\nBrasil acima de tudo!\nDeus acima de todos!\n \nOuça a íntegra do discurso (09min42s) do Presidente Jair Bolsonaro\n " ``` ```r discurso_dilma ``` ``` ## [1] "\n Queridas brasileiras e queridos brasileiros, Pela decisão soberana do povo, hoje será a primeira vez que a faixa presidencial cingirá o ombro de uma mulher. Sinto uma imensa honra por essa escolha do povo brasileiro e sei do significado histórico desta decisão. Sei, também, como é aparente a suavidade da seda verde-amarela da faixa presidencial, pois ela trás consigo uma enorme responsabilidade perante a nação. Para assumi-la, tenho comigo a força e o exemplo da mulher brasileira. Abro meu coração para receber, neste momento, uma centelha de sua imensa energia. E sei que meu mandato deve incluir a tradução mais generosa desta ousadia do voto popular que, após levar à presidência um homem do povo, decide convocar uma mulher para dirigir os destinos do país. Venho para abrir portas para que muitas outras mulheres, também possam, no futuro, ser presidenta; e para que --no dia de hoje-- todas as brasileiras sintam o orgulho e a alegria de ser mulher. Não venho para enaltecer a minha biografia; mas para glorificar a vida de cada mulher brasileira. Meu compromisso supremo é honrar as mulheres, proteger os mais frágeis e governar para todos! Venho, antes de tudo, para dar continuidade ao maior processo de afirmação que este país já viveu. Venho para consolidar a obra transformadora do presidente Luis Inácio Lula da Silva, com quem tive a mais vigorosa experiência política da minha vida e o privilégio de servir ao país, ao seu lado, nestes últimos anos. De um presidente que mudou a forma de governar e levou o povo brasileiro a confiar ainda mais em si mesmo e no futuro do seu País. A maior homenagem que posso prestar a ele é ampliar e avançar as conquistas do seu governo. Reconhecer, acreditar e investir na força do povo foi a maior lição que o presidente Lula deixou para todos nós. Sob sua liderança, o povo brasileiro fez a travessia para uma outra margem da história.Minha missão agora é de consolidar esta passagem e avançar no caminho de uma nação geradora das mais amplas oportunidades. Quero, neste momento, prestar minha homenagem a outro grande brasileiro, incansável lutador, companheiro que esteve ao lado do Presidente Lula nestes oito anos: nosso querido vice José Alencar. Que exemplo de coragem e de amor à vida nos dá este homem! E que parceria fizeram o presidente Lula e o vice-presidente José Alencar, pelo Brasil e pelo nosso povo! Eu e Michel Temer nos sentimos responsáveis por seguir no caminho iniciado por eles. Um governo se alicerça no acúmulo de conquistas realizadas ao longo da história. Ele sempre será, ao seu tempo, mudança e continuidade. Por isso, ao saudar os extraordinários avanços recentes, é justo lembrar que muitos, a seu tempo e a seu modo, deram grandes contribuições às conquistas do Brasil de hoje. Vivemos um dos melhores períodos da vida nacional: milhões de empregos estão sendo criados; nossa taxa de crescimento mais que dobrou e encerramos um longo período de dependência do FMI, ao mesmo tempo em que superamos nossa dívida externa. Reduzimos, sobretudo, a nossa histórica dívida social, resgatando milhões de brasileiros da tragédia da miséria e ajudando outros milhões a alcançarem a classe média. Mas, em um país com a complexidade do nosso, é preciso sempre querer mais, descobrir mais, inovar nos caminhos e buscar novas soluções. Só assim poderemos garantir, aos que melhoraram de vida, que eles podem alcançar mais; e provar, aos que ainda lutam para sair da miséria, que eles podem, com a ajuda do governo e de toda sociedade, mudar de patamar. Que podemos ser, de fato, uma das nações mais desenvolvidas e menos desiguais do mundo - um país de classe média sólida e empreendedora. Uma democracia vibrante e moderna, plena de compromisso social, liberdade política e criatividade institucional. Queridos brasileiros e queridas brasileiras, Para enfrentar estes grandes desafios é preciso manter os fundamentos que nos garantiram chegar até aqui. Mas, igualmente, agregar novas ferramentas e novos valores. Na política é tarefa indeclinável e urgente uma reforma política com mudanças na legislação para fazer avançar nossa jovem democracia, fortalecer o sentido programático dos partidos e aperfeiçoar as instituições, restaurando valores e dando mais transparência ao conjunto da atividade pública. Para dar longevidade ao atual ciclo de crescimento é preciso garantir a estabilidade de preços e seguir eliminando as travas que ainda inibem o dinamismo de nossa economia, facilitando a produção e estimulando a capacidade empreendedora de nosso povo, da grande empresa até os pequenos negócios locais, do agronegócio à agricultura familiar. É, portanto, inadiável a implementação de um conjunto de medidas que modernize o sistema tributário, orientado pelo princípio da simplificação e da racionalidade. O uso intensivo da tecnologia da informação deve estar a serviço de um sistema de progressiva eficiência e elevado respeito ao contribuinte. Valorizar nosso parque industrial e ampliar sua força exportadora será meta permanente. A competitividade de nossa agricultura e da pecuária, que faz do Brasil grande exportador de produtos de qualidade para todos os continentes, merecerá toda nossa atenção. Nos setores mais produtivos a internacionalização de nossas empresas já é uma realidade. O apoio aos grandes exportadores não é incompatível com o incentivo à agricultura familiar e ao microempreendedor. As pequenas empresas são responsáveis pela maior parcela dos empregos permanentes em nosso país. Merecerão políticas tributárias e de crédito perenes. Valorizar o desenvolvimento regional é outro imperativo de um país continental, sustentando a vibrante economia do nordeste, preservando e respeitando a biodiversidade da Amazônia no norte, dando condições à extraordinária produção agrícola do centro-oeste, a força industrial do sudeste e a pujança e o espírito de pioneirismo do sul. É preciso, antes de tudo, criar condições reais e efetivas capazes de aproveitar e potencializar, ainda mais e melhor, a imensa energia criativa e produtiva do povo brasileiro. No plano social, a inclusão só será plenamente alcançada com a universalização e a qualificação dos serviços essenciais. Este é um passo, decisivo e irrevogável, para consolidar e ampliar as grandes conquistas obtidas pela nossa população. É, portanto, tarefa indispensável uma ação renovada, efetiva e integrada dos governos federal, estaduais e municipais, em particular nas áreas da saúde, da educação e da segurança, vontade expressa das famílias brasileiras. Queridas brasileiras e queridos brasileiros, A luta mais obstinada do meu governo será pela erradicação da pobreza extrema e a criação de oportunidades para todos. Uma expressiva mobilidade social ocorreu nos dois mandatos do Presidente Lula. Mas, ainda existe pobreza a envergonhar nosso país e a impedir nossa afirmação plena como povo desenvolvido. Não vou descansar enquanto houver brasileiros sem alimentos na mesa, enquanto houver famílias no desalento das ruas, enquanto houver crianças pobres abandonadas à própria sorte. O congraçamento das famílias se dá no alimento, na paz e na alegria. E este é o sonho que vou perseguir! Esta não é tarefa isolada de um governo, mas um compromisso a ser abraçado por toda sociedade. Para isso peço com humildade o apoio das instituições públicas e privadas, de todos os partidos, das entidades empresariais e dos trabalhadores, das universidades, da juventude, de toda a imprensa e de das pessoas de bem. A superação da miséria exige prioridade na sustentação de um longo ciclo de crescimento. É com crescimento que serão gerados os empregos necessários para as atuais e as novas gerações. É com crescimento, associado a fortes programas sociais, que venceremos a desigualdade de renda e do desenvolvimento regional. Isso significa - reitero - manter a estabilidade econômica como valor absoluto. Já faz parte de nossa cultura recente a convicção de que a inflação desorganiza a economia e degrada a renda do trabalhador. Não permitiremos, sob nenhuma hipótese, que esta praga volte a corroer nosso tecido econômico e a castigar as famílias mais pobres. Continuaremos fortalecendo nossas reservas para garantir o equilíbrio das contas externas. Atuaremos decididamente nos fóruns multilaterais na defesa de políticas econômicas saudáveis e equilibradas, protegendo o país da concorrência desleal e do fluxo indiscriminado de capitais especulativos. Não faremos a menor concessão ao protecionismo dos países ricos que sufoca qualquer possibilidade de superação da pobreza de tantas nações pela via do esforço de produção. Faremos um trabalho permanente e continuado para melhorar a qualidade do gasto público. O Brasil optou, ao longo de sua história, por construir um estado provedor de serviços básicos e de previdência social pública. Isso significa custos elevados para toda a sociedade, mas significa também a garantia do alento da aposentadoria para todos e serviços de saúde e educação universais. Portanto, a melhoria dos serviços é também um imperativo de qualificação dos gastos governamentais. Outro fator importante da qualidade da despesa é o aumento dos níveis de investimento em relação aos gastos de custeio. O investimento público é essencial como indutor do investimento privado e como instrumento de desenvolvimento regional. Através do Programa de Aceleração do Crescimento e do Minha Casa Minha Vida, manteremos o investimento sob estrito e cuidadoso acompanhamento da Presidência da República e dos ministérios. O PAC continuará sendo um instrumento de coesão da ação governamental e coordenação voluntária dos investimentos estruturais dos estados e municípios. Será também vetor de incentivo ao investimento privado, valorizando todas as iniciativas de constituição de fundos privados de longo prazo. Por sua vez, os investimentos previstos para a Copa do Mundo e para as Olimpíadas serão concebidos de maneira a dar ganhos permanentes de qualidade de vida, em todas as regiões envolvidas. Este princípio vai reger também nossa política de transporte aéreo. É preciso, sem dúvida, melhorar e ampliar nossos aeroportos para a Copa e as Olimpíadas. Mas é mais que necessário melhorá-los já, para arcar com o crescente uso deste meio de transporte por parcelas cada vez mais amplas da população brasileira. Queridas brasileiras e queridos brasileiros, Junto com a erradicação da miséria, será prioridade do meu governo a luta pela qualidade da educação, da saúde e da segurança. Nas últimas duas décadas, o Brasil universalizou o ensino fundamental. Porém é preciso melhorar sua qualidade e aumentar as vagas no ensino infantil e no ensino médio. Para isso, vamos ajudar decididamente os municípios a ampliar a oferta de creches e de pré escolas. No ensino médio, além do aumento do investimento publico vamos estender a vitoriosa experiência do PROUNI para o ensino médio profissionalizante, acelerando a oferta de milhares de vagas para que nossos jovens recebam uma formação educacional e profissional de qualidade. Mas só existirá ensino de qualidade se o professor e a professora forem tratados como as verdadeiras autoridades da educação, com formação continuada, remuneração adequada e sólido compromisso com a educação das crianças e jovens. Somente com avanço na qualidade de ensino poderemos formar jovens preparados, de fato, para nos conduzir à sociedade da tecnologia e do conhecimento. Queridas brasileiras e queridos brasileiros, Consolidar o Sistema Único de Saúde será outra grande prioridade do meu governo. Para isso, vou acompanhar pessoalmente o desenvolvimento desse setor tão essencial para o povo brasileiro. Quero ser a presidenta que consolidou o SUS, tornando-o um dos maiores e melhores sistemas de saúde pública do mundo. O SUS deve ter como meta a solução real do problema que atinge a pessoa que o procura, com uso de todos os instrumentos de diagnóstico e tratamento disponíveis, tornando os medicamentos acessíveis a todos, além de fortalecer as políticas de prevenção e promoção da saúde. Vou usar a força do governo federal para acompanhar a qualidade do serviço prestado e o respeito ao usuário. Vamos estabelecer parcerias com o setor privado na área da saúde, assegurando a reciprocidade quando da utilização dos serviços do SUS. A formação e a presença de profissionais de saúde adequadamente distribuídos em todas as regiões do país será outra meta essencial ao bom funcionamento do sistema. Queridas brasileiras e queridos brasileiros, A ação integrada de todos os níveis de governo e a participação da sociedade é o caminho para a redução da violência que constrange a sociedade e as famílias brasileiras. Meu governo fará um trabalho permanente para garantir a presença do Estado em todas as regiões mais sensíveis à ação da criminalidade e das drogas, em forte parceria com Estados e Municípios. O estado do Rio de Janeiro mostrou o quanto é importante, na solução dos conflitos, a ação coordenada das forças de segurança dos três níveis de governo, incluindo - quando necessário - a participação decisiva das Forças Armadas. O êxito desta experiência deve nos estimular a unir as forças de segurança no combate, sem tréguas, ao crime organizado, que sofistica a cada dia seu poder de fogo e suas técnicas de aliciamento de jovens. Buscaremos também uma maior capacitação federal na área de inteligência e no controle das fronteiras, com uso de modernas tecnologias e treinamento profissional permanente. Reitero meu compromisso de agir no combate as drogas, em especial ao avanço do crack, que desintegra nossa juventude e infelicita as famílias. Queridas brasileiras e queridos brasileiros, O pré-sal é nosso passaporte para o futuro, mas só o será plenamente se produzir uma síntese equilibrada de avanço tecnológico, avanço social e cuidado ambiental. A sua própria descoberta é resultado do avanço tecnológico brasileiro e de uma moderna política de investimentos em pesquisa e inovação. Seu desenvolvimento será fator de valorização da empresa nacional e seus investimentos serão geradores de milhares de novos empregos. O grande agente desta política é a Petrobrás, símbolo histórico da soberania brasileira na produção energética. O meu governo terá a responsabilidade de transformar a enorme riqueza obtida no Pré Sal em poupança de longo prazo, capaz de fornecer às atuais e às futuras gerações a melhor parcela dessa riqueza, transformada, ao longo do tempo, em investimentos efetivos na qualidade dos serviços públicos, na redução da pobreza e na valorização do meio ambiente. Recusaremos o gasto apressado, que reserva às futuras gerações apenas as dívidas e a desesperança. Meus queridos brasileiros e brasileiras, Muita coisa melhorou em nosso país, mas estamos vivendo apenas o início de uma nova era. O despertar de um novo Brasil. Recorro a um poeta da minha terra: \"o que tem de ser, tem muita força\". Pela primeira vez o Brasil se vê diante da oportunidade real de se tornar, de ser, uma nação desenvolvida. Uma nação com a marca inerente da cultura e do estilo brasileiros --o amor, a generosidade, a criatividade e a tolerância. Uma nação em que a preservação das reservas naturais e das suas imensas florestas, associada à rica biodiversidade e a matriz energética mais limpa do mundo, permitem um projeto inédito de país desenvolvido com forte componente ambiental. O mundo vive num ritmo cada vez mais acelerado de revolução tecnológica. Ela se processa tanto na decifração de códigos desvendadores da vida quanto na explosão da comunicação e da informática. Temos avançado na pesquisa e na tecnologia, mas precisamos avançar muito mais. Meu governo apoiará fortemente o desenvolvimento científico e tecnológico para o domínio do conhecimento e a inovação como instrumento da produtividade. Mas o caminho para uma nação desenvolvida não está somente no campo econômico. Ele pressupõe o avanço social e a valorização da diversidade cultural. A cultura é a alma de um povo, essência de sua identidade. Vamos investir em cultura, ampliando a produção e o consumo em todas as regiões de nossos bens culturais e expandindo a exportação da nossa música, cinema e literatura, signos vivos de nossa presença no mundo. Em suma: temos que combater a miséria, que é a forma mais trágica de atraso, e, ao mesmo tempo, avançar investindo fortemente nas áreas mais sofisticadas da invenção tecnológica, da criação intelectual e da produção artística e cultural. Justiça social, moralidade, conhecimento, invenção e criatividade, devem ser, mais que nunca, conceitos vivos no dia-a-dia da nação. Queridos brasileiros e queridas brasileiras, Considero uma missão sagrada do Brasil a de mostrar ao mundo que é possível um país crescer aceleradamente, sem destruir o meio-ambiente. Somos e seremos os campeões mundiais de energia limpa, um país que sempre saberá crescer de forma saudável e equilibrada. O etanol e as fontes de energia hídricas terão grande incentivo, assim como as fontes alternativas: a biomassa, a eólica e a solar. O Brasil continuará também priorizando a preservação das reservas naturais e das florestas. Nossa política ambiental favorecerá nossa ação nos fóruns multilaterais. Mas o Brasil não condicionará sua ação ambiental ao sucesso e ao cumprimento, por terceiros, de acordos internacionais. Defender o equilíbrio ambiental do planeta é um dos nossos compromissos nacionais mais universais. Meus queridos brasileiros e brasileiras, Nossa política externa estará baseada nos valores clássicos da tradição diplomática brasileira: promoção da paz, respeito ao princípio de não-intervenção, defesa dos Direitos Humanos e fortalecimento do multilateralismo. O meu governo continuará engajado na luta contra a fome e a miséria no mundo. Seguiremos aprofundando o relacionamento com nossos vizinhos sul-americanos; com nossos irmãos da América Latina e do Caribe; com nossos irmãos africanos e com os povos do Oriente Médio e dos países asiáticos. Preservaremos e aprofundaremos o relacionamento com os Estados Unidos e com a União Européia. Vamos dar grande atenção aos países emergentes. O Brasil reitera, com veemência e firmeza, a decisão de associar seu desenvolvimento econômico, social e político ao de nosso continente. Podemos transformar nossa região em componente essencial do mundo multipolar que se anuncia, dando consistência cada vez maior ao Mercosul e à Unasul. Vamos contribuir para a estabilidade financeira internacional, com uma intervenção qualificada nos fóruns multilaterais. Nossa tradição de defesa da paz não nos permite qualquer indiferença frente à existência de enormes arsenais atômicos, à proliferação nuclear, ao terrorismo e ao crime organizado transnacional. Nossa ação política externa continuará propugnando pela reforma dos organismos de governança mundial, em especial as Nações Unidas e seu Conselho de Segurança. Queridas brasileiras e queridos brasileiros, Disse, no início deste discurso, que eu governarei para todos os brasileiros e brasileiras. E vou fazê-lo. Mas é importante lembrar que o destino de um país não se resume à ação de seu governo. Ele é o resultado do trabalho e da ação transformadora de todos os brasileiros e brasileiras. O Brasil do futuro será exatamente do tamanho daquilo que, juntos, fizermos por ele hoje. Do tamanho da participação de todos e de cada um: Dos movimentos sociais, dos que labutam no campo, dos profissionais liberais, dos trabalhadores e dos pequenos empreendedores, dos intelectuais, dos servidores públicos, dos empresários, das mulheres, dos negros, dos índios e dos jovens, de todos aqueles que lutam para superar distintas formas de discriminação. Quero estar ao lado dos que trabalham pelo bem do Brasil na solidão amazônica, na seca nordestina, na imensidão do cerrado, na vastidão dos pampas. Quero estar ao lado dos que vivem nos aglomerados metropolitanos, na vastidão das florestas; no interior ou no litoral, nas capitais e nas fronteiras do Brasil. Quero convocar todos a participar do esforço de transformação do nosso país. Respeitada a autonomia dos poderes e o princípio federativo, quero contar com o Legislativo e o Judiciário, e com a parceria de governadores e prefeitos para continuarmos desenvolvendo nosso País, aperfeiçoando nossas instituições e fortalecendo nossa democracia. Reafirmo meu compromisso inegociável com a garantia plena das liberdades individuais; da liberdade de culto e de religião; da liberdade de imprensa e de opinião. Reafirmo que prefiro o barulho da imprensa livre ao silêncio das ditaduras. Quem, como eu e tantos outros da minha geração, lutamos contra o arbítrio e a censura, somos naturalmente amantes da mais plena democracia e da defesa intansigente dos direitos humanos, no nosso País e como bandeira sagrada de todos os povos. O ser humano não é só realização prática, mas sonho; não é só cautela racional, mas coragem, invenção e ousadia. E esses são elementos fundamentais para a afirmação coletiva da nossa nação. Eu e meu vice Michel Temer fomos eleitos por uma ampla coligação partidária. Estamos construindo com eles um governo onde capacidade profissional, liderança e a disposição de servir ao país serão os critérios fundamentais. Mais uma vez estendo minha mão aos partidos de oposição e as parcelas da sociedade que não estiveram conosco na recente jornada eleitoral. Não haverá de minha parte discriminação, privilégios ou compadrio. A partir deste momento sou a presidenta de todos os brasileiros, sob a égide dos valores republicanos. Serei rígida na defesa do interesse público. Não haverá compromisso com o erro, o desvio e o malfeito. A corrupção será combatida permanentemente, e os órgãos de controle e investigação terão todo o meu respaldo para aturem com firmeza e autonomia. Queridas brasileiras e queridos brasileiros, Chegamos ao final desse longo discurso. Dediquei toda a minha vida a causa do Brasil. Entreguei minha juventude ao sonho de um país justo e democrático. Suportei as adversidades mais extremas infligidas a todos que ousamos enfrentar o arbítrio. Não tenho qualquer arrependimento, tampouco ressentimento ou rancor. Muitos da minha geração, que tombaram pelo caminho, não podem compartilhar a alegria deste momento. Divido com eles esta conquista, e rendo-lhes minha homenagem. Esta dura caminhada me fez valorizar e amar muito mais a vida e me deu sobretudo coragem para enfrentar desafios ainda maiores. Recorro mais uma vez ao poeta da minha terra: \"O correr da vida embrulha tudo. A vida é assim: esquenta e esfria, aperta e daí afrouxa, sossega e depois desinquieta. O que ela quer da gente é coragem\" É com esta coragem que vou governar o Brasil. Mas mulher não é só coragem. É carinho também. Carinho que dedico a minha filha e ao meu neto. Carinho com que abraço a minha mãe que me acompanha e me abençoa. É com este mesmo carinho que quero cuidar do meu povo, e a ele - só a ele - dedicar os próximos anos da minha vida. Que Deus abençoe o Brasil!   \n\n " ``` --- ### Caso de estudo .red[Para trabalharmos sob a perspectiva de tf-idf, precisamos que os dois discursos estejam em um único conjunto de dados.] ```r discursos <- tibble(Bolsonaro = discurso_bolsonaro, Dilma = discurso_dilma) %>% pivot_longer(cols = c("Bolsonaro","Dilma"), names_to = "Presidente", values_to = "Discurso") ``` -- ```r discursos ``` ``` ## # A tibble: 2 × 2 ## Presidente Discurso ## <chr> <chr> ## 1 Bolsonaro "Congresso Nacional, 01 de janeiro de 2019\n \nExcelentíssimo pres… ## 2 Dilma "\n Queridas brasileiras e queridos brasileiros, Pela… ``` -- **Obs:** `pivot_longer()` e `pivot_wider()` são duas funções muito úteis. Aprenda mais sobre elas [aqui](https://tidyr.tidyverse.org/reference/pivot_longer.html) e [aqui](https://tidyr.tidyverse.org/reference/pivot_wider.html). --- ### Caso de estudo Agora converteremos o texto em _tokens_. Contudo, em ambos os textos temos vários `\n` (pular linha) e `&nbsp` (espaço em branco). Felizmente, a função `unnest_tokens()` do pacote `tidytext` remove essas e outras pontuações. ```r speech_words <- discursos %>% unnest_tokens(word, Discurso) %>% count(Presidente, word, sort = TRUE) total_words <- speech_words %>% group_by(Presidente) %>% summarize(total = sum(n)) speech_words <- left_join(speech_words, total_words) speech_words ``` ``` ## # A tibble: 1,791 × 4 ## Presidente word n total ## <chr> <chr> <int> <int> ## 1 Dilma e 192 3610 ## 2 Dilma de 160 3610 ## 3 Dilma a 143 3610 ## 4 Dilma o 89 3610 ## 5 Dilma da 81 3610 ## 6 Dilma do 76 3610 ## 7 Bolsonaro e 68 1160 ## 8 Dilma que 65 3610 ## 9 Bolsonaro de 57 1160 ## 10 Dilma para 49 3610 ## # … with 1,781 more rows ``` --- ### Caso de estudo ```r ggplot(speech_words, aes(n/total, fill = Presidente)) + geom_histogram() + facet_wrap(~Presidente, scales = "free_y") + theme(legend.position = "none") ``` <img src="IMTR4_files/figure-html/unnamed-chunk-13-1.png" width="100%" /> --- ### Lei de Zipf Do gráfico anterior, podemos ver que a distribuição do _term frequency_ (frequência relativa) em ambos os discursos é semelhante. Poucas palavras que se repetem muitas vezes e muitas palavras que se repetem poucas vezes. Esse tipo de comportamento é comum quando analisamos texto e é conhecida como a lei de [Zipf](https://pt.wikipedia.org/wiki/Lei_de_Zipf). > .blue[**Lei de Zipf:** A frequência com que uma palavra aparece é inversamente proporcional ao seu posto.] `$$tf \propto \dfrac{1}{posto}$$` -- ```r freq_by_rank <- speech_words %>% group_by(Presidente) %>% mutate(posto = row_number(), term_frequency = n/total) %>% ungroup() freq_by_rank ``` ``` ## # A tibble: 1,791 × 6 ## Presidente word n total posto term_frequency ## <chr> <chr> <int> <int> <int> <dbl> ## 1 Dilma e 192 3610 1 0.0532 ## 2 Dilma de 160 3610 2 0.0443 ## 3 Dilma a 143 3610 3 0.0396 ## 4 Dilma o 89 3610 4 0.0247 ## 5 Dilma da 81 3610 5 0.0224 ## 6 Dilma do 76 3610 6 0.0211 ## 7 Bolsonaro e 68 1160 1 0.0586 ## 8 Dilma que 65 3610 7 0.0180 ## 9 Bolsonaro de 57 1160 2 0.0491 ## 10 Dilma para 49 3610 8 0.0136 ## # … with 1,781 more rows ``` --- ### Lei de Zipf A lei de Zipf é frequentemente visualizada graficando o posto no eixto `\(X\)` e a frequência do termo no eixo `\(Y\)`, ambos em escala logaritmica. Com este gráfico devemos ver uma relação inversa. ```r freq_by_rank %>% ggplot(aes(x = posto, y = term_frequency, color = Presidente)) + geom_line() + scale_x_log10() + scale_y_log10() ``` <img src="IMTR4_files/figure-html/unnamed-chunk-15-1.png" width="65%" /> --- ### tf-idf .blue[A ideia do _tf-idf_ é encontrar palavras importantes (comuns) no conteudo de cada documento mas que não sejam tão comumns ao ponto de aparecerem em todos os documentos. Para isto, um peso **menor** é atribuido a palavras que ocorrem com **muita** frequência em todos os documentos e um peso **maior** é atribuido a palavras que ocorrem com **pouca** frequência em todos os documentos.] A função `bind_tf_idf()` nos ajudará nesta tarefa 😄. -- ```r speech_words %>% bind_tf_idf(word, Presidente, n) # A ordem correta é: token, ID do documento e n. ``` ``` ## # A tibble: 1,791 × 7 ## Presidente word n total tf idf tf_idf ## <chr> <chr> <int> <int> <dbl> <dbl> <dbl> ## 1 Dilma e 192 3610 0.0532 0 0 ## 2 Dilma de 160 3610 0.0443 0 0 ## 3 Dilma a 143 3610 0.0396 0 0 ## 4 Dilma o 89 3610 0.0247 0 0 ## 5 Dilma da 81 3610 0.0224 0 0 ## 6 Dilma do 76 3610 0.0211 0 0 ## 7 Bolsonaro e 68 1160 0.0586 0 0 ## 8 Dilma que 65 3610 0.0180 0 0 ## 9 Bolsonaro de 57 1160 0.0491 0 0 ## 10 Dilma para 49 3610 0.0136 0 0 ## # … with 1,781 more rows ``` --- ### tf-idf ```r speech_words %>% bind_tf_idf(word, Presidente, n) %>% arrange(desc(tf_idf)) ``` ``` ## # A tibble: 1,791 × 7 ## Presidente word n total tf idf tf_idf ## <chr> <chr> <int> <int> <dbl> <dbl> <dbl> ## 1 Bolsonaro senhoras 6 1160 0.00517 0.693 0.00359 ## 2 Bolsonaro senhores 6 1160 0.00517 0.693 0.00359 ## 3 Bolsonaro chefes 5 1160 0.00431 0.693 0.00299 ## 4 Bolsonaro acima 4 1160 0.00345 0.693 0.00239 ## 5 Bolsonaro congresso 4 1160 0.00345 0.693 0.00239 ## 6 Dilma queridos 12 3610 0.00332 0.693 0.00230 ## 7 Dilma qualidade 11 3610 0.00305 0.693 0.00211 ## 8 Dilma ação 10 3610 0.00277 0.693 0.00192 ## 9 Dilma queridas 10 3610 0.00277 0.693 0.00192 ## 10 Bolsonaro confiança 3 1160 0.00259 0.693 0.00179 ## # … with 1,781 more rows ``` --- ### tf-idf ```r speechs_tf_idf <- speech_words %>% bind_tf_idf(word, Presidente, n) speechs_tf_idf %>% group_by(Presidente) %>% slice_max(tf_idf, n = 10) %>% # 10 maiores tf_idf ungroup() %>% ggplot(aes(tf_idf, fct_reorder(word, tf_idf), fill = Presidente)) + geom_col() + facet_wrap(.~ Presidente, ncol = 2, scales = "free") + xlab("tf-idf") ``` <img src="IMTR4_files/figure-html/unnamed-chunk-18-1.png" width="80%" /> --- ### Data-Tips: .pull-left[ <img src="https://octodex.github.com/images/minertocat.png" width="70%" /> ] .pull-right[ O livro [Text Mining with R](https://www.tidytextmining.com) contém bastante informação para fazermos mineração de texto. Nas próximas reuniões veremos os pontos mais importantes. Veja o [Capítulo 3 para mais informações do tf-idf](https://www.tidytextmining.com/tfidf.html) O livro [Supervised Machine Learning for Text Analysis in R](https://smltar.com) presenta vários tópicos de modelagem de dados com dados textuais. O livro [Textual Data Science with R](https://www.routledge.com/Textual-Data-Science-with-R/Becue-Bertaut/p/book/9781032093659) discute vários conceitos teóricos e pode ser um ótimo complemento. ]