COVID-19 Coronavirus cases per capita – evolution

The best graphics of the evolution of the COVID-19 I’ve seen so far have been made by John Burn-Murdoch for the Financial Times or by Lisa Charlotte Rost for the Grand Continent (observatoire Coronavirus : tendances globales). Not only use they a logarithmic scale, but count days since the 100th case allowing effective comparison of […]

Draw anything you want with R on the Cartesian grid

Most of the graphics documenation in R is dedicated to high level plotting packages. Some of them are great and you should definitely use them for well established types of figures. For scatterplots, histograms, boxplots, violin plots, contours, density plots, you name it… my favourite is ggplot2; good results can also be obtained with lattice.  […]

Repair a pandoc-generated LaTeX table with R

Pandoc is a great piece of software but it is not always kind to HTML tables when converting to LaTeX. Especially tables containing <tr> elements with rowspan or <td> elements with colspan attributes end up as sequences of lines of text, not embedded in a table environment like longtableand devoid of both line endings (\\) […]

Text Mining: Very Fast Word Lookup in a Large Dictionary in R with data.table and matrixStats

Looking up words in dictionaries is the alpha and omega of text mining. I am, for instance interested to know whether a given word from a large dictionary (>100k words) occurs in a phrase or not, for a list of over 1M phrases. R can be very slow or much much faster at this task, […]

Premiers pas avec R et RStudio

Cet exercice a pour préalable d’avoir installé R et RStudio, soit avec le gestionnaire Miniconda, soit comme logiciels indépendants. Se familiariser avec l’interface Ouvrez RStudio. Vous devriez voir l’interface comme à l’image ci-dessous, pour l’heure sans la partie A. La partie C est en principe vide: Les fonctions de ces différentes parties sont les suivantes: […]

Installer R et RStudio comme logiciels indépendants

R est un langage de programmation. Pour que les programmes écrits en R fonctionnent, il est nécessaire d’installer au préalable un environnement d’exécution pour ce langage. RStudio est une interface graphique (GUI) pour R. Installer l’environnement d’exécution de R Vous pouvez installer R et RStudio comme logiciels indépendants. Téléchargez et installez R avec un installeur correspondant […]

Installer R, RStudio et Orange Data Mining avec Miniconda

Conda est un gestionnaire de logiciels d’analyse de données et de visualisation extrêmement répandu dans les milieux scientifiques. Sa version minimale, Miniconda, permet d’installer et de tenir à jour plusieurs logiciels dont R, RStudio et Orange Data Mining. Installez-le en suivant les instructions ci-dessous. Dans tous les cas, si un choix est proposé choisissez la […]

Visualiser des données avec R (2): réductions dimensionnelles, clustering, composantes principales

Cet exercice fait suite à l’exercice Visualiser des données avec R (1). Il présuppose que vous avez chargé les données et créé les variables de cet exercice précédent, faute de quoi les scripts R ci-dessous ne fonctionneront pas. De 1 dimension à 0 dimensions: le nombre unique qui résume les données Réduisons d’abord nos données […]

Unknown column? Force encoding of an entire table from “unknown” to “UTF-8” in R on Windows

A common knitr issue on Windows Running R scripts on a Windows machine is equivalent to a dive into enconding hell. In effect, your non-English data most likely contains characters like Ä, ü, è or š, or even 语言. In all cases, the only serious way of dealing with these, in fact with any data […]

Cleaning up PDFs of pre-1990s scanned texts for text mining in R with Quanteda

Text sources are often PDF’s. If optical character recognition (OCR) has been applied, the pdftools R package allows you to extract text from all PDFs to text files stored in a folder. The readtext package converts the set of text files into something useful for Quanteda. Nevertheless, some cleaning is necessary before transforming your text […]