Text Mining: Very Fast Word Lookup in a Large Dictionary in R with data.table and matrixStats

Looking up words in dictionaries is the alpha and omega of text mining. I am, for instance interested to know whether a given word from a large dictionary (>100k words) occurs in a phrase or not, for a list of over 1M phrases. R can be very slow or much much faster at this task, […]

Premiers pas avec R et RStudio

Cet exercice a pour préalable d’avoir installé R et RStudio, soit avec le gestionnaire Miniconda, soit comme logiciels indépendants. Se familiariser avec l’interface Ouvrez RStudio. Vous devriez voir l’interface comme à l’image ci-dessous, pour l’heure sans la partie A. La partie C est en principe vide: Les fonctions de ces différentes parties sont les suivantes: […]

Installer R et RStudio comme logiciels indépendants

R est un langage de programmation. Pour que les programmes écrits en R fonctionnent, il est nécessaire d’installer au préalable un environnement d’exécution pour ce langage. RStudio est une interface graphique (GUI) pour R. Une façon aisée d’installer en même temps R et RStudio, en parallèle d’un bon nombre d’autres logiciels de programmation, d’analyse et de […]

Installer R, RStudio et Orange Data Mining avec Miniconda

Conda est un gestionnaire de logiciels d’analyse de données et de visualisation extrêmement répandu dans les milieux scientifiques. Sa version minimale, Miniconda, permet d’installer et de tenir à jour plusieurs logiciels dont R, RStudio et Orange Data Mining. Installez-le en suivant les instructions ci-dessous. Dans tous les cas, si un choix est proposé choisissez la […]

Create a subgraph from the neighborhood of specific vertices in igraph

Many user of igraph for R expect the functions ego() and make_ego_graph() , that take a list of vertices as input, to generate a new graph composed of the neighbors of these vertices. Unfortunately, these functions do no such thing. They generate a list of igraph.vs objects, which cannot be further treated as an igraph […]

Visualiser des données avec R (2): réductions dimensionnelles, clustering, composantes principales

Cet exercice fait suite à l’exercice Visualiser des données avec R (1). Il présuppose que vous avez chargé les données et créé les variables de cet exercice précédent, faute de quoi les scripts R ci-dessous ne fonctionneront pas. De 1 dimension à 0 dimensions: le nombre unique qui résume les données Réduisons d’abord nos données […]

Unknown column? Force encoding of an entire table from “unknown” to “UTF-8” in R on Windows

A common knitr issue on Windows Running R scripts on a Windows machine is equivalent to a dive into enconding hell. In effect, your non-English data most likely contains characters like Ä, ü, è or š, or even 语言. In all cases, the only serious way of dealing with these, in fact with any data […]

Cleaning up PDFs of pre-1990s scanned texts for text mining in R with Quanteda

Text sources are often PDF’s. If optical character recognition (OCR) has been applied, the pdftools R package allows you to extract text from all PDFs to text files stored in a folder. The readtext package converts the set of text files into something useful for Quanteda. Nevertheless, some cleaning is necessary before transforming your text […]

Stacked histogram with bivariate colored bars in R

A histogram gives you counts of elements within spefic ranges of a variable, represented as bars. Sometimes, you want to see more then bars. The following code allows you to represent a second variable with a color shade: library(ggplot2) library(data.table) # create an example of a table d <- data.table( slope = round(rnorm(50),50), p = […]

Cartographie avec R

Pour cartographier avec R, vous avez besoin des bibliothèques logicielles GDAL (Geospatial Data Abstraction Library) et GEOS (Geometry Engine – Open Source). On peut faciliter leur installation en installant qGIS, qui les inclut. Installer spécifiquement GDAL et GEOS Mais vous pouvez aussi les installer directement. Pour cela: Allez sur le site GEOS. Parmi les téléchargements […]