Dans ce numéro...


Big Data ou juste Data ? Ce terme qu'on entend partout (tout comme le malheureux « la data ») n'est pas uniquement un buzzword, mais le définir clairement est délicat d'un point de vue technique. La masse de données n'a cessé d'augmenter depuis les toutes premières heures de l'informatique. Le PDP-7 sur lequel a été créé UNIX dans les années 70 n'avait que 8192 mots de 18 bits en guise de mémoire, le premier IBM PC en 1981 pouvait supporter 256 Ko de RAM et très récemment, il était encore impensable d'utiliser plus de 2 Go de RAM. Il en va de même pour le stockage, les images, les bases de données, les volumes de transferts, les métadonnées... Tout grossit, tout devient de plus en plus big.
Voici une sélection d'ouvrages pour la plupart récemment sortis ou sur le point de sortir et qui ont attiré notre attention.
Dans cet article, nous allons voir comment coder un auto-encodeur variationnel étape par étape. Nous passerons des connaissances théoriques et de l'intuition sur les auto-encodeurs probabilistes de l'article précédent [1] de cette série au pseudo-code et enfin, à la mise en œuvre à l'aide de la bibliothèque TensorFlow.
Hadoop est un écosystème complet permettant d’adresser l’ensemble des problématiques Big Data : stockage non structuré et structuré, traitement et analyse de données, et Machine Learning. Parti de la motivation de rendre accessibles ces environnements, il est open source, modulaire, facile à déployer, administrable, et fournit de multiples accès à travers de nombreux langages et frameworks. Son architecture permet la flexibilité totale sur l’infrastructure, et garantit un coût de possession faible tout en apportant la scalabilité, la haute disponibilité et la sécurisation des données.
Mettez en œuvre très facilement Cassandra, une base de données NoSQL de référence, sans limites de volumes (ou presque), capable de gérer des données non structurées, avec une utilisation proche de SQL et la capacité de traitement distribué.
Avec l’augmentation des volumes de données générées, collectées et stockées, leur traitement devient un écueil technique majeur. Que ce soit pour de l’analyse descriptive ou des traitements de Machine Learning, les solutions habituelles ne suffisent plus. Une solution open source de référence répondant à cette problématique est Apache Spark : son utilisation très simple permet facilement de passer à l’échelle du Big Data.
À l’aide de différents services publics, il est possible de manipuler des données diversifiées en volumes conséquents, sans en assurer ni la collecte ni le rafraîchissement, et construire des services innovants
Stocker des données dans une base PostgreSQL est assez simple : un CREATE TABLE, et c’est parti pour les insertions. Cependant, même si un CREATE TABLE semble assez simple, réfléchir à la construction de cet ordre SQL est important. Le type des données et l’ordre des colonnes jouent un rôle important sur la volumétrie de la table, et donc sur ses performances.
Il ne sera pas question du nouvel opus de la matrice ici, mais de Neo4j qui revient encore plus fort dans sa version 4.Dans de précédents numéros (voir [2] et [3]), je vous ai présenté les BDDDTG (les bases de données de type graphe), et plus spécifiquement Neo4j [1]. L’acronyme est de moi, les trois derniers caractères me rappelleront toujours l’effet produit par la découverte des graphes après des années d’utilisation de bases dites relationnelles.
Utiliser des SMS pour communiquer avec un serveur peut paraître assez loufoque à notre époque. Pourtant, cela peut être très utile quand l’utilisateur final n’est pas un informaticien et que l’on ne souhaite pas nécessairement développer une application spécifique.

Magazines précédents

Les cryptomonnaies en pratique
GNU/Linux-Magazine Hors-série N°116
Les cryptomonnaies en pratique
Hyper automatisation
GNU/Linux-Magazine Hors-série N°115
Hyper automatisation

Les derniers articles Premiums

Les derniers articles Premium

PostgreSQL au centre de votre SI avec PostgREST

Magazine
Marque
Contenu Premium
Spécialité(s)
Résumé

Dans un système d’information, il devient de plus en plus important d’avoir la possibilité d’échanger des données entre applications. Ce passage au stade de l’interopérabilité est généralement confié à des services web autorisant la mise en œuvre d’un couplage faible entre composants. C’est justement ce que permet de faire PostgREST pour les bases de données PostgreSQL.

La place de l’Intelligence Artificielle dans les entreprises

Magazine
Marque
Contenu Premium
Spécialité(s)
Résumé

L’intelligence artificielle est en train de redéfinir le paysage professionnel. De l’automatisation des tâches répétitives à la cybersécurité, en passant par l’analyse des données, l’IA s’immisce dans tous les aspects de l’entreprise moderne. Toutefois, cette révolution technologique soulève des questions éthiques et sociétales, notamment sur l’avenir des emplois. Cet article se penche sur l’évolution de l’IA, ses applications variées, et les enjeux qu’elle engendre dans le monde du travail.

Petit guide d’outils open source pour le télétravail

Magazine
Marque
Contenu Premium
Spécialité(s)
Résumé

Ah le Covid ! Si en cette période de nombreux cas resurgissent, ce n’est rien comparé aux vagues que nous avons connues en 2020 et 2021. Ce fléau a contraint une large partie de la population à faire ce que tout le monde connaît sous le nom de télétravail. Nous avons dû changer nos habitudes et avons dû apprendre à utiliser de nombreux outils collaboratifs, de visioconférence, etc., dont tout le monde n’était pas habitué. Dans cet article, nous passons en revue quelques outils open source utiles pour le travail à la maison. En effet, pour les adeptes du costume en haut et du pyjama en bas, la communauté open source s’est démenée pour proposer des alternatives aux outils propriétaires et payants.

Sécurisez vos applications web : comment Symfony vous protège des menaces courantes

Magazine
Marque
Contenu Premium
Spécialité(s)
Résumé

Les frameworks tels que Symfony ont bouleversé le développement web en apportant une structure solide et des outils performants. Malgré ces qualités, nous pouvons découvrir d’innombrables vulnérabilités. Cet article met le doigt sur les failles de sécurité les plus fréquentes qui affectent même les environnements les plus robustes. De l’injection de requêtes à distance à l’exécution de scripts malveillants, découvrez comment ces failles peuvent mettre en péril vos applications et, surtout, comment vous en prémunir.

Body