Forums PostgreSQL.fr

apm

Membre

Machine Learning et PostgreSQL

Bonjour,

Je participe actuellement au développement d'un outil qui permet de classer et prédire à partir de PostgreSQL, sans connaissance en datamining ou en statistiques.

Si certains d'entre vous sont intéressés, je suis très à l'écoute d'avis sur cette idée.

L'idée est que, à partir d'une table contenant des valeurs NULL, telle que celle-ci ("species" est NULL pour id=150):

demo=> select * from iris;
 id  | sepallength | sepalwidth | petallength | petalwidth | species 
-----+-------------+------------+-------------+------------+---------
 150 |         5.9 |        3.0 |         5.1 |        1.8 | 
  62 |         5.9 |        3.0 |         4.2 |        1.5 | Iris-versicolor
 132 |         7.9 |        3.8 |         6.4 |        2.0 | Iris-virginica
[...]

PredictiveDB permette de prédire les valeurs NULL:

demo=> select * from pdb.prediris where id = 150;
 id  |    species     |     error_risk     
-----+----------------+--------------------
 150 | Iris-virginica | 5.2631578947368425
(1 ligne)

Un grand merci pour tout conseil!

Alain-Pierre

Dernière modification par apm (30/06/2011 11:37:40)

---

www.predictivedb.com

apm

Membre

Re : Machine Learning et PostgreSQL

aïe!, il semblerait que je ne me sois  pas adressé au bon endroit en ce qui concerne l'intérêt pour le datamining!

Tant pis! Néanmoins, si, d'aventure, un forumeur connaissait des utilisateurs de base de données potentiellement
intéressés par le datamining ou l'analyse prédictive, je reste très intéressé par des avis ou des conseils.

---

www.predictivedb.com

gleu

Administrateur

Re : Machine Learning et PostgreSQL

Pour être franc, à mon avis, c'est trop vague pour que ça engendre un intérêt quelconque. Pour moi, je ne vois pas quel commentaire faire (d'où mon absence de réponse sur le thread).

---

Guillaume.

apm

Membre

Re : Machine Learning et PostgreSQL

Merci, un retour négatif reste un retour!

Pour tenter d'être plus précis en deux mots, l'idée est que, pour monter une chaine d'analyse prédictive (càd prévoir de nouvelles valeurs à partir de données passées), il faut exporter ses données hors de la base de données (ETL type Talend) , utiliser un outil de machine learning (réseaux de neurones, arbre de décision, SVMs, R, SAS), et puis les réinjecter dans postgresql (encore ETL).

Je me demandais si des utilisateurs de bases de données avaient été confrontés à ce type de problématique.

J'espère que ces explications auront aidé à clarifier les choses.

PS. Un autre exemple de prédiction à partir de PostgreSQL figure là:
http://blog.predictivedb.com/post/14872 … res-en-sql

---

www.predictivedb.com

cedric

Membre

Re : Machine Learning et PostgreSQL

Que dire de plus que «cela me semble être une très bonne idée».
J'imagine que les entrepeneurs du web vont adorer...

Autrement, avez-vous tenté d'appliquer des modèles météos ou complexes ?

---

Cédric Villemain +33 (0)6 20 30 22 52
http://2ndQuadrant.fr/
PostgreSQL: Support 24x7 - Développement, Expertise et Formation

adestaville

Membre

Re : Machine Learning et PostgreSQL

Bonjour,

StatSoft est éditeur de logiciels de Data Mining.

Votre projet est réalisable avec l'outil STATISTICA Data Miner (extraction des données, modélisation et choix du modèle puis déploiement du modèle SQL, C#, java, SAS, PMML, SVB, C/C++ etc...). Vous avez la possibilité d'automatiser la chaîne avec notre produit STATISTICA Entreprise (automatisation des requêtes, des analyses, des rapports, déploiement des modèles etc...)
Il s'agit de la gamme logicielle proposant le plus grand nombre d'algorithmes du marché et ayant gagné le PAKDD 2010 (dernière compétition internationale de Data Mining).

N'hésitez pas à nous contacter à info@statsoft.fr ou 01 45 185 999

Pour plus de renseignements : www.statsoft.fr
Nous vous aiderons à mûrir votre projet et faire un test si vous êtes intéressé.

Je vous laisse regarder tout cela.

Arnaud

apm

Membre

Re : Machine Learning et PostgreSQL

Que dire de plus que «cela me semble être une très bonne idée».
J'imagine que les entrepeneurs du web vont adorer...

Autrement, avez-vous tenté d'appliquer des modèles météos ou complexes ?

Merci pour ces encouragements!

Pour l'instant, outre les types classiques (booléens, entiers, varchar,...), nous gérons également des types plus complexes: texte en langue naturelle (type TEXT de psql), type url. Nous avons un temps songé à une intégration avec PostGIS pour traiter des données géographiques sans avoir eu l'occasion de concrétiser. Par contre, nous n'avons pas eu l'occasion de traiter des données météos. Pensez-vous à une idée d'application particulière?

---

www.predictivedb.com

apm

Membre

Re : Machine Learning et PostgreSQL

Votre projet est réalisable avec l'outil STATISTICA Data Miner (extraction des données, modélisation et choix du modèle puis déploiement du modèle SQL, C#, java, SAS, PMML, SVB, C/C++ etc...).

Merci beaucoup. Qu'entendez-vous par "déploiement du modèle SQL"?

---

www.predictivedb.com

adestaville

Membre

Re : Machine Learning et PostgreSQL

Oui en effet je me suis mal exprimé et il y a en effet un point important (ou pas) à élucider ici.

Il est possible de générer du code C# sous une forme qui peut être directement intégrée dans des fonctions personnalisées SQL Server, que vous pouvez ensuite utiliser dans une procédure stockée pour utiliser le modèle directement à l’intérieur de la base de données.

Le code Java peut être utilisé de la même manière dans des fonctions personnalisées Oracle.

Le principal avantage de cette méthode de déploiement réside dans les gains de performances ; le déploiement interne sur la base de données peut être exécuté environ dix fois plus vite que le traitement externe. Après ce n'est pas obligatoire... Tout dépend où l'on veut mettre le niveau de service. Et ici je ne crois pas que ce soit très utile.

Et en effet pour PostgreSQL, n'étant pas un grand spécialiste de la question ... Et bien je ne crois pas qu'il y ait de possibilités encore à ma connaissance... Il faut que je me renseigne si ça vous intéresse bien sûr.

Il est bien sûr possible d'importer et de réécrire dans PostGreSQL puisque compatible ODBC. On ré-attaquera la base pour y appliquer le modèle prédictif et ainsi de suite... Donc nickel.

Je rajouterais que pour transformer du texte en données structurées, il y a le module STATISTICA Text Miner.

Pour les données météos, je me rappelle avoir vu cela l'année dernière (vaguement) pour un projet d'économie d'énergie de bâtiments. Les prévisions météos étaient très utiles (températures externes, temps, taux d'humidité etc...) et nous prévoyions à l'avance d'augmenter le chauffage ou non... Je ne sais bien sûr pas si ça a un rapport avec votre problématique. Encore faut-il les avoir ces données météos !

Pour les données géographiques, cela se traite aussi.

Arnaud

cedric

Membre

Re : Machine Learning et PostgreSQL

Que dire de plus que «cela me semble être une très bonne idée».
J'imagine que les entrepeneurs du web vont adorer...

Autrement, avez-vous tenté d'appliquer des modèles météos ou complexes ?

Merci pour ces encouragements!

Pour l'instant, outre les types classiques (booléens, entiers, varchar,...), nous gérons également des types plus complexes: texte en langue naturelle (type TEXT de psql), type url. Nous avons un temps songé à une intégration avec PostGIS pour traiter des données géographiques sans avoir eu l'occasion de concrétiser. Par contre, nous n'avons pas eu l'occasion de traiter des données météos. Pensez-vous à une idée d'application particulière?

Rien de précis, je me demandais quelle 'complexité' avait été testée :-)

---

Cédric Villemain +33 (0)6 20 30 22 52
http://2ndQuadrant.fr/
PostgreSQL: Support 24x7 - Développement, Expertise et Formation

apm

Membre

Re : Machine Learning et PostgreSQL

@adestaville: Merci pour cette réponse détaillée.

Pour les données géographiques, cela se traite aussi.

Vous avez également un module dédié?

---

www.predictivedb.com

apm

Membre

Re : Machine Learning et PostgreSQL

Rien de précis, je me demandais quelle 'complexité' avait été testée :-)

Très bien! En tout cas, si vous avez des idées de problèmes liés à l'analyse prédictive, n'hésitez pas en nous en faire part!

---

www.predictivedb.com