Vous n'êtes pas identifié(e).
- Contributions : Récentes | Sans réponse
#1 PHP » performance table vs json » 25/09/2020 11:05:33
- oles67
- Réponses : 0
Bonjour
est-ce que quelqu'un a déjà testé les performances de traitement php d'une requête de lecture qui retourne une table par rapport à un json avec les même données ?
La table est plus volumineuse en nombre de ligne, mais pas de traitement json à faire pour le mettre dans un array.
Le json est moins volumineux mais il faut le decoder vers un array.
Merci de votre aide.
#2 pgAdmin4 » Actualiser la liste "navigateur" à gauche. » 25/09/2020 09:58:54
- oles67
- Réponses : 1
Bonjour,
1) est-il possible d'actualiser automatiquement la liste "navigateur" à gauche de PGadmin qui affiche la structure de la base de données ?
Quand j'ajoute une table/fonction je dois le faire manuellement en remontant dans l'arborescence et faire ça avec le menu contextuel.
A moins qu'il existe un raccourci clavier
2) est-il possible aussi de créer des sous dossier dans fonction, table,... ?
Avec 1000 tables et presque autant de fonctions, ça devient un peu chiant de retourver ses petits. Donc, grouper les tables/fonction par thème serait plus simple.
Merci de votre aide.
#3 Re : Général » extraire ligne qui suit une valeur 0 dans une table. » 03/09/2020 10:02:50
Mon avis est que cela doit se faire au niveau du client. SQL ne permettra pas de réaliser ça.
Finalement j'ai trouvé une solution avec Doliprane.
Ca ne fait pas que ça.
Ca se joue sur "where Champ2 is distinct from prev_Champ2"
Si ça peut aider quelqu'un....
Select -- table3
*,
first_value(Champ1) over(partition by Champ3 order by Champ1 desc) as firstChamp1, -- retourne la dernière valeur du champ (Date/heure) pour chaque group champ3
first_value(Champ2) over(partition by Champ3 order by Champ1 desc) as FirstChamp2 -- retourne la dernière valeur du champ (Valeur) pour chaque groupe champ3
from (
SELECT -- table2
*
from(
SELECT
Champ3,
Champ1,
Champ2,
lag(Champ3) over(order by Champ3,Champ1) as prev_Champ3,
lag(Champ2) over(order by Champ3,Champ1) as prev_Champ2
FROM
public.MaTable
Order by Champ3,Champ1,Champ2 asc
) as table2
where Champ2 is distinct from prev_Champ2 -- Filtre doublons consécutifs du champ 2 (valeur)
order by Champ3,Champ1 asc
) as table3
#4 Re : Général » extraire ligne qui suit une valeur 0 dans une table. » 01/09/2020 22:00:41
Je vais réfléchir en contournant le problème en supprimant les doublons consecutifs puis "order by date desc" et "limit 1"
Ainsi je récupère la dernière valeur 0, 5 ou 2
Vous en pensez quoi ? Vous feriez comment ?
Merci
#5 Général » extraire ligne qui suit une valeur 0 dans une table. » 31/08/2020 22:51:31
- oles67
- Réponses : 3
Bonjour,
J'ai une table1 avec :
date value
01/01/2020 00:00:00 0
01/01/2020 01:00:00 0
01/01/2020 02:00:00 0
01/01/2020 03:00:00 0
01/01/2020 04:00:00 5
01/01/2020 05:00:00 5
01/01/2020 06:00:00 5
01/01/2020 07:00:00 0
01/01/2020 08:00:00 0
01/01/2020 09:00:00 2
01/01/2020 10:00:00 2
01/01/2020 11:00:00 2
01/01/2020 12:00:00 2
Comment traduire :
Si dernière ligne "value" = 0 alors extrait la dernière ligne sinon extraire la ligne qui suit le dernier "0" de la colonne value.
Dans cet exemple c'est "01/01/2020 09:00:00 2 "
Merci de votre aide.
#6 Re : Général » [résolu] compter les fronts montants de valeur de reférence d'articles » 13/08/2020 16:25:28
Vous devriez pouvoir faire ça avec des window functions: https://www.postgresql.org/docs/current … indow.html
Bonjour,
désolé, j'ai trouvé une solution. Je vais suivre votre lien pour en apprendre plus sur les windows functions.
Merci
#7 Re : Général » [résolu] compter les fronts montants de valeur de reférence d'articles » 13/08/2020 16:24:20
Finalement j'ai trouvé une solution.
Si vous avez des commentaires sur mon code, je suis preneur.
select
evtProduit,
DateOfDay,
count(DateOfDay)
from
(
SELECT
evtProduit,
evtdatetime,
evtAction,
lag(evtProduit) over(order by evtProduit,evtdatetime) as prev_evtProduit,
lag(evtAction) over(order by evtProduit,evtdatetime) as prev_evtAction,
to_char(evtdatetime, 'YYYYMMDD') as DateOfDay
FROM
public.MaTable
where
DATE_PART('year', evtdatetime)='2020'
Order by
evtProduit,
evtdatetime,
evtAction
asc
) table2
where
(evtProduit<>prev_evtProduit and evtProduit>0)
or
(evtAction<>prev_evtAction and evtAction>0)
or
(evtAction>0 and prev_evtAction is null)
group by evtProduit, DateOfDay
order by evtProduit, dateofday
Le résultat (j'ai vérifié).
RefProduit Date Count
253897 20200105 1
253899 20200105 1
254205 20200105 1
254205 20200430 1
254224 20200105 1
254224 20200121 1
254224 20200122 2
254224 20200123 93
254224 20200124 106
254224 20200126 1
254224 20200206 1
254224 20200207 2
254224 20200430 1
256409 20200105 1
259251 20200105 1
265451 20200105 1
266896 20200101 1
#8 Re : Général » Tester l'existence d'une colonne dans une table » 13/08/2020 13:25:08
Il y a peut-être mieux, mais j'utilise ça :
select count(*) from (
select
a.schemaname || '.' || a.relname as "tablename",
b.attname as "columnname"
from pg_stat_user_tables a, pg_attribute b
where a.relid = b.attrelid
and a.relname like 'Nom de la table'
and b.attname like 'Nom de la colonne'
order by a.schemaname asc
) as ttable
Si le nom existe dans la table spécifié, ça retourne 1.
A mettre dans un IF then....pour gérer la creation
#9 Général » [résolu] compter les fronts montants de valeur de reférence d'articles » 12/08/2020 14:17:50
- oles67
- Réponses : 3
Bonjour,
En général j'arrive à mes fin grâce aux recherche sur le forum, mais là, j'ai un problème de noeud au cerveau.
J'aimerai compter le nombre de fois où "valeur" augmente pour chaque article. Et ça, je n'ai pas trouvé comment faire.
La première colonne est la date et l'heure (trié dans l'ordre du plus ancien en premier vers le plus récent en dernier)
La colonne "Ref" c'est la référence article
La "valeur" peut-être de 0 à 9 ou des NON/OUI, FAUX/VRAI (sachant que 0, NON, Faux,... sera toujours 0)
La colonne "incrémente" est uniquement là pour vous montrer quand la valeur doit incrémenté (Voir résultat table plus bas)
Table origine
Date Ref Valeur Incremente (pour comprehension)
01/01/2020 01:00:00 Ref1 1 Ref 1 ++
01/01/2020 02:00:00 Ref1 1
01/01/2020 03:00:00 Ref1 0
01/01/2020 04:00:00 Ref2 0
01/01/2020 05:00:00 Ref2 5 Ref 2 ++
01/01/2020 06:00:00 Ref2 0
01/01/2020 07:00:00 Ref2 5 Ref 2 ++
01/01/2020 08:00:00 Ref2 0
01/01/2020 08:00:00 Ref1 0
01/01/2020 10:00:00 Ref1 0
01/01/2020 11:00:00 Ref2 5 Ref 2 ++
01/01/2020 12:00:00 Ref1 1 Ref 1 ++
01/01/2020 13:00:00 Ref1 1
01/01/2020 14:00:00 Ref2 5
01/01/2020 15:00:00 Ref2 5
01/01/2020 16:00:00 Ref2 0
01/01/2020 17:00:00 Ref2 0
01/01/2020 18:00:00 Ref2 0
01/01/2020 19:00:00 Ref1 0
01/01/2020 20:00:00 Ref1 1 Ref 1 ++
01/01/2020 21:00:00 Ref2 5 Ref 2 ++
01/01/2020 22:00:00 Ref2 0
02/01/2020 01:00:00 Ref2 0
02/01/2020 02:00:00 Ref2 5 Ref 2 ++
02/01/2020 03:00:00 Ref1 0
02/01/2020 04:00:00 Ref2 0
02/01/2020 05:00:00 Ref2 5 Ref 2 ++
02/01/2020 06:00:00 Ref2 0
02/01/2020 07:00:00 Ref1 1 Ref 1 ++
02/01/2020 08:00:00 Ref1 0
02/01/2020 09:00:00 Ref2 5 Ref 2 ++
02/01/2020 10:00:00 Ref2 0
02/01/2020 11:00:00 Ref1 1 Ref 1 ++
02/01/2020 12:00:00 Ref1 0
Table résultat :
Date Ref Count
01/01/2020 Ref1 3
01/01/2020 Ref2 4
02/01/2020 Ref1 2
02/01/2020 Ref2 3
C'est un exemple, l'ordre de tri/période(jour, mois, année) ne devraient pas être un problème.
Merci de votre aide.
Si vous avez des questions, n'hésitez pas.
#10 Re : PL/pgSQL » PG9.6 : Copy Import CSV ERREUR: données manquantes pour la colonne » 28/04/2020 17:14:20
Il n'y a pas d'alternative côté postgres tout simplement car le fichier est question n'est pas un fichier CSV valide. Vous devriez pouvoir trouver un ETL capable d'ignorer les lignes invalides si c'est le compromis que vous cherche.
Bonjour,
finalement j'ai traité ça en amont avec powershell et copy ne pose plus de problème.
Merci
#11 PL/pgSQL » PG9.6 : Copy Import CSV ERREUR: données manquantes pour la colonne » 24/04/2020 11:51:35
- oles67
- Réponses : 2
Bonjour,
j'ai un gros fichiers CSV que je dois importer régulièrement à chaque fois qu'il est modifié.
Ce fichier est généré par un logiciel que je ne maitrise pas. L’éditeur n'est pas pressé car c'est un défaut mineur (il le fera lors de la prochaine grosse mise à jour du logiciel)
Ce programme ajoute des colonnes aux fils des versions, mais les lignes existantes ne sont pas mise à jour sur le nombre de tabulation. Seules les nouvelles lignes sont completes jusqu'à l'ajout de nouvelles colonnes par le logiciel.
En attendant j'aimerai savoir comment contourner le problème.
Exemple fichier CSV (colonne texte et numérique) dans une table avec 4 colonnes datatype TEXT : ("|" est en faite une tabulation)
ColonneA|colonneB|ColonneC|ColonneD
A1|B1|C1
A2|B2
A3|B3|C3|C4
Avec cet exemple COPY n'est pas content en ligne 1 et 2.
Compliqué de prétraité le CSV en ajoutant les tabulations manquantes car risque de corruptions du format des valeurs numérique et des quotes s'il y en a.
Y a t-il une méthode pour contourner ou bien une alternative pgsql ?
Merci de votre aide.
Cordialement.
#12 ODBC » PGSQL 9.6 : Alternative au driver PostgreSQL35W » 30/09/2019 11:08:33
- oles67
- Réponses : 1
Bonjour,
j'ai plusieurs machines à ma disposition.
La plupart admin.
Notre SSI est plutôt très lent dans la demande d'installation du driver pgsql pour permettre aux utilisateurs d’accéder aux données avec excel. (c'est au cas par cas)
Pour ma question, on va considérer que le client est non-admin et que le serveur est admin :
J'aimerai savoir s'il existe une alternative à l'installation de ce driver pgsql du côté client (vba, dll,....), ou du coté serveur (passerelle pgsql ->sql server, oracle, msdatashape, Search,...)
Actuellement, pour palier le problème, je passe par des fichiers CSV, mais c'est excessivement lourd à cause de la quantité de données à traiter (et créer des tables intermédiaires, c'est encore pire à gérer)
Merci
cordialement.
#13 Re : PSQL » requete : 2 tables avec période enregistrement différente » 02/09/2019 14:25:18
Le plus simple est d'utiliser generate_series pour créer les intervalles de date et de joindre le résultat aux autres tables avec un LEFT JOIN.
Ça solutionne une partie du problème.
Super merci.
#14 PSQL » requete : 2 tables avec période enregistrement différente » 02/09/2019 11:33:20
- oles67
- Réponses : 2
Bonjour,
j'ai 2 tables. La première (T1) à une valeur enregistrée toutes les 15mn, la secondes (T2), toutes les heures.
Lorsque je "join" les 2 table dans une requête, j'ai des trous dans la seconde car il manque les valeurs intermediaire.
Comment faire pour qu'à partir de çà :
Table T1
DT T1
01/09/2019 00:00 10
01/09/2019 00:15 30
01/09/2019 00:30 5
01/09/2019 00:45 22
01/09/2019 01:00 89
01/09/2019 01:15 54
01/09/2019 01:30 66
01/09/2019 01:45 21
01/09/2019 02:00 203
01/09/2019 02:15 0
01/09/2019 02:30 25
01/09/2019 02:45 15
01/09/2019 03:00 68
01/09/2019 03:15 49
01/09/2019 03:30 95
01/09/2019 03:45 87
et T2
DT T2
01/09/2019 00:00 12
01/09/2019 01:00 55
01/09/2019 02:00 41
01/09/2019 03:00 15
J'arrive à ça :
DT T1 T2
01/09/2019 00:00 10 12
01/09/2019 00:15 30 12
01/09/2019 00:30 5 12
01/09/2019 00:45 22 12
01/09/2019 01:00 89 55
01/09/2019 01:15 54 55
01/09/2019 01:30 66 55
01/09/2019 01:45 21 55
01/09/2019 02:00 203 41
01/09/2019 02:15 0 41
01/09/2019 02:30 25 41
01/09/2019 02:45 15 41
01/09/2019 03:00 68 15
01/09/2019 03:15 49 15
01/09/2019 03:30 95 15
01/09/2019 03:45 87 15
Je précise, que la plage de date peut être sur plusieurs années.
Merci
cordialement.
#15 Re : PL/pgSQL » Timestap without time zone » 09/08/2019 20:00:03
Ce n'est tout simplement pas possible. La colonne est déclarée sans fuseau horaire, donc toute configuration sur les fuseaux horaires ne la concernera pas.
Donc soit vous modifiez le type de la colonne pour que PG gère le fuseau horaire, soit vous modifiez les requêtes pour ajouter le "interval +2h". La première solution est de loin la plus intelligente.
Ce sera la 2e car la première n'est pas possible.
Merci.
#16 Re : PL/pgSQL » Timestap without time zone » 09/08/2019 12:20:15
Si l'application stocke les données dans une colonne de type Time without timezone, vous perdez toute information de fuseau horaire. De ce fait, PostgreSQL ne fera aucun calcul de changement d'horaire été/hiver.
Ok.
D'après vous, qu'elle est la meilleure solution pour que de manière implicite toutes les requêtes se fassent en without time.zone et retourne le résultat avec un interval +2h. Par exemple quelqu'un demande les valeurs de 00:00 à 24:00 et que ça lui retourne les valeurs de 00:00 à 24:00 et non pas de 22:00 à 22:00 ?
L'utilisateur final, n'a pas connaissance du without time zone et je peux pas intercepter ses requêtes.
#17 Re : PL/pgSQL » Timestap without time zone » 09/08/2019 12:18:33
Si l'application stocke les données dans une colonne de type Time without timezone, vous perdez toute information de fuseau horaire. De ce fait, PostgreSQL ne fera aucun calcul de changement d'horaire été/hiver.
Ok.
D'après vous, qu'elle est la meilleure solution pour que de manière implicite toutes les requêtes se fassent en without time.zone et retourne le résultat avec un interval +2h. Par exemple quelqu'un demande les valeurs de 00:00 à 24:00 et que ça lui retourne les valeurs de 00:00 à 24:00 et non pas de 22:00 à 22:00 ?
L'utilisateur final, n'a pas connaissance du without time zone et je peux pas intercepter ses requêtes.
#18 PL/pgSQL » Timestap without time zone » 09/08/2019 09:03:24
- oles67
- Réponses : 5
Bonjour,
j'ai une base (pg 9.6) alimentée par une application qui stock un champ date en Time without time zone.
Pour chaque requête, je dois systématiquement ajouter "+ interval '02:00:00'"
Je ne sais pas si c'est la bonne méthode et si c'est compatible changement d'horaire été/hiver parce que la base n'existe que depuis le mois de mai 2019.
Pour le moment, je suis en phase de prise en main et j'ai mis un peu le bazar partout.
Je compte de toute façon réinstaller pgsql avec paramètre par défaut et réinjecter les données depuis l'application.
Y-a-t-il une solution globale en se basant l'OS du client pour ne plus avoir à y penser à chaque requête ?
Merci de votre aide
Cordialement
show timezone :
-------> Europe/Paris
SELECT current_setting('TIMEZONE');
-------> Europe/Paris
postgresql.conf :
Timezone = 'GMT'
log_timezone = 'Europe/Brussels'
SELECT EXTRACT(TIMEZONE FROM now())/3600.0;
-------> 2
select now()::timestamptz;
select now()::time;
-------> me donne l'heure de ma montre
select now() at time zone 'gmt' at time zone 'Europe/Paris'
-------> me donne 2H de moins que sur ma montre.
#19 Re : pgAdmin4 » pgadmin4 : interface vide sans aucun onglet » 08/08/2019 11:39:42
Bonjour,
je vois que vous utilisez InternetExplorer/edge
J'avais pas mal de problèmes avec.
En passant sur firefox, ça roule tout seul.
Pas testé sur Chrome, ni Opéra.
Il faut configurer PGAdmin (trayicon) pour qu'il utilise Firefox ou autre.
Si ça ne change rien, réinstallez PGadmin.
cordialement.
#20 pgAdmin4 » Personnaliser treeview tables et fonctions » 07/08/2019 10:10:32
- oles67
- Réponses : 0
Bonjour,
avec PGadmin4.5, est-il possible de personnaliser l'arborescence de gauche MaBase.Schema.public.tables et MaBase.Schema.public.fonctions.
Je m'explique :
J'ai une liste de tables et fonctions très longue. La majorité est générée par une application externe que je ne peux pas modifier.
Dans cette liste sont noyées mes tables et fonctions. Certains en exploitation et d'autre en développement.
Pour clarifier tout ça, j'aimerai savoir s'il est possible de créer des sous-branches comme par exemple :
MaBase.Schema.public.fonctions (pour celles de l'application)
MaBase.Schema.public.fonctions.Exploit (mes fonctions en exploitation)
MaBase.Schema.public.fonctions.Dev (mes fonctions en développement)
et que ça reste dans "public"
Merci de votre aide.
Cordialement.
#22 Général » PGSQL 9.6 : Limitation à 1600 colonnes. » 06/08/2019 16:21:07
- oles67
- Réponses : 2
Bonjour,
J'ai 2.000 appareils qui me renvoi des valeurs toutes les heures avec une rétention de 365 jours (8760 valeurs par appareil)
A terme ce sera 10.000 appareils
Je travaille depuis des années avec excel et ne suis pas impacté par cette limite de 1600 (env 16384*1000000)
Ma question :
Comment vous y prendriez-vous pour gérer une table de 10.000*8.760 en "double précision" sachant que la limite est de 1.600 ?
multiplier le nombre de tables ?
Dans ce cas, si je fais des jointures pour extraire des données et les traiter, ne vais-je pas retomber sur cette limite ?
Sans compter le nombre de table à gérer.
Passer par un array ?
Une colonne par mois avec 28 à 31 valeurs par colonne ?
Niveau performances, pas trop lourd ?
Une autre idée ?
Merci pour vos lumières.
Cordialement.
PS : est-ce que cette limite sera augmenter un jour sans avoir à bricoler le source ?
#23 Re : Général » Format Export fichier XML » 01/08/2019 11:07:36
Salut,
Si çà peut aider, existe un logiciel "Navicat" qui permet de se connecter sur plusieurs SGBD, tel que Oracle, PG, Mysql, ... et on peut exécuter des requêtes dedans, on peut également exporter les données sous plusieurs format : le xml y compris. Tu peux même paramétrer çà pour que çà se lance en tache planifiée, super le soft non
Merci mais j'ai une préférence pour le GNU.
#24 PL/pgSQL » Select between date : problème avec 1ere valeur vide » 29/07/2019 12:48:47
- oles67
- Réponses : 0
Bonjour,
j'ai une table avec un champ "heure", "valeur1" et "Etat"
"Valeur1" est enregistré toutes les heures.
"Etat" est uniquement sur événement. (Je ne peux modifier la période)
J'aimerai extraire les données entre 11:00:00 et 14:00:00 avec un where between
Ca, c'est ce qui est enregistré :
Heure Valeur1 Etat
09:00:00 10 Marche
10:00:00 12 -
11:00:00 9 -
12:00:00 5 Arret
13:00:00 15 Marche
14:00:00 16 -
et ça, ce que j'aimerai avoir :
Heure Valeur1 Etat
11:00:00 9 Marche
12:00:00 5 Arret
13:00:00 15 Marche
14:00:00 16 Marche
Peux-t-on déroger la date de début pour récupérer la dernière valeur "Etat" pour ne pas avoir de ligne vide à la première valeur ?
Sinon, y a t-il une solution ?
Merci de vos lumières.
#25 Re : pgAdmin4 » saturation iexplore.exe » 23/07/2019 12:47:16
J'aime beaucoup DBeaver. Simple, rapide et évoluant rapidement.
Merci je vais jeter un oeil.