Ajout des fichiers de script API pour la partie electricity (capacity + generation) by Yh-Cherif · Pull Request #40 · dataforgoodfr/shiftdataportal

Yh-Cherif · 2025-03-29T17:33:00Z

No description provided.

… into api

vercel · 2025-03-29T17:33:04Z

The latest updates on your projects. Learn more about Vercel for Git ↗︎

Name	Status	Preview	Comments	Updated (UTC)
front	✅ Ready (Inspect)	Visit Preview	💬 Add feedback	Apr 24, 2025 7:52pm

tvienne · 2025-04-02T10:13:43Z

+        Former Yugoslavia (YUG)
+        South Africa (ZAF)
+        Zambia (ZMB) 
+        Zimbabwe (ZWE)"""


Cette liste de pays n'est pas pratique à maintenir. Existe-t-il un moyen de récupérer tous les pays via l'API ou bien existe-t-il une autre API en mesure de lister tous les pays existants dans le référentiel EIA ?

J'ai effectivement pensé à récupérer d'un coup tous les pays en les intégrant à l'URL, cependant l'API est limitée à 5.000 lignes maximum par appel (afin d'éviter de surcharger leurs serveurs). Utiliser ce type de liste (qui est un copié-collé de l'api manuelle) est la seule solution que j'ai trouvé.

Est-ce que tu as essayé d'utiliser la pagination avec offset et length ?

tvienne · 2025-04-02T10:14:52Z

+        South Africa (ZAF)
+        Zambia (ZMB) 
+        Zimbabwe (ZWE)"""
+    countries = countries.replace('\n',' ')


Pourquoi ne pas stocker les pays directement sous format liste ? Possible d'utiliser des ctrl+R pour remplacer les sauts de lignes par des virgules et guillements.

tvienne · 2025-04-02T10:16:10Z

+    #### Requesting the API ####
+    df_electricity = pd.concat([api_call(code, url) for code in country_codes])
+
+    return df_electricity


Il faudrait renommer df_electricity par df_eia car de ma compréhension, il est possible de récupérer effectivement les données electricité mais également n'importe quelle statistique issue de l'EIA.

tvienne · 2025-04-02T10:17:26Z

Fichier à supprimer car celui-ci ne doit pas être versionné.

Mais preneur d'une comparaison avec le fichier qui se trouve dans server/data pour vérifier que le passage à l'API n'a pas occasioné de changements dans les données finales.

tvienne · 2025-04-02T10:17:30Z

Fichier à supprimer car celui-ci ne doit pas être versionné.

tvienne · 2025-04-21T09:53:10Z

@Yh-Cherif, super pour l'ajout de ce nouveau fichier 💯 Pour bien finaliser la tâche, je t'invite à effectuer la vérification et la comparaison des données de bout en bout. Actuellement, le fichier WORLD_ENERGY_HISTORY_electricity_generation_prod n'a pas d'équivalent dans server/data. Le nom est trompeur mais c'es dans le fichier IEA_API_electricity_by_energy_family_prepared_prod qu'il va falloir remplacer les données :)

En effectuant la comparaison des données, on observe pas mal de différences entre le fichier original et le nouveau fichier. Pourrais-tu effectuer une vérification des données et corriger ton nouveau fichier de façon à ce qu'il se rapproche le plus du format du fichier original ? Je te laisse le soin d'effectuer cette vérification. Voici ce que j'ai relevé pour le moment :

renommer la colonne power en "final_energy".

renommer la colonne "power_unit" en "final_energy_unit"

verifier l'unité (TWh dans ancien fichier et TW dans nouveau fichier).

les catégories dans "energy_family" ne correspondent pas forcément. Ce n'est pas forcément iun problème car les nouvelles catégories sont potentiellement plus pertinentes que les anciennes. Mais à vérifier :)

vérifier les ordres de grandeur des données.

vérifier les pays apparus et disparus.

Bon courage !

Yh-Cherif · 2025-04-24T20:02:05Z

Hello @tvienne, j'ai pris en compte toutes tes remarques.

Concernant les modifications et le format du nouveau fichier :

Les colonnes ont été modifiées pour la partie génération ("final_energy" et "final_energy_unit").
Dans les données de l'API, les données sont en BKWh (billion KWh) = TWh et non pas TW effectivement.
Les catégories dans "energy_family" ont été mises à jour pour faire matcher avec les anciennes données (comme convenu sur Slack).
Les ordres de grandeur ont l'air similaires mais l'on observe quelques modifications (corrections, comme pour le cas des données de capacité) (cf. images).
Dans le nouveau fichier, on compte 102 pays supplémentaires par rapport à l'ancien fichier. Il existe deux "pays" ayant un format différent : EU28 -> EU27 et NZ -> New Zealand.
Il y a également de nouvelles données qui n'étaient pas présentes auparavant (cf. images)

Voici quelques screens de comparaisons que j'ai pu faire :

De plus, j'ai retiré le fichier WORLD_ENERGY_HISTORY_electricity_generation_prod.csv du dossier server/data.

S'il persiste encore des points d'ombre, n'hésite pas à me le signaler ! 😄

sedajeb · 2025-06-17T14:07:25Z

+import time
+
+
+API_KEY = "ylfmO1udIGtPIpZbz2UNcC5jwSNGuK4a3Vsl6ItL"


Je te propose de créer une nouvelle clé et de la stocker dans un fichier .env comme préconisé sur cette page

sedajeb · 2025-06-17T15:56:04Z

+        ### Requesting the API
+        df_elec = get_data(elem['url'])
+        df_elec = df_elec.drop_duplicates()
+        df_elec = df_elec.dropna()


Ne vaut-il mieux pas essayer de remplir les valeurs manquantes plutôt que de supprimer la ligne entière ?

sedajeb · 2025-06-17T15:56:30Z

+
+        # Reorganizing
+        df_elec['year'] = df_elec['year'].astype(int)
+        df_elec[['country', 'year', 'energy_family', 'power']]


À quoi sert cette ligne ?

sedajeb · 2025-06-17T15:58:00Z

+        df_elec = df_elec[["source", 'group_type', 'group_name', "year", "energy_family", "power", "power_unit"]]
+
+        # Dropping missing values
+        df_elec = df_elec.dropna() 


Même remarque à propos des valeurs manquantes

Yh-Cherif added 4 commits March 27, 2025 13:47

API Etat initial

af778b1

Update main_electricity (capacity + generation) API

3481d9f

Merge branch 'main' of https://github.com/dataforgoodfr/shiftdataportal…

de31772

… into api

Suppression ancien fichier api

11f25b6

Update main_electricity.py

400e91e

vercel Bot deployed to Preview March 29, 2025 19:49 View deployment

tvienne reviewed Apr 2, 2025

View reviewed changes

Yh-Cherif added 2 commits April 4, 2025 15:02

Retrait des fichiers .csv + correction eia.py

98711c5

Améliorations + corrections code

f6aee6b

vercel Bot deployed to Preview April 4, 2025 13:05 View deployment

Update des données capacity + generation (API)

8e33fe9

vercel Bot deployed to Preview April 4, 2025 14:11 View deployment

Corrections données différentes

c744781

vercel Bot deployed to Preview April 18, 2025 10:57 View deployment

tvienne reviewed Apr 21, 2025

View reviewed changes

Modification table generation + retrait mauvais fichier

99752d4

vercel Bot deployed to Preview April 24, 2025 19:52 View deployment

sedajeb reviewed Jun 17, 2025

View reviewed changes

		import time


		API_KEY = "ylfmO1udIGtPIpZbz2UNcC5jwSNGuK4a3Vsl6ItL"

Conversation

Yh-Cherif commented Mar 29, 2025

Uh oh!

vercel Bot commented Mar 29, 2025 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Yh-Cherif commented Apr 24, 2025 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Reviewers

Assignees

Labels

Projects

Milestone

Development

Uh oh!

3 participants

vercel Bot commented Mar 29, 2025 •

edited

Loading

Yh-Cherif commented Apr 24, 2025 •

edited

Loading