Forem: pacdev

Jupyter notebook & environnement virtuel

pacdev — Tue, 30 Aug 2022 07:02:00 +0000

👋 Pour tous mes projets python, je travaille avec un environnement virtuel. C'est assez simple à mettre en place:

>> mkdir my_project
>> cd my_project
>> python3 -m venv venv
>> source venv/bin/activate
(venv) >>  pip install pandas

Une fois venv activé 👌, toutes les commandes pip installeront les lib dans cet env.

Si on travaille parfois avec Jupyter Notebook on veut pouvoir utiliser notre environnement virtuel. Il suffit 🤷‍♂️ de faire:

(venv) >> pip install ipykernel
(venv) >> ipython kernel install --user --name=myproject
(venv) >> jupyter lab

Lorsqu'on ouvrira un prochain notebook, on peut choisir le nouvel environnement créé et renommé ici my_project

une commande que j'oublie souvent pour générer le fichier de config de jupyter
jupyter notebook --generate-config

⛵️

Envie de contribuer à des projets open source sur Github ? (1/2)

pacdev — Mon, 29 Aug 2022 17:45:00 +0000

Web scraping statique avec `BeautifulSoup`

Récemment j'ai cherché des projets open source auxquels contribuer. L'idéal pour commencer à contribuer est de trouver une issue avec le label good first issue. L'ennui c'est qu'il faut parcourir chaque repo et aller voir dans les issues s'il y en a une avec ce label ou alors aller visiter directement l'url https://github.com/{username}/{repo_name}/contribute

Peut être que j'ai tout simplement mal cherché mais je n'ai pas trouvé de moyens dans github de lister tous les repos ayant ce genre d'issues en fonction d'un filtre de topic. Je me suis donc servi de la deuxième méthode expliquée ci dessus et de la librairie BeautifulSoup pour parcourir automatiquement les repos filtrés par topic et lister les issues avec le label good first issue s'il y en a.

cf. tweet 👇

P-A

@_pacdev

Looked for «good first issues» to contribute on @github but didn’t find way to list them. I’ve built very simple web app to list them. …t-issues-main-eqb5sc.streamlitapp.com hope it can help. Feel free to contribute github.com/p-acDev/find-g… 🙏@streamlit #pythonprogramming #github #OpenSource

21:48 PM - 25 Aug 2022

Ci dessous les quelques étapes qui permettent d'extraire les contenus des pages html:

On créé un objet instance de la classe

soup = BeautifulSoup(html_content, 'html.parser')

html_content est le contenu html de la page obtenu avec un requests.get(url) par exemple

Sur cet objet soup on applique les méthodes de la librairie. Il suffit de repérer dans sa page html statique, quelle est notre cible (F12 par exemple pour obtenir le code source de la page).

Le résultat est une liste de dictionnaires qui contiennent les infos de cette balise en particulier. Pour obtenir le lien hypertext il suffit d'aller chercher le contenu href de chaque dictionnaire.

👉 Plus de détail dans le répo

👉 N'hésitez pas à contribuer

Web scraping dynamique

Il y a un ennui. Cette librairie est un outil pour les pages statiques. On ne peut pas interagir avec le site. Quand on applique un filtre par topic dans github explore, on ne récupère qu'une liste de quelques repos avec un bouton load more à la fin

C'est un utilisateur github AlexMihalache99 qui m'a orienté vers la solution

Comment for #2

AlexMihalache99 commented on Aug 28, 2022

BeautifulSoup is pulling data out of HTML and XML files.

That means is a static way of extracting data. Because it is static it does not work on webpages that load the results dynamically, for example, your web page that has a load more button instead of a page number bar.

A solution for this is using a library that scrapes the data dynamically.

Selenium is such a library that might satisfy your needs.

View on GitHub

MAJ avec selenium

La suite dans une prochaine update

Beans !

pacdev — Sun, 28 Aug 2022 10:16:00 +0000

Utilisation de pandas.groupby et de pandas.cut
Imaginons qu'on ait un Dataframe représentant une time serie qui représente l'élévation du niveau d'eau et la direction de la houle à chaque pas de temps.

#+BEGIN_SRC
import pandas as pd
import numpy as np
import random as rdn

# build fake dataframe
df = pd.DataFrame()
df['dir'] = [rdn.randint(0, 360) for _ in range(100)]
df['elevation'] = [rdn.uniform(-3, 3) for _ in range(100)]
print("df:\n", df)
#+END_SRC

#+RESULTS:
df:
     dir  elevation
0    48   2.437835
1     4   1.489722
2   130  -0.576090
3   169   2.721867
4   315  -1.120620
..  ...        ...
95  247  -1.256091
96  301   2.014663
97  175   0.901548
98  289   2.903849
99   98  -0.712153

[100 rows x 2 columns]

Cela peut être fastidieux à lire. On peut vouloir lire les informations par secteur. On effectue alors un binning.

#+BEGIN_SRC python
# create the bins
bins = pd.cut(df['dir'], np.arange(0, 390, 30))

df_grp = df.groupby(bins).describe()['elevation']
print("df_grp:\n", df_grp)
#+END_SRC

#+RESULTS:
df_grp:
             count      mean       std  ...       50%       75%       max
dir                                    ...                              
(0, 30]       5.0  0.249184  1.670480  ...  0.605261  1.489722  1.771682
(30, 60]      6.0  0.530561  2.120228  ...  1.271229  2.242043  2.437835
(60, 90]     14.0  0.280099  1.937723  ...  1.548581  1.775393  2.223731
(90, 120]     9.0 -0.894609  1.444726  ... -0.712153 -0.239352  1.684734
(120, 150]    5.0 -0.542193  0.655393  ... -0.576090 -0.259147  0.374463
(150, 180]   11.0 -0.000794  1.906180  ... -0.093552  1.132952  2.759483
(180, 210]    5.0 -0.104412  1.175992  ... -0.471943  1.037076  1.221931
(210, 240]   11.0  0.447931  1.605676  ...  0.832420  1.552965  2.335645
(240, 270]    4.0 -0.556329  1.708697  ... -1.300140 -0.443048  1.996078
(270, 300]   12.0 -0.406191  1.708407  ... -0.800965 -0.041385  2.903849
(300, 330]   11.0  0.168334  1.585117  ...  0.135546  1.177059  2.553054
(330, 360]    7.0  0.411437  1.725589  ...  0.466246  1.667764  2.716199

[12 rows x 8 columns]

Pour centrer autour de 0

condition = (df["dir"] > 360 - bin_size/2) | (df["dir"] < bin_size/2)
df1 = df[condition]
df2 = df[~condition]

Update de fichier

pacdev — Fri, 26 Aug 2022 14:51:00 +0000

Récemment pour une simulation CFD j'ai eu besoin de faire un offset de mes pièces 3D pour reproduire les pièces dans OpenFoam. C'est l'occas' de mettre en place une modif automatique d'un fichier texte template.

import re

def offset(initial_data, on):

    reg = r'vertex\s\s.+'

    found = re.findall(reg, initial_data)

    for found_reg in found:

        # take only the number
        x, y, z = found_reg.split()[1:]
        x, y, z = float(x), float(y), float(z)

        # add something
        x += on['x']
        y += on['y']
        z += on['z']

        initial_data = initial_data.replace(found_reg, f'vertex  {x:.2E}  {y:.2E}  {z:.2E}')

    return initial_data


if __name__ == "__main__":

    with open('initialePos.txt', 'r') as f:
        initial_data = f.read()

    # on which data to add offset
    on = {"x": 6, "y": 3, "z": 0}

    offset_data = offset(initial_data, on)

    with open('initialPos_offset.txt', 'w') as f:
        f.write(offset_data)

# initialPos.txt
facet normal -1.000000e+00  0.000000e+00  0.000000e+00
   outer loop
     vertex  0.000000e+00  6.666667e-02  0.000000e+00
     vertex  0.000000e+00  0.000000e+00  0.000000e+00
     vertex  0.000000e+00  0.000000e+00  6.666667e-02
   endloop
endfacet

# initialPos_offset.txt
facet normal -1.000000e+00  0.000000e+00  0.000000e+00
   outer loop
     vertex  6.00E+00  3.07E+00  0.00E+00
     vertex  6.00E+00  3.00E+00  0.00E+00
     vertex  6.00E+00  3.00E+00  6.67E-02
   endloop
endfacet

En fait c'est vraiment très basique. On se donne un fichier template dans lequel on va identifier un mot clé ou un pattern (faisable avec une regex). Ici le pattern à trouver est reg = r'vertex\s\s.+'. Il suffit ensuite de définir par quoi on remplace ce qu'on a trouvé au niveau de la regex et on garde toute le reste.

Data Model (getitem())

pacdev — Fri, 26 Aug 2022 08:33:28 +0000

Data Model

Quand dans un script Python on fait my_object[i] c'est que l'objet my_object est une instance d'une classe qui a une méthode spéciale __getitem__(self) . Un exemple ci dessous.

Sans la méthode spéciale

class Building:
    def __init__(self, n_flats):
        self.__flats = [i for i in range(n_flats)]

building = Building(10)

building[4]

---------------------------------------------------------------------------
TypeError                                 Traceback (most recent call last)
Input In [1], in <module>
      3         self.__flats = [i for i in range(n_flats)]
      5 building = Building(10)
----> 7 building[4]

TypeError: 'Building' object is not subscriptable

Avec

class Building:
    def __init__(self, n_flats):
        self.__flats = [i for i in range(n_flats)]

    def __getitem__(self, i):
        return f"You have selected the building #{self.__flats[i]}"

building = Building(10)

building[4]

'You have selected the building #4'

L'utilisation de '[i]' est un raccourcis de my_object.__getitem__(). Une liste par exemple est une instance de classe qui a cette méthode implémentée

Source

Fluent Python - Luciano Ramalho