Forem: Erlan Akbaraliev

Pandas

Erlan Akbaraliev — Wed, 25 Mar 2026 12:38:07 +0000

Урок 1
Урок 2

Урок 1

pandas — это библиотека для обработки и анализа данных в Python.
Проще говоря: она помогает удобно работать с таблицами данных, как в Microsoft Excel, но внутри Python 🐍.

Библиотека в программировании — это готовый набор кода, который написали другие разработчики, чтобы ты мог использовать его в своей программе и не писать всё с нуля.

Проще говоря:

📦 библиотека = коробка с полезными инструментами для программиста

Пример из жизни

Представь:

ты строишь дом 🏠

Можно:

самому делать кирпичи
самому делать окна
самому делать двери

А можно взять готовые материалы.

Вот библиотека — это готовые материалы для программы.

Простое объяснение

Представь, у тебя есть таблица:

Имя	Возраст	Город
Ali	20	Bishkek
Dana	22	Almaty

Без pandas работать с такими данными в Python неудобно.
С pandas — легко: можно фильтровать, считать статистику, изменять данные буквально одной строкой.

Зачем используют pandas

Вот основные задачи:

1️⃣ Читать данные из файлов

Например:

Excel
CSV
базы данных

Пример:

import pandas as pd

df = pd.read_csv("data.csv")

2️⃣ Работать с таблицами как в Excel

Можно:

выбрать столбец

df["Возраст"]

отфильтровать строки

df[df["Возраст"] > 21]

3️⃣ Считать статистику автоматически

Например:

df.mean()
df.max()
df.min()

Очень удобно для анализа данных 📊

4️⃣ Чистить данные

В реальных данных часто есть:

пустые значения
ошибки
дубликаты

pandas помогает исправить это быстро:

df.dropna()
df.drop_duplicates()

5️⃣ Группировать данные

Например:

средний возраст по городам

df.groupby("Город")["Возраст"].mean()

Когда pandas особенно полезен

Используют:

аналитики данных
программисты Python
специалисты по машинному обучению
экономисты
маркетологи

Одним предложением

pandas = Excel внутри Python, но намного мощнее 🚀

Импорт pandas в программу

После установки нужно подключить библиотеку в коде:

import pandas

Теперь pandas подключена и готова к использованию ✅

Пример использования

import pandas

mydataset = {
  'cars': ["BMW", "Volvo", "Ford"],
  'passings': [3, 7, 2]
}

myvar = pandas.DataFrame(mydataset)

print(myvar)

Что делает этот код:

создаёт таблицу данных
превращает словарь в таблицу pandas
выводит её на экран 📊
Импорт pandas под коротким именем (alias)

Обычно pandas подключают так:

import pandas as pd

# alias (псевдоним) — это короткое имя для удобства.
# Теперь вместо:

pandas.DataFrame()
# можно писать:
pd.DataFrame()

# Так быстрее и удобнее 👍

Пример с alias

import pandas as pd

mydataset = {
  'cars': ["BMW", "Volvo", "Ford"],
  'passings': [3, 7, 2]
}

myvar = pd.DataFrame(mydataset)

print(myvar)

Результат будет таким же.

Как узнать версию pandas

Версия библиотеки хранится в специальном поле version:

import pandas as pd

print(pd.__version__)

Это покажет установленную версию pandas 📦

Что такое DataFrame?

📊 DataFrame = таблица со строками и столбцами

Простой пример:

Вот обычная таблица:

Имя  Возраст  Город
Ali 20  Bishkek
Dana    22  Almaty

В pandas такая таблица называется DataFrame.

Поиск строки (Locate Row)

Как вы уже видели ранее, DataFrame — это таблица со строками и столбцами.

В библиотеке pandas используется атрибут loc, чтобы получить одну или несколько нужных строк.

Пример: получить строку с индексом 0

print(df.loc[0])

Результат:

calories    420
duration     50
Name: 0, dtype: int64

Это означает: вы получили строку номер 0 из таблицы.

Пример: получить строки 0 и 1

Можно указать список индексов:

print(df.loc[[0, 1]])

Результат:

   calories  duration
0       420        50
1       380        40

То есть pandas вернул две строки сразу.

Именованные индексы (Named Indexes)

С помощью параметра index вы можете задать собственные имена строк.

Пример:

import pandas as pd

data = {
  "calories": [420, 380, 390],
  "duration": [50, 40, 45]
}

df = pd.DataFrame(data, index=["day1", "day2", "day3"])

print(df)

Результат:

      calories  duration
day1       420        50
day2       380        40
day3       390        45

Теперь строки имеют имена:

day1
day2
day3

Поиск строки по имени индекса

Можно использовать имя строки вместе с loc.

Пример: получить строку day2

print(df.loc["day2"])

Результат:

calories    380
duration     40
Name: day2, dtype: int64

То есть pandas вернул строку с именем day2.

Загрузка файлов в DataFrame

Если ваши данные находятся в файле, pandas может загрузить их прямо в DataFrame.

Пример: загрузка файла CSV

import pandas as pd

df = pd.read_csv("data.csv")

print(df)

Здесь функция read_csv():

открывает файл
читает данные
превращает их в таблицу DataFrame 📊

Это один из самых частых способов использования pandas в реальных задачах.

Чтение CSV-файлов

Простой способ хранить большие наборы данных — использовать CSV-файлы (файлы со значениями, разделёнными запятыми).

CSV-файлы содержат обычный текст и являются распространённым форматом, который могут читать многие программы, включая библиотеку pandas.

В примерах используется файл с названием data.csv.

Пример: загрузка CSV-файла в DataFrame

import pandas as pd

df = pd.read_csv("data.csv")

print(df.to_string())

Здесь:

функция read_csv() загружает файл
данные превращаются в DataFrame
метод to_string() выводит всю таблицу полностью

💡 Совет: используйте to_string(), если хотите увидеть весь DataFrame целиком.

Если таблица большая

Если DataFrame содержит много строк, pandas по умолчанию показывает только:

первые 5 строк
последние 5 строк

Пример:

import pandas as pd

df = pd.read_csv("data.csv")

print(df)

В этом случае pandas выводит не всю таблицу, а только её начало и конец, чтобы результат было удобнее читать 📊

Анализ DataFrame в pandas

Просмотр данных

Один из самых часто используемых методов для быстрого просмотра содержимого DataFrame — это метод head().

Метод head() показывает:

названия столбцов
первые несколько строк таблицы (сверху)

Пример: показать первые 10 строк таблицы

import pandas as pd

df = pd.read_csv("data.csv")

print(df.head(10))

Этот код выводит первые 10 строк таблицы.

В примерах используется файл data.csv.

Важно

Если вы не укажете количество строк, метод head() по умолчанию покажет первые 5 строк.

Пример:

import pandas as pd

df = pd.read_csv("data.csv")

print(df.head())

Этот код выводит первые 5 строк таблицы.

Просмотр последних строк таблицы

Также существует метод tail(), который показывает последние строки таблицы.

Метод tail() выводит:

названия столбцов
несколько строк снизу таблицы

Пример: показать последние 5 строк таблицы

print(df.tail())

По умолчанию этот метод показывает последние 5 строк DataFrame 📊

Информация о данных

Объект DataFrame имеет метод info(), который показывает подробную информацию о наборе данных.

Пример: вывести информацию о данных

print(df.info())

Результат может выглядеть так:

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 169 entries, 0 to 168
Data columns (total 4 columns):
 #   Column    Non-Null Count  Dtype  
---  ------    --------------  -----  
 0   Duration  169 non-null    int64  
 1   Pulse     169 non-null    int64  
 2   Maxpulse  169 non-null    int64  
 3   Calories  164 non-null    float64
dtypes: float64(1), int64(3)
memory usage: 5.4 KB
None

Что это значит

В таблице 169 строк и 4 столбца:

RangeIndex: 169 entries, 0 to 168
Data columns (total 4 columns)

Название каждого столбца и тип данных:

 #   Column    Non-Null Count  Dtype  
---  ------    --------------  -----  
 0   Duration  169 non-null    int64  
 1   Pulse     169 non-null    int64  
 2   Maxpulse  169 non-null    int64  
 3   Calories  164 non-null    float64

Пустые значения (Null values)

Метод info() показывает, сколько значений не пустых (Non-Null) в каждом столбце.

В нашем примере столбец "Calories" имеет 164 непустых значения из 169, значит 5 строк пустые в этом столбце.

Почему это важно

Пустые значения могут мешать анализу данных.
Часто их нужно удалять или заполнять — это часть процесса, который называется очистка данных (data cleaning).
Вы научитесь этому в следующих разделах.

Урок 2

Pandas — Очистка данных (Cleaning Data)

Очистка данных означает исправление некорректных данных в вашем наборе данных.

Плохие данные могут быть такими:

пустые ячейки
данные в неправильном формате
неверные значения
дубликаты

Наш набор данных

В следующих главах будет использоваться такой набор данных:

Duration   Date         Pulse  Maxpulse  Calories
0   60     '2020/12/01' 110    130       409.1
1   60     '2020/12/02' 117    145       479.0
2   60     '2020/12/03' 103    135       340.0
3   45     '2020/12/04' 109    175       282.4
4   45     '2020/12/05' 117    148       406.0
5   60     '2020/12/06' 102    127       300.0
6   60     '2020/12/07' 110    136       374.0
7   450    '2020/12/08' 104    134       253.3
8   30     '2020/12/09' 109    133       195.1
9   60     '2020/12/10' 98     124       269.0
10  60     '2020/12/11' 103    147       329.3
11  60     '2020/12/12' 100    120       250.7
12  60     '2020/12/12' 100    120       250.7
13  60     '2020/12/13' 106    128       345.3
14  60     '2020/12/14' 104    132       379.3
15  60     '2020/12/15' 98     123       275.0
16  60     '2020/12/16' 98     120       215.2
17  60     '2020/12/17' 100    120       300.0
18  45     '2020/12/18' 90     112       NaN
19  60     '2020/12/19' 103    123       323.0
20  45     '2020/12/20' 97     125       243.0
21  60     '2020/12/21' 108    131       364.2
22  45     NaN          100    119       282.0
23  60     '2020/12/23' 130    101       300.0
24  45     '2020/12/24' 105    132       246.0
25  60     '2020/12/25' 102    126       334.5
26  60     2020/12/26   100    120       250.0
27  60     '2020/12/27' 92     118       241.0
28  60     '2020/12/28' 103    132       NaN
29  60     '2020/12/29' 100    132       280.0
30  60     '2020/12/30' 102    129       380.3
31  60     '2020/12/31' 92     115       243.0

В наборе данных есть:

пустые ячейки (например, Date в строке 22 и Calories в строках 18 и 28)
неправильный формат данных (Date в строке 26)
неверные данные (Duration в строке 7)
дубликаты (строки 11 и 12)

Очистка пустых ячеек (Cleaning Empty Cells)

Пустые ячейки

Пустые ячейки могут привести к неверным результатам при анализе данных ⚠️

Удаление строк

Один из способов работы с пустыми значениями — удалить строки, которые их содержат.

Обычно это нормально, потому что наборы данных часто очень большие, и удаление нескольких строк почти не влияет на результат.

Создать новый DataFrame без пустых ячеек

import pandas as pd

df = pd.read_csv('data.csv')

new_df = df.dropna()

print(new_df.to_string())

📌 По умолчанию dropna() создаёт новый DataFrame и не изменяет исходный.

Изменение исходного DataFrame

Если нужно изменить оригинальный DataFrame:

import pandas as pd

df = pd.read_csv('data.csv')

df.dropna(inplace=True)

print(df.to_string())

Теперь:

dropna(inplace=True)
удаляет строки с пустыми значениями прямо в исходном DataFrame.

Замена пустых значений

Другой способ работы с пустыми ячейками — заменить их значением вместо удаления строки.

Это удобно 👍

Замена NULL значений числом 130

import pandas as pd

df = pd.read_csv('data.csv')

df.fillna(130, inplace=True)

Замена только в определённом столбце

Например, заменить пустые значения только в столбце Calories:

import pandas as pd

df = pd.read_csv('data.csv')

df.fillna({"Calories": 130}, inplace=True)

Замена через среднее, медиану или моду

Часто пустые значения заменяют статистическими показателями столбца:

среднее значение (mean)
медиана (median)
мода (mode)

Замена через среднее значение (Mean)

import pandas as pd

df = pd.read_csv('data.csv')

x = df["Calories"].mean()

df.fillna({"Calories": x}, inplace=True)

📌 Mean (среднее) — сумма всех значений, делённая на их количество.

Замена через медиану (Median)

import pandas as pd

df = pd.read_csv('data.csv')

x = df["Calories"].median()

df.fillna({"Calories": x}, inplace=True)

📌 Median (медиана) — значение посередине отсортированного списка.

Замена через моду (Mode)

import pandas as pd

df = pd.read_csv('data.csv')

x = df["Calories"].mode()[0]

df.fillna({"Calories": x}, inplace=True)

📌 Mode (мода) — наиболее часто встречающееся значение в столбце.

Pandas — Очистка данных с неправильным форматом (Cleaning Data of Wrong Format)

Данные неправильного формата

Ячейки с неправильным форматом данных могут затруднить анализ данных или сделать его невозможным ❗

Чтобы исправить это, есть два варианта:

удалить строки с неправильным форматом
привести все значения столбца к одному формату

Преобразование в правильный формат

В нашем DataFrame есть две проблемные строки:

строка 22 — пустая дата
строка 26 — дата записана как число 20201226 вместо строки '2020/12/26'

Столбец Date должен содержать даты в одном формате.

Преобразование столбца Date в формат даты

В Pandas есть метод:

to_datetime()

Он преобразует значения в формат даты.

Пример:

import pandas as pd

df = pd.read_csv('data.csv')

df['Date'] = pd.to_datetime(df['Date'], format='mixed')

print(df.to_string())

📌 Параметр:

format='mixed'

означает, что Pandas автоматически распознаёт разные форматы дат.

Результат преобразования

После выполнения:

дата в строке 26 исправляется автоматически
пустая дата в строке 22 становится значением:

NaT

📌 NaT означает:

Not a Time

Это аналог NaN, но для дат.

Удаление строк с неправильными датами

Так как NaT считается пустым значением, можно удалить строки через:

dropna()

Удалим строки, где отсутствует дата:

df.dropna(subset=['Date'], inplace=True)

📌 Здесь:

subset=['Date']

означает:

удалить только те строки, где пустое значение именно в столбце Date, а не во всём DataFrame.

Итоговая логика работы с неправильным форматом дат

Обычно делают так:

1️⃣ приводят столбец к формату даты

pd.to_datetime()

2️⃣ проверяют ошибки (NaT)

3️⃣ удаляют строки или заменяют значения

dropna(subset=['Date'])

Это стандартный workflow очистки дат в анализе данных 📊

Pandas — Исправление неправильных данных (Fixing Wrong Data)

Неправильные данные (Wrong Data)

Неправильные данные — это не обязательно:

пустые значения
неправильный формат

Иногда данные просто ошибочные по смыслу.

Пример:
вместо 1.99 могли случайно записать 199.

Такие ошибки обычно обнаруживаются логически — когда вы знаете, какие значения ожидаются.

Пример ошибки в нашем наборе данных

Посмотрите строку 7:

Duration = 450

Но остальные значения находятся в диапазоне:

30–60 минут

Поскольку это данные тренировок, маловероятно, что тренировка длилась 450 минут (7.5 часов) 😄

Значит — это ошибка.

Способ 1: Замена значения вручную

Можно заменить неправильное значение:

df.loc[7, 'Duration'] = 45

📌 Здесь:

7 — номер строки
'Duration' — имя столбца
45 — новое значение

Этот способ подходит для маленьких наборов данных.

Способ 2: Замена по правилу (для больших наборов данных)

Можно задать границы допустимых значений.

Например:

если значение больше 120 минут, заменить его на 120

for x in df.index:
    if df.loc[x, "Duration"] > 120:
        df.loc[x, "Duration"] = 120

📌 Что делает код:

1️⃣ проходит по всем строкам
2️⃣ проверяет значение столбца Duration
3️⃣ если больше 120 → заменяет на 120

Это удобно для автоматической очистки данных.

Способ 3: Удаление строк с ошибочными значениями

Иногда проще удалить неправильные строки.

Пример:

удаляем строки, где Duration > 120

for x in df.index:
    if df.loc[x, "Duration"] > 120:
        df.drop(x, inplace=True)

📌 Это полезно, когда:

значение невозможно восстановить
данных достаточно
ошибка влияет на анализ

Как обычно делают в реальной практике 📊

Типичный workflow:

1️⃣ найти подозрительные значения

например:

Duration > 120

2️⃣ выбрать стратегию:

заменить значением
заменить средним значением
ограничить диапазоном
удалить строки

3️⃣ проверить результат анализа

Отлично 👍 Сейчас покажу профессиональный pandas-способ без цикла for, который используют в реальных проектах и который часто ожидают увидеть на интервью.

Работа через циклы (for) в Pandas считается неэффективной, потому что pandas оптимизирован для векторных операций.

💡 Как делают опытные аналитики обычно

1️⃣ Самый правильный способ: фильтрация через условие

Например:

заменить все значения Duration > 120 на 120

df.loc[df["Duration"] > 120, "Duration"] = 120

📌 Что происходит:

df["Duration"] > 120

создаёт логическую маску:

False False False False False False False True False ...

А затем:

df.loc[условие, столбец]

меняет только нужные строки.

✅ быстро
✅ читаемо
✅ используется в production-коде

2️⃣ Удаление строк через фильтрацию (без цикла)

Удалим строки, где Duration > 120

df = df[df["Duration"] <= 120]

Это означает:

оставить только строки, где условие выполняется.

Pandas — Удаление дубликатов (Removing Duplicates)

Поиск дубликатов (Discovering Duplicates)

Дубликаты — это строки, которые были записаны более одного раза.

В нашем наборе данных видно, что строки:

11 и 12

полностью одинаковые — значит это дубликаты.

Как найти дубликаты

В pandas используется метод:

df.duplicated()

Он возвращает логические значения (True / False) для каждой строки:

True → строка является дубликатом
False → строка уникальная

Пример:

print(df.duplicated())

Результат будет примерно таким:

False
False
False
...
False
True
...

📌 Обычно True появляется начиная со второго повторения строки (первая считается оригиналом).

Как удалить дубликаты

Чтобы удалить дубликаты, используется метод:

df.drop_duplicates()

Пример:

df.drop_duplicates(inplace=True)

📌 Параметр:

inplace=True

означает:

изменить исходный DataFrame, а не создавать новый.

Удаление дубликатов только по определённым столбцам

Иногда строки считаются дубликатами не полностью, а только по части столбцов.

Например:

удалить дубликаты только по столбцу Date

df.drop_duplicates(subset=["Date"], inplace=True)

📌 Это оставит только одну строку на каждую дату.

Как обычно работают аналитики 📊

Типичный workflow:

1️⃣ найти дубликаты

df[df.duplicated()]

2️⃣ посмотреть их вручную 👀

3️⃣ удалить

df.drop_duplicates(inplace=True)

Это стандартный шаг очистки данных перед анализом.

Финальный проект 2

Erlan Akbaraliev — Wed, 07 Jan 2026 14:35:30 +0000

Covid

CREATE TABLE covid2 (
    iso_code TEXT,
    continent TEXT,
    location TEXT,
    date TEXT,
    total_case NUMERIC,
    new_cases NUMERIC,
    new_cases_smoothed REAL,
    total_deaths NUMERIC,
    new_deaths NUMERIC,
    new_deaths_smoothed REAL,
    total_cases_per_million REAL,
    new_cases_per_million REAL,
    new_cases_smoothed_per_million REAL,
    total_deaths_per_million REAL,
    new_deaths_per_million REAL,
    new_deaths_smoothed_per_million REAL,
    reproduction_rate REAL,
    icu_patients NUMERIC,
    icu_patients_per_million REAL,
    hosp_patients NUMERIC,
    hosp_patients_per_million REAL,
    weekly_icu_admissions REAL,
    weekly_icu_admissions_per_million REAL,
    weekly_hosp_admissions REAL,
    weekly_hosp_admissions_per_million REAL,
    new_tests NUMERIC,
    total_tests NUMERIC,
    total_tests_per_thousand REAL,
    new_tests_per_thousand REAL,
    new_tests_smoothed NUMERIC,
    new_tests_smoothed_per_thousand REAL,
    positive_rate REAL,
    tests_per_case REAL,
    tests_units TEXT,
    total_vaccinations NUMERIC,
    people_vaccinated NUMERIC,
    people_fully_vaccinated NUMERIC,
    new_vaccinations NUMERIC,
    new_vaccinations_smoothed NUMERIC,
    total_vaccinations_per_hundred REAL,
    people_vaccinated_per_hundred REAL,
    people_fully_vaccinated_per_hundred REAL,
    new_vaccinations_smoothed_per_million NUMERIC,
    stringency_index REAL,
    population NUMERIC,
    population_density REAL,
    median_age REAL,
    aged_65_older REAL,
    aged_70_older REAL,
    gdp_per_capita REAL,
    extreme_poverty REAL,
    cardiovasc_death_rate REAL,
    diabetes_prevalence REAL,
    female_smokers REAL,
    male_smokers REAL,
    handwashing_facilities REAL,
    hospital_beds_per_thousand REAL,
    life_expectancy REAL,
    human_development_index REAL
);

Vaccinations

CREATE TABLE vaccinations (
    iso_code TEXT,
    continent TEXT,
    location TEXT,
    date DATE,
    new_tests NUMERIC,  
    total_tests NUMERIC,
    total_tests_per_thousand REAL,  
    new_tests_per_thousand REAL,
    new_tests_smoothed NUMERIC,
    new_tests_smoothed_per_thousand REAL,
    positive_rate REAL,
    tests_per_case REAL,
    tests_units TEXT,
    total_vaccinations NUMERIC, 
    people_vaccinated NUMERIC,
    people_fully_vaccinated NUMERIC,
    new_vaccinations NUMERIC,
    new_vaccinations_smoothed NUMERIC,
    total_vaccinations_per_hundred REAL,
    people_vaccinated_per_hundred REAL,
    people_fully_vaccinated_per_hundred REAL,
    new_vaccinations_smoothed_per_million NUMERIC,
    stringency_index REAL,
    population_density REAL,
    median_age NUMERIC,
    aged_65_older REAL,
    aged_70_older REAL,
    gdp_per_capita  REAL,
    extreme_poverty REAL,
    cardiovasc_death_rate REAL,
    diabetes_prevalence REAL,
    female_smokers REAL,
    male_smokers REAL,
    handwashing_facilities REAL,
    hospital_beds_per_thousand REAL,
    life_expectancy REAL,
    human_development_index REAL
);

Запрос для создании таблицы covid (2020-2024):

CREATE TABLE covid3 (
    iso_code TEXT,
    continent TEXT,
    location TEXT,
    date DATE,
    total_cases NUMERIC,
    new_cases NUMERIC,
    new_cases_smoothed REAL,
    total_deaths NUMERIC,
    new_deaths NUMERIC,
    new_deaths_smoothed REAL,
    total_cases_per_million REAL,
    new_cases_per_million REAL,
    new_cases_smoothed_per_million REAL,
    total_deaths_per_million REAL,
    new_deaths_per_million REAL,
    new_deaths_smoothed_per_million REAL,
    reproduction_rate REAL,
    icu_patients NUMERIC,
    icu_patients_per_million REAL,
    hosp_patients NUMERIC,
    hosp_patients_per_million REAL, 
    weekly_icu_admissions NUMERIC,
    weekly_icu_admissions_per_million REAL,
    weekly_hosp_admissions NUMERIC,
    weekly_hosp_admissions_per_million REAL,
    total_tests NUMERIC,
    new_tests NUMERIC,
    total_tests_per_thousand REAL,
    new_tests_per_thousand REAL,
    new_tests_smoothed REAL,
    new_tests_smoothed_per_thousand REAL,
    positive_rate REAL,
    tests_per_case REAL,
    tests_units TEXT,
    total_vaccinations NUMERIC,
    people_vaccinated NUMERIC,
    people_fully_vaccinated NUMERIC,
    total_boosters NUMERIC,
    new_vaccinations NUMERIC,
    new_vaccinations_smoothed REAL, 
    total_vaccinations_per_hundred REAL,
    people_vaccinated_per_hundred REAL,
    people_fully_vaccinated_per_hundred REAL,
    total_boosters_per_hundred REAL,
    new_vaccinations_smoothed_per_million REAL,
    new_people_vaccinated_smoothed REAL,
    new_people_vaccinated_smoothed_per_hundred REAL,    
    stringency_index REAL,
    population_density REAL,
    median_age  REAL,
    aged_65_older REAL, 
    aged_70_older REAL,
    gdp_per_capita REAL,
    extreme_poverty REAL,
    cardiovasc_death_rate REAL,
    diabetes_prevalence REAL,
    female_smokers REAL,
    male_smokers REAL,
    handwashing_facilities REAL,
    hospital_beds_per_thousand REAL,
    life_expectancy REAL,
    human_development_index REAL,
    population NUMERIC,
    excess_mortality_cumulative_absolute REAL,
    excess_mortality_cumulative REAL,
    excess_mortality REAL,
    excess_mortality_cumulative_per_million REAL
);

Package a django app

Erlan Akbaraliev — Fri, 02 Jan 2026 20:12:46 +0000

What's a package, project structure
Building a package
Installing a package
Uploading a package
Extra

The end result:

1. 📦 What is a Python Package?

A package is simply a directory of Python modules (.py files). To be recognized by Python, it typically contains an __init__.py file.

The core philosophy of packaging is reusability:

others can use your code
you can also use other peoples packages and integrate them into your own project

Example of packages:

I have a poll application with preset questions. On this webapp you can choose options for a given preset question and see statistics after submitting your choice.

The project structure:

.
├── core
│   ├── __init__.py
│   ├── __pycache__
│   ├── asgi.py
│   ├── settings.py
│   ├── urls.py
│   └── wsgi.py
├── db.sqlite3
├── manage.py
└── polls
    ├── __init__.py
    ├── __pycache__
    ├── admin.py
    ├── apps.py
    ├── migrations
    ├── models.py
    ├── static
    ├── templates
    ├── test_models.py
    ├── test_views.py
    ├── urls.py
    └── views.py

Every feature related to poll application is done inside the app 'polls' app. Let's turn the polls app into a package and upload it to a website of packages.

Feel free to create a simple django project with a single view that returns HttpResponse('Hello Package!') or similar and follow along.

2. Building a package

Install setuptools and build. We will use these packages to build a package.
Create another directory separate from the project. You can call it django-polls, this will be the name of our package.
Move polls app of your project to django-polls directory and rename polls to 'django_polls'
Edit django_polls/apps.py so that name refers to the new module name 'django_polls' and add labels to give a short name to the app 'polls'

from django.apps import AppConfig

class PollsConfig(AppConfig):
    name = "django_polls"
    label = "polls"

5.Create django-polls/README.rst file with the following content:

============
django-polls
============

django-polls is a Django app to conduct web-based polls. For each
question, visitors can choose between a fixed number of answers.

Detailed documentation is in the "docs" directory.

Quick start
-----------

1. Add "polls" to your INSTALLED_APPS setting like this::

    INSTALLED_APPS = [
        ...,
        "django_polls",
    ]

2. Include the polls URLconf in your project urls.py like this::

    path("polls/", include("django_polls.urls")),

3. Run ``python manage.py migrate`` to create the models.

4. Start the development server and visit the admin to create a poll.

5. Visit the ``/polls/`` URL to participate in the poll.

Create django-polls/LICENSE file
Create django-polls/pyproject.toml file which details how to build and install the app. It must have the following content:

[build-system]
requires = ["setuptools>=77.0.3"]
build-backend = "setuptools.build_meta"

[project]
name = "django-polls-yourname"
version = "0.1"
dependencies = [
    "django>=X.Y",  # Replace "X.Y" as appropriate
]
description = "A Django app to conduct web-based polls."
readme = "README.rst"
license = "BSD-3-Clause"
requires-python = ">= 3.12"
authors = [
    {name = "Your Name", email = "yourname@example.com"},
]
classifiers = [
    "Environment :: Web Environment",
    "Framework :: Django",
    "Framework :: Django :: X.Y",  # Replace "X.Y" as appropriate
    "Intended Audience :: Developers",
    "Operating System :: OS Independent",
    "Programming Language :: Python",
    "Programming Language :: Python :: 3",
    "Programming Language :: Python :: 3 :: Only",
    "Programming Language :: Python :: 3.12",
    "Programming Language :: Python :: 3.13",
    "Programming Language :: Python :: 3.14",
    "Topic :: Internet :: WWW/HTTP",
    "Topic :: Internet :: WWW/HTTP :: Dynamic Content",
]

[project.urls]
Homepage = "https://www.example.com/"

You can check django version using this command:

python3 -m django --version

8.Create django-polls/MANIFEST.in with the following content. It's used to templates and static files:

recursive-include django_polls/static *
recursive-include django_polls/templates *

9.Build your package by running:

python -m build

It creates dist/ directory containing Source Distribution (.tar.gz) and your Built Distribution (the .whl or "wheel" file). I personally refer to them as zipped version of my app.

3. Installing the django-polls package

Since we moved polls directory out of the project, it's no longer working. We can fix our project by installing the django-polls package.

Install django-polls

python3 -m  pip install django-polls/dist/django_polls-0.1.tar.gz

2.Update settings.py of your project

INSTALLED_APPS = [
    "django_polls.apps.PollsConfig",
    ...,
]

3.Update core/urls.py to point to the new module name

urlpatterns = [
    path("polls/", include("django_polls.urls")),
    ...,
]

4.Run the development server to confirm the project is continues to work

Now if you run pip list, you should see 'django-polls' package.

Uploading a package

Register on test.pypi.org. The real python index is pypi.org, but we will use test.pypi
To securely upload our package, create an API token at https://test.pypi.org/manage/account/#api-tokens and copy it
Install twine to upload the package
cd into django-polls and run

python3 -m twine upload --repository testpypi dist/*

During the process it will ask you for API token, copy, paste the token you just created.

After the command completes, you should see something like this:

Uploading distributions to https://test.pypi.org/legacy/
Enter your API token:
Uploading example_package_YOUR_USERNAME_HERE-0.0.1-py3-none-any.whl
100% ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 8.2/8.2 kB • 00:01 • ?
Uploading example_package_YOUR_USERNAME_HERE-0.0.1.tar.gz
100% ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 6.8/6.8 kB • 00:00 • ?

Extra

Now if you want to install the version of the package that you just uploaded to test.pypi

Uninstall the previously locally installed django-polls

pip uninstall django-polls

Install

pip install -i https://test.pypi.org/simple/ django-polls-erlan

Replace 'django-polls-erlan' with the package name you gave when building.
You can also access the install command by clicking on 'View'.

База данных Финальный проект

Erlan Akbaraliev — Mon, 22 Dec 2025 09:35:03 +0000

1. Создайте таблицы с ограничениямы:

books: книги
- id (Serial Primary Key)
- title: название (Text)
- publisher_id: id издателя (Integer)
- format: формат
- pages: страницы
- published_date: дата публикации (Date)
authors
- id
- name: имя
- country: страна
- birthdate: дата рождения (Date)
authors_books: авторы_книги
- author_id: id авторы
- book_id: id книги
publishers: издатели
- id
- name: название
translators: переводчики
- id
- name: имя
translators_books: переводчики_книги
- translator_id: id переводчик
- book_id: id книги
rating: рейтинг
- book_id: id книги
- rating: рейтинг

Таким образом мы можем создать таблицы книги и издатели.

CREATE TABLE books (
    id SERIAL PRIMARY KEY,
    title TEXT NOT NULL,
    publisher_id INT,
    format TEXT CHECK(format IN ('твердый', 'мягкий')),
    pages INT,
    published_date DATE DEFAULT CURRENT_DATE,
    FOREIGN KEY (publisher_id) REFERENCES publishers(id)
);

CREATE TABLE publishers (
    id SERIAL PRIMARY KEY,
    name TEXT NOT NULL
);

Так как мы в таблице books пишем что publisher_id является Foreign Key (внешним ключом) и ссылается на столбец id из таблицы publishers, нам нужно сперва создать таблицу publishers.
Без таблицы publishers, мы не сможем создать таблицу books и указать там внешний ключ на таблицу publishers.

Создайте остальные таблицы.

Решение

2. Анализируйте таблицы

-- Решите вопросы 1-3 используя подзапросы (subqueries)
-- 1. Выведите все книги автора 'Ариана Арвис'
-- 2. Выведите все авторы книги 'Валун'
-- 3. Выведите все рейтинги книги 'Пока мы мечтали'

-- Решите вопросы 4-8 используя JOIN
-- 4. Объедините таблицы books и publishers
-- 5. Объедините таблицы books и publishers и выведите все книги опубликованные издателем у которого название начинается с 'And'
-- 6. Объедините таблицы books и rating и выведите все рейтинги книги 'Парадайс'
-- 7. Объедините таблицы authors и books по третьей таблице authors_books
-- 8. Объедините таблицы authors и books по таблице authors_books, 
   -- выведите столбцы name из таблицы authors, 
   -- title, pages, published_date из таблицы books

-- Aggregate функции, GROUP BY, ORDER BY
-- 9. Выведите средний рейтинг каждой книги (таблицы books, rating)
-- 10. Выведите средний рейтинг книги 'Парадайс'
SELECT b.title, ROUND(AVG(r.rating),2) AS "средний_рейтинг"
FROM books b
JOIN rating r ON b.id = r.book_id
GROUP BY b.title
HAVING b.title='Парадайс';
-- 11. Выведите средний рейтинг каждой книги и сортируйте их по средний_рейтинг по убыванию

-- View (Представление)
-- 12. Объедините таблицы authors и books по таблице authors_books, 
   --  выведите столбцы name из таблицы authors, 
   --  title, pages, published_date из таблицы books,
   --  и создайте View (представление) authors_books_view
-- 13. Из представлении authors_books_view, выведите книги которые были опубликованы в 2020 году и сортируйте по количеству страниц (pages) по убыванию
SELECT * FROM authors_books_view
WHERE published_date>='2020-01-01' AND published_date<='2020-12-12'
ORDER BY pages DESC;

-- 14. Объедините таблицы books и rating, 
    -- выведите столбцы id, title, pages, published_date из таблицы books, средниц рейтинг из таблицы rating,
    -- сгруппируйте по id книги и сортируйте по среднему рейтингу по обыванию (DESC)
    -- и создайте временное(Temporary) View(представление) books_ratings_view,
-- 15. Из представлении books_ratings_view, выведите топ 5 книг с самым высоким средним рейтингом
-- 16. Объедините таблицы books и publishers
    -- выведите столбцы title из таблицы books и name из таблицы publishers, 
    -- создайте CTE(Common Table Expression, одноразовое) View(представление) books_publishers_view

-- Insert, Update, Delete
-- 17. Добавьте новый автор в таблицу authors с именем 'Ким Чен Ын', country: 'Korea', birthdate: '1984-01-08'
-- 18. Обновите имя авторы 'Ким Чын Ын' на 'Rumi', country на: Persian, birthdate: '1273-09-30'
-- 19. Удалите автор с именем 'Rumi'

-- CASE
-- 20. Выведите столбцы title, pages, 
    -- и в новом столбце 
        -- если количество страниц больше 0 и меньше 100, напишите 'маленькая книги'
        -- если количество страниц больше 100 и меньше 200, напишите 'средняя книги'
        -- в ином случае напишите 'большая книги' (ELSE)
    --  из таблицы books
-- 21. Выведите столбцы title и
    -- если формат='мягкий', то 'м'
    -- если формат='твердый', то т'
    -- из таблицы books

-- INDEX
-- 22. Создайте индекс с названием books_title_index для столбца title из таблицы books чтобы получение данных по названию книги было очень быстрым
CREATE INDEX books_title_index
ON books(title);

-- Процедура (Procedure)
-- 23. Создайте процедуру add_author(name text, country text, birthdate date), используя которого сможем добавить данные в таблицу authors
CREATE PROCEDURE add_author(name text, country text, birthdate date)
LANGUAGE plpgsql
AS $$
BEGIN
    INSERT INTO authors (name, country, birthdate)
    VALUES (name, country, birthdate);
END;
$$;

CALL add_author('Касымалы Баялинов', 'Кыргызстан', '1902-09-25');

-- 24. Создайте процедуру add_book(title text, publisher_id int, format text, pages int, published_date date), используя которого сможем добавить данные в таблицу books
CREATE PROCEDURE add_book(title text, publisher_id int, format text, pages int, published_date date)
LANGUAGE plpgsql
AS $$
BEGIN
    INSERT INTO books (title, publisher_id, format, pages, published_date)
    VALUES (title, publisher_id, format, pages, published_date);
END;
$$;

CALL add_book('Ажар', NULL, 'твердый', 18, '1928-01-01');

Решении

3. Создайте диаграмму и документацию проекта

Создайте диаграмму нашей базы данных через этот сайт: drawsql

# Проект: Управление библиотечной базой данных (SQL)
В проекте реализованы и в процессе научилась(ся) протестировать следующие SQL-операции:
- **Запросы**
  - LIMIT, NOT, LIKE, DISTINCT, CASE
  - Агрегатные функции (ROUND, SUM, AVG, MAX, MIN)
- **Реляции**
  - Подзапросы
  - Primary, Foreign keys
  - Все типы реляций (1:1, 1:n, n:n)
  - IN, JOIN, GROUP BY, HAVING, ORDER BY
- **Дизайнирование**
  - CREATE, DROP
  - CHECK, DEFAULT, NOT NULL, UNIQUE
- **Изменение данных**
  - INSERT INTO
  - UPDATE
  - DELETE
  - Процедуры
- **VIEWS (представлении)**
  - Три типы представлений (Permanent(постоянный), Temporary(временный), CTE(одноразовый))
  - Мягкое удаление
- **Оптимизация**
  - Индексы
  - Транзакция (выполнить несколько запросов одновременно)

4. Загрузите ваш проект на сайт

Github.com

CREATE TABLE covid (
    iso_code TEXT,
    continent TEXT,
    location TEXT,
    date DATE,
    total_case NUMERIC,
    new_cases NUMERIC,
    new_cases_smoothed REAL,
    total_deaths NUMERIC,
    new_deaths NUMERIC,
    new_deaths_smoothed REAL,
    total_cases_per_million REAL,
    new_cases_per_million REAL,
    new_cases_smoothed_per_million REAL,
    total_deaths_per_million REAL,
    new_deaths_per_million REAL,
    new_deaths_smoothed_per_million REAL,
    reproduction_rate REAL,
    icu_patients NUMERIC,
    icu_patients_per_million REAL,
    hosp_patients NUMERIC,
    hosp_patients_per_million REAL,
    weekly_icu_admissions REAL,
    weekly_icu_admissions_per_million REAL,
    weekly_hosp_admissions REAL,
    weekly_hosp_admissions_per_million REAL,
    new_tests NUMERIC,
    total_tests NUMERIC,
    total_tests_per_thousand REAL,
    new_tests_per_thousand REAL,
    new_tests_smoothed NUMERIC,
    new_tests_smoothed_per_thousand REAL,
    positive_rate REAL,
    tests_per_case REAL,
    tests_units TEXT,
    total_vaccinations NUMERIC,
    people_vaccinated NUMERIC,
    people_fully_vaccinated NUMERIC,
    new_vaccinations NUMERIC,
    new_vaccinations_smoothed NUMERIC,
    total_vaccinations_per_hundred REAL,
    people_vaccinated_per_hundred REAL,
    people_fully_vaccinated_per_hundred REAL,
    new_vaccinations_smoothed_per_million NUMERIC,
    stringency_index REAL,
    population NUMERIC,
    population_density REAL,
    median_age REAL,
    aged_65_older REAL,
    aged_70_older REAL,
    gdp_per_capita REAL,
    extreme_poverty REAL,
    cardiovasc_death_rate REAL,
    diabetes_prevalence REAL,
    female_smokers REAL,
    male_smokers REAL,
    handwashing_facilities REAL,
    hospital_beds_per_thousand REAL,
    life_expectancy REAL,
    human_development_index REAL
);

Django F() expression

Erlan Akbaraliev — Thu, 18 Dec 2025 15:46:57 +0000

F() is an object used to avoid RACE CONDITION in the database.

reporter = Reporters.objects.get(name='Erlan')
reporter.stories_filed += 1
reporter.save()

from django.db.models import F

reporter = Reporters.objects.get(name='Erlan')
reporter.stories_filed = F('stories_filed') + 1
reporter.save()

In the first version we're pulling out the value of stories_filed from the database and and making changes, Read-Modify-Save, VULNERABLE.
In the second version we're using F() to get the SQL expression to refer to the field, yes we refer to the field, we don't pull out the actual value when using F(), and performing Atomic Update, SAFE.

Imaging the scenario:

Thread A retrieves Erlan (stories = 10)
Thread B retrieves Erlan (stories = 10)
Thread A calculates $10 + 1 = 11$ and saves
Thread B calculates $10 + 1 = 11$ and saves
Result: The count is 11, but it should be 12

By using F() we're locking the data, reporter.stories_filed, for writing. After we finish writing the data into the field, the data will be unlocked and others will be able to write to the field.
So we ensure Data Integrity.

We can also lock and modify a field using update():

from django.db.models import F

reporter = Reporters.objects.filter(name='Erlan')
reporter.update(stories_filed = F('stories_filed') + 1)

Important: to get the reporter 'Erlan', I am using filter, because update can be used only to update bulk data or in other words it can be used to update only objects of type QuerySet.
In our case, we know there's only one reporter named 'Erlan', so inside of the QuerySet we will have only 1 reporter.

Linux distros

Erlan Akbaraliev — Wed, 17 Dec 2025 06:40:36 +0000

Getting started
What's the difference between all these distros?
What the f*ck is a distro?

Getting started

After installing wsl itself, you will be required to install a Linux distro. If you haven't installed a Linux distro, running wsl on Powershell gives you this result:

wsl
подсистема Windows для Linux не имеет установленных дистрибутивов.
Чтобы устранить эту проблему, установите дистрибутив с инструкциями ниже:

Используйте "wsl.exe --list --online' для перечисления доступных дистрибутивов
и "wsl.exe --install <Distro>" для установки.

In English:

wsl.exe --list --online to list all the available Linux distros
wsl.exe --install <Distro> to install a distro

Let's list all the available distros

wsl.exe --list --online
Ниже указан список допустимых дистрибутивов, которые можно установить.
Установить с помощью "wsl.exe --install <Distro>".

NAME                   FRIENDLY NAME
Ubuntu                 Ubuntu
Ubuntu-24.04           Ubuntu 24.04 LTS
openSUSE-Tumbleweed    openSUSE Tumbleweed
openSUSE-Leap-16.0     openSUSE Leap 16.0
kali-linux             Kali Linux Rolling
Debian                 Debian GNU/Linux
AlmaLinux-8            AlmaLinux OS 8
AlmaLinux-9            AlmaLinux OS 9
AlmaLinux-Kitten-10    AlmaLinux OS Kitten 10
AlmaLinux-10           AlmaLinux OS 10
FedoraLinux-43         Fedora Linux 43
FedoraLinux-42         Fedora Linux 42
Ubuntu-20.04           Ubuntu 20.04 LTS
Ubuntu-22.04           Ubuntu 22.04 LTS
openSUSE-Leap-15.6     openSUSE Leap 15.6

What's the difference between all these distros?

Ubuntu (standard choice)

Best for: beginners, web developers, and general use
Why: The most popular Linux distro, if you run into a problem, solutions can be easily found on Google or StackOverflow
Versions: -- Ubuntu (no number): The latest version (always the latest version) -- Ubuntu-24.04: The specific version (uses this specific version even if a new upgrade will be available)

Why you may want to use a specific version?
You want to have the same Linux distro version as the server or you are working in a team and you want to have the same version as your teammates.

Debian (the stable core)

Best for: users who want to very lightweight, stable distro
Why: The Ubuntu is actually built on top of Debian. Debian is know for being 'rock solid' because it only includes software that has been thoroughly tested, though its packages are slightly older, and not every feature you need may exist there.

Kali Linux (the specialist)

Best for: cybersecurity professionals
Why: it comes pre-loaded with tools for penetration testing and security auditing. If you are not doing 'ethical hacking', you don't need this

Fedora, AlmaLinux (the enterprise path)

Best for: corporate environments or Red Hat (RHEL) ecosystems
Why: Fedora is the 'bleeding edge' for Red Hat technologies. AlmaLinux is a stable, free alternative to RHEL, often used for servers.

OpenSuse (the swiss knife)

Best for: Sys admins
Why: it comes pre-loaded with a lot of configuration tools that make managing the system very easy. Tumbleweed is the rolling disease (always the newest software and sometimes with bugs), Leap is the stable version.

What the f*ck is a distro?

Linux is the engine of a car and distro is everything else (wheels, interface, inside car heating system, cool map showing screen, ai features etc.)

Distro is the ready to use version of the Linux Operating system.
You can't just use Linux, because it's just an engine, you have to build a car around it and include all the things you need (guns like of James Bonds car, I hope not).
Linux is the Kernel which means the engine.

Linux, the engine, is open-source, so anybody can build a car around it, therefore there are so many versions of Linux distros.

БД6 (Index, оптимизация)

Erlan Akbaraliev — Mon, 15 Dec 2025 12:19:07 +0000

Index
Transaction block
CASE
Процедура
Контроль доступа
Date

1. Index

Index - структура которая используется чтобы ускорить процесс получения данных.

SELECT * FROM книги
WHERE название='Белая книга';

Мы получили данные за 0.103 секунд.
Это очень быстро, но если у нас в базе данных есть миллион книг, а не 73, то в этом случае запрос займет несколько секунд.

Мы можем индексировать столбец название таблицы книги, чтобы получить данные быстрее.

CREATE INDEX книги_название_индекс
ON книги (название);

Если индексы ускоряют можно ли индексировать все столбцы наших таблиц?
Создать индекс практически на каждый столбец возможно, но категорически не рекомендуется.
Индексирование столбцов требует много памяти, это увеличивает стоимость хранения и замедляет скорость измение данных (INSERT, UPDATE, DELETE).

Можно и создать индексы на конкретные данные:

CREATE INDEX последние_книги
ON книги(год)
WHERE год=2023;

Если у нас часто спрашивают книги которые были опубликованы в 2023 году, можно эти данные индексировать чтобы быстро их получать.

2. Транзакции

Тразакционный блок используется чтобы выпольнить несколько запросов ОДНОВРЕМЕННО. Если все запросы внутри транзакционного блока успешно выполнятся, сохрани результаты в таблицу немедленно (COMMIT). Если один запрос внутри транзакционного блока не выполнится успешно, приведи базу данных в предыдущее состояние (ROLLBACK).

Создайте эту таблицу

CREATE table счета (
    id SERIAL PRIMARY KEY,
    name TEXT NOT NULL,
    balance INT check(balance > 0)
);

INSERT INTO счета (name, balance)
VALUES 
('erlan', 10),
('алия', 20),
('нурайым', 30);

Как выполнять несколько запросов одновременно?
Если Эрлан отправляет Алии 10 сомов, мы хотим немедленно вычесть 10 сомов со счета Эрлана и добавить 10 сомов на счет Алии.

BEGIN;
    UPDATE счета
    SET balance=balance-10
    WHERE name='erlan';

    UPDATE счета
    SET balance=balance+10
    WHERE name='алия';
COMMIT;

Теперь у Эрлана 0 сомов и у Алии 30 сомов.
Если опять выполним этот одновременный запрос, то мы получим ошибку. Как только мы начинаем транзакцию и пишем несколько SQL-запросов, если хотя бы один из них терпит неудачу, мы можем завершить транзакцию командой ROLLBACK (откат), чтобы вернуть все значения к их состоянию до начала транзакции.

3. CASE

CASE
      WHEN условие_1  THEN результат_1
      WHEN условие_2  THEN результат_2
      [WHEN ...]
      [ELSE результат_по_умолчанию]
END

SELECT 
    название,
    CASE
        WHEN страниц >= 0 AND страниц <= 200 THEN 'маленький'
        WHEN страниц > 200 AND страниц <= 600 THEN 'средний'
        WHEN страниц > 600 THEN 'большой'
    END
FROM книги;

Улучшенная версия:

SELECT название,
    CASE
        WHEN страниц <= 200 THEN 'маленький'
        WHEN страниц <= 600 THEN 'средний'
        ELSE 'большой'
    END
FROM книги;

SELECT название,
    CASE
        WHEN формат='мягкая обложка' THEN 'м'
        WHEN формат='твёрдая обложка' THEN 'т'
    END
FROM книги;

Улучшенная версия:

SELECT название,
    CASE формат
        WHEN 'мягкая обложка' THEN 'м'
        WHEN 'твёрдая обложка' THEN 'т'
    END
FROM книги;

SELECT
    SUM (
        CASE WHEN страниц >= 0 AND страниц <= 200 THEN 1 ELSE 0 END       
    ) AS "маленькие",
    SUM (
        CASE WHEN страниц > 200 AND страниц <= 600 THEN 1 ELSE 0 END
    ) AS "средние",
    SUM (
        CASE WHEN страниц > 600 THEN 1 ELSE 0 END
    ) AS "большие"
FROM книги;

4. Procedure (процедура)

Процедура - это набор запросов к которым можно дать какое-то название и переиспользовать.
С помощью ключевого слова "CALL" можем вызвать эту процедуру.

CREATE PROCEDURE add_balance(имя text, количество int)
LANGUAGE plpgsql
AS $$
BEGIN
    UPDATE счета 
    SET balance=balance+количество
    WHERE name=имя;
END;
$$;

CALL add_balance('nurgazy', 5);

Разница межлу Процедурами и Триггер функциями:

Триггер функции вызываются автоматически. Используются например чтобы автоматически добавить данные во вторую таблицу когда добавляем новые данные в первую таблицу.
Процедуры вызываем вручную.

5. Контроль доступа

В прошлых уроках мы входили в базу данных как администратор (root user), у нас был полный доступ к базе данных:

Создание новых базы данных
Создание новых таблиц
Добавление данных в таблицу
Чтение данных из таблиц
Создание представлений
Создание индексков

Мы можем создать новый роль/пользователь и дать этому пользователю разрешение только на чтение данных из таблицы.

CREATE USER junior WITH PASSWORD 'junior';

Таким образом можем создать новый роль/пользователь.
По умолчанию у нового пользователя нет никаких разрешений.
Они могут только посмотреть какие таблицы и другие схемы у нас имеются, но могут посмотреть какие данные у нас имеются или изменять данные.

Чтобы войти в базу данных как пользователь junior:

Disconnect from the database
Выберите "Свойства"
В "Соединении" измените "имя пользователя" на "junior", сохраните, и дважды нажмите на 'PostgreSQL 18' под 'Servers' чтобы соединится к базу данных.
Введите пароль аккаунта 'junior', в моем случае имя пользователя и пароль 'junior'.

Выберите базу данных с которым вы хотите работать и нажмите на указанную кнопку чтобы открыть файл для этой базы данных куда вы будете писать запросы.

Это обозначает что вы соединились в базу данных с названием 'my_db1' как пользователь 'junior'.

Если вы теперь напишите SELECT * FROM книги;, вы получите ОШИБКА: permission denied for table книги(Доступ к таблице книги отклонен). Так как мы только что создали пользователь 'junior', у него нет никаких разрешений.

Давайте дадим разрешение пользователю 'junior' читать данные из таблицы книги, сперва нужно выйти из аккаунта 'junior', зайти как админ. Имя пользователя аккаунта с полным разрешением на базу 'postgres'.

Типы разрешений:
Для таблиц:

SELECT: позволяет читать данные (выполнять запросы SELECT).
INSERT: позволяет добавлять новые строки.
UPDATE: позволяет изменять существующие данные.
DELETE: позволяет удалять строки.
REFERENCES: позволяет создавать внешние ключи (foreign keys), ссылающиеся на эту таблицу.

Для баз данных:

CONNECT: позволяет пользователю подключаться к конкретной базе данных.
CREATE: позволяет пользователю создавать новые схемы (schemas) внутри базы данных.

Доступ только для чтения к таблице книги:

GRANT SELECT ON TABLE книги TO junior;

Полный контроль над таблицей:

GRANT ALL PRIVILEGES ON TABLE книги TO junior;

Разрешение на создание объектов в базе данных:

GRANT CREATE ON DATABASE my_db1 TO junior;

Доступ чтения на несколько таблиц:

GRANT SELECT ON TABLE авторы, авторы_книги, издатели TO junior;

Доступ чтения на все таблицы в базе данных

GRANT SELECT ON ALL TABLES IN SCHEMA public TO junior;

Удалить разрешение на чтение данных из таблицы книги

REVOKE SELECT ON TABLE книги FROM junior;

Date

У нас есть 2 столбца про дату публикации книги:

год (2020)
опубликовано (2020-01-01)

Эти столбца разного типа

год INTEGER (номер)
опубликовано Date (Дата)

Если хотим показать книги которые были опубликованы в 2020 году используя столбец год:

SELECT * FROM книги
WHERE год=2020;

Книги которые были опубликованы в 2020 году используя столбец опубликовано:

SELECT * FROM книги
WHERE опубликовано>='2020-01-01' AND опубликовано<='2020-12-12';

SELECT * FROM книги
WHERE EXTRACT(YEAR FROM опубликовано)=2020;

БД5 Практ (View)

Erlan Akbaraliev — Wed, 10 Dec 2025 09:53:16 +0000

Что нужно сделать?

Вы — переписчик населения, работающий на правительство Непала. Преодолев последний холм, вы замираете, поражённый видом гималайского восхода, который озаряет деревню, ради которой вы проделали столь долгий путь. Ваш проводник, местный житель, резко останавливается. Под тихое шуршание ваших переписных листов вы чувствуете приступ любопытства. В конце концов, не каждый день ваша работа приводит вас в такую деревню.

В базе данных обработайте ваши данные в представления (views), которые правительство Непала сможет использовать для ведения учёта.

Создание таблицы и добавление данных

Скачайте этот файл чтобы создать и добавить данные в таблицы:
nepal.sql

Отрывайте файл nepal.sql:
Нажмите на кнопку "выполнить" чтобы создать все таблицы и добавить данные:

Схема таблицы

+--------------------+-------------------+---------------------------------------------------------------------------------------------------------------+
| Столбец (Оригинал) | Столбец (Русский) | Описание                                                                                                      |
+--------------------+-------------------+---------------------------------------------------------------------------------------------------------------+
| id                 | id                | Уникальный идентификатор каждой записи переписи.                                                              |
+--------------------+-------------------+---------------------------------------------------------------------------------------------------------------+
| district           | okrug             | Название округа (района) для данной записи переписи.                                                          |
+--------------------+-------------------+---------------------------------------------------------------------------------------------------------------+
| locality           | naselennyy_punkt  | Название населенного пункта в пределах округа для данной записи.                                              |
+--------------------+-------------------+---------------------------------------------------------------------------------------------------------------+
| families           | sem'i             | Число семей, связанных с данной записью переписи.                                                             |
+--------------------+-------------------+---------------------------------------------------------------------------------------------------------------+
| households         | domokhozyaystva   | Общее число домохозяйств, связанных с данной записью (в одном домохозяйстве может проживать несколько семей). |
+--------------------+-------------------+---------------------------------------------------------------------------------------------------------------+
| population         | naselenie         | Общая численность населения, связанная с данной записью переписи.                                             |
+--------------------+-------------------+---------------------------------------------------------------------------------------------------------------+
| male               | muzhchiny         | Число людей, связанных с данной записью переписи, которые идентифицированы как мужчины.                       |
+--------------------+-------------------+---------------------------------------------------------------------------------------------------------------+
| female             | zhenshchiny       | Число людей, связанных с данной записью переписи, которые идентифицированы как женщины.                       |
+--------------------+-------------------+---------------------------------------------------------------------------------------------------------------+

SELECT * FROM nepal;

📝 Спецификация Задания

1. Rural (Сельская местность)
Напишите SQL-запрос для создания представления с именем rural. Это представление должно содержать все записи переписи, относящиеся к сельскому муниципалитету (который идентифицируется по включению слова "rural" (сельский) в его название). Убедитесь, что представление содержит все столбцы из таблицы nepal.

2. Total (Общий итог)
Напишите SQL-запрос для создания представления с именем total. Это представление должно содержать суммы по каждому числовому столбцу в таблице nepal для всех округов и населенных пунктов. Убедитесь, что представление содержит каждый из следующих столбцов:

families (sem'i): Сумма семей по всем населенным пунктам Непала.
households (domokhozyaystva): Сумма домохозяйств по всем населенным пунктам Непала.
population (naselenie): Сумма населения по всем населенным пунктам Непала.
male (muzhchiny): Сумма людей, идентифицированных как мужчины, по всем населенным пунктам Непала.
female (zhenshchiny): Сумма людей, идентифицированных как женщины, по всем населенным пунктам Непала.

3. By District (По округам)
Напишите SQL-запрос для создания представления с именем by_district. Это представление должно содержать суммы по каждому числовому столбцу, сгруппированные по округу (district). Убедитесь, что представление содержит каждый из следующих столбцов:

district (okrug): Название округа.
families (sem'i): Общее число семей в округе.
households (domokhozyaystva): Общее число домохозяйств в округе.
population (naselenie): Общая численность населения округа.
male (muzhchiny): Общее число людей, идентифицированных как мужчины, в округе.
female (zhenshchiny): Общее число людей, идентифицированных как женщины, в округе.

4. Most Populated (Наиболее населенные)
Напишите SQL-запрос для создания представления с именем most_populated. Это представление должно содержать наиболее населенные округа Непала, отсортированные от большего к меньшему по численности населения. Убедитесь, что представление содержит каждый из следующих столбцов:

district (okrug): Название округа.
families (sem'i): Общее число семей в округе.
households (domokhozyaystva): Общее число домохозяйств в округе.
population (naselenie): Общая численность населения округа.
male (muzhchiny): Общее число людей, идентифицированных как мужчины, в округе.
female (zhenshchiny): Общее число людей, идентифицированных как женщины, в округе.

Решения

CREATE VIEW rural AS
SELECT *
FROM nepal
WHERE locality LIKE '%Rural%';

CREATE VIEW total AS
SELECT SUM(families) as "total_families", SUM(households) as "total_households", SUM(population) as "total_population", SUM(male) as "total_males", SUM(female) as "total_females"
FROM nepal;

CREATE VIEW by_district AS
SELECT district, SUM(families) as "total_families", SUM(households) as "total_households", SUM(population) as "total_population", SUM(male) as "total_males", SUM(female) as "total_females"
FROM nepal
GROUP BY district;

CREATE VIEW most_populated AS
SELECT district, SUM(families), SUM(households), SUM(population), SUM(male), SUM(female)
FROM nepal
GROUP BY district
ORDER BY SUM(population) DESC;

База Данных 5 Views

Erlan Akbaraliev — Thu, 04 Dec 2025 10:49:12 +0000

Введение
👁️ Представления (Views)
Упрощение (Simplifying)
Агрегация (Aggregating)
Common Table Expression (CTE, Общее Табличное Выражение)
🧱 Разделение (Partitioning)
🛡️ Обеспечение Безопасности (Securing)
👻 Мягкое Удаление (Soft Deletions)
🚀 Триггеры (Trigger)

1. Введение

Мы уже научились как создавать базы данных и добавлять данные. Теперь мы рассмотрим способы получения представлений (View) данных.

        авторы              авторы_книги              книги
+----+----------------+ +----------+----------+ +----+----------------+
| id | имя            | | автор_id | книга_id | | id | название       |
+----+----------------+ +----------+----------+ +----+----------------+
| 23 | Ева Балтасар   | | 23       | 1        | | 1  | Валун          |
+----+----------------+ +----------+----------+ +----+----------------+
| 31 | Хан Кан        | | 31       | 74       | | 74 | Белая книга    |
+----+----------------+ +----------+----------+ +----+----------------+
| 27 | Гоз            | | 27       | 4        | | 4  | Стоящий тяжело |
+----+----------------+ +----------+----------+ +----+----------------+
| 58 | Ольга Токарчук | | 58       | 78       | | 78 | Полёты         |
+----+----------------+ +----------+----------+ +----+----------------+

Для того чтобы найти книгу автора Хан Кан, нам пришлось бы проходить через все три таблицы:

сначала найти ID автора
затем соответствующие ID книг
а потом уже названия книг. Можно ли одним запросом вывести все книги и авторы этих вместо того чтобы писать подзапросы?

Да, мы можем использовать команду JOIN в SQL, чтобы объединять строки из двух или более таблиц на основе общего связанного столбца. Вот наглядное представление того, как эти таблицы могут быть соединены, чтобы сопоставить авторов и их книги.

+----------------+----+----------+----------+----+----------------+
| имя            | id | автор_id | книга_id | id | название       |
+----------------+----+----------+----------+----+----------------+
| Ева Балтасар   | 23 | 23       | 1        | 1  | Валун          |
+----------------+----+----------+----------+----+----------------+
| Хан Кан        | 31 | 31       | 74       | 74 | Белая Книга    |
+----------------+----+----------+----------+----+----------------+
| Гоз            | 27 | 27       | 4        | 4  | Стоящий тяжело |
+----------------+----+----------+----------+----+----------------+
| Ольга Токарчук | 58 | 58       | 78       | 78 | Полёты         |
+----------------+----+----------+----------+----+----------------+

Это позволяет легко увидеть, что Хан Канг написала «Белую книгу».

Можно также представить, что мы убрали столбцы с ID, и тогда наше представление будет выглядеть вот так:

+----------------+----------------+
| имя            | название       |
+----------------+----------------+
| Ева Балтасар   | Валун          |
+----------------+----------------+
| Хан Кан        | Белая Книга    |
+----------------+----------------+
| Гоз            | Стоящий тяжело |
+----------------+----------------+
| Ольга Токарчук | Полёты         |
+----------------+----------------+

2. 👁️ Представления (Views)

Представление (View) — это виртуальная таблица, которая определяется с помощью запроса.

Допустим, мы написали запрос, чтобы объединить три таблицы, как в предыдущем примере, а затем выбрали нужные столбцы. Новая таблица, созданная этим запросом, может быть сохранена как Представление, чтобы мы могли делать к ней запросы позже.

✅ Представления полезны для следующих целей:

Упрощение (Simplifying): Объединение данных из разных таблиц для более простого составления запросов к ним.
Агрегация (Aggregating): Выполнение агрегатных функций (например, нахождение суммы) и сохранение результатов.
Разделение (Partitioning): Деление данных на логические части.
Безопасность (Securing): Скрытие столбцов, которые должны оставаться конфиденциальными.

3. Упрощение (Simplifying)

Чтобы найти книги автора Фернанда Мельчор, мы пишем такой подзапрос:

SELECT название FROM книги
WHERE id IN (
    SELECT книга_id FROM авторы_книги
    WHERE автор_id = (
        SELECT id FROM авторы
        WHERE имя = 'Фернанда Мельчор'
    )
);

Этот запрос сложный — вложенный запрос содержит целых три команды SELECT. Чтобы упростить это, давайте сначала используем JOIN для создания Представления (View), содержащего авторов и их книги.

SELECT авторы.имя, книги.название FROM авторы
JOIN авторы_книги ON авторы.id=авторы_книги.автор_id
JOIN книги ON книги.id=авторы_книги.книга_id;

Обратите внимание: Важно указывать, как именно две таблицы соединяются, то есть по каким столбцам происходит соединение (JOIN).
💡: Столбец первичного ключа (Primary Key) одной таблицы обычно соединяется с соответствующим столбцом внешнего ключа (Foreign Key) в другой таблице!
Выполнение этого запроса выведет таблицу, содержащую все имена авторов рядом с названиями книг, которые они написали.

Чтобы сохранить виртуальную таблицу, созданную на предыдущем шаге, в качестве Представления (View), нам необходимо изменить запрос.

CREATE VIEW авторы_книги_предс AS
SELECT авторы.имя, книги.название FROM авторы
JOIN авторы_книги ON авторы.id=авторы_книги.автор_id
JOIN книги ON книги.id=авторы_книги.книга_id;

SELECT * FROM авторы_книги_предс;

Используя это Представление, мы можем значительно упростить запрос, необходимый для поиска книг, написанных Фернандой Мельчор.

SELECT * FROM авторы_книги_предс
WHERE имя='Фернанда Мельчор';

Поскольку Представление является виртуальной таблицей, оно не потребляет значительно больше дискового пространства для своего создания. Данные, отображаемые в Представлении, по-прежнему хранятся в базовых таблицах, но к ним можно получить доступ через это упрощенное Представление.

4. Агрегация (Aggregating)

У нас есть таблица, содержащая индивидуальные оценки (рейтинги), данные каждой книге. На прошлых неделях мы рассматривали, как найти среднюю оценку каждой книги, округленную до двух знаков после запятой.

SELECT книга_id, ROUND(AVG(рейтинг), 2) AS "рейтинг" 
FROM рейтинг
GROUP BY книга_id;

Результаты этого запроса можно сделать более полезными, если отобразить название каждой книги, а также, возможно, год публикации. Эта информация присутствует в таблице книги. Поэтому нужно объединить таблицы книги и рейтинг (join).

SELECT рейтинг.книга_id, книги.название, книги.год, рейтинг.рейтинг FROM книги
JOIN рейтинг ON книги.id=рейтинг.книга_id;

Чтобы получить средний рейтинг каждой книги и год публикации:

SELECT к.id, к.название, к.год, ROUND(AVG(р.рейтинг),2) AS "средний_рейтинг"
FROM книги к
JOIN рейтинг р ON к.id=р.книга_id
GROUP BY к.id;

Чтобы сортировать по id книг:

SELECT к.id, к.название, к.год, ROUND(AVG(р.рейтинг),2) AS "средний_рейтинг"
FROM книги к
JOIN рейтинг р ON к.id=р.книга_id
GROUP BY к.id
ORDER BY к.id;

Эти агрегированные данные могут быть сохранены в Представлении (View):

CREATE VIEW книги_средний_рейтинг AS 
SELECT к.id, к.название, к.год, ROUND(AVG(р.рейтинг),2) AS "средний_рейтинг"
FROM книги к
JOIN рейтинг р ON к.id=р.книга_id
GROUP BY к.id
ORDER BY к.id;

Давайте теперь посмотрим на это представление (view).

select * from книги_средний_рейтинг;

При добавлении новых данных в таблицу рейтинг, чтобы получить актуальные агрегированные (сводные) данные, нам нужно просто повторно запросить используя SELECT.

Посмотри на средний рейтинг книги 'Валун'.
Добавьте новый рейтинг в таблицу рейтинг на книгу 'Валун':

INSERT INTO рейтинг (книга_id, рейтинг)
VALUES
(1, 5);

select * from книги_средний_рейтинг;

После добавления нового рейтинга на книгу 'Валун', средний рейтинг должен измениться. То есть представления всегда дают нам актуальные данные.

Каждый раз когда мы создаем представление (view), он у нас храниться в схеме.

Для создания временных представлений, которые не сохраняются в схеме базы данных, мы можем использовать команду CREATE TEMPORARY VIEW.

Эта команда создает представление, которое существует только на время нашего соединения с базой данных.

Чтобы найти средний рейтинг книг по годам, мы можем использовать Представление (View), которое мы уже создали.

SELECT год, ROUND(AVG(средний_рейтинг), 2) 
FROM книги_средний_рейтинг
GROUP BY год;

Обратите внимание, что мы выбираем столбец среднийрейтинг из Представления книгисредний_рейтинг, который уже содержит средние оценки по каждой книге. Затем мы снова группируем эти оценки по году и повторно вычисляем среднюю оценку, что дает нам средний рейтинг за каждый год!

Без представление, нужно было бы писать такой длинный и немножко сложный запрос:

SELECT к.год, ROUND(AVG(р.рейтинг), 2) AS "средний рейтинг"
FROM книги к
JOIN рейтинг р ON к.id=р.книга_id
GROUP BY к.год;

Мы можем хранить этот средний рейтинг книг по годам в временной представлении:

CREATE TEMPORARY VIEW средний_рейтинг_по_годам AS
SELECT год, ROUND(AVG(средний_рейтинг), 2) 
FROM книги_средний_рейтинг
GROUP BY год;

5. Common Table Expression (CTE, Общее Табличное Выражение)

Обычное Представление (View) существует в схеме нашей базы данных постоянно. Временное Представление (Temporary View) существует в течение всего времени нашего соединения с базой данных. CTE (Common Table Expression, Общее Табличное Выражение) — это Представление, которое существует только для одного единственного запроса.

Давайте воссоздадим Представление, содержащее средние рейтинги книг по годам, используя CTE вместо временного Представления.

Сначала нам нужно удалить существующее временное представление, чтобы мы могли повторно использовать имя книгисреднийрейтинг.

drop view книги_средний_рейтинг;

Далее мы создаем Общее Табличное Выражение (CTE), которое содержит средние оценки по каждой книге. Затем мы используем эти средние оценки по книгам, чтобы вычислить средний рейтинг по годам, во многом так же, как мы это делали ранее.

WITH книги_средний_рейтинг AS (
    SELECT к.id, к.название, к.год, ROUND(AVG(р.рейтинг),2) AS "средний_рейтинг"
    FROM книги к
    JOIN рейтинг р ON к.id=р.книга_id
    GROUP BY к.id
    ORDER BY к.id
)
SELECT год, ROUND(AVG(средний_рейтинг), 2) 
FROM книги_средний_рейтинг
GROUP BY год;

6. 🧱 Разделение (Partitioning)

Представления могут использоваться для разделения данных (partitioning), то есть для разбиения их на более мелкие части, которые будут полезны нам или приложению.

🧐 Как это работает?
Вместо того чтобы заставлять приложение или пользователя работать со всей огромной таблицей, мы можем создать несколько Представлений, каждое из которых будет содержать данные только по определенному критерию (например, книги, вышедшие до 2020 года, или книги, переведенные с испанского языка).

CREATE VIEW "2020" AS
SELECT id, название FROM книги
WHERE год = 2020;

SELECT * FROM "2020";

🔄 Можно ли обновлять Представления (Views)?
Нет, Представления нельзя обновлять (напрямую), потому что они не хранят данные, как это делают таблицы.
На самом деле, Представления извлекают данные из базовых таблиц каждый раз, когда к ним поступает запрос.
Это означает, что когда обновляется базовая таблица, при следующем запросе Представление отобразит актуальные данные из этой таблицы!

7. 🛡️ Обеспечение Безопасности (Securing)

Представления могут использоваться для повышения безопасности базы данных путем ограничения доступа к определенным данным.

Рассмотрим базу данных компании, предоставляющей услуги совместных поездок (rideshare), в которой есть таблица rides (поездки), которая выглядит следующим образом:

Если бы мы предоставили эти данные аналитику, чья задача — найти самые популярные маршруты поездок, было бы нерелевантно и, более того, небезопасно давать ему имена отдельных пассажиров.

Имена пассажиров, вероятно, относятся к Личной Идентифицирующей Информации (PII), которую компаниям не разрешено распространять без разбора.

В такой ситуации Представления (Views) могут быть очень полезны: мы можем предоставить аналитику представление, содержащее только точки отправления и назначения поездок, но без имен пассажиров.

CREATE VIEW analysis AS
SELECT id, origin, destination, 'Anonymous' AS "rider" 
FROM rides;

8. 👻 Мягкое Удаление (Soft Deletions)

Мягкое удаление (soft deletion) включает в себя пометку строки как удаленной, вместо ее полного удаления из таблицы.

Например, произведение искусства под названием «Farmers working at dawn» помечается как удаленное из таблицы collections (коллекции) путем изменения значения в столбце deleted (удалено) с 0 на 1.

Таким образом мы можем изменять значение столбца 'deleted', мягко указать удалены ли строки.

UPDATE collections
SET deleted = 1 
WHERE title = 'Farmers working at dawn';

Чтобы добавить новый столбец 'deleted':

ALTER TABLE collections
ADD COLUMN deleted INTEGER DEFAULT 0;

Еще из не удаленных данных можно создать представление (view):

CREATE VIEW current_collections AS
SELECT id, title
FROM collections
WHERE deleted = 0;

SELECT * FROM current_collections;

Запрос для создании и добавлении данных:

CREATE TABLE collections (
    id SERIAL PRIMARY KEY,
    title TEXT,
    deleted INT DEFAULT 0
);

INSERT INTO collections (title)
VALUES 
('Farmers working'),
('Imaginative land'),
('Profusion of'),
('Peonies and');

9. 🚀 Триггеры (Triggers)?

Триггер — это автоматический "сторож" в базе данных, прикрепленный к определенной таблице.

Он представляет собой специальную процедуру, которая автоматически запускает заранее написанную функцию (код) каждый раз, когда происходит конкретное событие с данными в этой таблице:

Добавление (INSERT)
Изменение (UPDATE)
Удаление (DELETE)

В таблице users при каждом обновлении пароля он автоматически запишет в таблицу user_logs: "Пароль был обновлен в такое-то время".

Таким образом, триггеры обеспечивают автоматизацию и контроль над изменениями данных.

Давайте удалим таблицы users, user_logs и все триггерные функции и заново все напишем

Создайте таблицы:

CREATE TABLE users (
    id SERIAL PRIMARY KEY,
    username VARCHAR(15) NOT NULL UNIQUE,
    password TEXT NOT NULL
);

CREATE TABLE user_logs (
    id SERIAL PRIMARY KEY,
    type VARCHAR(10) NOT NULL CHECK(type IN ('insert', 'delete', 'update')),
    old_username VARCHAR(15),
    new_username VARCHAR(15),
    old_password TEXT,
    new_password TEXT,
    data_time timestamp DEFAULT CURRENT_TIMESTAMP
);

Триггер-функция (log_user_inserts_func) нужна, чтобы автоматически добавлять запись о создании нового пользователя в таблицу user_logs сразу после того, как новый пользователь был добавлен в таблицу users.

Она записывает тип события ('insert') и данные нового пользователя (NEW.username, NEW.password).

CREATE OR REPLACE FUNCTION log_user_inserts_func()
RETURNS TRIGGER AS $$
BEGIN
    INSERT INTO user_logs (type, old_username, new_username, old_password, new_password)
    VALUES ('insert', NULL, NEW.username, NULL, NEW.password);
    RETURN NEW;
END;
$$ language plpgsql;

CREATE TRIGGER log_user_inserts
AFTER INSERT ON users
FOR EACH ROW
EXECUTE FUNCTION log_user_inserts_func();

Триггер-функция чтобы автоматически добавлять запись о обновлении данных пользователя в таблицу user_logs.

CREATE OR REPLACE FUNCTION log_user_updates_func()
RETURNS TRIGGER AS $$
BEGIN
    INSERT INTO user_logs (type, old_username, new_username, old_password, new_password)
    VALUES ('update', OLD.username, NEW.username, OLD.password, NEW.password);
    RETURN NEW;
END;
$$ LANGUAGE plpgsql;

CREATE TRIGGER log_user_updates
AFTER UPDATE ON users
FOR EACH ROW
EXECUTE FUNCTION log_user_updates_func();

Триггер-функция чтобы автоматически добавлять запись о удалении данных пользователя в таблицу user_logs.

CREATE OR REPLACE FUNCTION log_user_deletes_func()
RETURNS TRIGGER AS $$
BEGIN
    INSERT INTO user_logs (type, old_username, new_username, old_password, new_password)
    VALUES ('delete', OLD.username, NULL, OLD.password, NULL);
    RETURN OLD;
END;
$$ LANGUAGE plpgsql;

CREATE TRIGGER log_user_deletes
AFTER DELETE ON users
FOR EACH ROW
EXECUTE FUNCTION log_user_deletes_func();

БД4 Практ (Insert)

Erlan Akbaraliev — Tue, 02 Dec 2025 09:34:42 +0000

Вы — обученный «пентестер». Компании часто нанимают вас для проведения тестов на проникновение и составления отчётов об уязвимостях в их информационных системах. Не так давно вас наняла небольшая фирма, которой было необходимо провести такой тест на базе данных Posgresql — той самой, что обслуживает их сайт с умеренным трафиком.

Чтобы успешно выполнить эту скрытую операцию, вам нужно…

Изменить пароль административной учётной записи сайта (UPDATE).
Удалить из базы данных любые журналы, в которых зафиксировано изменение пароля (DELETE).
Добавить ложные данные, чтобы сбить компанию со следа (INSERT).

И вот представился золотой шанс: вам удалось проникнуть в офис компании как раз в тот момент, когда один из программистов покинул своё рабочее место. Его подключение к базе данных всё ещё открыто. Вы предполагаете, что у вас есть 5 минут до его возвращения. Готовы?

Скачайте этот файл чтобы создать и добавить данные в таблицы:
БД4

Отрывайте файл БД4.sql:
Нажмите на кнопку выполнить чтобы создать все таблицы и добавить данные:

Схема

У вас создадутся таблицы users и user_logs.

Таблица users (Пользователи)
ID: Уникальный номер пользователя.
username: Имя, под которым пользователь входит в систему.
password: Пароль (хеш пароля).
Таблица user_logs (Журнал действий)
Что хранит: Она хранит запись о каждом действии (создание, обновление, удаление), которое происходило с аккаунтами.

type: Какое действие произошло (insert–создан, update–изменен, delete-удален).
old_username / new_username: новоеимяпользователя / староеимяпользователя
old_password / new_password: старыйпароль / новыйпароль

Боюсь, времени объяснять структуру базы данных почти нет. Помните, что вы можете просмотреть схему базы данных с помощью команды SELECT.

Техническое задание

Напишите последовательность SQL-запросов, которые должны выполнить следующее:

Изменить пароль административной учётной записи admin на "oops!" (UPDATE).
Удалить любые журналы (логи), в которых записано изменение пароля (DELETE).
Добавить ложные данные, чтобы запутать следы. В частности, чтобы подставить emily33, нужно создать видимость, будто в таблице user_logs пароль учётной записи admin был изменён на пароль пользователя emily33 (INSERT).

Также имейте в виду, что пароли обычно не хранятся в «открытом виде» — то есть в виде обычного текста. Вместо этого они «хэшируются» (преобразуются в специальную форму) для защиты конфиденциальности. Учитывая это, вам нужно удостовериться, что новый пароль для учётной записи admin тоже будет записан в виде хэша. К счастью, вы знаете, что пароли в таблице users уже хранятся как MD5 hashes. Вы можете быстро сгенерировать такие хэши из текста на сайте md5hashgenerator.com.

Время пошло!

Решения

Изменить пароль admin на “oops”. Сначала зайдите на md5hashgenerator.com и получите MD5-хэш слова "oops", затем выполните:

UPDATE users
SET password='02c77002a0c646684b3325959fe147b2'
WHERE username='admin';

2.Удалить логи изменения пароля из user_logs

DELETE FROM user_logs
WHERE type='update' AND old_username='admin';

3.Добавить ложные данные в user_logs: будто пароль admin был изменён с “oops” на пароль emily33 (в хэшированном виде).

INSERT INTO user_logs (type, old_username, new_username, old_password, new_password)
VALUES ('update', 'admin', 'admin', 'e10adc3949ba59abbe56e057f20f883e', '44bf025d27eea66336e5c1133c3827f7');

DB4 Pract (Insert)

Erlan Akbaraliev — Tue, 02 Dec 2025 08:20:53 +0000

You’re a trained “pentester.” Companies often hire you to perform penetration tests and report vulnerabilities in their data systems. Not too long ago, you were hired by a small enterprise who needed you to run such a test on a SQLite database: one which powers their modest-traffic website.

To succeed in this covert operation, you’ll need to…

Alter the password of the website’s administrative account.
Erase any logs of the above password change recorded by the database.
Add false data to throw the company off of your trail. And now a golden opportunity has presented itself: you’ve maneuvered your way into the company premises, just in time to see a software engineer leave their desk. The engineer’s connection to the database is still open. You estimate you have 5 minutes before they come back. Ready?

Download the database: dont-panic.db

Run the following commands (cd Downloads, sqlite3 dont-panic.db) in your terminal to open the database. You can open the terminal on your mac by space+enter and write 'Terminal'.

cd Downloads

sqlite3 dont-panic.db

sqlite> .tables
items      orders     user_logs  users

sqlite> select * from users limit 5;
id  username  password
--  --------  --------------------------------
1   admin     02c77002a0c646684b3325959fe147b2
2   emily33   44bf025d27eea66336e5c1133c3827f7
3   zad28     185f20cc5599d33a1a94eb426112c78a
4   mario17   ccce73b2ef30ecf08c9cf0e802fa9149
5   ezra2     dbbe590bcc018ea53ca04caf89e0a98c

sqlite> select * from user_logs limit 5;
id  type    old_username  new_username  old_password  new_password
--  ------  ------------  ------------  ------------  --------------------------------
1   insert                admin                       e10adc3949ba59abbe56e057f20f883e
2   insert                emily33                     44bf025d27eea66336e5c1133c3827f7
3   insert                zad28                       185f20cc5599d33a1a94eb426112c78a
4   insert                mario17                     ccce73b2ef30ecf08c9cf0e802fa9149
5   insert                ezra2                       dbbe590bcc018ea53ca04caf89e0a98c

Schema

Afraid there’s not much time to explain the database’s schema. Remember you can access a SQLite database’s schema with .schema.

Specification

Write a sequence of SQL statements to achieve the following:

Alter the password of the website’s administrative account, admin, to instead be “oops!” (UPDATE).
Erase any logs of the above password change recorded by the database (DELETE).
Add false data to throw others off your trail. In particular, to frame emily33, make it only appear—in the user_logs table—as if the admin account has had its password changed to emily33’s password (INSERT).

Also keep in mind that passwords are usually not stored “in the clear”—that is, as the plain characters that make up the password. Instead they’re “hashed,” or scrambled, to preserve privacy. Given this reality, you’ll need to ensure the password to which you change the administrative password is also hashed. Thankfully, you know that the passwords in the users table are already stored as MD5 hashes. You can generate quickly generate such hashes from plaintext at md5hashgenerator.com.

Clock’s ticking!

Solutions

Alter the password of admin to hashed 'oops'. First visit md5hashgenerator.com and hash the word "oops", then%

UPDATE users
SET password='02c77002a0c646684b3325959fe147b2'
WHERE username='admin';

Delete logs of password change from user_logs

DELETE FROM user_logs
WHERE type='update' AND old_username='admin';

Add false data to user_logs, admin password was changed from 'oops' to emily33's password (hashed).

INSERT INTO user_logs (type, old_username, new_username, old_password, new_password)
VALUES ('update', 'admin', 'admin', 'e10adc3949ba59abbe56e057f20f883e', '44bf025d27eea66336e5c1133c3827f7');

БД3 Практ (Create)

Erlan Akbaraliev — Mon, 01 Dec 2025 09:33:18 +0000

✈️ Задание 1. Проектирование схемы базы данных (PostgreSQL, pgAdmin4)

Международный аэропорт Хартсфилд-Джексон (Hartsfield-Jackson International Airport), более известный под кодом ATL, является самым загруженным аэропортом в мире с 1998 года. Он расположен в Атланте, штат Джорджия, США, и обслужил 93.7 миллиона пассажиров в 2022 году. Возможно, вы были одним из них!

Представьте, что вас только что наняли помочь ATL заново спроектировать их систему баз данных.

📌 Требования

Чтобы понять требования ATL к базе данных, вы провели разговор с заместителем генерального менеджера по IT-операциям.

👤 Пассажиры

Что касается наших пассажиров, нам нужно хранить только основную информацию:
имя, фамилию и возраст.
Никаких лишних данных.

🛄 Регистрация (Check-Ins)

Когда пассажиры прибывают в ATL, они часто регистрируются на рейс — подтверждают, что прибыли и готовы к посадке. Нам нужно вести аккуратный журнал таких действий. А именно хранить:

точные дата и время регистрации
рейс, на который происходит регистрация (нельзя потерять информацию, куда они направляются!)

🛫 Авиакомпании

ATL — крупный хаб для множества авиакомпаний: Delta, British Airways, Air France, Korean Air, Turkish Airlines и многих других. Нам нужно хранить:

название авиакомпании
конкорс (секция аэропорта), из которого она работает У нас есть 7 конкорсов: A, B, C, D, E, F и T

🛩 Рейсы

Мы обслуживаем около 1000 рейсов в день. Чтобы пассажиры всегда были в курсе, нам нужно хранить критически важные данные о каждом рейсе:

номер рейса (например, “900”) (иногда мы повторно используем старые номера)
авиакомпания, выполняющая рейс (предполагаем: один рейс = одна авиакомпания)
код аэропорта отправления (например, “ATL” или “BOS”)
код аэропорта прибытия
ожидаемые дата и время вылета (точность до минуты)
ожидаемые дата и время прибытия (также до минуты)

📋 Пример данных

Ваша база данных должна уметь хранить следующие примеры:

✔ Пассажир

Amelia Earhart, возраст 39

✔ Авиакомпания

Delta, работает в конкорсе A

✔ Рейс

Delta Flight 300, ожидаемый вылет из ATL
3 августа 2023 года в 18:46, прибытие в BOS
3 августа 2023 года в 21:09

✔ Регистрация

Регистрация Amelia Earhart
на Delta Flight 300
3 августа 2023 года в 15:03

Решение

CREATE TABLE пассажиры(
    id INTEGER,
    имя TEXT NOT NULL,
    фамилия TEXT,
    возраст INTEGER,
    PRIMARY KEY(id)
);

CREATE TABLE регистрации(
    id INTEGER,
    дата_время TIMESTAMPTZ NOT NULL DEFAULT CURRENT_TIMESTAMP,
    рейс_id INTEGER,
    PRIMARY KEY(id),
    FOREIGN KEY(рейс_id) REFERENCES рейсы(id)
);

CREATE TABLE авиакомпании(
    id INTEGER,
    название TEXT NOT NULL UNIQUE,
    конкорс TEXT NOT NULL CHECK(конкорс IN ('A','B','C','D','E','F','T')),
    PRIMARY KEY (id)
);

CREATE TABLE рейсы (
    id INTEGER,
    номер_рейса INTEGER NOT NULL,
    авиакомпания_id INTEGER,
    аэропорт_отправления TEXT NOT NULL UNIQUE,
    аэропорт_прибытия TEXT NOT NULL UNIQUE,
    вылет TIMESTAMPTZ NOT NULL,
    прибытие TIMESTAMPTZ NOT NULL,
    PRIMARY KEY(id),
    FOREIGN KEY(авиакомпания_id) REFERENCES авиакомпании(id)
);