Забить память по максимуму
Вопрос: Возможно ли как-то указать в sql запросе модерируемый объем памяти? Предположим есть большая база данных, а у меня всего 4 гб свободной пямяти (может быть и больше и меньше). Я хочу выбрать максимальное кол-во строк и присвоить этот список переменной, так чтобы компьютер не зависнул.
Что-то вроде этого:
from sqlalchemy import create_engine
import pandas as pd
db_connection = 'mysql+pymysql://Baron:Baroness@localhost/test_base'
conn = create_engine(db_connection)
data = pd.read_sql("SELECT * FROM table_name WHERE (указание на свободную память)", conn)
Или может есть какая-то модерируемая настройка памяти в самой Mysql для определенных таблиц?
Все известные мне алгоритмы машинного обучения будут создавать дополнительные временные и результируюшие матрицы в памяти, поэтому при первом же вызове model.fit(X_train, y_train) - вы скорее всего получите MemoryError при таком подходе...
В реляционных БД обычно можно указать максимальное число строк, которое вы хотите получить:
N = 10**5
sql = f"SELECT * FROM table_name ORDER BY rand() LIMIT {N}"
data = pd.read_sql(sql, conn)
Число строк N можно попытаться посчитать динамически - например прочитать 1000 строк из БД в DataFrame и посмотреть сколько памяти занимает данный DF (df.memory_usage().sum()) и дальше расчитать сколько строк нужно читать...
-
17:01
-
11:24
-
10:16
-
17:54
-
22:01
-
13:03
-
12:54
Айфон мало держит заряд, разбираемся с проблемой вместе с AppLab
-
21:25
-
07:04
- Почему SERVER_ADDR имеет не тот IP 47563 visits
- Как заменить $_SERVER[REMOTE_ADDR] на IP клиента в PHP за двумя Nginx? 30496 visits
- Хочу вывести несколько строк из массива в один div, выводит только много undefined; подскажите, что делать? 23632 visits
- Как через css изменить цвет png изображения? 10350 visits
- Blob video url download 9959 visits
- Php curl запрос через прокси с авторизацией 9212 visits
- Работа с captcha vk api 8094 visits
© "hostciti.net" 26.11.2024 | 22:01