Честно сказать, то я не помню такой схемы

Редактировалось 2 раз(а), последний 2021-05-22 08:01:51

А это не на базе штатных примеров, где *.csv преобразуется в SQlite

хм.. что-то не видел такого в штатных примерах.. это в ВиндовсДатаБэйс?

Да не было такого, че-то я делал подобное на базе штатных примеров

Кстати, а на счет загрузки кучки строк: как правильно сделать INSERT не каждой строки по-отдельности, а всех сразу (5-10 строк)? Чтоб выиграть во времени.

Если вспомнить, что в компе все обрабатывается последовательно (для строк - посимвольно), то только скоростной многоядерный процессор и скоростной хард смогут помочь.
Чем короче строка - тем быстрее она записывается в БД.
Чем оптимальней запрос к БД - тем скорее получаешь результат.

Многоядерный процессор, несколько (по числу ядер) баз в ОЗУ и работа в несколько потоков. Потом, правда, маета с несколькими базами нивелирует всю выгоду от параллельных вычислений.

Эт я наверное выразился неправильно в заполночное время
Просто каждый раз при записи в базу (на диск) идет обращение к файлу, создание журнала работы с базой и т.д.. Хочу эти мои строки не по-одной записывать, а как-то пачечкой. Или это делается обычным запросом, где каждый запрос в новой строке?

Neo, Когда-то я уже писал про ускорение загрузки в это теме поищи.
Tad справедливо заметил, что при таком способе сильно повышается риск потери информации, но зато колоссальный прирост скорости при больших объемах

miver, спасибо за вариант, но мне данные терять нельзя совсем.
А можно просто все запросы послать списком строк?

У меня вообще задача такая: данные, приходящие со скоростью 20 строк в секунду, нужно писать в базу. Она должна быть на диске, ибо используется как лог, не более.
Вот чтоб не делать каждый раз запись отдельно (это немного тормозит), я решил буферезировать штук 10 (может 20), а потом эту пачку записать в новом потоке.

Neo, вообще-то он Вам предложил именно такой вариант, начните с PRAGMA synchronous=OFF, это отключит ожидание записи на диск. SQLite по умолчанию может до двух мегабайт данных буферизировать в память, ожидая пока диск запишет предыдущую порцию. И этот буфер можно увеличивать.

Нахрена. Используй UDP порт для связки модуля получения данных и модуля записи в базу. UDP порт имеет системный буфер, тебе не нужно будет делать свой. К тому же, движок базы сам имеет буфер комманд

Да конечно, но скорости это не добавит.
Используй transaction без отключения синхронизации и хранения в памяти

ну так пиши сразу в файл напрямую будет быстрее. Зачем тебе БД , если запросы к ней делать не будеш

1nd1g0, но ведь упомянуто же, что сильно возрастает риск потери данных.
А движок будет буферизировать, если провести PRAGMA synchronous=OFF ? - запутался

Может у базы и есть сбой буфер, но при записи в файлы от 5Мб идут тормоза главного потока. Вот и хочу тут вставить буфер и в базу писать из параллельного потока. Это неверно?