Вопрос, скорей всего, к Tad
Как правильнее избавляться, от дубликатов (полностью одинаковых строк в БД)

Вариант 1
Перед подачей запроса на добавление, подавать запрос на существование такой записи. Если такой записи нет, то подавать запрос на добавление
Проверка происходит в HiAsm
Недостаток - при больших количествах строк на добавление, сильно увеличивается время работы

Вариант 2
Задать уникальность (UNIQUE) для группы столбцов и отключить сообщение об ошибках при занесении
Проверка происходит в sqlite
Недостаток - отключение сообщений об ошибках.
Что будет делать sqlite, ели ошибка внутри transaction

Вариант 3
Занести все в БД. Уникальность обеспечит уникальный ключ. А потом запросом удалить дубликаты