была подобная проблема,делал что то типа сесий на каждый поток очень гемаройно ,а вот про индексацию что то не подумал