В доме моём горит синий огонь, все тихо спокойно, газ греет сковороду.

Грамматика языка – это множество правил, позволяющих определить, какие последовательности слов приемлемы в качестве предложений этого языка. Она определяет, как из слов образуются словосочетания и какие последовательности этих словосочетаний допустимы. Если задана грамматика некоторого языка, то для любой последовательности слов мы можем сказать, является ли она допустимым предложением. И в случае, когда это предложение действительно является допустимым, в результате проверки мы определим, какие естественные группы слов имеются и как они связаны друг с другом. То есть будет определена внутренняя структура предложения.

Очень простой класс грамматик составляют так называемые контекстно-свободные грамматики. Вместо того, чтобы давать формальное определение понятия контекстно-свободной грамматики, мы проиллюстрируем его на одном простом примере. Приведенные ниже правила можно рассматривать как начальную часть грамматики предложений английского языка:

предложение--› группа_существительного, группа_глагола.
группа_существительного--› определитель, существительное.
группа_глагола--› глагол, группа_существительного.
группа_глагола--› глагол.
определитель--› [the].
существительное--› [apple].
существительное--› [man].
глагол--› [eats].
глагол--› [sings].
группа_существительного(Х):- присоединить(Y,Z,Х), определитель(Y), существительное(Z).
группа_глагола(Х):- присоединить(Y,Z,Х), глагол(Y), группа_существительного(Z).
группа_глагола(Х):- глагол(Х).

1. Целью является предложение(thе, man, eats, the, apple]).

2. Разбиение исходного списка на два списка Y и Z. Возможны следующие варианты разбиения;

Y = [], Z = [the,man,eats,the,apple] Y = [the], Z = [man,eats,the,apple]

Y= [the,man], Z = [eats,the,apple]

Y= [the,man,eats], Z = [the,apple]

Y= [the,man,eats,the], Z = [apple]

Y= [the, man, eats, the, apple], Z = []

3. Выбор варианта значений для Y и Z из приведенного выше списка вариантов и проверка принадлежности Y классу группа_существительного. То есть, попытка согласования подцели группа_существительного(Y).

4. Если группа_существительного выполняется для Y, то перейти к группа_глагола. Иначе возвратиться к шагу 3 и попробовать другой вариант.
phrase (P,L) истинно, если список L является допустимым словосочетанием типа Р.

Здесь быстро не разобраться.

Лекцию, как будет время посмотрю, у меня возможности посмотреть нет.

Выглядит очень заманчива, к каждому слову дать свой цифирный код. Здесь на сайте для удобства его раскрасили в цвета.
Если внимательно посмотреть, между королем, мужчиной и женщиной есть разница. Между мужчиной и женщиной она менее заметна, чем между королем.

Можно заметить несколько вещей:

Через все слова проходит одна красная колонка. То есть эти слова похожи в этом конкретном измерении (и мы не знаем, что в нём закодировано).
Вы можете увидеть, что «женщина» и «девушка» во многом похожи. То же самое с «мужчиной» и «мальчиком».
«Мальчик» и «девочка» тоже похожи в некоторых измерениях, но отличаются от «женщины» и «мужчины». Может быть, это закодировано смутное представление о молодости? Вероятно.
Всё, кроме последнего слова — это представления людей. Я добавил объект (воду), чтобы показать различия между категориями. Например, вы можете увидеть, как синий столбец идёт вниз и останавливается перед вектором «воды».
Есть чёткие измерения, где «король» и «королева» похожи друг на друга и отличаются от всех остальных. Может, там закодирована расплывчатая концепция королевской власти?
КодПрочитал обе статьи, интересно стало, как сделать выделения слов близких по смыслу "Word2Vec в режиме «skipgrams» — то есть в режиме выделения слов по их окружению, тогда как вторая выдача — Word2Vec в режиме «bag of words» — выделение слов вместе с их окружением."

Это Питерский сайт.
Существует две школы - Московская и Питерская.
Отличаются не принципиальными нюансами в плане построения синтаксического дерева.
Свои arm.dll и dwf.dll я делал с ребятами из МГУ.
Отсюда и различия в дереве, если поместить текст примера в мой синтаксический анализатор.
Запятые, в моём варианте, тут заменили на AND - не суть. Нюансы проявляются в другом.
Не факт, что надо простые предложения одного сложного присоединять к главному слову первого предложения, тогда уж к абстрактному ROOT. Главным словом может быть и не сказуемое.
И может быть:
— сказуемое может быть как простым, так и сложным;
— сложное сказуемое состоит из двух и более сказуемых, имеющих одно и то же число и время;
В природе существует всего четыре программы построения синтаксического дерева, включая мою.
Самая лучшая, это у моего знакомого, про которого писал постом выше. Но она очень "тормозная".
Постараюсь найти ссылки. Очень интересно почитать про разбор редких форм предложения. По моему в Facebook-е писал.
На самом деле это всё картинки и не более. На практике важны зависимые пары слов.
Всё необходимое делает компонент hiTracerouter.

Библиотеки для компонентов тоже написаны на прологе.
Я-же предлагаю оперировать абстракциями на уровне семантики и более высших порядков тоже на прологе.
На нейронных сетях у меня отрицательный опыт. Справедливей сказать, что они заточены на уровень похожести чего-то на что-то и малоуправляемы без переучивания.

Ничего там сложного нет, просто корявым языком написано в стиле восьмидесятых.
Просто я намекаю, что по образу и подобию, надо попробовать автоматизировать процесс подбора слов для категорий(разбиение словаря на категории).
И делается это по текстам, а не по словарю. Например вот это я тоже не вручную делал. https://yadi.sk/d/ovVh1jXbAGfT0A
Я тоже в процессе эксперимента с категориями(понятиями).

Вектор характеризуется величиной и направлением - направленный отрезок прямой.
Это значит, что множество векторов находящихся близко в пространстве будут понятиями.
Конц вектора - это слово. Суммарное действие правил определяют направление вектора, а частотность длину. (упрощёно)
Слова(вектора) находящиеся на границах этих областей могут принадлежать нескольким категориям(понятиям).
Таким образом мы можем с большой точностью выбирать слова лежащие на поверхности векторного поля.

http://panchenko.me/data/joint/senses/senses-librusec-all.norm-sz500-w10-cb0-it3-min5.w2v.vocab_1100000_similar250.conv-cw-e0-N200-n200-minsize5.csv.gz
Или это
http://panchenko.me/data/joint/ru/ddt-ru150g_trigram__FreqSigLMI__PruneContext_s_0.0_w_10_f_10_wf_0_wpfmax_1000_wpfmin_2_p_1000__AggrPerFt__SimCount_sc_one_ac_False__SimSortlimit_200_minsim_2-cw-e0-N200-n200-minsize5.csv.gz
Но мне это не нравится. А может для моих задач не очень подходит, да ещё мусор из разных падежей - фильтровать замучаешься. Надо ещё раз подумать.
Пример записи в формате CSV для слова "словесность":
словесность литература:0.693631, словесности:0.673393, поэзия:0.657318, литературу:0.646993, поэзию:0.625772, филология:0.623357, словесностью:0.614474, проза:0.610109, литературы:0.591108, литературная:0.583375, литератур:0.581673, литературоведение:0.581571, поэтику:0.576219, литтература:0.575055, прозу:0.571903, беллетристика:0.570541, книжность:0.567516, драматургия:0.565701, поэтика:0.565087, стихотворство:0.562407, публицистику:0.560926, публицистика:0.558548, журналистика:0.558000, допушкинскую:0.557183, поэзии:0.553815, литературные:0.552337, пиитику:0.550831, литературное:0.548529, допушкинской:0.547422, послепушкинская:0.545402, неотлучимы:0.545200, филологическая:0.542263, кребильйона:0.542140, реторической:0.541381, паралитературу:0.540992, своебытная:0.540851, риторика:0.540751, литературой:0.539374, пиитики:0.538791, бытописательскую:0.538671, витийственная:0.538429, пиитика:0.538293, японоязычная:0.537896, сентименталистская:0.536457, эстетика:0.536436, кантемиро:0.534982, эссеистика:0.534580, литературную:0.534455, преполнейший:0.534125, риторику:0.532908, философию:0.530697, литературных:0.530465, койпергейме:0.530071, литературной:0.529084, прозы:0.528637, допушкинское:0.528361, беллетристику:0.528068, философия:0.527975, художественная:0.527742, лингвопоэтика:0.527723, пиитике:0.526392, обэриутскую:0.525666, виршевой:0.525662, грамматика:0.525596