Автоматическая генерация коротких текстов на основе применения нейронных сетей LSTM и SeqGAN Н. А. Кривошеев, Ю. А. Иванова, В. Г. Спицын
Material type:
ArticleContent type: Текст Media type: электронный Other title: Automatic generation of short texts based on the use of neural networks LSTM and SeqGAN [Parallel title]Subject(s): генерация текста | состязательное обучение с подкреплением | нейронные сетиGenre/Form: статьи в журналах Online resources: Click here to access online
In:
Вестник Томского государственного университета. Управление, вычислительная техника и информатика № 57. С. 118-130Abstract: Проведено исследование качества генерации коротких текстов на основе применения нейронных сетей LSTM и SeqGAN на русском и английском языках. Для обучения нейронной сети используются следующие подходы: оценка максимального правдоподобия и состязательная сеть, генерирующая последовательность (Sequence Generative Adversarial Nets, SeqGAN). В данной работе реализация SeqGAN не включает алгоритм Монте-Карло. Предложен и реализован подход на основе возведения значений выходного вектора нейронной сети (вектора вероятностей) в степень, большую 1, данная операция позволяет увеличить качество генерируемого текста, но снижает его разнообразие. Обучение и тестирование проводятся на основе следующих выборок данных: сборника русских стихов с сайта Stihi.ru и подписей к изображениям на английском языке из выборки COCO Image Captions. Проведена оценка качества генерации текстов на основе метрики BLEU. Приведены примеры сгенерированных текстов. Проанализированы аналогичные решения.
Библиогр.: 26 назв.
Проведено исследование качества генерации коротких текстов на основе применения нейронных сетей LSTM и SeqGAN на русском и английском языках. Для обучения нейронной сети используются следующие подходы: оценка максимального правдоподобия и состязательная сеть, генерирующая последовательность (Sequence Generative Adversarial Nets, SeqGAN). В данной работе реализация SeqGAN не включает алгоритм Монте-Карло. Предложен и реализован подход на основе возведения значений выходного вектора нейронной сети (вектора вероятностей) в степень, большую 1, данная операция позволяет увеличить качество генерируемого текста, но снижает его разнообразие. Обучение и тестирование проводятся на основе следующих выборок данных: сборника русских стихов с сайта Stihi.ru и подписей к изображениям на английском языке из выборки COCO Image Captions. Проведена оценка качества генерации текстов на основе метрики BLEU. Приведены примеры сгенерированных текстов. Проанализированы аналогичные решения.
There are no comments on this title.