使用PostgreSQL找到流行的字符串

Question

我在PostgreSQL表中有一堆文本行，我正在尝试查找常见的字符串。

例如，假设我有一个基本表，例如：

CREATE TABLE a (id serial, value text);
INSERT INTO a (value) VALUES
    ('I go to the movie theater'), 
    ('New movie theater releases'), 
    ('Coming out this week at your local movie theater'),
    ('New exposition about learning disabilities at the children museum'),
    ('The genius found in learning disabilities')
;

我正在尝试在所有行中movie theater以及learning disabilities所有行中找到流行的字符串（目标是显示“趋势”字符串之类的列表，例如Twitter“趋势”之王）

我使用全文搜索，并且尝试ts_stat结合使用，ts_headline但是结果令人失望。

有什么想法吗？谢谢！

Answer 1

没有现成的Posgres文本搜索功能可以找到最受欢迎的短语。对于两个单词的短语，您可以ts_stat()用来查找最流行的单词，消除质点，介词等，并将这些单词交叉连接以查找最流行的单词对。

对于实际数据，您需要更改标记为--> parameter.的值。对于较大的数据集，查询可能会非常昂贵。

with popular_words as (
    select word
    from ts_stat('select value::tsvector from a')
    where nentry > 1                                --> parameter
    and not word in ('to', 'the', 'at', 'in', 'a')  --> parameter
)
select concat_ws(' ', a1.word, a2.word) phrase, count(*) 
from popular_words as a1
cross join popular_words as a2
cross join a
where value ilike format('%%%s %s%%', a1.word, a2.word)
group by 1
having count(*) > 1                                 --> parameter
order by 2 desc;


        phrase         | count 
-----------------------+-------
 movie theater         |     3
 learning disabilities |     2
(2 rows)