在句子层次上找出每个单词的频率

Question

我有一个文本文件，其中的文字是语音标记的一部分。文件可以在这里看到。因此，每个单词及其标记都在一行中。句子由标记空间划分。我正在尝试创建一个程序，1）查找频率高于1的单词，包括句子级别的标记名词、动词、ADJ和ADV 2）打印找到的频率总和。我创建的程序错误地计算了频率，因为它在前面的句子中添加了相同单词的频率。这不是我想要的。我想计算每个句子中项目（单词和标记）的频率，而不累积之前句子的频率。有人能帮我完成这项任务吗？到目前为止，我的代码如下：

while True:
    try:
        file_to_open =Path("Please, insert your file path: "))
        with open(file_to_open,'r', encoding="utf-8") as f:
            sentences = f.read()
            break   
    except FileNotFoundError:
        print("\nFile not found. Better try again")
    except IsADirectoryError:
        print("\nIncorrect Directory path.Try again")


units=sentences.split('<<SPACE>>')    


print(len(units))
count={}

w=open('Alice_repetitions_sentence_AnaB.txt','w')
for sentence_num, unit in enumerate(units, 1):
    lines=unit.split('\n')
    total_count=len(lines)
    for s in lines:
        if s in count:
            count[s]+=1
     
        else:
            count[s]=1
for key in count:

    if 'VERB' in key and count[key] >1:
        print(sentence_num,key, count[key])
    elif 'NOUN' in key and count[key] >1:
        print(sentence_num,key, count[key])
    elif 'ADJ' in key and count[key] >1:
        print(sentence_num,key, count[key])
    elif 'ADV' in key and count[key] >1:
        print(sentence_num,key, count[key])
    

我想要的输出应该是：

句子1：单词1-4，单词2-3，单词3-8，依此类推。。重复项目：3

句子2：单词1-4，单词2-3，单词3-8，单词4-10等等。。重复项目：4。

句子3：单词1-4，单词2-3，单词3-8，单词4-10，单词5-15等等。。重复项目：5。

Answer 1

from collections import Counter
def word_count(fname):
    with open(fname) as f:
            return Counter(f.read().split())

print("Number of words in the file :",word_count("test.txt"))

计算单词频率的简化版本