长文本划窗切片算法

给定一段长文本，对长文本进行滑动窗口，切成一系列更短的文本，其中切片后的最小文本长度和窗口滑动的步长作为参数，且切分后每段文本都是完整的句子。断句标点可自行限制范围。

这种切割方式可以用于为长文本的数据处理作准备。

实现代码

import re
import numpy as npclass text_cut:def __init__(self,min_len =20,step=10, stop_list = None):self.min_len = min_len #自定义最短长度self.step = step #自定义划窗步长if stop_list and isinstance(stop_list,list):self.stop_list = stop_list #自定义分割标点符else:self.stop_list = ['.','!','|','。','！','；',';','?','？',',']self.split_patten = '[' + ''.join(self.stop_list) + ']'def find_now_index(self,now_point,sum_len_list):for i in range(len(sum_len_list)-1):if now_point >= sum_len_list[i] and now_point < sum_len_list[i+1]:return i+1else:return 0def cut(self,text):if not isinstance(text,str):raise TypeErrorspilt_text = re.split(self.split_patten,text)len_list = np.array([len(x) for x in spilt_text])sum_len_list = np.cumsum(len_list)result_list = []end_point = 0pre_index = 0while end_point <= sum_len_list[-1]:end_point += self.stepnow_index = self.find_now_index(end_point,sum_len_list)if np.sum(len_list[pre_index:now_index]) >= self.min_len:result_list.append(''.join(spilt_text[pre_index:now_index]))pre_index = now_indexreturn result_listdef main():text = '都市快报讯 “二九”过完是“三九”，目前正是一年最冷的时候。有人开玩笑说，每天在户外，感觉自己像一根行走着的棒冰。\
浙江省气象台统计，2021年的第一个10天（1月1日至1月10日），全省平均降水量1毫米，比常年同期偏少93%；全省平均气温3.2℃，比常年同期偏低2.9℃。不仅降水偏少，而且气温偏低。\
在快抱App的杭友圈里，刷屏的帖子不是西湖结冰，就是家里的花缸结冰，或者挂在室外的衣服、毛巾冻住了。\
天寒地冻的日子本周还会继续吗？好消息是，杭州已经明显从“冷冻层”来到了“冷藏层”。杭州市气象台说，目前，冷空气的残余势力已经越来越弱，气温已经在缓慢回升，之所以升温慢，是因为昨天有一股弱冷空气补充影响。'c_ = text_cut()result_list = c_.cut(text)print(result_list)print([len(x) for x in result_list])if __name__ == '__main__':main()#----------------
/usr/local/bin/python3 /Users/zhengyanzhao/PycharmProjects/cut_text/text_cut.py都市快报讯 “二九”过完是“三九”，目前正是一年最冷的时候
有人开玩笑说，每天在户外，感觉自己像一根行走着的棒冰
浙江省气象台统计，2021年的第一个10天（1月1日至1月10日），全省平均降水量1毫米，比常年同期偏少93%
全省平均气温32℃，比常年同期偏低29℃
不仅降水偏少，而且气温偏低在快抱App的杭友圈里，刷屏的帖子不是西湖结冰，就是家里的花缸结冰，或者挂在室外的衣服、毛巾冻住了
天寒地冻的日子本周还会继续吗好消息是，杭州已经明显从“冷冻层”来到了“冷藏层”[29, 26, 55, 20, 62, 39]

本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！