tflearn模块string_to_semi_redundant_sequences的使用教程

落日映苍穹つ 2022-05-31 04:15 196阅读 0赞

例如有name.txt

张三
    李四
    王五
    赵六

生成输入序列:

import tflearn
    from tflearn.data_utils import *
    path = "D:\\data\\name.txt"
    maxlen = 5
    
    file_lines = open(path, "r",encoding= 'utf8').read()
    print(file_lines)
    # 张三
    # 李四
    # 王五
    # 赵六
    # 其实这个序列为'张三\n李四\n王五\n赵六'
    X, Y, char_idx = string_to_semi_redundant_sequences(file_lines, seq_maxlen=maxlen, redun_step=2)
    print(X.shape)
    # (3, 5, 9)
    # 表示生成3个序列，每个序列长度为5,即'为张三\n李四',9列中每列代表词典中的id,例如(1,1,5)为true,则表示'张'字
    # 而对于步长redun_step=2，即有相对于上个序列的首字符，往后跳2字符后再取序列，例如本例
    # 序列1:张三\n李四,下一个字符为'\n'
    # 序列2:\n李四\n王,下一个字符为'五'
    # 序列3:四\n王五\n,下一个字符为'赵'
    print(X)
    # [[[False False False False False True False False False]
    # [False True False False False False False False False]
    # [ True False False False False False False False False]
    # [False False False False False False True False False]
    # [False False False False True False False False False]]
    # 
    # [[ True False False False False False False False False]
    # [False False False False False False True False False]
    # [False False False False True False False False False]
    # [ True False False False False False False False False]
    # [False False False False False False False True False]]
    # 
    # [[False False False False True False False False False]
    # [ True False False False False False False False False]
    # [False False False False False False False True False]
    # [False False True False False False False False False]
    # [ True False False False False False False False False]]]
    print(Y)
    # 3个序列对应的标签，即5个序列字符后，下一个字符是啥，以第一个序列为例，'张三\n李四'，下一个字符为'\n',0列为true
    # [[ True False False False False False False False False]
    # [False False True False False False False False False]
    # [False False False False False False False False True]]
    print(char_idx)
    # {'五': 2, '李': 6, '三': 1, '张': 5, '赵': 8, '六': 3, '王': 7, '\n': 0, '四': 4}