tf.data.Dataset.interleave() 最通俗易懂的使用详解（有图有真相）

我不是女神ヾ 2023-07-15 08:58 86阅读 0赞

原文链接：https://blog.csdn.net/menghuanshen/article/details/104240189

最近学习`tensorflow`，对于这个函数`tf.data.Dataset.interleave()`始终有点晕乎，即使搞明白了，用不了多久又忘了，在网上查了查，发现很少有人能把这个函数讲清楚。趁着现在还明白，记录下来——备忘+助友。

`interleave()`是`Dataset`的类方法，所以`interleave`是作用在一个`Dataset`上的。  
**语法：**

interleave(
        map_func,
        cycle_length=AUTOTUNE,
        block_length=1,
        num_parallel_calls=None
    )
    
     
      
     
      
       1
       2
       3
       4
       5
       6

**解释：**

1.  假定我们现在有一个Dataset——A
2.  从该A中取出cycle\_length个element，然后对这些element apply map\_func,得到cycle\_length个新的Dataset对象。
3.  然后从这些新生成的Dataset对象中取数据，取数逻辑为轮流从每个对象里面取数据，每次取block\_length个数据
4.  当这些新生成的某个Dataset的对象取尽时，从原Dataset中再取cycle\_length个element，，然后apply  
    map\_func，以此类推。

**举例：**

a = tf.data.Dataset.range(1, 6)  # ==> [ 1, 2, 3, 4, 5 ]
    # NOTE: New lines indicate "block" boundaries.
    b=a.interleave(lambda x: tf.data.Dataset.from_tensors(x).repeat(6),
                cycle_length=2, block_length=4) 
    for item in b:
        print(item.numpy(),end=', ')
    
     
      
     
      
       1
       2
       3
       4
       5
       6

输出结果：

1, 1, 1, 1, 2, 2, 2, 2, 1, 1, 2, 2, 3, 3, 3, 3, 4, 4, 4, 4, 3, 3, 4, 4, 5, 5, 5, 5, 5, 5, 
    
     
      
     
      
       1

上面程序的图示，看示意图可能更清晰：

![在这里插入图片描述][20200209213740871.png_pic_center]  
其中map\_func在这里是重复6次-repeat(6)。

**常见case:**  
dataset里面存储文件名， 将所有文件读取出来，产生一个大数据集

更详细内容可以参考[官方文档][Link 1]

[20200209213740871.png_pic_center]: /images/20230528/e32bd9261ff04d989298acadee39a5cb.png
[Link 1]: https://tensorflow.google.cn/versions/r2.0/api_docs/python/tf/data/Dataset#interleave