La forma en que Colab descomprime el paquete comprimido && elimina la carpeta no vacía

Colaboratory, conocido como "Colab", fue desarrollado por el equipo de investigación de Google. Cualquiera puede escribir y ejecutar código Python arbitrario a través de un navegador, especialmente adecuado para aprendizaje automático, análisis de datos y fines educativos. Colab es un servicio de notebook Jupyter administrado que los usuarios pueden usar directamente sin configurar, y pueden usar recursos informáticos GPU/TPU de forma gratuita. Seleccione "Cargar bloc de notas" en el menú "Archivo" para importar un bloc de notas de Jupyter/IPython existente. Los blocs de notas de Colab se almacenan en Google Drive o se cargan desde GitHub. Para obtener más detalles, consulte la documentación: colaboratory .

Pregunta 1: Colab descomprime el conjunto de datos CIFAR-10

Cuando se usa la GPU en Colab para el entrenamiento de aprendizaje profundo, es fácil entrenar con el conjunto de datos oficiales proporcionado por CIFAR-10. Solo hay unos pocos archivos y se puede ejecutar fácilmente sin herramientas de descompresión. Si hay 60 000 imágenes con un tamaño de 55 M, es posible que se demore un día en descomprimirlas (la prueba personal utiliza el método que se muestra en la figura a continuación y se necesitaron alrededor de 8 horas para descomprimir 30 000 imágenes).

Pregunta 2: Colab no admite la eliminación de carpetas que no estén vacías

¿Qué sucede si desea eliminar el conjunto de datos que acaba de descomprimir? ¿Una foto una foto borrar? Entonces serás lento cuando te sientes.

Solución general: secuencia de comandos de Python

En el análisis final, Colab puede proporcionarnos un entorno de Python, y podemos ejecutar scripts de Python, y el uso de scripts de Python a menudo puede lograr las funciones que queremos. Además de los dos problemas anteriores, podemos considerar otros problemas desde esta perspectiva.

Primero cargue el disco duro de Google y Baidu si no lo sabe.

Solución al problema uno: comando descomprimir

!unzip "/content/drive/MyDrive/Colab Notebooks/ResNet18/data.zip" -d "/content/drive/MyDrive/Colab Notebooks/ResNet18/"

Reemplace el directorio con su propio directorio (asegúrese de verificar la ruta antes de ejecutar el comando).Este

método es tan rápido que despega, ¡y las imágenes de 6w se descomprimen en solo unos minutos!

Solución al problema 2: eliminar carpetas no vacías de forma recursiva

¡Simplemente cargue el código directamente, todos los que participan en el aprendizaje profundo deben comprender estos conocimientos básicos!

import os
# os.listdir('/content/drive/MyDrive/Colab Notebooks/ResNet18/data')
# os.remove(f'/content/drive/MyDrive/Colab Notebooks/ResNet18/data/')

def rmdir(dir):
    #判断是否是文件夹，如果是，递归调用rmdir()函数
    if(os.path.isdir(dir)):
        #遍历地址下的所有文件及文件夹
        for file in os.listdir(dir):
            #进入下一个文件夹中进行删除
            rmdir(os.path.join(dir,file))
        #如果是空文件夹，直接删除
        if (os.path.exists(dir)):
            os.rmdir(dir)
            print(dir,"文件夹删除成功!")
    #如果是文件，直接删除
    else:
        if(os.path.exists(dir)):
            os.remove(dir)
            print(dir,"文件删除成功!")
#调用定义函数（路径换成自己的，最好自己先找个废目录测试一下！）
rmdir("/content/drive/MyDrive/Colab Notebooks/ResNet18/data")

¡Elimine directorios que no estén vacíos en segundos!

---