LayoutLM(V1/V2)源码踩坑记录
前言：最近在看VQA相关内容，正好发现了LayoutLM这个repo，有开源代码，有pretrained model，就想着白嫖一波
LayoutLM repo地址：https://github.com/microsoft/unilm/tree/master/layoutlm
环境准备
- 安装lfs(下载大文件)
ubuntu下面，可以按照下面的方法安装lfs
curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | bash
apt-get install git-lfs
git lfs install
安装好之后，就可以按照下面的方法去下载pretrained model了，huggingface的链接，官网repo中也有
下载pretrained model的方法
git clone https://huggingface.co/microsoft/layoutlm-base-uncased/tree/main
这种方法，目前基于torch-transformer用的还挺普遍的。
- 安装layoutlm：在该文件夹下，按照下面的方法安装layoutlm whl包
python set.py bdist_wheel
pip install dist/***.whl
- 然后安装以下requirements
seqeval
tensorboardX
transformers
数据准备
这里因为文档分类的数据集太大了，30+G，暂时又无法访问，所以先在Sequence Labeling Task作了实验和流程验证。
- 准备数据。下面会从网站上下载数据集并解压，由于是外网，所以即使文件不大(
17M左右)，但是时间也比较久
进入example文件夹
bash preprocess.sh
然后按照官网的文档训练即可。
python3.7 run_seq_labeling.py --data_dir data \
--model_type layoutlm \
--model_name_or_path ./layoutlm-base-uncased/ \
--do_lower_case \
--max_seq_length 512 \
--do_train \
--num_train_epochs 100.0 \
--logging_steps 10 \
--save_steps 2 \
--output_dir ./output \
--overwrite_output_dir \
--labels data/labels.txt \
--per_gpu_train_batch_size 16 \
--per_gpu_eval_batch_size 16 \
--evaluate_during_training \
--fp16
output/train.log会记录实时日志，也会打印出recall, precision ,f1 等信息，如下。
precision recall f1-score support
QUESTION 0.29 0.56 0.38 9
HEADER 0.50 1.00 0.67 1
ANSWER 0.04 0.20 0.06 5
micro avg 0.15 0.47 0.23 15
macro avg 0.22 0.47 0.30 15
07/04/2021 09:33:51 - INFO - __main__ - ***** Eval results *****
07/04/2021 09:33:51 - INFO - __main__ - f1 = 0.22950819672131148
07/04/2021 09:33:51 - INFO - __main__ - loss = 2.8498342037200928
07/04/2021 09:33:51 - INFO - __main__ - precision = 0.15217391304347827
07/04/2021 09:33:51 - INFO - __main__ - recall = 0.4666666666666667
遇到的问题
- 打开训练时评估，遇到：
[Errno 2] No such file or directory: 'data/dev.txt
解决办法，创建dev文件，我是把test*.txt都软链到到dev*.txt了。
cd data
ln -s test_box.txt dev_box.txt
ln -s test_image.txt dev_image.txt
ln -s test.txt dev.txt
cd ..
提交的话，需要自己处理数据格式，可以参考这个链接：https://github.com/microsoft/unilm/issues/125
- 多卡的时候，如果使用torch>=1.5.0的版本，会出现下面的问题：
StopIteration: Caught StopIteration in replica 0 on device 0.
可以参考下面的链接：https://www.pythonf.cn/read/153689，修改下源码，将next(self.parameters()).dtype修改为torch.float32(如果使用fp32训练)或者torch.float16 (如果使用fp16训练)。
V2踩坑记录
V2的文档相对更少一些，而且需要额外的依赖。安装之前，一定要手动更新下pip，不然很多包安装都有问题，具体命令如下
pip install --upgrade pip
pip install datasets
- note：我是万万没想到，有whl包叫datasets，还在各种查相对路径，在layoutlm源码里找这个包。。。
之后就按照官网上的训练脚本运行就行，这里发现layoutlmft文件夹中的代码做了优化，pretrain和dataset都可以自动下载了，所以用起来相对比较无脑