《Python基础教程》专栏总结篇

  大家好，我是爱编程的喵喵。双985硕士毕业，现担任全栈工程师一职，热衷于将数据思维应用到工作与生活中。从事机器学习以及相关的前后端开发工作。曾在阿里云、科大讯飞、CCF等比赛获得多次Top名次。现为CSDN博客专家、人工智能领域优质创作者。喜欢通过博客创作的方式对所学的知识进行总结与归纳，不仅形成深入且独到的理解，而且能够帮助新手快速入门。

  个人精心开设的《Python基础课程》专栏订阅量900多，帮助不少同学解决了Bug。最近有一个学习很认真的同学给我反馈，专栏博客帮助他解决了大模型、爬虫、Python基础等各类问题，但有时候找起来不太方便，希望能对专栏的文章进行分门别类的整理，这样就能提高检索效率。

  优秀的建议必须毫不犹豫地被接纳，虽然客观来说整理是一件工作量不小的事情，但想到蚕蛹化蝶之前必须经历痛苦的挣扎才能破茧成蝶。所以这两天一忙完工作就马不停蹄的继续整理。现有类别包括大模型、机器学习、爬虫、数据处理与可视化、anaconda & pip & jupyter notebook & ipython & pycharm、数据库与中间件、常用Python库、Python基础、github等，，大家可点击博客右侧的按钮查看目录，如下图所示：

  本专栏每周至少更新5篇相关文章，目标至少是1000篇+，所以后续还会不断进行扩充，希望最终能够对订阅的同学们有所帮助。

1. 大模型

1.1 transformers & huggingface

• huggingface_hub.utils._validators.HFValidationError Repo id must be in the form repo_name or name解决方案
• TypeError: transformers.tokenization_utils_base.PreTrainedTokenizerBase._from_pretrained() got multiple values for keyword argument 'use_auth_token’解决方案
• ModuleNotFoundError: No module named 'transformers.modeling_bart’解决方案
• transformers加载模型时自动选择空闲的单个GPU的实战代码
• transformers加载模型时自动选择空闲的多个GPU的实战代码
• 修改huggingface模型的储存位置的设置方法
• huggingface datasets离线加载文件的解决方案
• huggingface datasets map时出现KeyError: 'output’的解决方案
• RuntimeError: expected scalar type Half but found Float解决方案
• ValueError: paged_adamw_32bit is not a valid OptimizerNames, please select one of [‘adamw_hf’, ‘adamw_torch’, ‘adamw_torch_fused’, ‘adamw_torch_xla’, ‘adamw_apex_fused’, ‘adafactor’, ‘adamw_bnb_8bit’, ‘adamw_anyprecision’, ‘sgd’, ‘adagrad’]解决方案
• RuntimeError:Expected all tensors to be on the same device, but found at least two devices解决方案
• tokenizers＞=0.13.3 is required for a normal functioning of this module, but found tokenizers解决方案
• ValueError: Connection error, and we cannot find the requested files in the cached path.解决方案

1.2 pytorch

• ModuleNotFoundError: No module named ‘torch._six‘的解决方案

• Pytorch RuntimeError: No CUDA GPUs are available解决方案

• OSError Unable to load weights from pytorch checkpoint file for pytorch_model.bin解决方案

• Import Error: from torchtext.data import to_map_style_dataset解决方案

• Pytorch加载torchvision从本地下载好的预训练模型的简单解决方案

• RuntimeError: Detected that PyTorch and torchvision were compiled with different CUDA versions解决方案

• RuntimeError Cuda extensions are being compiled…Pytorch binaries were compiled with Cuda 11.7解决方案

• ImportError: libcupti.so.11.7: cannot open shared object file: No such file or directory解决方案

• RuntimeError: Boolean value of Tensor with more than one value is ambiguous解决方案

1.3 ChatGLM加载、训练、预测

• RuntimeError:Internal: src/sentencepiece_processor.cc(1101)model_proto-＞ParseFromArray(serialize.size())]解决方案
• ModuleNotFoundError: No module named 'transformers_modules.chatglm-6b_v1’的解决方案
• ModuleNotFoundError: No module named 'transformers_modules.chatglm2-6b’解决方案
• OSError We couldn’t connect to https://huggingface.co to load file, couldn’t find chatglm2-6b 解决方案
• 高速下载ChatGLM模型文件的解决方案
• 高速下载ChatGLM2模型文件的解决方案
• 高速下载VisualGLM模型文件的解决方案
• ChatGLM lora微调时出现KeyError: 'context’的解决方案
• RuntimeError: Internal: [MASK] is already defined解决方案
• ChatGLM ptuning predict(预测)为空值的解决方案
• AttributeError: ‘ChatGLMConfig’ object has no attribute 'quantization_bit’解决方案
• TypeError: quantize() got an unexpected keyword argument 'empty_init’解决方案
• AttributeError: ‘ChatGLMModel’ object has no attribute 'prefix_encoder’解决方案

1.4 bitsandbytes

• 使用bitsandbytes出现CUDA detection failed解决方案
• ERROR : Your GPU does not support Int8 Matmul ! 解决方案
• cuda_setup.add_log_entry("WARNING: Compute capability < 7.5 detected解决方案
• cuda_setup.add_log_entry("WARNING: Compute capability ＜ 7.5 detected! Only slow 8-bit matmul is supported for your GPU 解决方案
• PackageNotFoundError: No package metadata was found for bitsandbytes解决方案
• 已经安装高版本CUDA的条件下bitsandbytes发现低版本的CUDA SETUP: Detected CUDA version 100解决方案

1.5 langchain

• TypeError MyFAISS.similarity_search_with_score_by_vector got unexpected keyword argument filter解决方案
• ImportError: cannot import name ‘SQLDatabaseChain‘ from ‘langchain‘解决方案
• ValueError: Could not import faiss python package. Please install it with pip install faiss解决方案
• OperationalError: (sqlite3.OperationalError) unable to open database file解决方案

1.6 fastchat

• fastchat出现TypeError: unsupported operand type(s) for -: ‘NoneType’ and 'int’解决方案
• Fastchat UnicodeDecodeError utf-8 codec can‘t decode bytes in position invalid continuation byte解决方案

1.7 GPU驱动、CUDA、CUDNN、NCCL等安装

• A100 GPU服务器安装GPU驱动教程
• A100 GPU服务器安装CUDA教程
• A100 GPU服务器安装CUDNN教程
• nvidia nccl安装和测试的实战教程
• An NVIDIA kernel module ‘nvidia-uvm’ appears to already be loaded in your kernel解决方案
• /usr/src/kernels/el7.linux/Makefile:1006: Cannot generate ORC metadata for CONFIG_UNWINDER_ORC=y解决方案
• NVIDIA-SMI has failed because it couldn’t communicate with the NVIDIA driver.Make sure that解决方案
• Linux卸载GPU驱动、CUDA的实战教程

1.8 通义千问

• cuda_setup/main.py: UserWarning: /home/anaconda3/envs/qwen-7b did not contain [‘libcudart.so’…解决方案
• ValueError: Unrecognized configuration class ＜class transformers_modules.Qwen-7B-Chat…解决方案
• 安装flash-attn出现RuntimeError current installed version g++ (4.8.5) is less than mininum version解决方案

1.9 llama

• configuration_auto.py in getitem raise KeyError(key) KeyError: 'llama’解决方案
• AttributeError: module transformers has no attribute LLaMATokenizer解决方案

1.10 paddle

• ModuleNotFoundError: No module named 'paddle’解决方案
• ImportError: libcudart.so.10.2: cannot open shared object file: No such file or directory解决方案

1.11 deepspeed

• error "You‘re trying to build PyTorch with a too old version of GCC. We need GCC 5 or later."解决方案
• RuntimeError: launcher ‘pdsh’ not installed解决方案

1.12 peft

• ImportError: cannot import name ‘prepare_model_for_kbit_training’ from 'peft’解决方案
• ValueError: Please specify `target_modules` in `peft_config`解决方案

1.13 cpm-bee & bmtrain

• pip install安装CPM-Bee出现ModuleNotFoundError: No module named 'torch’的解决方案
• RuntimeError: CUDA error: CUBLAS_STATUS_INVALID_VALUE when calling `cublasGemmEx 解决方案
• ImportError: /home/anaconda3/lib/libstdc++.so.6: version `GLIBCXX_3.4.29’ not found解决方案
• subprocess.CalledProcessError: Command '[‘which’, ‘x86_64-conda_cos6-linux-gnu-c++’]'解决方案
• RuntimeError: The current installed version of g++ (4.8.5) is less than the mininum version CUDA解决方案

1.14 apex

• ImportErrorImportError: cannot import name ‘UnencryptedCookieSessionFactoryConfig’ from pyramid解决方案

1.15 tensorflow

• TensorFlow 2.10 Unable to register cuBLAS factory Attempting to register factory for plugin cuBLAS方案

1.16 其他

• scripts/spider_qlora_finetune.sh: line 7: --source_max_len: command not found解决方案

2. 机器学习

2.1 sklearn

• ModuleNotFoundError: No module named ‘sklearn‘解决方案
• ModuleNotFoundError: No module named 'sklearn.__check_build._check_build‘解决方案
• ImportError: cannot import name ‘_ccallback_c’ 解决方案
• sklearn 逻辑回归Increase the number of iterations (max_iter) or scale the data as shown in解决方案
• TypeError: classification_report() takes 2 positional arguments but 3 were given的解决方案
• 加载sklearn加州房价数据集出错 housing = fetch_california_housing() HTTPError: HTTP Error 403: Forbidden解决方案
• 加载sklearn 人脸数据集出错 fetch_olivetti_faces() HTTPError: HTTP Error 403: Forbidden解决方案
• 加载sklearn新闻数据集出错 fetch_20newsgroups() HTTPError: HTTP Error 403: Forbidden解决方案
• 加载sklearn covtype数据集出错 fetch_covtype() HTTPError: HTTP Error 403: Forbidden解决方案
• 西瓜数据集读取的详细解决方案
• sklearn中f1_score参数解析

2.2 ltp

• AttributeError: ‘LTP‘ object has no attribute 'seg’解决方案
• AttributeError: ‘LTP’ object has no attribute 'sent_split’解决方案
• AttributeError: ‘LTP’ object has no attribute 'init_dict’解决方案

2.3 nltk

• [nltk_data] Error loading punkt: ＜urlopen error [Errno 111] Connection refused＞解决方案
• Resource punkt not found. Please use the NLTK Downloader to obtain the resource 解决方案
• 离线下载NLTK依赖包([WinError 10061] 由于目标计算机积极拒绝，无法连接)的解决方案

2.4 spacy

• spacy安装旧版本en_core_web_sm的解决方案
• spacy.load(‘en’) or spacy.load(‘de’)出现的OpenSSL SSl SysCallError(10054)解决方案
• TypeError: Plain typing.NoReturn is not valid as type argument解决方案

2.5 joblib & flask

• TypeError: an integer is required (got type bytes)的解决方案
• python使用flask封装restful API的实战代码

2.6 模型读取与保存

• 详解python文件的读取与模型保存
• 模型&数据文件的读取与保存拓展

2.7 英文单词分割

• Dictionary file not found symspellpy.py symspellpy.py in word_segmentation(self, StopIteration 解决方案

3. 爬虫

3.1 selenium

• TypeError:__init__() got an unexpected keyword argunent 'executable_path’解决方案
• selenium.common.SessionNotCreatedException Message session not created.ChromeDriver support version解决方案
• Python安装selenium时requests 2.19.1 has requirement urllib3＜1.24,＞=1.21.1, but urllib3 incompatible解决方案
• selenium ‘WebDriver’ object has no attribute 'find_element_by_link_text’解决方案
• selenium ‘WebDriver’ object has no attribute 'find_element_by_xpath’解决方案

3.2 requests

• requests出现ssl.SSLError: [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:833)解决方案
• 爬虫编码UnicodeDecodeError: ‘utf-8’ codec can’t decode byte 0xb1 in position 78: invalid start byte解决方案
• Python爬虫requests返回值为空的解决方案
• python保存requests请求的文件的实战代码
• 下载网上的多行json并将其转换为字典的解决方案
• 下载网上压缩包(包含多行json)并将其转换为字典的解决方案
• ImportError: cannot import name Template解决方案

3.3 其他

• 提取网页标题和文本内容的python库的实战教程

4. 数据处理与可视化

4.1 pandas.DataFrame

• AttributeError: ‘DataFrame’ object has no attribute 'iteritems’解决方案
• ValueError: If using all scalar values, you must pass an index解决方案
• Python将字符串转换成dataframe
• 对DataFrame添加一列并且每个值赋值为列表(ValueError: Length of values does not match length of index)的解决方案
• pandas获取DataFrame每月(每年)第一天或者最后一天对应行的实战代码
• 筛选DataFrame出某一列包含字符串的所有行的实战代码
• 改变DataFrame列顺序的实战代码

4.2 pandas

• pd.read_json出现ValueError:Trailing data的解决方案

• pd.read_excel出现xlrd.biffh.XLRDError: Excel xlsx file； not supported解决方案

• PicklingError: Can’t pickle ＜function ＜lambda＞＞: attribute lookup ＜lambda＞ on __main__ failed解决方案

• AttributeError: ‘Timestamp’ object has no attribute 'dt’解决方案

• UserWarning: Workbook contains no default style, apply openpyxl’s default warn("Workbook contains no default style, apply openpyxl’s default"解决方案

• import xlwings时_pickle.UnpicklingError: invalid load key, '\x00’解决方案

• pandas to_excel产生空值的解决方案

• df.rank & pd.pivot_table & pd.read_excel & df添加行 &调整df行列顺序(reindex再理解)

• 详解pandas基础

4.3 numpy

• AttributeErrormodule ‘numpy’ has no attribute 'bool’解决方案
• import numpy出现ImportError: DLL load failed: 找不到指定的模块的解决方案
• numpy与pandas中apply与applymap与map三者的区别
• np和pd中split&concatenate&unstack&列表嵌套问题（循环，转换）
• 详解numpy基础

4.4 matplotlib & seaborn

• Linux中matplotlib出现RuntimeError: Invalid DISPLAY variable的解决方案
• seaborn load_dataset报错的解决方案

4.5 excel & csv

• 详解python操作EXCEL(xlsxwriter/ExcelWriter)
• ValueError: Append mode is not supported with xlsxwriter解决方案
• pd.read_excel出现ValueError: Unknown engine: openpyxl解决方案
• PermissionError: [Errno 13] Permission denied: '.xlsx’解决方案
• pandas读取csv文件时设置列名的实战代码
• Python将字典转换为csv的实战代码
• csv多余逗号写入文件的解决方案
• import xlwings时_pickle.UnpicklingError: invalid load key, '\x00’解决方案

4.6 json

• 字典转换json时出现TypeError: Object of type ‘datetime‘ is not JSON serializable解决方案
• JSONDecodeError: Expecting property name enclosed in double quotes: line 2 column 3 (char 4)解决方案
• ImportError: cannot import name 'json_util’解决方案
• json.loads时TypeError: __init__() got an unexpected keyword argument ‘encoding’ 的解决方案

4.7 yaml

• ModuleNotFoundError: No module named 'yaml’解决方案
• pip install yaml出现ERROR: Could not find a version that satisfies the requirement yaml 解决方案
• TypeError: load() missing 1 required positional argument: 'Loader’解决方案

4.8 pickle

• pickle.load出现UnicodeDecodeError: ‘ascii’ codec can’t decode byte 0x8b in position 6: ordinal not in range(128)解决方案

4.9 zip

• Python解压zip文件出现TypeError: pwd: expected bytes, got str的解决方案

5. anaconda & pip & jupyter notebook & ipython & pycharm

5.1 anaconda

• Win7安装新版本anaconda出现Failed to extract packages解决方案
• 安装miniconda出现丢失api-mis-win-core-path-l1-1-0.dll的解决方案

5.2 conda

• conda upgrade出现Solving environment:failed CondaValueError Malformed version string invalid chars解决方案

• conda install出现CondaValueError: Malformed version string invalid character(s)解决方案

• The environment is inconsistent, please check the package plan carefully解决方案

• ERROR conda.core.link:_execute(502): error occurred while installing conda-forge::setuptools 解决方案

• 在conda环境下升级gcc的解决方案

• SSLError(MaxRetryError('HTTPSConnectionPool(host=‘mirrors.tuna.tsinghua.edu.cn’, port=443)解决方案

• 详解创建python虚拟环境

• 在conda虚拟环境中安装ipython

• ipython和conda python版本不一致的解决方案

• CommandNotFoundError : No command ‘conda rename‘解决方案

5.3 pip

• ERROR: Could not install packages due to an OSError: [WinError 5] 拒绝访问 解决方案
• pip._vendor.urllib3.exceptions.ReadTimeoutError: HTTPSConnectionPool(host=files.pythonhosted.org解决方案
• pip install timeout错误解决方案
• pip安装ERROR: Could not install packages due to an OSError: [Errno 28] No space left on device解决方案
• 详解离线安装Python库
• pip卸载库对应所有依赖库的解决方案
• pip install weditor出错error in setup command: Error parsing weditor\setup.cfg UnicodeDecodeError:解决方案
• Cannot uninstall … It is a distutils installed project and thus we cannot accurately determine 解决方案
• WARNING:Retrying Failed to establish a new connection: [Errno 101] Network is unreachable’)解决方案
• WARNING:Retrying(Retry(total=4,connect=None,read=None,redirect=None,status =None))connect broken解决方案
• Linux环境下修改pip的缓存地址的解决方案
• pip install出现WARNING: Ignoring invalid distribution的解决方案
• pip install出现socket.timeout: The read operation timed out的解决方案

5.4 jupyter notebook

• jupyter notebook中指定kernel中pip安装库的解决方案
• 将conda环境安装到jupyter notebook kernel中的解决方案
• jupyter notebook安装和删除kernel的解决方案
• jupyter notebook中查看python版本的解决方案
• 在jupyter notebook中运行html代码的实战代码
• jupyter ‘_xsrf‘ argument missing from post 解决方案
• jupyter notebook闪退，命令行执行报错：ImportError: cannot import name ‘soft_unicode‘ from ‘markupsafe‘解决方案
• jupyter notebook出现ERR_SSL_VERSION_OR_CIPHER_MISMATCH解决方案
• Unable to load extension: pydevd_plugins.extensions.types.pydevd_plugin_pandas_types 解决方案
• jupyter notebook输入密码后无法打开的解决方案
• 启动jupyter出现AttributeError: module ‘tornado.web’ has no attribute 'asynchronous’解决方案
• traitlets_version.py AssertionError “.“.join(map(str, version_info)).replace(“.b“, “b“)解决方案
• python中的attr问题(label endoer & jupyter notebook)

5.5 ipython

• 在conda虚拟环境中安装ipython
• ipython和conda python版本不一致的解决方案
• ipython出现The history saving thread hit an unexpected error OperationalError no such table history解决方案
• 禁止IPython产生历史记录的解决方案
• 删除ipython历史记录文件的解决方案
• ImportError: cannot import name ‘create_prompt_application’ from 'prompt_toolkit.shortcuts’解决方案

5.6 pycharm

• pycharm/idea连接服务器的实战方案

6. 数据库 & 中间件

6.1 mysql

• pip install mysql出现error: subprocess - exited-with-error的解决方案
• CSV转换为MySQL的Python实战代码
• OperationalError: foreign key mismatch - “RESTAURANT“ referencing “GEOGRAPHIC“解决方案
• IntegrityError: FOREIGN KEY constraint failed解决方案
• ProgrammingError: 1064 (42000): You have an error in your SQL syntax;check the manual…解决方案
• CSV转换为MySQL的Python实战代码

6.2 access(mdb)

• Python读写access数据库的实战代码
• Python读写mdb文件的实战代码

6.3 clickhouse

• NoSuchModuleError: Can’t load plugin: sqlalchemy.dialects:clickhouse解决方案

6.4 hdfs

• python读写hdfs文件的实用解决方案
• ImportError: Can not find the shared library: libhdfs3.so解决方案

6.5 kafka

• 从小白的角度讲解kafka并使用java、python_API实战

6.6 其他

• elasticsearch与kibana踩过的坑及其解决方案

7. 常用Python库

• ERROR: Could not find a version that satisfies the requirement PIL (from versions: none)解决方案
• ModuleNotFoundError: No module named 'setuptools.command.build’解决方案
• AttributeError: ‘HTMLParser’ object has no attribute 'unescape’解决方案
• pynlpir更新license Error: unable to fetch newest license解决方案
• ModuleNotFoundError: No module named 'pyLDAvis.gensim’解决方案
• pdfminer __init__() got an unexpected keyword argument 'codec’解决方案
• python安装mpi4py的解决方案
• twisted 18.7.0 requires PyHamcrest＞=1.9.0 解决方案
• AttributeError: Can’t get attribute ‘f’ on <module ‘__main__’>解决方案
• Python读取Windows注册表的实战代码
• Python切换输入法的实战代码

8. Python基础

8.1 编码

• Python3中将\uXXXX字符串转换为可见字符串的解决方案
• SyntaxError: Non-UTF-8 code starting with ‘\xb3’ in file解决方案
• UnicodeDecodeError: ‘utf-8’ codec can’t decode byte 0xc1 in position 41694: invalid start byte解决方案
• python中的解码与编码

8.2 built-in函数

• ImportError: cannot import name ‘MutableMapping’ from 'collections’解决方案
• 详解python datetime&time&timeit
• 详解python os模块(os.walk&os.listdir)
• AttributeError: module ‘xxx’ has no attribute
• 详解if __name__ == '__main__'和from __future__ import print_function

8.3 基础

• 一文学会python基础知识
• python基础知识补充
• python字符串中的引号问题
• Python字符串split(‘\n’)后出错的解决方案
• 详解python中的参数解析argparse&sys.argv
• 详解python的全局变量与局部变量(global&nonlocal&locals)
• java与python类对比
• 深入理解python装饰器
• 详解python异常处理try、except
• 详解python正则表达式
• centos对pyc文件进行反编译的解决方案
• IndentationError: expected an indented block解决方案
• 查看Python库依赖关系的解决方案
• 判断指定程序是否正在运行的Python实战代码

8.4 计算

• Python分数计算的实战代码
• Python使用科学计数法显示数字的解决方案
• 求解输入年份所有月的天数的Python实战代码

8.5 windows安装error: Microsoft Visual C++ 14.0解决方案

• talib安装error: Microsoft Visual C++ 14.0 or greater is required. Get it with Microsoft C++ Build的解决方案
• pyflux安装error:Microsoft Visual C++ 14.0 or greater is required. Get it with Microsoft C++ Build的解决方案
• ecos安装error:Microsoft Visual C++ 14.0 or greater is required. Get it with Microsoft C++ Build的解决方案
• gensim安装error: Microsoft Visual C++ 14.0 or greater is required. Get it with Microsoft C++ Build解决方案
• wordcloud安装error:Microsoft Visual C++ 14.0 or greater is required.Get it with Microsoft C++ Build解决方案

9. 安全与网络

• cpe(通用平台枚举)命名规范及python CPE库实战
• AttributeError: module ‘netzob.Import.PCAPImporter.ImpactPacket’ has no attribute 'ARP’解决方案
• python发送邮件的实战代码
• 验证email的Python实战代码
• 使用Python代码获取网站反应时间的实战代码
• you-get出现[error] oops, something went wrong.解决方案

10. github

• fatal: unable to access Failed to connect to github.com port 443: Timed out解决方案
• git clone出现fatal: unable to access Failed to connect to github.com port 443: Timed out解决方案
• git clone出现fatal: unable to access OpenSSL SSL_read: Connection was reset, errno 1054解决方案
• error: external filter git-lfs smudge – %f failed解决方案