10 Killer Python Scripts for Automation
Are you tired of wasting time on tedious tasks?
Do you dream of a world where computers do all the work for you? Look no further, as we have 5 Python scripts, get ready to say goodbye to manual labor and let automation begin!
“Automation is not the enemy of the human worker, but its ally. Automation frees the worker from drudgery and gives him the opportunity to do more creative and rewarding work.
After reading this article, you will have a better understanding of the many types of python scripts that you can use to automate everyday boring tasks.
Python is a powerful language that is widely used to automate various tasks. Whether you're a developer, a system administrator, or someone who just wants to save time by automating everyday tasks, Python has you covered.
1. File transfer script:
A file transfer script in Python is a set of instructions or programs written in the Python programming language to automate the process of transferring files over a network or between computers.
Python provides several libraries and modules that can be used to create file transfer scripts, such as sockets, ftplib, smtplib, and paramiko, among others.
Here is an example of a simple file transfer script in Python that uses the socket module to transfer files over the network:
import socket
# create socket
s = socket.socket()
# bind socket to a address and port
s.bind(('localhost', 12345))
# put the socket into listening mode
s.listen(5)
print('Server listening...')
# forever loop to keep server running
while True:
# establish connection with client
client, addr = s.accept()
print(f'Got connection from {addr}')
# receive the file name
file_name = client.recv(1024).decode()
try:
# open the file for reading in binary
with open(file_name, 'rb') as file:
# read the file in chunks
while True:
chunk = file.read(1024)
if not chunk:
break
# send the chunk to the client
client.sendall(chunk)
print(f'File {file_name} sent successfully')
except FileNotFoundError:
# if file not found, send appropriate message
client.sendall(b'File not found')
print(f'File {file_name} not found')
# close the client connection
client.close()
This script runs a server that listens for incoming connections on address localhost and port 12345. When a client connects, the server receives the filename from the client, then reads the contents of the file and sends it to the client in chunks. If the file is not found, the server will send an appropriate message to the client.
As mentioned above, there are other libraries and modules that can be used to create file transfer scripts in python, such as ftplib for connecting and transferring files using the ftp protocol and paramiko for SFTP (SSH file transfer protocol) transfers. Scripts can be customized to match specific requirements or scenarios.
2. System monitoring script:
A system monitor script is a Python script used to monitor the performance and status of a computer or network. The script can be used to track various metrics such as CPU usage, memory usage, disk space, network traffic, and system uptime. The script can also be used to monitor certain events or conditions, such as the occurrence of errors or the availability of specific services. For example:
import psutil
# Get the current CPU usage
cpu_usage = psutil.cpu_percent()
# Get the current memory usage
memory_usage = psutil.virtual_memory().percent
# Get the current disk usage
disk_usage = psutil.disk_usage("/").percent
# Get the network activity
# Get the current input/output data rates for each network interface
io_counters = psutil.net_io_counters(pernic=True)
for interface, counters in io_counters.items():
print(f"Interface {interface}:")
print(f" bytes sent: {counters.bytes_sent}")
print(f" bytes received: {counters.bytes_recv}")
# Get a list of active connections
connections = psutil.net_connections()
for connection in connections:
print(f"{connection.laddr} <-> {connection.raddr} ({connection.status})")
# Print the collected data
print(f"CPU usage: {cpu_usage}%")
print(f"Memory usage: {memory_usage}%")
print(f"Disk usage: {disk_usage}%")
此脚本使用 psutil 模块中的cpu_percent、virtual_memory和disk_usage函数分别检索当前 CPU 使用率、内存使用率和磁盘使用率。
virtual_memory 函数返回具有各种属性的对象，例如内存总量以及已用内存量和可用内存量。
disk_usage 函数将路径作为参数，并返回具有磁盘上总空间量以及已用空间量和可用空间量等属性的对象。
3、网页抓取脚本，最常用： 此脚本可用于从网站中提取数据并以结构化格式（如电子表格或数据库）存储数据。这对于收集数据进行分析或跟踪网站上的更改非常有用。例如：
import requests
from bs4 import BeautifulSoup
# Fetch a web page
page = requests.get("http://www.example.com")
# Parse the HTML content
soup = BeautifulSoup(page.content, "html.parser")
# Find all the links on the page
links = soup.find_all("a")
# Print the links
for link in links:
print(link.get("href"))
在这里，您可以看到美丽汤包装的强大功能。您可以使用此包找到任何类型的 dom 对象，因为我已经展示了如何找到页面上的所有链接。
您可以修改脚本以抓取其他类型的数据，或导航到站点的不同页面。还可以使用 find 方法查找特定元素，或使用带有其他参数的 find_all 方法来筛选结果。
4、电子邮件自动化脚本：
此脚本可用于根据特定条件自动发送电子邮件。例如，您可以使用此脚本向团队发送每日报告，或者在重要截止日期临近时向自己发送提醒。下面是如何使用 Python 发送电子邮件的示例：
import smtplib
from email.mime.text import MIMEText
# Set the SMTP server and login credentials
smtp_server = "smtp.gmail.com"
smtp_port = 587
username = "[email protected]"
password = "yourpassword"
# Set the email parameters
recipient = "[email protected]"
subject = "Test email from Python"
body = "This is a test email sent from Python."
# Create the email message
msg = MIMEText(body)
msg["Subject"] = subject
msg["To"] = recipient
msg["From"] = username
# Send the email
server = smtplib.SMTP(smtp_server, smtp_port)
server.starttls()
server.login(username, password)
server.send_message(msg)
server.quit()
此脚本使用 smtplib 和电子邮件模块通过简单邮件传输协议 SMTP 发送电子邮件。
来自smtplib模块的SMTP类用于创建SMTP客户端，starttls和登录方法用于建立安全连接，电子邮件模块中的MIMEText类用于创建多用途Internet邮件扩展MIME格式的电子邮件。
MIMEText 构造函数将电子邮件的正文作为参数，您可以使用 setitem 方法来设置电子邮件的主题、收件人和发件人。
创建电子邮件后，SMTP 对象的send_message方法将用于发送电子邮件。然后调用 quit 方法以关闭与 SMTP 服务器的连接。
5、密码管理器脚本：
密码管理器脚本是一种用于安全存储和管理密码的 Python 脚本。该脚本通常包括用于生成随机密码、将哈希密码存储在安全位置（如数据库或文件）以及在需要时检索密码的函数。
import secrets
import string
# Generate a random password
def generate_password(length=16):
characters = string.ascii_letters + string.digits + string.punctuation
password = "".join(secrets.choice(characters) for i in range(length))
return password
# Store a password in a secure way
def store_password(service, username, password):
# Use a secure hashing function to store the password
hashed_password = hash_function(password)
# Store the hashed password in a database or file
with open("password_database.txt", "a") as f:
f.write(f"{service},{username},{hashed_password}\n")
# Retrieve a password
def get_password(service, username):
# Look up the hashed password in the database or file
with open("password_database.txt") as f:
for line in f:
service_, username_, hashed_password_ = line.strip().split(",")
if service == service_ and username == username_:
# Use a secure hashing function to compare the stored password with the provided password
if hash_function(password) == hashed_password_:
return password
return None
上述示例脚本中的 generate_password 函数使用字母、数字和标点字符的组合生成指定长度的随机密码。
store_password函数将服务，如网站或应用程序、用户名和密码作为输入，并将散列密码存储在安全位置。
get_password函数将服务和用户名作为输入，如果在安全存储位置找到相应的密码，则检索相应的密码。
自动化的 Python 脚本的第 2 部分
欢迎回来！
在上一篇文章中，我们深入研究了 Python 脚本的世界，我们还没有揭开Python脚本的所有奥秘。
在本期中，我们将发现其余五种类型的脚本，这些脚本将让您立即像专业人士一样编码。
6、自动化数据分析：
Python的pandas是数据分析和操作的强大工具。以下脚本演示如何使用它自动执行清理、转换和分析数据集的过程。
import pandas as pd
# Reading a CSV file
df = pd.read_csv("data.csv")
# Cleaning data
df.dropna(inplace=True) # Dropping missing values
df = df[df["column_name"] != "some_value"] # Removing specific rows
# Transforming data
df["column_name"] = df["column_name"].str.lower() # Changing string to lowercase
df["column_name"] = df["column_name"].astype(int) # Changing column datatype
# Analyzing data
print(df["column_name"].value_counts()) # Prints the frequency of unique values in the column
# Saving the cleaned and transformed data to a new CSV file
df.to_csv("cleaned_data.csv", index=False)
上面脚本中的注释对于具有 python 基础知识的人来说非常简单。
该脚本是一个简单的示例，用于演示 pandas 库的强大功能以及如何使用它来自动执行数据清理、转换和分析任务。
但是，脚本是有限的，在实际方案中，数据集可能要大得多，清理、转换和分析操作可能会更复杂。
7、自动化计算机视觉任务： 自动化计算机视觉任务是指使用 Python 及其库自动执行各种图像处理和计算机视觉操作。Python 中最受欢迎的计算机视觉任务库之一是 opencv。
OpenCV是一个主要针对实时计算机视觉的编程函数库。它提供了广泛的功能，包括图像和视频 I/O、图像处理、视频分析、对象检测和识别等等。例如：
import cv2
# Load the cascade classifier for face detection
face_cascade = cv2.CascadeClassifier("haarcascade_frontalface_default.xml")
# Load the image
img = cv2.imread("image.jpg")
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
# Detect faces
faces = face_cascade.detectMultiScale(gray, scaleFactor=1.1, minNeighbors=5)
# Draw rectangles around the faces
for (x, y, w, h) in faces:
cv2.rectangle(img, (x, y), (x+w, y+h), (255, 0, 0), 2)
# Show the image
cv2.imshow("Faces", img)
cv2.waitKey(0)
cv2.destroyAllWindows()
上面的脚本检测图像中的人脸。它首先加载一个级联分类器用于人脸检测，这个分类器是一个预先训练的模型，可以识别图像中的人脸。
然后它加载图像并使用 cv2.cvtColor()方法将其转换为灰度。然后将图像传递给分类器的 detectMultiScale()方法，该方法检测图像中的人脸。该方法返回检测到的人脸的坐标列表。
然后，该脚本循环遍历坐标列表，并使用 cv2.rectangle()方法在检测到的人脸周围绘制矩形。最后，使用 cv2.imshow()方法在屏幕上显示图像。
这只是OpenCV可以实现的目标的一个基本示例，还有更多可以自动化的功能，例如对象检测，图像处理和视频分析。OpenCV 是一个非常强大的库，可用于自动执行各种计算机视觉任务，例如面部识别、对象跟踪和图像稳定。
8、自动化数据加密：
自动化数据加密是指使用 Python 及其库自动加密和解密数据和文件。
Python 中最受欢迎的数据加密库之一是密码学。
“密码学”是一个提供加密配方和原语的库。它包括高级配方和常见加密算法（如对称密码、消息摘要和密钥派生函数）的低级接口。以下示例演示了如何使用加密库加密文件：
import os
from cryptography.fernet import Fernet
from cryptography.hazmat.backends import default_backend
from cryptography.hazmat.primitives import hashes
from cryptography.hazmat.primitives.kdf.pbkdf2 import PBKDF2HMAC
password = b"super_secret_password"
salt = os.urandom(16)
kdf = PBKDF2HMAC(
algorithm=hashes.SHA256,
iterations=100000,
length=32,
salt=salt,
backend=default_backend()
)
key = base64.urlsafe_b64encode(kdf.derive(password))
cipher = Fernet(key)
# Encrypt the file
with open("file.txt", "rb") as f:
data = f.read()
cipher_text = cipher.encrypt(data)
with open("file.txt", "wb") as f:
f.write(cipher_text)
它首先使用 PBKDF2HMAC 密钥派生函数生成密钥，这是一个基于密码的密钥派生函数，使用安全哈希算法 SHA-256 和salt值。
salt 值是使用os.urandom()函数生成的，该函数生成加密安全的随机字节。
然后，它创建一个 Fernet 对象，该对象是对称（也称为“密钥”）身份验证加密的实现。
然后，它读取明文文件，并使用 Fernet 对象的encrypt()方法对其进行加密。最后，它将加密数据写入文件。
请务必注意，用于加密文件的密钥必须保密并安全存储。如果密钥丢失或泄露，加密的数据将无法读取。
9、自动化测试和调试：
自动化测试和调试是指使用 Python 及其库自动运行测试和调试代码。在 Python 中，有几个流行的库用于自动化测试和调试，例如 unittest、pytest、nose 和 doctest。
下面是使用 unittest 库自动测试在给定字符串中查找最长回文子字符串的 Python 函数的示例：
def longest_palindrome(s):
n = len(s)
ans = ""
for i in range(n):
for j in range(i+1, n+1):
substring = s[i:j]
if substring == substring[::-1] and len(substring) > len(ans):
ans = substring
return ans
class TestLongestPalindrome(unittest.TestCase):
def test_longest_palindrome(self):
self.assertEqual(longest_palindrome("babad"), "bab")
self.assertEqual(longest_palindrome("cbbd"), "bb")
self.assertEqual(longest_palindrome("a"), "a")
self.assertEqual(longest_palindrome(""), "")
if __name__ == '__main__':
unittest.main()
此脚本使用 unittest 库自动测试在给定字符串中查找最长回文子字符串的 Python 函数。
'longest_palindrome' 函数将字符串作为输入，并通过遍历所有可能的子字符串并检查它是否是回文并且它的长度大于前一个来返回最长的回文子字符串。
该脚本还定义了一个从 unittest 继承的“TestLongestPalindrome”类。测试用例，并包含多种测试方法。
每个测试方法都使用 assertEqual()方法来检查 longest_palindrome() 函数的输出是否等于预期的输出。
当脚本运行时，将调用 unittest.main()函数，该函数运行 TestLongestPalindrome类中的所有测试方法。
如果任何测试失败,即longest_palindrome()函数的输出不等于预期输出，则会打印一条错误消息，指示哪个测试失败以及预期和实际输出是什么。
此脚本是如何使用 unittest 库自动测试 Python 函数的示例。它允许您在将代码部署到生产环境之前轻松测试代码并捕获任何错误或错误。
10、自动化时间序列预测：
自动化时间序列预测是指使用 Python 及其库自动预测时间序列数据的未来值。在Python中，有几个流行的库可以自动化时间序列预测，例如statsmodels和prophet。
“prophet”是由Facebook开发的开源库，它提供了一种简单快捷的方式来执行时间序列预测。
它基于加法模型，其中非线性趋势与每年、每周和每天的季节性以及假日效应相吻合。它最适合具有强烈季节性影响的时间序列和多个季节的历史数据。
下面是使用 prophet 库对每日销售数据执行时间序列预测的示例：
import pandas as pd
from fbprophet import Prophet
# Read in data
df = pd.read_csv("sales_data.csv")
# Create prophet model
model = Prophet()
# Fit model to data
model.fit(df)
# Create future dataframe
future_data = model.make_future_dataframe(periods=365)
# Make predictions
forecast = model.predict(future_data)
# Print forecast dataframe
print(forecast[['ds', 'yhat', 'yhat_lower', 'yhat_upper']])
正如Mr.X所说：一张图片胜过千言万语
还可以通过在上面添加以下代码行来包含预测销售额的视觉对象：
# Import visualization library
import matplotlib.pyplot as plt
# Plot predicted values
model.plot(forecast)
plt.show()
# Plot predicted values with uncertainty intervals
model.plot(forecast)
plt.fill_between(forecast['ds'], forecast['yhat_lower'], forecast['yhat_upper'], color='pink')
plt.show()
# Plot component of the forecast
model.plot_components(forecast)
plt.show()
第一个可视化效果
model.plot(forecast)
显示预测值和历史数据，它可以让您大致了解模型拟合数据的程度。
第二个可视化效果:
plt.fill_between（预测['ds']，预测['yhat_lower']，预测['yhat_upper']，color='pink'）
显示具有不确定性区间的预测值，这使您可以查看预测中有多少不确定性。
第三个可视化效果
model.plot_components(forecast)
显示预测的组成部分，例如趋势、季节性和节假日。
结论
总之，Python的自动化能力超强并且不断发展，每天都在开发新的库和框架。
使用诸如pandas，opencv，cryptography，unittest，prophet等库，使得以高效和自动化的方式执行这些任务变得更加容易。
本文由 mdnice 多平台发布