LLM-Large Model Training-Step (2)-Pre-training/Pre-Training(1): Full-Param Pre-Training (Full-Param Pre-Training) [Full parameter pre-training for LLaMA and other models] [Chinese unsupervised learning corpus 】

GitHub project: KnowLM

1. Full-Param Pre-training

• Use Chinese corpus to further fully pre-train models such as LLaMA. On the premise of retaining the original English and code capabilities as much as possible, further improve the model's ability to understand Chinese and enrich the knowledge reserve of the model.
• The purpose of this stage is to enhance the Chinese ability and knowledge reserve of the model.

 2. Unsupervised learning corpus

pt_sample_data.txt

我们如何在日常生活中减少用水？1. 使用节水装置，如节水淋浴喷头和水龙头。 
2. 使用水箱或水桶收集家庭废水，例如洗碗和洗浴。 
3. 在社区中提高节水意识。 
4. 检查水管和灌溉系统的漏水情况，并及时修复它们。 
5. 洗澡时间缩短，使用低流量淋浴头节约用水。 
6. 收集雨水，用于园艺或其他非饮用目的。 
7. 刷牙或擦手时关掉水龙头。 
8. 减少浇水草坪的时间。 
9. 尽可能多地重复使用灰水（来自洗衣机、浴室水槽和淋浴的水）。 
10. 只购买能源效率高的洗碗机和洗衣机。
编辑文章，使其更吸引读者。自主机器人是计算机控制的机器，被编程执行特定任务而不需要任何人类输入。自主机器人在各个行业中被越来越广泛地应用，从制造业到医疗保健再到安全。自主机器人是计算机控制的机器，被编程执行特定任务而不需要任何人类输入，从而实现了新的效率、精确度和可靠性水平。自主机器人在各个行业中被越来