前言
运用pandas 库对所得到的数据进行数据清洗，复习一下相关的知识。
1 数据清洗
1.1 处理缺失数据
对于数值型数据，分为缺失值（NAN）和非缺失值，对于缺失值的检测，可以通过Python中pandas库的Series类对象的isnull方法进行检测。
import pandas as pd import numpy as np string_data = pd.Series(['Benzema', 'Messi', np.nan, 'Ronaldo']) string_data.isnull()
对于缺失值，除了np.nan来表示，还可以用None来表示缺失值
string_data = None
1.2 滤除掉缺失数据
1.2.1 对于Series
使用dropna方法将NAN的数据过滤掉。
from numpy import nan as NA import pandas as pd data = pd.Series([1,NA,4.5,NA,5]) data.dropna()
另一种方法是使用布尔值索引对NAN数据进行过滤：
data[data.notnull()]
1.2.2 对于DataFrame
dropna()方法对于DataFrame的数据来说，会将含有NAN数据的行全部扔掉。
data = pd.DataFrame([[1., 6.5, 3.], [1., NA, NA],
[NA, NA, NA], [NA, 6.5, 3.]])
data
data.dropna()
如果只想删除掉那些行中全部为NAN数据的DataFrame，通过设置dropna()方法中的参数how即可。
data.dropna(how = 'all')
如果操作对象变为列,代码如下：
data[4] = NA data data.dropna(axis=1, how = 'all')
如果想留下其中的一部分数据，则可以设置thresh参数：
df = pd.DataFrame(np.random.randn(7, 3)) df.iloc[:4, 1] = NA df.iloc[:2, 2] = NA df df.dropna(thresh = 2)
thresh = n,参数n相当于保留至少含有n个非NA的行
1.3 填充缺失数据
fillna(n),n替换掉NA
df = pd.DataFrame(np.random.randn(7, 3)) df.fillna(0)
如果填充格式是字典，fillna({0:n1,1:n2}),将列0的NA填充为 n1,将列1的NA填充为 n2。
df.fillna({{1 : 0.2,2 : 0.3}})
直接填充df的NA值，直接改变df,不需要命名新的变量。
df.fillna(0, inplace = True)
2 数据转换
2.1 移除重复数据
data = pd.DataFrame({'k1': ['one', 'two'] * 3 + ['two'],
'k2': [1, 1, 2, 3, 3, 4, 4]})
data.duplicated()
返回的是每一行的重复结果，不重复是False,重复是True。
如果要去除重复的行，代码如下：
data.drop_duplicates()
如果操作对象为列，在duplicated方法中指定参数即可。
data['k3'] = range(7) data.duplicated(['k1'])
返回的是 k1 列中重复的元素。
对于drop_duplicates()方法来说，去除掉的是重复数据的后者。比如说序号为0,1的数据重复，方法删除掉index = 1的行。如果想要删除前者，只需要指定参数 last即可：
data.drop_duplicates(['k1'], keep = 'last')
2.2 与映射相结合
map函数的使用方法
list(map(lambda x : 2 * x , range(10)))
2.3 替换
使用的是replace 方法，replace有两个参数，前者是被替换的数，后者是替换的数，参数格式可以是列表，也可以是字典
data = pd.Series([1., -999., 2., -999., -1000., 3.])
data.replace(-999.0, np.nan) #替换单个值
data.replace([-999.0, -1000.0], np.nan) #用一个值替换多个值
data.replace([-999.0, -1000.0],[np.nan, 0]) # 用不同值替换不同值
data.replace({-999.0 : 0, -1000.0 : np.nan}) # 格式为字典
2.4 创建数据的修改版
rename方法可以创建数据的修改版，而不必在原数据上进行修改。
data.rename(index=str.title, columns=str.upper)
还可以使用字典的格式,对index, columns 进行改变。
data.rename(index = {'OHIO': 'INDIANA'}, columns = {'three': 'peekaboo'})
这样的重命名并不对原数据进行修改，如果想要直接改变data, 如上，参数inplace = True即可。
data.rename(index = {'OHIO': 'INDIANA'}, columns = {'three': 'peekaboo'}, inplace = True)
data
这样就改变了data。
2.5 计算指标\哑变量
用于机器学习中，对定类数据的转化，用于将df中的object对象转化为One-hot编码，消除了数字间的比较大小问题。
df = pd.DataFrame({'key': ['b', 'b', 'a', 'c', 'a', 'b'],
'data1': range(6)})
pd.get_dummies(df['key']) # 分解了key 列，分开了三个属性
如果想在分开的属性前面加上前缀的话，设定prefix 参数即可实现该功能,可以将其与原始数据合并在一起。
dummies = pd.get_dummies(df['key'], prefix = 'key') df_with_dummies = df['data1'].join(dummies) df_with_dummies
免责声明：本站文章均来自网站采集或用户投稿，网站不提供任何软件下载或自行开发的软件！ 如有用户或公司发现本站内容信息存在侵权行为，请邮件告知！ 858582#qq.com
3月27日消息，苹果宣布2024年全球开发者大会（WWDC）将于6月10日至6月14日举行，巧合的是，这次大会与端午假期重合。
苹果官方表示：
在线参加 Apple 每年规模最大的开发者盛会。亲眼见证 Apple 最新平台、技术和工具的发布。了解如何创建和改进你的 App 和游戏。与 Apple 设计师和工程师互动交流，与全球开发者社区建立联系。以上活动均免费在线举行。
探索各种新的工具、框架和功能，助力你打造出理想的 App 和游戏。通过视频讲座学习新技能，与 Apple 专家进行一对一会面，以推进你的项目，完善你的构思。
Swift Student Challenge 旨在支持和鼓舞下一代开发者、创作者和企业家。太平洋时间 3 月 28 日，我们将公布今年的获奖者名单。获奖者将有资格参加在 Apple Park 举办的特别活动。我们还会选出 50 名杰出获胜者，他们将受邀前往库比提诺，获得为期三天的非凡体验，包括参加 Apple Park 的特别活动。
RTX 5090要首发 性能要翻倍！三星展示GDDR7显存
三星在GTC上展示了专为下一代游戏GPU设计的GDDR7内存。
首次推出的GDDR7内存模块密度为16GB，每个模块容量为2GB。其速度预设为32 Gbps（PAM3），但也可以降至28 Gbps，以提高产量和初始阶段的整体性能和成本效益。
据三星表示，GDDR7内存的能效将提高20%，同时工作电压仅为1.1V，低于标准的1.2V。通过采用更新的封装材料和优化的电路设计，使得在高速运行时的发热量降低，GDDR7的热阻比GDDR6降低了70%。