import pandas as pd
import sqlalchemy as sql
db_engine=sql.create_engine('oracle://test01:test01@test001db')
db_df1=pd.read_sql('select * from my_table1',db_engine)
代码是方便了,不过用了快10分钟,dataframe才初始化完成
通过JDBC查询的方式
import pandas as pd
import sqlalchemy as sql
db_engine=sql.create_engine('oracle://test01:test01@test001db')
conn=ora_engine.raw_connection()
cursor=conn.cursor()
queryset=cursor.execute('select * from my_table1')
columns=[for i[0] in queryset.description]
jdbc_data=queryset.fetchall()
db_df1=pd.DataFrame(
jdbc_data,columns=["A1","B2","C3"])
db_df1.columns=columns
db_df1.append(df_data)
多几行代码,不过2分钟就完成了dataframe的初始化动作,看来pandas自身的方式是需要优化的,不应该官方的方式对比常规方式有好几倍的性能差异的。
Cloudera-manager(CDH6.3.0)大数据平台搭建一指禅(impala,kudu,hdfs,hive,kafka,yarn,spark,hbase,hue)
来自俄罗斯的ClickHouse列式数据在CentOS7配置和基础性能测试
CentOS7中安装Tableau Server 2019.3踩坑指南
如何在Hive中创建自定义函数UDF及如何直接通过Impala的同步元数据重用UDF的jar文件
CentOS7中搭建nodejs10(VUE)开发环境踩坑指南
Cloudera-manager(CDH6.3.0)大数据平台搭建一指禅(impala,kudu,hdfs,hive,kafka,yarn,spark,hbase,hue)
来自俄罗斯的ClickHouse列式数据在CentOS7配置和基础性能测试
CentOS7中安装Tableau Server 2019.3踩坑指南
如何在Hive中创建自定义函数UDF及如何直接通过Impala的同步元数据重用UDF的jar文件
CentOS7中搭建nodejs10(VUE)开发环境踩坑指南
Python全栈开发(五)——python数据库MySQL
今天简单说说MySQL,我们存储数据,直接用本地文件即可,但是,本地文件不利于存放海量数据,也不利于用程序对文件的数据进行查询与管理,我们可以使用数据库。
开心档-软件开发入门之Python 操作 MySQL 数据库
本文主要讲解Python 标准数据库接口为 Python DB-API,Python DB-API为开发人员提供了数据库应用编程接口。