解决一个pandas执行模糊查询sql的坑

时间:2021-05-22

查询引擎使用了presto,在sql中使用了模糊查询。

engine = create_engine(presto_url,encoding='utf-8')sql_exe ="""select id,title,tags from source.base.table where tags like '%呵呵%' """df = pd.read_sql_query(sql_exe,engine)

一直报错:

unsupported format character

解决方案

第一:

sql_exe ="""select id,title,tags from source.base.table where tags like '%%呵呵%%' """

第二:

sql_exe ="""select id,title,tags from source.base.table where tags like %s """ df = pd.read_sql_query(sql_exe,engine,params=("%呵呵%",))

补充:pd.read_sql()知道这些就够用了

如下:

pandas.read_sql(sql, con, index_col=None, coerce_float=True, params=None, parse_dates=None, columns=None, chunksize=None)

各参数意义

sql:SQL命令字符串

con:连接sql数据库的engine,一般可以用SQLalchemy或者pymysql之类的包建立

index_col: 选择某一列作为index

coerce_float:非常有用,将数字形式的字符串直接以float型读入

parse_dates:将某一列日期型字符串转换为datetime型数据,与pd.to_datetime函数功能类似。可以直接提供需要转换的列名以默认的日期形式转换,也可以用字典的格式提供列名和转换的日期格式,比如{column_name: format string}(format string:"%Y:%m:%H:%M:%S")。

columns:要选取的列。一般没啥用,因为在sql命令里面一般就指定要选择的列了

chunksize:如果提供了一个整数值,那么就会返回一个generator,每次输出的行数就是提供的值的大小。

设置参数can–>创建数据库链接的两种方式

用sqlalchemy构建数据库链接

import pandas as pdimport sqlalchemyfrom sqlalchemy import create_engine# 用sqlalchemy构建数据库链接engineconnect_info = 'mysql+pymysql://{}:{}@{}:{}/{}?charset=utf8'engine = create_engine(connect_info)# sql 命令sql_cmd = "SELECT * FROM table"df = pd.read_sql(sql=sql_cmd, con=engine)

用DBAPI构建数据库链接

import pandas as pdimport pymysql# sql 命令sql_cmd = "SELECT * FROM table"# 用DBAPI构建数据库链接enginecon = pymysql.connect(host=localhost, user=username, password=password, database=dbname, charset='utf8', use_unicode=True)df = pd.read_sql(sql_cmd, con)

read_sql与read_sql_table、read_sql_query

read_sql本质上是read_sql_table、read_sql_query的统一方式。

三者都return返回DataFrame。

1、read_sql_table

Read SQL database table into a DataFrame.

2、read_sql_query

Read SQL query into a DataFrame.

以上为个人经验,希望能给大家一个参考,也希望大家多多支持。如有错误或未考虑完全的地方,望不吝赐教。

声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。

相关文章