搜狐新闻小爬虫，解析数据接口并插入mysql数据库( 二 ) _爬虫

html = requests.get(url,headers= headers).text#获取内容etree.HTML(str(html)).xpath(“”//article[@class = 'article']//p//text()')

获取数据之后将其组装成sql语句，以便直接插入到数据库中。

sql = " sql_insert = 'insert into information (`type`, url,author,title,content,postTime,addtime,`unique`) values (%s,%s,%s,%s,%s,%s,%s,%s)'"

通过pymysql获取mysql的连接信息执行sql语句

conn = pymysql.connect(host=“xxxxxxx”, port=3306, user="xxxx", passwd="xxxxxx", db="news", charset="utf8")cursor = conn.cursor()cursor.execute(sql_insert)完整代码请转我的csdn连接！

搜狐新闻小爬虫，解析数据接口并插入mysql数据库( 二 )

推荐阅读

垚鑫淼森焱TB■中国海岸线有多少美味？去吃过才知道

网络用语双枪会给出答案什么意思？

帅不过三秒|何穗不愧是超模，穿黄色V领开叉裙，身材窈窕，太让人羡慕了

中国网|?拍拍贷发公告称“已完成清退成功转型助贷平台”

时尚穿搭范儿|陈冲终于时尚一回，穿杏色西装配百褶裙高级又减龄，气场强大

行业专家建议：中国销售的智能手机，必须强制安装华为鸿蒙系统？

跑步1小时消耗多少热量？

类似生意参谋的软件什么可以代替生意参谋

怎么样做好吃的蛋包饭

【】厄瓜多尔：已向中国保证“履行必要程序”保证冻虾等产品安全性

英雄联盟|武器大师玩法的心得（纯粹的技术篇）

招生|广东：今年安排近万名职业教育专本连读招生计划

故态复萌|刘诗诗侧脸生图上热搜了？到底是怎么回事？

G时尚|王俊凯身穿渐变色套头卫衣搭配白色中裤整体造型随性帅气感满满

跑步减肥是快跑还是慢跑效果好

日月军武|需要多少枚反舰导弹？得知答案后美军只能干瞪眼，击沉一艘美航母

家庭阳台茶台的摆放有什么风水讲究阳台茶台摆放位置讲究

新冠肺炎血浆治疗方案增加内容

心语美文集|简洁唯美，令人回味无穷，触动心灵的朋友圈一段话

青年|DNF幻神与凡人差距有多大？最高伤害差距10倍，却没人吐槽