搜狐新闻小爬虫，解析数据接口并插入mysql数据库( 二 ) _爬虫

html = requests.get(url,headers= headers).text#获取内容etree.HTML(str(html)).xpath(“”//article[@class = 'article']//p//text()')

获取数据之后将其组装成sql语句，以便直接插入到数据库中。

sql = " sql_insert = 'insert into information (`type`, url,author,title,content,postTime,addtime,`unique`) values (%s,%s,%s,%s,%s,%s,%s,%s)'"

通过pymysql获取mysql的连接信息执行sql语句

conn = pymysql.connect(host=“xxxxxxx”, port=3306, user="xxxx", passwd="xxxxxx", db="news", charset="utf8")cursor = conn.cursor()cursor.execute(sql_insert)完整代码请转我的csdn连接！

搜狐新闻小爬虫，解析数据接口并插入mysql数据库( 二 )

推荐阅读

四季|海通策略荀玉根：坚持认为四季度市场的行情较好中短期大金融地产更优

尖椒黄瓜的做法大全是什么呢？

经济日报|宁德时代携手河南跃薪打造电动智慧无人矿山新生态

学英语需要电子词典吗?

累计|约翰斯·霍普金斯大学：全球累计新冠确诊病例超过3500万例

佳禾国际家政|建议少奶的宝妈收藏，适合坐月子吃的16种食物

科技美学：22款新品一同亮相，小米10周年米粉节开幕

一点美丽|Dunk 都炒到10w 了？，TS、周董钟爱的“牛仔系列”！这年头牛仔

热映电影票房榜，《八角笼中》破10亿，不敌《长安三万里》排第二

央视财经|涨涨涨！这里的房价创纪录！两年涨了近三成！咋回事？

【小何美食屋】鲜甜脆嫩，美味可口，让味蕾来一次全新的体验，孩子们很抢手的菜

波丰娱乐|“我们考虑了每平方毫米”设计出的越野车原来外观这么简单

小四的娱乐|林志玲康复后首现身！低扎马尾辫穿灰色连衣裙，46岁状态优雅美

制造业|行业唯一，欧派家居连续四年入选中国制造业民营企业500强

天冷吃面正合适，教你香气四溢的麻油鸡汤面，营养美味很过瘾

[热刺]六大项数据全场第一，穆帅找到热刺真核！

二海藻酒方的功效与作用

郑州的袁希福医术是真是假，网上水军太多，我想寻一答案?

新华网|新研究说一种降胆固醇药物可能有助治疗新冠

炼钢工艺流程图炼钢工艺流程