搜狐新闻小爬虫，解析数据接口并插入mysql数据库( 二 ) _爬虫

html = requests.get(url,headers= headers).text#获取内容etree.HTML(str(html)).xpath(“”//article[@class = 'article']//p//text()')

获取数据之后将其组装成sql语句，以便直接插入到数据库中。

sql = " sql_insert = 'insert into information (`type`, url,author,title,content,postTime,addtime,`unique`) values (%s,%s,%s,%s,%s,%s,%s,%s)'"

通过pymysql获取mysql的连接信息执行sql语句

conn = pymysql.connect(host=“xxxxxxx”, port=3306, user="xxxx", passwd="xxxxxx", db="news", charset="utf8")cursor = conn.cursor()cursor.execute(sql_insert)完整代码请转我的csdn连接！

搜狐新闻小爬虫，解析数据接口并插入mysql数据库( 二 )

推荐阅读

白熊保|我看到一个熟悉的中国人，美国暴乱再升级！逃跑的人群中

凯基|同一天两家消费金融公司获批筹建，股东大有来头，互联网龙头+外资银行成＂标配＂？

怎么养橡胶树怎么种橡胶树

面对自己的职业，咋区分“坚持不懈”和“不知变通”

怎样有针对性的锻炼AQ（挫折商）

梦见庄稼地梦到种庄稼

新车 | 不用强制报废的皮卡！郑州日产帕拉索正式上市

官宣！2018年度网络热词今天“C位出道”

总督|曾国藩选儿女亲家讲究门当户对：对方不是总督就是巡抚

人民日报|一路向北的“棚菜人生”（讲述·一辈子一件事）

战狼雄风@沙特首都遭遇导弹袭击，美国全程保持沉默，爆炸声响彻天际

宋江杀黄文炳一家报仇的过程,黄文炳为何要害宋江-

fpx战队|电竞赛事深度复盘，FPX第一把是怎么输给TES的？滔搏最恐怖的点竟然是他？

风情|简约气质的高跟凉鞋，一字带设计散发女性的魅力风情

内分泌疾病|这四个吃饭坏习惯，背后可能有四种疾病正在等你，赶紧改掉

花呗|花呗部分用户已接入央行征信系统快看你被选中了没？

苏七墨|为比赛瘦成“排骨”身板，吴昕复活太惊艳！穿蓝色舞蹈服秀小蛮腰

科学两颗超级地球被“判死刑”，宇宙那么大，人类的第二家园在哪里

博闻科技：拟投不超5000万进行证券投资

地板|铺好之后一直没入住大自然地板咋就严重变色了